{"canonical_url":"https://engineer.company/sv/glossary/robots-txt/","content_markdown":"# robots.txt\n\n## Vad det är\n\nVarje värd på webben kan på den fasta sökvägen `/robots.txt` publicera en ren textfil med önskemål\nriktade till de program som genomsöker den. Martijn Koster definierade konventionen 1994, och i\nseptember 2022 publicerade IETF den som RFC 9309, Robots Exclusion Protocol, med ett precist språk\nför reglerna och instruktioner för fel och cachning.\n\nFilen är en lista med grupper. En grupp inleds med en eller flera rader `user-agent`, som var och en\nnamnger en sökrobot med dess produkttoken, t.ex. `ExampleBot`, eller `*` för alla sökrobotar. Under\ndem kommer rader med `allow` och `disallow`, som var och en innehåller en sökväg. En sökrobot letar\nefter den grupp som namnger dess egen token, matchad utan hänsyn till versaler och gemener, och\nföljer den gruppen. När flera grupper namnger den slås deras regler ihop till en. Bara en sökrobot\nsom saknar en egen grupp faller tillbaka på gruppen `*`, och en som hittar ingendera har inga regler\natt följa.\n\nInom en grupp gäller en regel när dess sökväg matchar början av adressen, och den mest specifika\nträffen vinner, alltså den med flest oktetter. Blir det oavgjort mellan `allow` och `disallow`\nvinner `allow`, och en adress som ingen regel matchar är tillåten. Två tecken vidgar en sökväg: `*`\nstår för en godtycklig följd av tecken och `$` låser adressens slut. Ett `#` inleder en kommentar,\noch filens egen sökväg är alltid tillåten.\n\nRFC:n fastställer också hur filen hämtas. Den ligger på just den sökvägen, med gemener, högst upp i\ntjänsten, så varje värd svarar för sig själv och en fil på en underdomän säger ingenting om en\nannan. Den är ren text i UTF-8. En sökrobot bör följa minst fem omdirigeringar för att nå den, bör\ninte använda en cachad kopia i mer än 24 timmar och får begränsa hur mycket den tolkar, dock aldrig\nunder 500 KiB.\n\nRader utanför protokollet tolereras. RFC:n kallar dem andra poster, other records, ger `Sitemap`\nsom exempel och låter en sökrobot tolka dem eller låta bli, på ett villkor: en sådan rad får aldrig\navsluta en grupp.\n\n## Varför det spelar roll\n\nRFC:n anger gränsen redan i inledningen: ”These rules are not a form of access authorization.”\nReglerna är alltså inte en form av behörighet. Filen är en begäran. En sökrobot som respekterar den\nhåller sig borta, och en som inte gör det läser vad servern än lämnar ut. Säkerhetsavsnittet\ntillägger att en sökväg som listas i filen blir offentlig och upptäckbar, så allt som måste förbli\nprivat behöver en verklig åtkomstkontroll, t.ex. autentisering över HTTP.\n\nGoogles dokumentation snävar in syftet ytterligare. Den beskriver filen som ”used mainly to avoid\noverloading your site with requests”, främst till för att inte överbelasta webbplatsen med anrop,\noch säger att ”it is not a mechanism for keeping a web page out of Google”. En adress som inte får\ngenomsökas kan ändå indexeras när andra sidor länkar till den, och visas då i sökresultaten utan\nbeskrivning, eftersom sökroboten aldrig läste sidan. För att hålla en sida borta ur sökresultaten\npekar Google på en `noindex`-regel eller ett lösenord, och en `noindex`-regel fungerar bara på en\nsida som sökroboten får hämta.\n\nDet filen gör bra är det jobb den skrevs för: att styra sökrobotar bort från delar av en webbplats\nsom skulle kosta servern anrop och ge en sökmotor lite tillbaka, som oviktiga eller nästan identiska\nsidor. Dess räckvidd är också dess risk. En enda rad under `*` gäller för varje adress och varje\nsökrobot som respekterar filen, och en ändring kan ta upp till ett dygn att märkas, så ett\n`Disallow: /` som skrivs i fel grupp stänger en hel webbplats.\n\n## Så ser det ut i praktiken\n\nDen här webbplatsens fil är lång, och nästan allt i den är kommentarer. Den del som en sökrobot\nagerar på är fyra rader:\n\n```text\nUser-agent: *\nContent-Signal: search=yes, ai-input=yes, ai-train=yes\nAllow: /\n\nSitemap: https://engineer.company/sitemap.xml\n```\n\nEn grupp täcker alla sökrobotar, och `Allow: /` matchar varje adress. En grupp\nutan regler skulle tillåta exakt detsamma, eftersom en adress som ingen regel\nmatchar är tillåten, men raden skrivs ut eftersom öppenheten är ett val.\nKommentaren ovanför kallar policyn ”Decided rather than inherited”, beslutad\nsnarare än ärvd, och [sidan om att vara redo för AI-agenter](/sv/ai-ready/)\nbeskriver webbplatsens policy för genomsökning som ett av dess medvetna beslut.\n\n`Content-Signal` är inte en post som RFC 9309 definierar. Den kommer från vokabulären Content\nSignals, och här ger den samtycke till insamling för sökning, för att besvara en frågeställning vid\ninferens och för träning. Enligt RFC:n är den en av de andra posterna: en sökrobot som känner till\nkonventionen får läsa den, en som är äldre än konventionen hoppar över raden, som filens egen\nkommentar säger, och ingen av dem får behandla den som gruppens slut. Raden `Sitemap:` är en annan\npost av samma slag och pekar på webbplatsens index över webbplatskartor. [Kolofonen](/sv/credits/)\nsammanfattar filen på samma sätt: den ”tillåter allt, för både sökrobotar och AI-system” och anger\nwebbplatskartan.\n\nDet som filen utelämnar är också ett beslut. Bland de fem rekommendationer som den här webbplatsen\nvalde bort listar sidan om AI-beredskap regler per agent, och den behåller en robots-regel för alla\nagenter, ”eftersom en regel skriven för en sökrobot i tysthet ersätter den allmänna för just den\nsökroboten”. Om filen hade gett en AI-sökrobot en egen grupp skulle den sökroboten bara läsa den\ngruppen, och ett `Disallow` som lades till senare under `*` skulle aldrig nå den.\n\nResten är kommentarer, skrivna för den som öppnar filen: resonemanget bakom policyn, sedan\nadresserna till `llms.txt`, `agents.txt`, `humans.txt`, `security.txt` och andra maskinläsbara\nfiler, som står som kommentarer ”because robots.txt has no field for them”, eftersom robots.txt\nsaknar fält för dem. Det gör kommentarerna till en del av det som levereras. En `#`-rad i mallen\nserveras byte för byte till varje sökrobot, och två gånger bar en sådan rad en anteckning avsedd för\nen underhållare, med en hänvisning till ett planeringsdokument i ett repo som inte är offentligt.\nEn kontroll över den byggda webbplatsen fallerar nu när en serverad fil innehåller en sökväg in i\nrepot, och anteckningar till underhållare i mallen ligger i mallkommentarer, som\nwebbplatsgeneratorn tar bort.\n\n## Var det går fel\n\n**En regel avsedd för alla slutar gälla för en sökrobot.** Någon lägger till en grupp för en enda\nbot, kanske för att hålla den borta från en mapp, och från och med då ignorerar den boten allt under\n`*`, inklusive varje `Disallow` som står där. RFC 9309 skickar en sökrobot till gruppen `*` bara när\ningen grupp namnger den, och Googles dokumentation säger att specifika grupper och gruppen `*` ”are\nnot combined”, inte slås ihop. Upprepa varje allmän regel i varje namngiven grupp, eller behåll en\nenda grupp, som den här webbplatsen gör.\n\n**En blockerad sida syns ändå i sökresultaten.** Adressen dyker upp utan beskrivning, kanske med de\nord som andra webbplatser använde när de länkade till den. Google hämtade aldrig sidan, så Google\nvet bara att adressen finns och vad andra kallar den. Ett `Disallow` styr genomsökningen, inte\nindexeringen. Ta bort regeln och servera `noindex` på sidan, eller lägg sidan bakom ett lösenord.\nEtt `noindex` som döljs bakom ett `Disallow` blir aldrig läst.\n\n**Filen gör reklam för det den skulle dölja.** En rad som `Disallow: /admin/` talar om för varje\nläsare, artig sökrobot eller inte, exakt var den ska leta, och filen är offentlig per konstruktion.\nRFC:ns säkerhetsavsnitt säger att listade sökvägar blir upptäckbara och hänvisar till\nåtkomstkontroll i stället. Lägg privat material bakom autentisering och låt det helt utebli ur\nfilen.\n\n**Ett serverfel stoppar genomsökningen av en hel webbplats.** Sidorna laddas, men begäran om\n`/robots.txt` returnerar en 5xx-status eller får en timeout, och en sökrobot som följer RFC:n måste\nbehandla det som ett fullständigt förbud. Google slutar genomsöka under de första 12 timmarna och\narbetar sedan utifrån sin senaste fungerande kopia i upp till 30 dagar. Det motsatta misstaget är\ntystare: Google behandlar ett 4xx-svar utom 429, inklusive 401 och 403, som om det inte fanns någon\nfil, så varje adress är öppen. Servera filen som statisk text med status 200, och bevaka själva\n`/robots.txt`, inte bara startsidan.\n\n## Läs mer\n\n- [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309)\n  — själva standarden: grupper, matchning, felhantering, cachning och säkerhetsavsnittet.\n- [Introduction to robots.txt](https://developers.google.com/search/docs/crawling-indexing/robots/intro)\n  — vad Google säger att filen är till för och varför den inte döljer en sida i sökresultaten.\n- [How Google interprets the robots.txt specification](https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec)\n  — statuskoder, cachning, de fält som Google ignorerar och hur Google väljer en grupp.\n- [Block Search indexing with noindex](https://developers.google.com/search/docs/crawling-indexing/block-indexing)\n  — regeln som verkligen håller en sida borta ur sökresultaten och varför sidan måste gå att\n  genomsöka.\n\n\u003chttps://engineer.company/sv/glossary/robots-txt/\u003e\n","date_modified":"2026-11-12T05:34:23Z","description":"robots.txt för dig som styr sökrobotar: hur grupper och regler matchas, varför filen inte döljer en sida i sökresultaten och när statuskoden väger tyngst.","formats":{"gemtext":"https://engineer.company/sv/glossary/robots-txt/index.gmi","gopher":"https://engineer.company/sv/glossary/robots-txt/gophermap","html":"https://engineer.company/sv/glossary/robots-txt/","json":"https://engineer.company/sv/glossary/robots-txt/index.json","markdown":"https://engineer.company/sv/glossary/robots-txt/index.md","pdf":"https://engineer.company/sv/glossary/robots-txt/index.pdf"},"kind":"page","language":"sv","title":"Vad är robots.txt?","url":"https://engineer.company/sv/glossary/robots-txt/","version":1}