{"canonical_url":"https://engineer.company/nb/glossary/robots-txt/","content_markdown":"# robots.txt\n\n## Hva det er\n\nHver vert på weben kan publisere en ren tekstfil på den faste stien\n`/robots.txt`, med anmodninger rettet til programmene som gjennomsøker den.\nMartijn Koster definerte konvensjonen i 1994, og i september 2022 publiserte\nIETF den som RFC 9309, Robots Exclusion Protocol, med presist språk for reglene\nog instruksjoner for feil og caching.\n\nFilen er en liste med grupper. En gruppe åpner med én eller flere\n`user-agent`-linjer, som hver navngir en søkerobot ved produkttokenet dens\n(product token), f.eks. `ExampleBot`, eller `*` for alle søkeroboter. Under dem\nkommer `allow`- og `disallow`-linjer, hver med en sti. En søkerobot ser etter\ngruppen som navngir dens eget token, uten hensyn til store og små bokstaver, og\nfølger den gruppen; når flere grupper navngir den, slås reglene deres sammen til\nén. Bare en søkerobot uten egen gruppe faller tilbake på `*`-gruppen, og en som\nikke finner noen av dem, har ingen regler å følge.\n\nInnenfor en gruppe gjelder en regel når stien matcher begynnelsen av adressen,\nog det mest spesifikke treffet vinner, altså det med flest oktetter. Står\n`allow` og `disallow` likt, vinner `allow`, og en adresse som ikke treffes av\nnoen regel, er tillatt. To tegn gjør en sti bredere: `*` står for en hvilken som\nhelst rekke tegn, og `$` låser slutten av adressen. En `#` innleder en\nkommentar, og filens egen sti er alltid tillatt.\n\nRFC-en fastsetter også hvordan filen hentes. Den ligger på akkurat den stien,\nmed små bokstaver, øverst i tjenesten, så hver vert svarer for seg selv, og en\nfil på ett underdomene sier ingenting om et annet. Den er ren tekst i UTF-8. En\nsøkerobot bør følge minst fem omdirigeringer for å nå den, bør ikke bruke en\nlagret kopi i mer enn 24 timer, og kan begrense hvor mye den parser, men aldri\ntil under 500 KiB.\n\nLinjer utenfor protokollen tåles. RFC-en kaller dem andre poster (other\nrecords), gir `Sitemap` som eksempel og lar en søkerobot tolke dem eller la\nvære, på én betingelse: en slik linje må aldri avslutte en gruppe.\n\n## Hvorfor det er viktig\n\nRFC-en trekker grensen allerede i innledningen: «These rules are not a form of\naccess authorization.» Reglene gir eller nekter altså ikke tilgang. Filen er\nen anmodning. En søkerobot som respekterer den, holder seg unna, og en som ikke\ngjør det, leser alt serveren gir den. Sikkerhetsavsnittet legger til at en sti\nsom står i filen, blir offentlig og lett å finne, så alt som må forbli privat,\ntrenger ekte tilgangskontroll, f.eks. autentisering over HTTP.\n\nDokumentasjonen til Google snevrer formålet inn ytterligere. Den beskriver filen\nsom et middel først og fremst for å unngå at nettstedet overbelastes av\nforespørsler, og sier rett ut at den ikke er en mekanisme for å holde en\nnettside utenfor Google. En adresse under `disallow` kan likevel bli indeksert\nnår andre sider lenker til den, og vises da i resultatene uten beskrivelse,\nfordi søkeroboten aldri leste siden. For å holde en side utenfor resultatene\nviser Google til en `noindex`-regel eller et passord, og en `noindex`-regel\nvirker bare på en side søkeroboten har lov til å hente.\n\nDet filen gjør godt, er jobben den ble skrevet for: å styre søkeroboter bort fra\ndeler av et nettsted som ville koste serveren forespørsler og gi en søkemotor\nlite tilbake, f.eks. uviktige eller nesten like sider. Rekkevidden er også\nrisikoen. Én linje under `*` gjelder hver adresse og hver søkerobot som\nrespekterer filen, og en endring kan ta opptil et døgn før den blir sett, så\n`Disallow: /` skrevet i feil gruppe stenger et helt nettsted.\n\n## Slik ser det ut i praksis\n\nFilen til dette nettstedet er lang, og nesten alt i den er kommentarer. Delen en\nsøkerobot handler etter, er fire linjer:\n\n```text\nUser-agent: *\nContent-Signal: search=yes, ai-input=yes, ai-train=yes\nAllow: /\n\nSitemap: https://engineer.company/sitemap.xml\n```\n\nÉn gruppe dekker alle søkeroboter, og `Allow: /` matcher hver adresse. En gruppe\nuten regler ville tillatt nøyaktig det samme, siden en adresse som ikke treffes\nav noen regel, er tillatt, men linjen er skrevet ut fordi åpenheten er et valg.\nKommentaren over den kaller policyen «Decided rather than inherited», bestemt og\nikke arvet, og [siden om å være klar for AI-agenter](/nb/ai-ready/) beskriver\npolicyen for gjennomsøking som en av nettstedets bevisste beslutninger.\n\n`Content-Signal` er ikke en post som RFC 9309 definerer. Den kommer fra\nvokabularet Content Signals, og her samtykker den til innsamling for søk, for å\nsvare på et spørsmål i det øyeblikket det stilles (inference time), og for\ntrening. Etter RFC-en er den en av de andre postene: en søkerobot som kjenner\nkonvensjonen, kan lese den, en som er eldre enn den, hopper over linjen, slik\nfilens egen kommentar sier, og ingen av dem kan behandle den som slutten på\ngruppen. Linjen `Sitemap:` er en annen post av samme slag og peker på\nsitemap-indeksen til nettstedet.\n[Kolofonen](/nb/credits/)\noppsummerer filen på samme måte: den tillater alt, «for søkeroboter og\nKI-systemer likt», og navngir sitemapet.\n\nDet filen utelater, ble også bestemt. Blant de fem anbefalingene dette\nnettstedet takket nei til, nevner AI-siden regler per agent. Nettstedet beholder\nén robots-regel for alle agenter, fordi en regel skrevet for én søkerobot i det\nstille erstatter den generelle regelen for nettopp den. Hadde filen gitt én\nsøkerobot for AI en egen gruppe, ville den søkeroboten lest bare den gruppen, og\nen `Disallow` lagt til senere under `*` ville aldri nådd den.\n\nResten er kommentarer, skrevet for den som åpner filen: begrunnelsen for\npolicyen, deretter adressene til `llms.txt`, `agents.txt`, `humans.txt`,\n`security.txt` og andre maskinlesbare filer, holdt som kommentarer fordi\nrobots.txt ikke har noe felt for dem, som filen selv sier. Det gjør kommentarene\ntil en del av det som leveres. En `#`-linje i malen serveres byte for byte til\nhver søkerobot, og to ganger har en slik linje båret en merknad ment for en\nvedlikeholder, med en henvisning til et planleggingsdokument i et repo som ikke\ner offentlig. En sjekk over det bygde nettstedet feiler nå når en servert fil\ninneholder en sti inn i repoet, og merknader for vedlikeholdere står i\nmalkommentarer, som generatoren fjerner.\n\n## Hvor det går galt\n\n**En regel ment for alle slutter å gjelde én søkerobot.** Noen legger til en\ngruppe for én enkelt robot, kanskje for å holde den ute av én mappe, og fra da\nav overser den roboten alt under `*`, også hver `Disallow` som står der. RFC\n9309 sender en søkerobot til `*`-gruppen bare når ingen gruppe navngir den, og\ndokumentasjonen til Google sier at spesifikke grupper og `*`-gruppen ikke\nkombineres. Gjenta hver generelle regel inne i hver navngitte gruppe, eller hold\ndeg til én gruppe, slik dette nettstedet gjør.\n\n**En blokkert side dukker likevel opp i søkeresultatene.** Adressen vises uten\nbeskrivelse, kanskje med ordene andre nettsteder brukte da de lenket til den.\nGoogle hentet aldri siden, så den vet bare at adressen finnes og hva andre\nkaller den. En `Disallow` styrer gjennomsøking, ikke indeksering. Fjern regelen\nog send `noindex` på siden, eller legg siden bak et passord; en `noindex` som\nskjules bak en `Disallow`, blir aldri lest.\n\n**Filen annonserer det den skulle skjule.** En linje som `Disallow: /admin/`\nforteller hver leser, høflig søkerobot eller ikke, nøyaktig hvor den skal lete,\nog filen er offentlig med vilje. Sikkerhetsavsnittet i RFC-en sier at stier som\nlistes, blir lette å finne, og ber om tilgangskontroll i stedet. Legg privat\nmateriale bak autentisering, og hold det helt ute av filen.\n\n**En serverfeil stopper gjennomsøkingen av et helt nettsted.** Sidene lastes,\nmen forespørselen etter `/robots.txt` returnerer en 5xx-status eller får\ntidsavbrudd, og en søkerobot som følger RFC-en, må behandle det som en\nfullstendig `disallow`. Google stopper gjennomsøkingen de første 12 timene og\narbeider deretter ut fra den siste gode kopien sin i opptil 30 dager. Den\nmotsatte feilen er stillere: Google behandler et 4xx-svar annet enn 429, også\n401 og 403, som om filen ikke fantes, så hver adresse er åpen. Lever filen som\nstatisk tekst med status 200, og overvåk `/robots.txt` selv, ikke bare\nforsiden.\n\n## Les mer\n\n- [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309)\n  — selve standarden: grupper, matching, feilhåndtering, caching og\n  sikkerhetsmerknaden.\n- [Introduction to robots.txt](https://developers.google.com/search/docs/crawling-indexing/robots/intro)\n  — hva Google sier filen er til, og hvorfor den ikke skjuler en side fra\n  resultatene.\n- [How Google interprets the robots.txt specification](https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec)\n  — statuskoder, caching, feltene Google overser, og hvordan den velger en\n  gruppe.\n- [Block Search indexing with noindex](https://developers.google.com/search/docs/crawling-indexing/block-indexing)\n  — regelen som faktisk holder en side ute av resultatene, og hvorfor den krever\n  at siden kan gjennomsøkes.\n\n\u003chttps://engineer.company/nb/glossary/robots-txt/\u003e\n","date_modified":"2026-11-09T21:50:25Z","description":"Hvordan søkeroboter leser robots.txt regel for regel, hva filen ikke kan holde ute av søkeresultatene, og hvorfor statuskoden kan veie tyngre enn reglene.","formats":{"gemtext":"https://engineer.company/nb/glossary/robots-txt/index.gmi","gopher":"https://engineer.company/nb/glossary/robots-txt/gophermap","html":"https://engineer.company/nb/glossary/robots-txt/","json":"https://engineer.company/nb/glossary/robots-txt/index.json","markdown":"https://engineer.company/nb/glossary/robots-txt/index.md","pdf":"https://engineer.company/nb/glossary/robots-txt/index.pdf"},"kind":"page","language":"nb","title":"Hva er robots.txt?","url":"https://engineer.company/nb/glossary/robots-txt/","version":1}