{"canonical_url":"https://engineer.company/da/glossary/robots-txt/","content_markdown":"# robots.txt\n\n## Hvad det er\n\nEnhver vært på nettet kan på den faste sti `/robots.txt` udgive en ren tekstfil\nmed anmodninger til de programmer, der crawler den. Martijn Koster definerede\nkonventionen i 1994, og i september 2022 udgav IETF den som RFC 9309, Robots\nExclusion Protocol, med et præcist sprog for reglerne og instrukser for fejl og\ncaching.\n\nFilen er en liste af grupper. En gruppe begynder med en eller flere\n`user-agent`-linjer, der hver nævner en crawler ved dens produkttoken, for\neksempel `ExampleBot`, eller `*` for alle crawlere. Under dem kommer `allow`- og\n`disallow`-linjer, hver med en sti. En crawler leder efter den gruppe, der\nnævner dens eget token, uden hensyn til store og små bogstaver, og følger den\ngruppe; nævner flere grupper den, smelter deres regler sammen til én. Kun en\ncrawler uden egen gruppe falder tilbage på `*`-gruppen, og en, der hverken\nfinder det ene eller det andet, har ingen regler at følge.\n\nInden for en gruppe gælder en regel, når dens sti passer på begyndelsen af\nadressen, og det mest specifikke match vinder, altså det med flest oktetter.\nStår en `allow` og en `disallow` lige, vinder `allow`, og en adresse, som ikke\nrammes af en regel, er tilladt. To tegn udvider en sti: `*` står for en\nvilkårlig række tegn, og `$` låser enden af adressen. Et `#` indleder en\nkommentar, og filens egen sti er altid tilladt.\n\nRFC'en fastlægger også, hvordan filen hentes. Den ligger på netop den sti med\nsmå bogstaver øverst i tjenesten, så hver vært står for sig selv, og en fil på\nét subdomæne siger intet om et andet. Den er UTF-8-kodet ren tekst. En crawler\nbør følge mindst fem omdirigeringer for at nå den, bør ikke bruge en cachet kopi\ni mere end 24 timer og må gerne sætte et loft over, hvor meget den læser, men\naldrig under 500 KiB.\n\nLinjer uden for protokollen tåles. RFC'en kalder dem andre poster, nævner\n`Sitemap` som eksempel og lader en crawler fortolke dem eller lade være på én\nbetingelse: sådan en linje må aldrig afslutte en gruppe.\n\n## Hvorfor det betyder noget\n\nRFC'en siger grænsen ligeud i sin indledning: reglerne er ikke en form for\nadgangskontrol. Filen er en anmodning. En crawler, der respekterer den, holder\nsig væk, og en, der ikke gør, læser alt, hvad serveren udleverer. Afsnittet om\nsikkerhed tilføjer, at en sti, der står i filen, dermed bliver offentlig og til\nat finde, så alt, der skal forblive privat, kræver en egentlig kontrol, for\neksempel HTTP-godkendelse.\n\nGoogles dokumentation indsnævrer formålet yderligere. Ifølge den bruges filen\nførst og fremmest til at undgå at overbelaste et site med forespørgsler, og den\ner ikke en måde at holde en side ude af Google på. En spærret adresse kan stadig\nblive indekseret, når andre sider linker til den, og vises så i resultaterne\nuden beskrivelse, fordi crawleren aldrig læste siden. For at holde en side ude\naf resultaterne henviser Google til en `noindex`-regel eller en adgangskode, og\nen `noindex`-regel virker kun på en side, crawleren må hente.\n\nDet, filen gør godt, er det arbejde, den blev skrevet til: at holde crawlere væk\nfra dele af et site, der koster serveren forespørgsler og giver en søgemaskine\nringe værdi, for eksempel uvigtige eller næsten ens sider. Rækkevidden er også\nrisikoen. Én linje under `*` gælder for hver adresse og hver crawler, der\nrespekterer filen, og en ændring kan tage op til et døgn om at slå igennem, så\n`Disallow: /` skrevet i den forkerte gruppe lukker et helt site.\n\n## Sådan ser det ud i praksis\n\nDette sites fil er lang, og næsten det hele er kommentarer. Den del, en crawler\nhandler på, er fire linjer:\n\n```text\nUser-agent: *\nContent-Signal: search=yes, ai-input=yes, ai-train=yes\nAllow: /\n\nSitemap: https://engineer.company/sitemap.xml\n```\n\nÉn gruppe dækker alle crawlere, og `Allow: /` passer på hver adresse. En gruppe\nhelt uden regler ville tillade præcis det samme, fordi en adresse, som ikke\nrammes af en regel, er tilladt, men linjen er skrevet ud, fordi åbenheden er et\nvalg. Kommentaren over den kalder politikken besluttet frem for arvet, og\n[siden om at være klar til AI-agenter](/da/ai-ready/) beskriver\ncrawlerpolitikken som en af sitets bevidste beslutninger.\n\n`Content-Signal` er ikke en post, RFC 9309 definerer. Den kommer fra Content\nSignals-ordforrådet, og her giver den samtykke til indsamling til søgning, til\nsvar på et spørgsmål i det øjeblik, det stilles, og til træning. Efter RFC'en er\nden en af de andre poster: en crawler, der kender konventionen, må læse den, en,\nder er ældre end konventionen, springer linjen over, som filens egen kommentar\nsiger, og begge skal lade gruppen fortsætte efter den. `Sitemap:`-linjen er en\npost af samme slags og peger på sitets sitemap-indeks. [Kolofonen](/da/credits/)\nopsummerer filen på samme måde: den tillader alt, »søgemaskiner og AI-systemer\npå lige fod«, og peger på sitemappet.\n\nDet, filen udelader, er også besluttet. Blandt de fem anbefalinger, dette site\nhar fravalgt, nævner siden om AI-parathed regler pr. agent og beholder én\nrobots-regel for alle agenter, »fordi en regel skrevet til én crawler i det\nstille erstatter den generelle for netop den«. Havde filen givet én AI-crawler\nsin egen gruppe, ville den crawler kun læse den gruppe, og en `Disallow`\ntilføjet senere under `*` ville aldrig nå den.\n\nResten er kommentarer, skrevet til den, der åbner filen: begrundelsen for\npolitikken og derefter adresserne på `llms.txt`, `agents.txt`, `humans.txt`,\n`security.txt` og andre maskinlæsbare filer, holdt som kommentarer, fordi\nrobots.txt ikke har et felt til dem. Det gør kommentarerne til en del af det,\nder udgives. En `#`-linje i skabelonen sendes byte for byte til hver crawler, og\nto gange bar en af dem en note til en vedligeholder, der pegede på et\nplanlægningsdokument i et repository, som ikke er offentligt. Et tjek af det\nbyggede site fejler nu, når en udgivet fil indeholder en sti ind i repositoriet,\nog vedligeholdernoter i skabelonen står i skabelonkommentarer, som generatoren\nfjerner.\n\n## Hvor det går galt\n\n**En regel ment for alle holder op med at gælde for én crawler.** Nogen tilføjer\nen gruppe for en enkelt bot, måske for at holde den ude af én mappe, og fra da\naf ignorerer den bot alt under `*`, også hver `Disallow`, der står der. RFC 9309\nsender kun en crawler til `*`-gruppen, når ingen gruppe nævner den, og Googles\ndokumentation siger, at specifikke grupper og `*`-gruppen ikke lægges sammen.\nGentag hver generel regel i hver navngiven gruppe, eller hold dig til én gruppe,\nsom dette site gør.\n\n**En spærret side dukker stadig op i søgeresultaterne.** Adressen vises uden\nbeskrivelse, måske med de ord, andre sites brugte, da de linkede til den. Google\nhentede aldrig siden, så den ved kun, at adressen findes, og hvad andre kalder\nden. En `Disallow` styrer crawling, ikke indeksering. Fjern reglen og send\n`noindex` på siden, eller læg siden bag en adgangskode; en `noindex` gemt bag en\n`Disallow` bliver aldrig læst.\n\n**Filen reklamerer for det, den skulle skjule.** En linje som `Disallow:\n/admin/` fortæller enhver læser, høflig crawler eller ej, præcis hvor der skal\nkigges, og filen er offentlig af natur. RFC'ens afsnit om sikkerhed siger, at\nstier i filen bliver til at finde, og kræver adgangskontrol i stedet. Læg privat\nmateriale bag godkendelse, og hold det helt ude af filen.\n\n**En serverfejl standser crawlingen af et helt site.** Siderne indlæses, men\nforespørgslen efter `/robots.txt` giver en 5xx-status eller en timeout, og en\ncrawler, der følger RFC'en, skal behandle det som et fuldstændigt forbud. Google\nholder op med at crawle i de første 12 timer og arbejder derefter ud fra sin\nseneste gode kopi i op til 30 dage. Den modsatte fejl er mere stille: Google\nbehandler et andet 4xx-svar end 429, også 401 og 403, som om der slet ikke var\nen fil, så hver adresse er åben. Server filen som statisk tekst med status 200,\nog overvåg selve `/robots.txt`, ikke kun forsiden.\n\n## Læs mere\n\n- [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309)\n  — selve standarden: grupper, matching, fejlhåndtering, caching og\n  sikkerhedsafsnittet.\n- [Introduction to robots.txt](https://developers.google.com/search/docs/crawling-indexing/robots/intro)\n  — hvad Google siger, filen er til, og hvorfor den ikke skjuler en side i\n  resultaterne.\n- [How Google interprets the robots.txt specification](https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec)\n  — statuskoder, caching, de felter Google ignorerer, og hvordan den vælger en\n  gruppe.\n- [Block Search indexing with noindex](https://developers.google.com/search/docs/crawling-indexing/block-indexing)\n  — reglen, der faktisk holder en side ude af resultaterne, og hvorfor siden skal\n  kunne crawles.\n\n\u003chttps://engineer.company/da/glossary/robots-txt/\u003e\n","date_modified":"2026-11-12T05:34:23Z","description":"Hvordan crawlere læser en robots.txt-fil regel for regel, hvad den ikke kan holde ude af søgeresultater, og hvorfor statuskoden kan veje mere end reglerne.","formats":{"gemtext":"https://engineer.company/da/glossary/robots-txt/index.gmi","gopher":"https://engineer.company/da/glossary/robots-txt/gophermap","html":"https://engineer.company/da/glossary/robots-txt/","json":"https://engineer.company/da/glossary/robots-txt/index.json","markdown":"https://engineer.company/da/glossary/robots-txt/index.md","pdf":"https://engineer.company/da/glossary/robots-txt/index.pdf"},"kind":"page","language":"da","title":"Hvad er robots.txt?","url":"https://engineer.company/da/glossary/robots-txt/","version":1}