{"canonical_url":"https://engineer.company/da/glossary/crawler/","content_markdown":"# Crawler\n\n## Hvad det er\n\nDer findes ingen samlet liste over nettets sider, så en søgemaskine må selv ud\nog finde dem, og det program, den sender, er en crawler. Den begynder med\nadresser, den allerede kender, henter hver af dem over HTTP, læser linkene i\nsvaret og føjer de nye adresser til sin liste. Googles guide til, hvordan Search\nvirker, nævner de andre navne, der er i brug, nemlig robot, bot og spider, og\nRFC 9309, standarden for robots.txt, beskriver crawlere som automatiske\nklienter, som søgemaskiner bruger til at følge links rekursivt med henblik på\nindeksering.\n\nLinks er hovedvejen ind. Ifølge Google finder Googlebot nye adresser først og\nfremmest via links i sider, den allerede har crawlet, og guiden giver det\nvelkendte eksempel med en kategoriside, der linker til et nyt indlæg. Et sitemap\ner den anden vej, en liste, som ejeren af sitet afleverer direkte. En side uden\nnogen af delene giver en crawler ingen måde at opdage, at den findes.\n\nAt hente er det første af tre trin, Google beskriver. Crawling henter tekst,\nbilleder og video fra en side; indeksering analyserer det hentede og gemmer det;\nvisning besvarer en søgning ud fra indekset. Under crawlingen renderer Google\nogså siden og kører dens JavaScript i en nyere udgave af Chrome, fordi Google\nuden det trin risikerer at overse indhold. Intet af det er lovet: Google\ngaranterer ikke, at en side bliver crawlet, indekseret eller vist, og tager ikke\nimod betaling for at crawle et site oftere.\n\nEn crawler forventes også at sige, hvem den er. RFC 9309 lader hver crawler\nvælge sit eget navn, et produkttoken, der kun må bestå af bogstaver,\nunderstregninger og bindestreger, og siger, at tokenet bør indgå i den\nidentifikationsstreng, crawleren sender, hvilket over HTTP er\nUser-Agent-headeren, og at strengen bør beskrive crawlerens formål. RFC'ens\neksempel på en header indeholder `ExampleBot/0.1` og et link til en side om\ncrawleren, og den tilsvarende linje i robots.txt lyder `user-agent: ExampleBot`.\nNavnet er en påstand og ikke et bevis, for ethvert program kan sende det.\n\nIkke enhver automatisk forespørgsel fra Google er en crawl. Googles oversigt\ndeler klienterne i tre slags: almindelige crawlere som Googlebot, der altid\nrespekterer robots.txt ved automatisk crawling; specialcrawlere, der arbejder\nefter en aftale mellem sitet og et Google-produkt og måske følger reglerne,\nmåske ikke; og brugerudløste fetchere, der som regel henter én side, fordi en\nperson bad om den, og som ignorerer robots.txt.\n\n## Hvorfor det betyder noget\n\nEn crawler bestemmer selv, hvornår den kommer igen, og dens manerer afgør en del\naf prisen for at blive fundet. Google skriver, at Googlebot på de fleste sites i\ngennemsnit højst bør komme forbi én gang hvert par sekunder, og at crawlerne\ntrækker sig, når et site har det svært; i Search-guiden betyder en HTTP\n500-fejl, at de skal sætte farten ned. Googles guide til crawlbudget beskriver\nhele mekanismen, men den er skrevet til sites med omkring en million sider, der\nændres ugentligt, eller ti tusind, der ændres dagligt, og Google siger, at et\nsite, hvis sider bliver crawlet samme dag, de udgives, ikke behøver den.\n\nEn crawler læser også kun så meget af hver fil. Når Googlebot crawler til\nSearch, henter den de første 2 MB af en understøttet filtype og de første 64 MB\naf en PDF, målt før komprimering, og ser bort fra resten.\n\nDet svage punkt er navnet. Google advarer om, at andre crawlere ofte forfalsker\nden User-Agent-header, Googlebot sender, så en loglinje, der siger Googlebot,\nbeviser intet i sig selv. Google beskriver to tjek. For en enkelt adresse laver\nman et omvendt DNS-opslag, bekræfter, at værtsnavnet ender på `googlebot.com`,\n`google.com` eller `googleusercontent.com`, slår så navnet op den anden vej og\nbekræfter, at det giver den samme adresse. Googles eget eksempel:\n\n```text\nhost 66.249.66.1\n1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.\nhost crawl-66-249-66-1.googlebot.com\ncrawl-66-249-66-1.googlebot.com has address 66.249.66.1\n```\n\nFor mange adresser på én gang sammenligner man hver af dem med de\nIP-intervaller, Google udgiver som JSON-filer i CIDR-notation, én fil pr. slags\nklient. Begge tjek bygger på det netværk, forespørgslen kom fra, og det kan\nafsenderen ikke bare skrive ind i en header.\n\n## Sådan ser det ud i praksis\n\n[Siden om privatliv](/da/privacy/) fortæller, hvordan crawlere skelnes fra andre\ni dette sites adgangslog. Hver linje gemmer browserens beskrivelse af sig selv,\n»som er sådan, vi skelner mennesker fra søgemaskinernes robotter«, og et trin\nmere følger: »En robot, der giver et navn, tjekkes mod de netværk, dens ejer\noffentliggør, med den slørede adresse nedenfor.« Det er Googles anden metode, og\nden passer til loggen: den sidste del af hver IP-adresse erstattes med nuller,\nfør linjen rammer disken, så den fulde adresse, som et omvendt opslag kræver,\ngemmes aldrig.\n\nOpgørelserne behandler crawlere som et publikum for sig: »det samme for alt det\nautomatiske« ved siden af de tredive dage for mennesker, en daglig optælling af\n»så mange sider læst, så mange af dem af robotter, så mange der nåede\nkontaktsiden« og en månedlig rangliste over, »hvilke robotter og automatiske\nscannere der ringede på«. En crawler, der ærligt siger sit navn, tælles under\ndet navn, og et kendt navn sendt fra et netværk, som ejeren ikke offentliggør,\nbestår ikke tjekket.\n\n[Siden om at være klar til AI-agenter](/da/ai-ready/) tager udgangspunkt i den\nsamme læser: »En agent begynder, hvor en crawler gør«, i robots.txt-filen, i\nsitemappet og i søgeindeksene. Dens svar er at gøre hvert af dem til et bevidst\nvalg, helt ned til en IndexNow-melding ved hver udrulning, så de søgemaskiner,\nder er med, hører om en ny side »samme dag, den går i luften, og ikke først ved\nderes næste besøg«.\n\nDatoer er én måde, et site taler til en crawler på, og de kan ende med ikke at\nsige noget brugbart. Beretningen om [et sitemap, der gav 172 af dets 176 sider\nsamme tidsstempel](/da/portfolio/fixed-a-sitemap-with-one-shared-timestamp/)\nsiger det ligeud: »en ændringsdato er et løfte til en crawler om, at en sides\nindhold er ændret«. Et site, der giver løftet for hver side på én gang,\nfortsætter den, »fortæller enten sandheden om en fuld omskrivning eller\nfortæller ingen noget brugbart«.\n\n## Hvor det går galt\n\n**Forespørgsler, der kalder sig Googlebot, kommer ikke fra Google.** Loggen\nviser meget trafik under Googlebots navn, som ejeren enten lukker ind eller\nblokerer helt. Da andre crawlere ofte låner navnet, er ingen af reaktionerne\nsikker: den første stoler på en bedrager, og den anden lukker den ægte crawler\nude sammen med den. Tjek netværket, som forespørgslen kom fra, med omvendt og\nfremadrettet DNS for én adresse eller mod Googles udgivne intervaller for mange,\nog afgør sagen ud fra det frem for navnet.\n\n**En udgivet side dukker aldrig op i en crawl.** Intet linker til den, eller den\nkan kun nås efter login. Uden et centralt register lærer en crawler om en\nadresse via links og sitemaps, og Googles guide nævner sider bag et login blandt\ndem, crawleren ikke kan nå. Link til siden fra et sted, der allerede bliver\ncrawlet, sæt den i sitemappet, og hold alt, der skal kunne findes i søgning,\nuden for login.\n\n**Crawlhastigheden falder efter en dårlig periode for serveren.** Der hentes\nfærre sider om dagen, og ændringer er længere tid om at blive set. Langsomme\nsvar, 5xx-fejl og 429-svar sænker alle Googles grænse for crawlkapacitet, som\nførst stiger igen, når svarene bliver stabile og hurtige, og alle Googles\ncrawlere på værten deler det, der er tilbage. Ret fejlene og svartiderne først;\net site med et par tusind sider skal ikke begynde i guiden til crawlbudget.\n\n**En side, som ingen har linket til, dukker op i en crawlers forespørgsler.**\nAdressen blev aldrig udgivet, måske et privat udkast, og alligevel står den i\nadgangsloggen. Google kalder det næsten umuligt at holde et site hemmeligt ved\nbare at lade være med at linke til det, fordi et klik fra siden videre til et\nandet site kan efterlade adressen i en henvisningslog, der bliver\noffentliggjort. Læg alt privat bag adgangskodebeskyttelse, som Google nævner som\nmåden at holde både crawlere og mennesker ude på.\n\n## Læs mere\n\n- [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309)\n  — standardens syn på crawlere: produkttokens, User-Agent-strengen og de\n  regler, en crawler bedes respektere.\n- [In-depth guide to how Google Search works](https://developers.google.com/search/docs/fundamentals/how-search-works)\n  — opdagelse, crawling, rendering og indeksering, sådan som Google beskriver dem.\n- [Overview of Google crawlers and fetchers (user agents)](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers)\n  — Googles tre slags klienter, grænsen for filstørrelse, protokoller og caching.\n- [Verify requests from Google crawlers and fetchers](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests)\n  — DNS-opslagene og de udgivne IP-intervaller med gennemregnede eksempler.\n- [Optimize your crawl budget](https://developers.google.com/crawling/docs/crawl-budget)\n  — hvordan Google sætter sin crawlhastighed, og hvilke sites der har brug for at\n  justere den.\n- [Googlebot](https://developers.google.com/search/docs/crawling-indexing/googlebot)\n  — crawlerne til smartphone og computer, hvor ofte Googlebot kommer forbi,\n  grænsen for filstørrelse, og hvorfor en side uden links ikke er hemmelig.\n\n\u003chttps://engineer.company/da/glossary/crawler/\u003e\n","date_modified":"2026-10-20T21:59:50Z","description":"Hvordan en crawler finder sider og doserer sine besøg, hvordan man afslører en efterligning i loggen, og hvorfor crawlet ikke betyder indekseret.","formats":{"gemtext":"https://engineer.company/da/glossary/crawler/index.gmi","gopher":"https://engineer.company/da/glossary/crawler/gophermap","html":"https://engineer.company/da/glossary/crawler/","json":"https://engineer.company/da/glossary/crawler/index.json","markdown":"https://engineer.company/da/glossary/crawler/index.md","pdf":"https://engineer.company/da/glossary/crawler/index.pdf"},"kind":"page","language":"da","title":"Hvad er en crawler?","url":"https://engineer.company/da/glossary/crawler/","version":1}