{"canonical_url":"https://engineer.company/nb/glossary/crawler/","content_markdown":"# Søkerobot\n\n## Hva det er\n\nEn søkemotor må selv gå ut og finne sidene på nettet, fordi ingen fører en samlet liste over dem,\nog programmet den sender, er en søkerobot. Den starter fra adresser den allerede kjenner, henter\nhver av dem over HTTP, leser lenkene i det som kommer tilbake, og legger de nye adressene til på\nlisten sin. Googles veiledning om hvordan søket fungerer, gir de andre navnene som er i bruk, «also\nknown as a crawler, robot, bot, or spider», altså også kjent som crawler, robot, bot eller\nedderkopp. RFC 9309, standarden for å holde roboter ute, beskriver søkeroboter som automatiske\nklienter søkemotorer kjører «to recursively traverse links for indexing», for å følge lenker\nrekursivt med tanke på indeksering.\n\nLenker er hovedveien inn. Google skriver at Googlebot finner nye adresser «primarily from links\nembedded in previously crawled pages», først og fremst fra lenker i sider som allerede er\ngjennomsøkt, og veiledningen gir det kjente eksempelet med en kategoriside som lenker til et nytt\ninnlegg. Et sitemap er den andre veien, en liste eieren av nettstedet leverer direkte. En side som\nstår utenfor begge veiene, gir en søkerobot ingen mulighet til å oppdage at den finnes.\n\nHentingen er det første av tre trinn Google beskriver. Gjennomsøkingen (_crawling_) laster ned\ntekst, bilder og video fra en side, indekseringen analyserer det som ble lastet ned, og lagrer det,\nog visningen (_serving_) besvarer et søk fra den indeksen. Under gjennomsøkingen gjengir Google\nogså siden og kjører JavaScript-koden i en nyere versjon av Chrome, fordi Google uten det trinnet\n«might not see that content», kanskje ikke ser det innholdet. Alle trinnene skjer uten garanti:\nGoogle «doesn't guarantee that it will crawl, index, or serve your page», garanterer altså ikke at\nsiden blir gjennomsøkt, indeksert eller vist, og «doesn't accept payment to crawl a site more\nfrequently», tar ikke imot betaling for å gjennomsøke et nettsted oftere.\n\nEn søkerobot ventes også å si hvem den er. RFC 9309 lar hver søkerobot sette sitt eget navn, et\nprodukttoken (_product token_) som bare består av bokstaver, understreker og bindestreker. Tokenet\nbør stå i identifikasjonsstrengen roboten sender, som over HTTP er headeren User-Agent, og strengen\nbør beskrive hva roboten skal gjøre. RFC-ens eksempel på en header inneholder `ExampleBot/0.1` og\nen lenke til en side om roboten, og den tilsvarende linjen i robots.txt lyder\n`user-agent: ExampleBot`. Navnet er en påstand og ikke en legitimasjon, siden hvilket som helst\nprogram kan sende det.\n\nGoogle sender også automatiske forespørsler som faller utenfor gjennomsøkingen. Oversikten deres\nsorterer klientene i tre slag: vanlige søkeroboter som Googlebot, som «always respect robots.txt\nrules for automatic crawls», altså alltid følger reglene i robots.txt ved automatisk\ngjennomsøking, søkeroboter for spesialtilfeller, som arbeider under en avtale med nettstedet og kan\nfølge de reglene eller la være, og hentere som en person utløser (_user-triggered fetchers_), som\nvanligvis gjør én enkelt forespørsel fordi noen ba om det, og som overser robots.txt.\n\n## Hvorfor det er viktig\n\nEn søkerobot bestemmer selv når den kommer tilbake, og oppførselen dens avgjør en del av prisen for\nå bli funnet. Google skriver at Googlebot på de fleste nettsteder «shouldn't access your site more\nthan once every few seconds on average», i snitt ikke bør besøke nettstedet oftere enn én gang med\nnoen sekunders mellomrom, og søkerobotene trekker seg tilbake når et nettsted sliter. Med ordene i\nsøkeveiledningen betyr HTTP 500-feil «slow down», altså senk farten. Googles veiledning om\ngjennomsøkingsbudsjett (_crawl budget_) beskriver hele mekanismen, men den er skrevet for\nnettsteder med omtrent en million sider som endres ukentlig, eller ti tusen som endres daglig, og\nGoogle sier at et nettsted der sidene gjennomsøkes samme dag som de publiseres, kan se bort fra\nden.\n\nEn søkerobot leser dessuten bare en viss mengde av hver fil. Når Googlebot gjennomsøker for Search,\ntar den de første 2 MB av en støttet filtype og de første 64 MB av en PDF, målt før komprimering,\nog overser resten.\n\nDet svake punktet er navnet. Google advarer om at headeren User-Agent som Googlebot sender, «is\noften spoofed by other crawlers», ofte blir forfalsket av andre søkeroboter, så en logglinje som\nsier Googlebot, beviser ingenting i seg selv. Google dokumenterer to sjekker. For én enkelt adresse\ngjør du et omvendt DNS-oppslag, bekrefter at vertsnavnet slutter på `googlebot.com`, `google.com`\neller `googleusercontent.com`, slår så opp det navnet forover og bekrefter at det gir den samme\nadressen. Googles eget eksempel:\n\n```text\nhost 66.249.66.1\n1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.\nhost crawl-66-249-66-1.googlebot.com\ncrawl-66-249-66-1.googlebot.com has address 66.249.66.1\n```\n\nFor mange adresser på en gang sammenligner du hver av dem med IP-områdene Google publiserer som\nJSON-filer i CIDR-notasjon, én fil per type klient. Begge sjekkene bygger på nettverket en\nforespørsel kom fra, og det kan ikke avsenderen bare skrive inn i en header.\n\n## Slik ser det ut i praksis\n\nServeren til dette nettstedet fører en tilgangslogg, og [personvernsiden](/nb/privacy/) forteller\nhvordan søkeroboter skilles ut i den. Hver linje beholder nettleserens beskrivelse av seg selv,\n«user agent», «som er måten vi skiller mennesker fra søkemotorenes søkeroboter på», og et trinn\ntil følger: «En søkerobot som oppgir et navn, sjekkes mot nettverkene eieren publiserer, ved hjelp\nav den tilslørte adressen nedenfor.» Det er Googles andre metode, og den passer til det loggen tar\nvare på. Den siste delen av hver IP-adresse erstattes med nuller før linjen når disken, så den\nfullstendige adressen et omvendt oppslag trenger, blir aldri lagret.\n\nSammendragene behandler søkeroboter som et eget publikum: «det samme for alt som er automatisert»\nved siden av de tretti dagene som gjelder for mennesker, en daglig opptelling av «så mange sider\nlest, så mange av dem av søkeroboter, så mange som nådde kontaktsiden», og en månedlig rangering av\n«hvilke søkeroboter og automatiske skannere som var innom». En søkerobot som oppgir navnet sitt\nærlig, telles under sitt eget navn, og et kjent navn sendt fra et nettverk eieren ikke publiserer,\nstryker på sjekken.\n\n[Siden om å være klar for AI-agenter](/nb/ai-ready/) tar utgangspunkt i den samme leseren: en agent\nbegynner der en søkerobot begynner, ved robots.txt-filen, sitemapet og søkeindeksene. Svaret siden\ngir, er å gjøre hvert av dem til en bevisst beslutning, helt ned til en IndexNow-melding ved hver\nproduksjonssetting, slik at søkemotorene som er med, «hører om en ny side samme dag som den\npubliseres, og ikke først ved neste besøk».\n\nDatoer er én måte et nettsted snakker med en søkerobot på, og de kan ende opp med å si lite som er\ntil nytte. Omtalen av\n[et sitemap som ga 172 av de 176 sidene sine ett tidsstempel](/nb/portfolio/fixed-a-sitemap-with-one-shared-timestamp/)\nsier rett ut hva som står på spill: «en endringsdato er et løfte til en søkerobot om at innholdet\npå en side har endret seg». Et nettsted som gir det løftet for alle sidene på en gang, fortsetter\nden, «forteller enten sannheten om en fullstendig omskriving eller forteller ingen noe nyttig».\n\n## Hvor det går galt\n\n**Forespørsler som kaller seg Googlebot, kommer fra noen andre enn Google.** Loggen viser mye\ntrafikk under navnet til Googlebot, og eieren slipper den enten inn som en velkommen gjest eller\nblokkerer navnet helt. Siden andre søkeroboter ofte kopierer det navnet, er begge reaksjonene\nrisikable: den første stoler på en bedrager, og den andre stenger den ekte søkeroboten ute sammen\nmed den. Sjekk nettverket forespørselen kom fra, med omvendt og forover DNS for én adresse eller\nmot Googles publiserte områder for mange, og bestem deg ut fra det i stedet for ut fra navnet.\n\n**En publisert side dukker aldri opp i gjennomsøkingen.** Siden har ingen lenker som peker til\nseg, eller den kan bare nås etter innlogging. En søkerobot lærer om en adresse fra lenker og\nsitemaps, siden et sentralt register ikke finnes, og Googles veiledning nevner sider bak innlogging\nblant dem søkeroboten ikke kommer til. Lenk til siden fra et sted som allerede blir gjennomsøkt,\nfør den opp i sitemapet, og hold alt som er ment for søk, utenfor innloggingen.\n\n**Gjennomsøkingstakten faller etter en dårlig periode for serveren.** Færre sider hentes hver dag,\nog endringer tar lengre tid å bli sett. Trege svar, 5xx-feil og 429-svar senker alle Googles\ngrense for gjennomsøkingskapasitet, som bare klatrer tilbake når svarene blir stabile og raske, og\nalle Googles søkeroboter på verten deler det som er igjen. Rett feilene og latensen først. På et\nnettsted med noen få tusen sider er Googles veiledning om gjennomsøkingsbudsjett feil sted å\nbegynne.\n\n**En side uten lenker dukker opp i forespørslene fra en søkerobot.** Adressen ble aldri publisert,\nkanskje et privat utkast eller en testkopi, og den står likevel i tilgangsloggen under navnet til\nen søkerobot. Google kaller det «almost impossible to keep a site secret by not publishing links\nto it», nesten umulig å holde et nettsted hemmelig ved å la være å publisere lenker til det, fordi\net klikk fra den siden til et annet nettsted kan legge igjen adressen i en henvisningslogg\n(_referrer log_) som blir publisert. Legg alt som er privat, bak passordbeskyttelse, som Google\nnevner som måten å holde både søkeroboter og mennesker ute på.\n\n## Les mer\n\n- [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309) — standardens syn\n  på søkeroboter: produkttokens, strengen i User-Agent og reglene en søkerobot blir bedt om å\n  respektere.\n- [In-depth guide to how Google Search works](https://developers.google.com/search/docs/fundamentals/how-search-works)\n  — oppdagelse, gjennomsøking, gjengivelse og indeksering slik Google beskriver dem.\n- [Overview of Google crawlers and fetchers (user agents)](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers)\n  — de tre slagene klienter hos Google, grensen for filstørrelse, protokoller og caching.\n- [Verify requests from Google crawlers and fetchers](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests)\n  — DNS-oppslagene og de publiserte IP-områdene, med gjennomgåtte eksempler.\n- [Optimize your crawl budget](https://developers.google.com/crawling/docs/crawl-budget) — hvordan\n  Google setter gjennomsøkingstakten, og hvilke nettsteder som trenger å justere den.\n- [Googlebot](https://developers.google.com/search/docs/crawling-indexing/googlebot)\n  — søkerobotene for mobil og datamaskin, hvor ofte Googlebot kommer innom, grensen for\n  filstørrelse og hvorfor en side uten lenker ikke er hemmelig.\n\n\u003chttps://engineer.company/nb/glossary/crawler/\u003e\n","date_modified":"2026-10-20T21:59:50Z","description":"Hvordan en søkerobot finner sider og doserer besøkene, hvordan du skiller en ekte fra en bedrager i loggen, og hvorfor gjennomsøkt ikke betyr indeksert.","formats":{"gemtext":"https://engineer.company/nb/glossary/crawler/index.gmi","gopher":"https://engineer.company/nb/glossary/crawler/gophermap","html":"https://engineer.company/nb/glossary/crawler/","json":"https://engineer.company/nb/glossary/crawler/index.json","markdown":"https://engineer.company/nb/glossary/crawler/index.md","pdf":"https://engineer.company/nb/glossary/crawler/index.pdf"},"kind":"page","language":"nb","title":"Hva er en søkerobot?","url":"https://engineer.company/nb/glossary/crawler/","version":1}