{"canonical_url":"https://engineer.company/sv/glossary/crawler/","content_markdown":"# Sökrobot\n\n## Vad det är\n\nEn sökrobot är ett program som på egen hand hämtar sidor och följer länkarna i\ndem, oftast för att en sökmotor ska kunna bygga ett index. Det finns ingen\ncentral förteckning över webbens sidor, så sökmotorn måste själv leta upp dem:\nroboten börjar med adresser den redan känner till, hämtar var och en över HTTP\noch lägger till de nya adresser som länkarna i svaret pekar på. På engelska\nheter den crawler, och Googles guide till hur sökningen fungerar räknar upp de\nandra namnen: robot, bot och spider, alltså spindel. RFC 9309, standarden för\nRobots Exclusion Protocol, beskriver sökrobotar som automatiska klienter som\nsökmotorer kör ”to recursively traverse links for indexing”, för att rekursivt\nfölja länkar inför indexering.\n\nLänkar är huvudvägen in. Google skriver att Googlebot hittar nya adresser\n”primarily from links embedded in previously crawled pages”, främst genom länkar\ni sidor som redan har genomsökts, och guiden ger det välbekanta exemplet med en\nkategorisida som länkar till ett nytt inlägg. En webbplatskarta är den andra\nvägen, en lista som webbplatsens ägare lämnar över direkt. En sida utan\nnågotdera ger en sökrobot inget sätt att få veta att den finns.\n\nHämtningen är det första av tre steg som Google beskriver. Genomsökningen laddar\nned en sidas text, bilder och video; indexeringen analyserar det som laddades\nned och lagrar det; visningen besvarar en sökfråga ur det indexet. Under\ngenomsökningen renderar Google också sidan och kör dess JavaScript i en aktuell\nversion av Chrome, eftersom Google utan det steget ”might not see that content”,\nkanske inte ser innehållet. Inget av stegen är utlovat: Google ”doesn’t\nguarantee that it will crawl, index, or serve your page”, garanterar alltså inte\natt sidan genomsöks, indexeras eller visas, och tar inte heller betalt för att\ngenomsöka en webbplats oftare.\n\nEn sökrobot förväntas också tala om vem den är. RFC 9309 låter varje sökrobot\nsätta ett eget namn, en produkttoken som bara består av bokstäver, understreck\noch bindestreck, och säger att den token bör finnas med i den\nidentifieringssträng som roboten skickar, vilket över HTTP är headern\nUser-Agent, och att strängen bör beskriva vad roboten är till för. RFC:ns\nexempelheader bär `ExampleBot/0.1` och en länk till en sida om sökroboten, och\nden motsvarande raden i robots.txt lyder `user-agent: ExampleBot`. Namnet är ett\npåstående och inget bevis, eftersom vilket program som helst kan skicka det.\n\nAlla automatiska förfrågningar från Google är inte genomsökningar. Googles\növersikt delar in dess klienter i tre slag: vanliga sökrobotar som Googlebot,\nsom alltid följer reglerna i robots.txt vid automatisk genomsökning;\nspecialrobotar, som arbetar under en överenskommelse med webbplatsen och kanske\nföljer de reglerna och kanske inte; och hämtare som startas av användare, som\noftast gör en enda förfrågan för att en person bad om den och som bortser från\nrobots.txt.\n\n## Varför det spelar roll\n\nEn sökrobot bestämmer själv när den kommer tillbaka, och dess vanor avgör en del\nav vad det kostar att bli hittad. Google skriver att Googlebot på de flesta\nwebbplatser i genomsnitt inte bör besöka webbplatsen oftare än en gång med några\nsekunders mellanrum, och dess sökrobotar backar när en webbplats har det\nsvårt; med guidens ord betyder HTTP-fel 500 ”slow down”, sakta ner. Googles\nguide om genomsökningsbudget beskriver hela mekanismen, men den är skriven för\nwebbplatser med ungefär en miljon sidor som ändras varje vecka eller 10 000\nsom ändras varje dag, och Google säger att en webbplats vars sidor genomsöks\nsamma dag som de publiceras inte behöver den.\n\nEn sökrobot läser också bara en viss mängd av varje fil. Googlebot tar vid\ngenomsökning för Google Sök de första 2 MB av en filtyp som stöds och de första\n64 MB av en PDF, mätt före komprimering, och bortser från resten.\n\nDen svaga punkten är namnet. Google varnar för att den User-Agent-header som\nGooglebot skickar ”is often spoofed by other crawlers”, ofta förfalskas av andra\nsökrobotar, så en loggrad som säger Googlebot bevisar ingenting i sig. Google\ndokumenterar två kontroller. För en enskild adress gör man ett omvänt\nDNS-uppslag, kontrollerar att värdnamnet slutar på `googlebot.com`, `google.com`\neller `googleusercontent.com`, slår sedan upp namnet framlänges och kontrollerar\natt det ger samma adress tillbaka. Googles eget exempel:\n\n```text\nhost 66.249.66.1\n1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.\nhost crawl-66-249-66-1.googlebot.com\ncrawl-66-249-66-1.googlebot.com has address 66.249.66.1\n```\n\nFör många adresser på en gång jämför man var och en med de IP-intervall som\nGoogle publicerar som JSON-filer i CIDR-notation, en fil per slag av klient.\nBåda kontrollerna vilar på nätverket som förfrågan kom från, och det kan\navsändaren inte bara skriva in i en header.\n\n## Så ser det ut i praktiken\n\nDen här webbplatsens server för en åtkomstlogg, och\n[sidan om integritet](/sv/privacy/)\nsäger hur sökrobotar skiljs från andra besökare i den. Varje rad behåller\nwebbläsarens beskrivning av sig själv, ”som är hur vi skiljer människor från\nsökmotorernas sökrobotar”, och ett andra steg följer: ”En sökrobot som uppger\nett namn kontrolleras mot de nätverk som dess ägare publicerar, med hjälp av den\nsuddade adressen nedan.” Det är Googles andra metod, den som passar\nloggen. Den sista delen av varje IP-adress ersätts med nollor innan raden\nnår disken, så den fullständiga adress som ett omvänt uppslag behöver lagras\naldrig.\n\nSammanställningarna behandlar sökrobotar som en egen publik: ”detsamma för allt\nautomatiserat” bredvid de trettio dagar som sparas för människor, en daglig\nsammanräkning av ”så många sidor lästa, så många av dem av sökrobotar, så många\nsom nådde kontaktsidan” och en månatlig rangordning av ”vilka sökrobotar och\nautomatiska skannrar som anropade”. En sökrobot som uppger sitt namn ärligt\nräknas under det namnet, och ett känt namn som skickas från ett nätverk som\nägaren inte publicerar klarar inte kontrollen.\n\n[Sidan om att vara redo för AI-agenter](/sv/ai-ready/)\nutgår från samma läsare: ”En agent börjar där en sökrobot gör”, i\nrobots.txt-filen, webbplatskartan och sökindexen. Svaret där är att göra var och\nen av dem avsiktlig, ända ned till ett meddelande via IndexNow vid varje\ndriftsättning, så att de sökmotorer som deltar ”får veta om en ny sida samma dag\nsom den publiceras i stället för vid sitt nästa besök”.\n\nDatum är ett av sätten som en webbplats talar med en sökrobot på, och de kan\nsluta med att inte säga något användbart alls. Redogörelsen för\n[en webbplatskarta som gav 172 av sina 176 sidor samma tidsstämpel](/sv/portfolio/fixed-a-sitemap-with-one-shared-timestamp/)\nsäger rakt ut vad som står på spel: ”ett ändringsdatum är ett löfte till en\nsökrobot om att en sidas innehåll har ändrats”. En webbplats som ger det löftet\n172 gånger samtidigt, fortsätter den, ”säger antingen sanningen om en\nfullständig omskrivning eller säger ingenting användbart till någon”.\n\n## Var det går fel\n\n**Förfrågningar som kallar sig Googlebot kommer från någon annan än Google.**\nLoggen visar tung trafik under Googlebots namn, och ägaren släpper antingen\nigenom den som en välkommen gäst eller blockerar namnet rakt av. Eftersom andra\nsökrobotar ofta kopierar det namnet är båda reaktionerna osäkra: den första\nlitar på en bedragare, och den andra stänger ute den äkta sökroboten tillsammans\nmed den. Kontrollera källnätverket, med omvänd och framlänges DNS för en adress\neller mot Googles publicerade intervall för många, och låt det avgöra, inte\nnamnet.\n\n**En publicerad sida dyker aldrig upp i en genomsökning.** Den har inga\ninkommande länkar, eller så går den bara att nå efter inloggning. Eftersom det\ninte finns något centralt register får en sökrobot veta om en adress genom\nlänkar och webbplatskartor, och Googles guide räknar sidor bakom en inloggning\ntill dem som dess sökrobot inte når. Länka sidan från något som redan genomsöks,\nlista den i webbplatskartan och håll allt som är tänkt för sökning utanför\ninloggningen.\n\n**Genomsökningstakten sjunker efter en dålig period för servern.** Antalet sidor\nsom hämtas per dag minskar, och ändringar tar längre tid att upptäcka. Långsamma\nsvar, 5xx-fel och svar med 429 sänker alla Googles gräns för\ngenomsökningskapacitet, som bara stiger igen när svaren blir stabila och snabba,\noch varje sökrobot från Google på samma värddator delar på det som blir över.\nÅtgärda felen och latensen först; på en webbplats med några tusen sidor är\nGoogles guide om genomsökningsbudget inte rätt ställe att börja på.\n\n**En sida som aldrig har länkats dyker upp i en sökrobots förfrågningar.**\nAdressen, kanske ett privat utkast eller en testkopia, publicerades aldrig men\nsyns ändå i åtkomstloggen. Google kallar det ”almost impossible to keep a site\nsecret by not publishing links to it”, nästan omöjligt att hålla en webbplats\nhemlig genom att låta bli att publicera länkar till den, eftersom ett klick från\nsidan till en annan webbplats kan lämna dess adress i en referrerlogg som sedan\npubliceras. Lägg allt privat bakom lösenordsskydd, som Google anger som sättet\natt hålla både sökrobotar och människor ute.\n\n## Läs mer\n\n- [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309)\n  — standardens syn på sökrobotar: produkttokens, strängen i User-Agent och de\n  regler som en sökrobot ombeds respektera.\n- [In-depth guide to how Google Search works](https://developers.google.com/search/docs/fundamentals/how-search-works)\n  — upptäckt, genomsökning, rendering och indexering så som Google beskriver\n  dem.\n- [Overview of Google crawlers and fetchers (user agents)](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers)\n  — Googles tre slag av klienter, gränsen för filstorlek, protokoll och\n  cachning.\n- [Verify requests from Google crawlers and fetchers](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests)\n  — DNS-uppslagen och de publicerade IP-intervallen, med genomräknade exempel.\n- [Optimize your crawl budget](https://developers.google.com/crawling/docs/crawl-budget)\n  — hur Google sätter sin genomsökningstakt, och vilka webbplatser som behöver\n  justera den.\n- [Googlebot](https://developers.google.com/search/docs/crawling-indexing/googlebot)\n  — sökrobotarna för mobil och dator, hur ofta Googlebot kommer på besök,\n  gränsen för filstorlek och varför en sida utan länkar inte är hemlig.\n\n\u003chttps://engineer.company/sv/glossary/crawler/\u003e\n","date_modified":"2026-10-20T21:59:50Z","description":"Länkar, webbplatskartor och namnet i User-Agent, Googles tre steg från hämtning till index och de två DNS-kontroller som avslöjar en falsk Googlebot.","formats":{"gemtext":"https://engineer.company/sv/glossary/crawler/index.gmi","gopher":"https://engineer.company/sv/glossary/crawler/gophermap","html":"https://engineer.company/sv/glossary/crawler/","json":"https://engineer.company/sv/glossary/crawler/index.json","markdown":"https://engineer.company/sv/glossary/crawler/index.md","pdf":"https://engineer.company/sv/glossary/crawler/index.pdf"},"kind":"page","language":"sv","title":"Vad är en sökrobot?","url":"https://engineer.company/sv/glossary/crawler/","version":1}