{"canonical_url":"https://engineer.company/nb/glossary/full-text-search/","content_markdown":"# Fulltekstsøk\n\n## Hva det er\n\nFulltekstsøk finner dokumentene som inneholder ordene i en spørring, uansett\nhvilken bøyningsform ordene står i, og kan sette de beste treffene øverst. Mange\nsier også fritekstsøk, og på engelsk heter det full-text search. Et dokument er\nher det programmet behandler som én enhet å søke i: en e-post, en artikkel, en\nsupportsak eller tittel og brødtekst fra én rad satt sammen.\n\nDet som skiller fulltekstsøk fra et vanlig mønstersøk, er arbeidet som gjøres\nfør noe blir sammenlignet. Først deles teksten opp i tokens: ord, tall,\ne-postadresser og andre klasser. Deretter gjøres hvert token om til et leksem,\nen normalisert form som får varianter av samme ord til å bli like. Store\nbokstaver blir små, endelser kuttes bort så ordet føres tilbake til stammen, og\nstoppord, ordene som er så vanlige at de ikke sier noe om innholdet, fjernes.\nResultatet lagres sammen med posisjonen til hvert leksem, slik at rangeringen\nsenere kan foretrekke dokumenter der søkeordene står nær hverandre. Spørringen\ngår gjennom den samme behandlingen, så et søk på «kontrakter» og et dokument som\nskriver «kontrakt», møtes på midten.\n\nPostgreSQL har dette innebygd. Datatypen `tsvector` holder et dokument i\nnormalisert form, `tsquery` holder en spørring, og operatoren `@@` avgjør om den\nene matcher den andre. En tekstsøkkonfigurasjon bestemmer hvordan\nnormaliseringen skjer: hvilken parser som deler opp teksten, og hvilke ordbøker\nsom gjør tokens om til leksemer. Standardinstallasjonen har konfigurasjoner for\nen lang rekke språk, blant dem `norwegian`, `danish`, `swedish` og `english`, og\nkommandoen `\\dF` i psql viser hvilke som er installert. SQLite tilbyr den samme\nideen gjennom utvidelsen FTS5, der en virtuell tabell holder indeksen og\noperatoren `MATCH` søker i den.\n\n## Hvorfor det er viktig\n\nPostgreSQL-dokumentasjonen forklarer hva de eldre operatorene mangler. `LIKE`,\n`ILIKE` og regulære uttrykk har ingen språklig forståelse, så et søk på\n«avtalene» går glipp av et dokument som skriver «avtaler», med mindre noen\nskriver ut alle bøyningsformene for hånd. De rangerer ikke, så tusen treff\nkommer tilbake i en rekkefølge som ikke sier noe om hvilke som er best. Og de\nkan ikke bruke en vanlig indeks til denne typen søk, så hver spørring må lese\nhvert eneste dokument. Et mønster som `%bil%` treffer dessuten både «bilag» og\n«stabil», og det er støy, ikke bedre dekning.\n\nFolk skriver ord i et søkefelt og venter å finne dokumentene som handler om dem.\nI et kontraktarkiv, en kundestøtte eller en produktkatalog er fulltekstsøk\nforskjellen på et søkefelt folk stoler på, og et de gir opp etter tredje bom.\nRangeringen betyr like mye som selve treffet: Den som søker etter «forsinket\nbetaling», vil ha purrebrevet øverst, ikke de hundre fakturaene som nevner\nbetaling én gang.\n\nAt søket bor i databasen man allerede drifter, har også en praktisk side.\nSøkeindeksen oppdateres i samme transaksjon som dataene, så en rad er søkbar i\ndet øyeblikket den committes, og en slettet rad forsvinner fra resultatene i\nsamme øyeblikk. Filtre på dato, kunde eller tilganger er vanlige\n`WHERE`-betingelser ved siden av tekstbetingelsen. En egen søketjeneste kan mer,\nmen den er et system til som skal fôres og holdes i takt med det første, og hver\nglipp mellom dem viser seg som et treff som mangler, eller et som burde vært\nborte.\n\nFulltekstsøk har også en grense som er verdt å kjenne fra starten: Det matcher\nord, ikke mening. Et søk på «bil» finner ikke «kjøretøy» med mindre en\nsynonymordbok kobler dem sammen. Vektorsøk, som sammenligner tallmessige\nrepresentasjoner av mening, dekker det tilfellet, og de to kombineres ofte.\n\n## Slik ser det ut i praksis\n\nTa en tabell med dokumenter som har en tittel, en brødtekst og en angivelse av\nhvor hvert dokument kom fra. En lagret generert kolonne holder den søkbare\nformen oppdatert ved hver innsetting og endring, og en GIN-indeks gjør den rask\nå søke i:\n\n```sql\nCREATE TABLE documents (\n    id         bigint GENERATED ALWAYS AS IDENTITY PRIMARY KEY,\n    title      text,\n    body       text,\n    source     text NOT NULL,\n    search_vec tsvector GENERATED ALWAYS AS (\n                   setweight(to_tsvector('norwegian', coalesce(title, '')), 'A')\n                || setweight(to_tsvector('norwegian', coalesce(body, '')), 'D')\n               ) STORED\n);\n\nCREATE INDEX documents_search_idx ON documents USING GIN (search_vec);\n```\n\nTre detaljer bærer det hele. Konfigurasjonen er navngitt, `'norwegian'`, i\nstedet for å overlates til sesjonens `default_text_search_config`; det er formen\nav `to_tsvector` med to argumenter PostgreSQL kan lagre og indeksere. `coalesce`\ngjør en manglende tittel eller brødtekst om til en tom streng, for ellers ville\nén NULL gjort hele dokumentet til NULL. Og `setweight` merker hvert leksem med\nhvor det kom fra: A for tittelen, D for brødteksten. Rangeringsfunksjonene\nbruker vektene `{0.1, 0.2, 0.4, 1.0}` for D, C, B og A hvis man ikke oppgir\nandre, så et søkeord i tittelen teller ti ganger så mye som det samme ordet i\nbrødteksten.\n\nGIN er indekstypen dokumentasjonen anbefaler for tekstsøk: en invertert indeks\nmed én oppføring per leksem og en komprimert liste over radene der leksemet\nforekommer. GiST fungerer også, men den er ikke eksakt og må sjekke selve\ntabellraden for å luke ut falske treff.\n\nSpørringen tar imot ordene brukeren skrev, akkurat slik brukeren skrev dem:\n\n```sql\nSELECT id, title, source,\n       ts_rank_cd(search_vec, query) AS rank\nFROM   documents,\n       websearch_to_tsquery('norwegian', 'ubetalt faktura -utkast') AS query\nWHERE  search_vec @@ query\nORDER  BY rank DESC\nLIMIT  10;\n```\n\n`websearch_to_tsquery` leser input slik et søkefelt på nettet gjør. Vanlige ord\nmå alle forekomme, i hvilken som helst form den norske stammeregelen fører\ntilbake til samme leksem. Tekst i anførselstegn må forekomme som en\nsammenhengende frase, ordet «or» gir et alternativ, og et minus foran et ord\nutelukker det, så denne spørringen hopper over alle dokumenter som nevner et\nutkast. Funksjonen gir aldri syntaksfeil, og derfor er den det trygge valget for\nrå brukerinput. `ts_rank_cd` rangerer etter cover density, en metode fra en\nartikkel av Clarke, Cormack og Tudhope fra 1999 som også belønner søkeord som\nstår tett sammen. Søsterfunksjonen `ts_rank` ser på hvor ofte ordene forekommer.\nBegge tar et normaliseringsflagg: 1 deler for eksempel rangen på én pluss\nlogaritmen av dokumentets lengde, så et langt dokument ikke vinner bare fordi\ndet er langt.\n\nNorsk byr på en ekstra utfordring: sammensatte ord. Snowball-algoritmen bak\nkonfigurasjonen `norwegian` fjerner bare endelser og deler aldri et ord, så et\nsøk på «fabrikk» treffer ikke et dokument som bare skriver «sjokoladefabrikk».\nPostgreSQL kan dele sammensetninger med en Ispell- eller Hunspell-ordbok der\naffiksfilen merker hvilke ord som kan inngå i dem, med linjen\n`compoundwords controlled z`. Dokumentasjonen viser et norsk eksempel med en\nslik ordbok, kalt `norwegian_ispell`:\n\n```sql\nSELECT ts_lexize('norwegian_ispell', 'sjokoladefabrikk');\n```\n\nSvaret er `{sjokoladefabrikk,sjokolade,fabrikk}`: hele ordet og begge delene, så\ndokumentet blir funnet både på helheten og på hver del. PostgreSQL leveres uten\nslike ordbokfiler, så de må hentes og legges i katalogen `tsearch_data`. En\nIspell-ordbok kjenner dessuten bare et begrenset utvalg ord, så i\nkonfigurasjonen bør den følges av en bredere ordbok, for eksempel Snowball, som\ntar resten.\n\nSelskapets [arbeid med bedriftsdata klare for AI-agenter](/nb/ai-data/) har det\nsamme behovet. Siden beskriver hvordan gamle PDF-er, skanninger og e-postarkiver\ngjøres om til søkbar tekst med kilden lagret ved siden av, slik at de kan finnes\nog ikke bare oppbevares. Kolonnen `source` ovenfor har nettopp den jobben: Et\ntreff er mer verdt når leseren kan åpne originalen.\n\nSQLite kommer til samme resultat med mindre seremoni. En virtuell tabell\nopprettet med `CREATE VIRTUAL TABLE notes USING fts5(title, body)` spørres med\n`WHERE notes MATCH 'faktura NOT utkast'`, og `ORDER BY bm25(notes)` setter de\nbeste treffene først: FTS5 gir bedre treff lavere verdier, så den vanlige\nstigende sorteringen er den riktige. Standardtokenizeren heter `unicode61`;\ntokenizeren `porter` legger til stemming, men ifølge dokumentasjonen bare for\nengelsk, så norske bøyningsformer slås ikke sammen i FTS5 uten en tokenizer man\nlegger til selv.\n\n## Hvor det går galt\n\n**En indeks spørringen aldri rører.** En uttrykksindeks bygd på\n`to_tsvector('norwegian', body)` hjelper bare spørringer som gjentar akkurat det\nuttrykket. En spørring skrevet som `to_tsvector(body)`, som lener seg på\nstandardkonfigurasjonen, leser hele tabellen. Lagre vektoren i en generert\nkolonne som ovenfor, og søk i kolonnen; da kan spørring og indeks ikke gli fra\nhverandre.\n\n**Én NULL som skjuler et dokument.** `to_tsvector(NULL)` gir NULL, og en\nNULL-tittel satt sammen med en brødtekst gir også NULL, så en rad uten tittel\nforsvinner i stillhet fra alle søk. Pakk hvert felt inn i `coalesce`.\n\n**Rå input i `to_tsquery`.** `to_tsquery` forventer sin egen operatorsyntaks og\ntåler dårligere rotete input enn de andre konverteringsfunksjonene, så en bruker\nsom taster en parentes uten partner eller et løst \u0026-tegn, får en feilside. Send\nbrukerinput gjennom `websearch_to_tsquery`, eller gjennom `plainto_tsquery` når\ndet ikke skal være operatorer i det hele tatt.\n\n**Feil språk.** Norsk tekst indeksert med den engelske konfigurasjonen blir\nkuttet etter engelske regler og filtrert med engelske stoppord, så halvparten av\nbøyningsformene aldri møtes. Velg konfigurasjonen etter språket i teksten. En\nsamling på flere språk kan lagre navnet på konfigurasjonen i en egen kolonne og\nindeksere `to_tsvector(config_name, body)`, så lenge spørringene bruker den\nsamme kolonnen.\n\n**En ordbok endret bak ryggen på sesjonene.** En databasesesjon leser\nordbokfilene sine første gang de brukes, og så ikke igjen. Den som legger nye\nord i en Ispell-ordbok, ser dem derfor bare i nye tilkoblinger, og en\ntilkoblingspool kan holde på de gamle lenge. Kjør `ALTER TEXT SEARCH DICTIONARY`\npå ordboken, også som en tom endring der ingen parameter får ny verdi, så leser\nde eksisterende sesjonene filene på nytt. En tesaurusordbok brukes når\ndokumentene indekseres, så etter en endring i den må de lagrede vektorene bygges\npå nytt.\n\n**Rangering av hvert eneste treff.** Rangeringen leser `tsvector` for hver rad\nsom matcher, og dokumentasjonen advarer om at det kan være I/O-bundet og tregt.\nEn spørring på ett ord som matcher halve tabellen, får databasen til å rangere\nhalve tabellen før `LIMIT` beholder ti. Snevre inn kandidatene med vanlige\nbetingelser først, for eksempel et datointervall eller en kunde, og hold\nvektoren lagret så den ikke beregnes på nytt for hver rad.\n\n**En rang vist som prosent.** Rangeringsfunksjonene bruker ingen kunnskap om\nsamlingen som helhet, så en rang kan ikke gjøres om til et rettferdig «87 %\nrelevant». Normaliseringsflagget 32 presser rangen inn mellom null og én, men\ndokumentasjonen kaller det en rent kosmetisk endring. Bruk rangen til å sortere\nresultatene og til ingenting annet.\n\n**Uthevinger med markup.** `ts_headline` returnerer et utdrag der søkeordene er\nmerket, og det er akkurat det en resultatside vil ha. PostgreSQL advarer om at\nutdraget ikke er garantert trygt å sette rett inn i en nettside. Et dokument med\nHTML kan bære et skript med seg inn på siden. Fjern markup fra input, eller send\noutput gjennom en HTML-sanitizer. Funksjonen arbeider dessuten på\noriginalteksten og ikke på vektoren, så kall den bare for radene på siden som\nvises, etter `LIMIT`, og ikke for hvert treff.\n\n**Dokumenter som er for store for én vektor.** En `tsvector` må holde seg under\n1 MB og lagrer høyst 256 posisjoner per leksem. En hel bok eller et års\nreferater i én rad støter mot begge grensene. Del lange dokumenter opp i avsnitt\neller sider, så hvert resultat også får et mer presist sted å peke til.\n\n**Bruddstykker og varenumre.** Fulltekstsøk sammenligner hele leksemer, så\n«fakt» gir ingen treff på fakturaer, og et varenummer som `AB-1042-X` kan bli\ndelt i biter av parseren. Behold en vanlig indeks på kolonnene folk slår opp på\neksakt verdi, eller bruk tokenizeren `trigram` i SQLite, som gjør hver\nsammenhengende rekke på tre tegn til et token og dermed støtter søk på\ndelstrenger.\n\n**«Får» som blir til «far» i SQLite.** Tokenizeren `unicode61` fjerner som\nstandard diakritiske tegn fra latinske bokstaver, og «å» regnes med, så FTS5\nlagrer «får» og «far» som samme token og blander dem i treffene. «Æ» og «ø» får\nstå i fred. Opprett tabellen med `tokenize = 'unicode61 remove_diacritics 0'`\nnår «å» skal være sin egen bokstav.\n\n**En SQLite-indeks som glir fra tabellen sin.** En FTS5-tabell opprettet med\n`content=` henter teksten fra en annen tabell, og dokumentasjonen overlater til\nbrukeren å holde de to i samsvar. Kommer de ut av takt, gir spørringene\nresultater som ser ut til å motsi hverandre. Opprett triggerne for insert,\nupdate og delete som dokumentasjonen viser, i samme migrering som den virtuelle\ntabellen.\n\n## Les mer\n\n- [Introduction to full text search](https://www.postgresql.org/docs/current/textsearch-intro.html)\n  — PostgreSQLs definisjon av dokumenter, tokens, leksemer og konfigurasjoner,\n  og hva `LIKE` og regulære uttrykk mangler.\n- [Tables and Indexes](https://www.postgresql.org/docs/current/textsearch-tables.html)\n  — søk i en tabell, uttrykksindeks mot en lagret generert kolonne, og hvorfor\n  konfigurasjonen må navngis.\n- [Controlling Text Search](https://www.postgresql.org/docs/current/textsearch-controls.html)\n  — vekter, `websearch_to_tsquery`, `ts_rank` og `ts_rank_cd`,\n  normaliseringsflagg og advarselen om `ts_headline`.\n- [Dictionaries](https://www.postgresql.org/docs/current/textsearch-dictionaries.html)\n  — Snowball-, Ispell- og Hunspell-ordbøker, deling av sammensatte ord med det\n  norske eksemplet, og når sesjoner leser ordbokfilene.\n- [Norwegian stemming algorithm](https://snowballstem.org/algorithms/norwegian/stemmer.html)\n  — Snowball-prosjektets beskrivelse av den norske stammeregelen, med endelsene\n  den fjerner og eksempler på ord og stammer.\n- [SQLite FTS5 Extension](https://www.sqlite.org/fts5.html) — virtuelle\n  tabeller, operatoren `MATCH`, de innebygde tokenizerne med\n  `remove_diacritics`, `bm25()` og tabeller med eksternt innhold.\n\n\u003chttps://engineer.company/nb/glossary/full-text-search/\u003e\n","date_modified":"2026-10-29T11:17:41Z","description":"Hva fulltekstsøk er: tekst gjort om til leksemer, GIN-indekser og rangering i PostgreSQL og SQLite FTS5, sammensatte ord og feilene som får søket til å svikte.","formats":{"gemtext":"https://engineer.company/nb/glossary/full-text-search/index.gmi","gopher":"https://engineer.company/nb/glossary/full-text-search/gophermap","html":"https://engineer.company/nb/glossary/full-text-search/","json":"https://engineer.company/nb/glossary/full-text-search/index.json","markdown":"https://engineer.company/nb/glossary/full-text-search/index.md","pdf":"https://engineer.company/nb/glossary/full-text-search/index.pdf"},"kind":"page","language":"nb","title":"Hva er fulltekstsøk?","url":"https://engineer.company/nb/glossary/full-text-search/","version":1}