{"canonical_url":"https://engineer.company/da/glossary/full-text-search/","content_markdown":"# Fuldtekstsøgning\n\n## Hvad det er\n\nFuldtekstsøgning finder de dokumenter, der indeholder ordene i en forespørgsel,\nuanset hvilken bøjningsform ordene står i, og kan sætte de bedste træf øverst.\nMange kalder det også fritekstsøgning, og på engelsk hedder det full-text\nsearch. Et dokument er her det, programmet behandler som én enhed at søge i: en\nmail, en artikel, en supportsag eller titel og brødtekst fra én række lagt\nsammen.\n\nForskellen fra et simpelt mønstermatch ligger i det arbejde, der sker, før noget\nbliver sammenlignet. Først deles teksten op i tokens: ord, tal, mailadresser og\nandre klasser. Derefter gøres hvert token til et leksem, en normaliseret form,\nder får varianter af det samme ord til at falde sammen. Store bogstaver bliver\ntil små, endelser skæres af, så ordet føres tilbage til sin stamme, og stopord,\nde ord der er så almindelige, at de intet siger om indholdet, fjernes.\nResultatet gemmes sammen med hvert leksems position i teksten, så rangeringen\nsenere kan foretrække dokumenter, hvor søgeordene står tæt. Forespørgslen\ngennemgår samme behandling, så en søgning på »indtægter« og et dokument, der\nskriver »indtægt«, mødes på halvvejen.\n\nPostgreSQL har det indbygget. Datatypen `tsvector` rummer et dokument i den\nnormaliserede form, `tsquery` rummer en forespørgsel, og operatoren `@@` afgør,\nom den ene matcher den anden. En tekstsøgningskonfiguration bestemmer, hvordan\nnormaliseringen foregår: hvilken parser der deler teksten op, og hvilke ordbøger\nder gør tokens til leksemer. Standardinstallationen har konfigurationer til en\nlang række sprog, blandt andre `danish`, `norwegian`, `swedish` og `english`, og\nkommandoen `\\dF` i psql viser dem, der er installeret. SQLite tilbyder den samme\nidé gennem udvidelsen FTS5, hvor en virtuel tabel rummer indekset, og operatoren\n`MATCH` søger i det.\n\n## Hvorfor det betyder noget\n\nPostgreSQL-dokumentationen gør rede for, hvad de ældre operatorer mangler.\n`LIKE`, `ILIKE` og regulære udtryk har ingen sproglig forståelse, så en søgning\npå »undersøgelse« overser et dokument med »undersøgte«, medmindre nogen skriver\nalle afledte former ud. De rangerer ikke, så tusind træf kommer tilbage i en\ntilfældig rækkefølge. Og de kan ikke bruge et almindeligt indeks til den slags\nsøgning, så hver forespørgsel må læse hvert eneste dokument. Et mønster som\n`%bil%` rammer desuden både »bilag« og »stabil«, og det er støj, ikke bedre\ndækning.\n\nFolk skriver ord i et søgefelt og forventer at finde de dokumenter, der handler\nom dem. I et kontraktarkiv, en helpdesk eller et produktkatalog er\nfuldtekstsøgning forskellen på et søgefelt, man stoler på, og et, man opgiver\nefter tredje forgæves forsøg. Rangeringen tæller lige så meget som selve\nmatchet: den, der søger efter »sen betaling«, vil have rykkerbrevet øverst og\nikke de hundrede fakturaer, der nævner betaling én gang.\n\nNår søgningen bor i den database, man allerede driver, har det en praktisk side.\nSøgeindekset ændres i samme transaktion som dataene, så en række er søgbar i det\nøjeblik, den bliver committet, og en slettet række forsvinder fra resultaterne i\nsamme øjeblik. Filtre på dato, kunde eller rettigheder er almindelige\n`WHERE`-betingelser ved siden af tekstbetingelsen. En separat søgeserver kan\nmere, men den er et ekstra system, der skal fodres og holdes i takt med det\nførste, og hvert hul imellem dem viser sig som et resultat, der mangler, eller\net, der burde være væk.\n\nFuldtekstsøgning har også en grænse, som er værd at kende fra starten: den\nmatcher ord, ikke betydning. En søgning på »bil« finder ikke »personvogn«,\nmedmindre en synonymordbog kobler dem sammen. Vektorsøgning, der sammenligner\ntalmæssige repræsentationer af betydning, dækker det tilfælde, og de to bliver\nofte kombineret.\n\n## Sådan ser det ud i praksis\n\nTag en tabel med dokumenter, der har en titel, en brødtekst og en angivelse af,\nhvor hvert dokument kom fra. En gemt genereret kolonne holder den søgbare form\najour ved hver indsættelse og opdatering, og et GIN-indeks gør den hurtig at\nsøge i:\n\n```sql\nCREATE TABLE documents (\n    id         bigint GENERATED ALWAYS AS IDENTITY PRIMARY KEY,\n    title      text,\n    body       text,\n    source     text NOT NULL,\n    search_vec tsvector GENERATED ALWAYS AS (\n                   setweight(to_tsvector('danish', coalesce(title, '')), 'A')\n                || setweight(to_tsvector('danish', coalesce(body, '')), 'D')\n               ) STORED\n);\n\nCREATE INDEX documents_search_idx ON documents USING GIN (search_vec);\n```\n\nTre detaljer bærer det hele. Konfigurationen er nævnt ved navn, `'danish'`, i\nstedet for at blive overladt til sessionens `default_text_search_config`; det er\nden form af `to_tsvector` med to argumenter, PostgreSQL kan gemme og indeksere.\n`coalesce` gør en manglende titel eller brødtekst til en tom streng, for ellers\nville én NULL gøre hele dokumentet til NULL. Og `setweight` mærker hvert leksem\nmed, hvor det kom fra: A for titlen, D for brødteksten. Rangeringsfunktionerne\nbruger vægtene `{0.1, 0.2, 0.4, 1.0}` for D, C, B og A, medmindre man angiver\nandre, så et søgeord i titlen tæller ti gange så meget som det samme ord i\nbrødteksten.\n\nGIN er den indekstype, dokumentationen anbefaler til tekstsøgning: et inverteret\nindeks med én post pr. leksem og en komprimeret liste over, hvor det forekommer.\nGiST kan også bruges, men det er tabsgivende og må slå op i selve tabelrækken\nfor at luge falske træf ud.\n\nForespørgslen tager imod de ord, brugeren skrev, præcis som brugeren skrev dem:\n\n```sql\nSELECT id, title, source,\n       ts_rank_cd(search_vec, query) AS rank\nFROM   documents,\n       websearch_to_tsquery('danish', 'ubetalt faktura -kladde') AS query\nWHERE  search_vec @@ query\nORDER  BY rank DESC\nLIMIT  10;\n```\n\n`websearch_to_tsquery` læser input, som et søgefelt på nettet gør. Almindelige\nord skal alle forekomme, i en hvilken som helst form, den danske ordstammeregel\nfører tilbage til samme leksem. Tekst i anførselstegn skal forekomme som en\nsammenhængende frase, ordet »or« giver et alternativ, og et minus foran et ord\nudelukker det, så forespørgslen her springer alle dokumenter over, der nævner en\nkladde. Funktionen melder aldrig syntaksfejl, og derfor er den det sikre valg\ntil rå brugerinput. `ts_rank_cd` rangerer efter cover density, en metode fra en\nartikel af Clarke, Cormack og Tudhope fra 1999, som også belønner søgeord, der\nstår tæt på hinanden. Søsterfunktionen `ts_rank` ser på, hvor ofte ordene\nforekommer. Begge tager et normaliseringsflag: 1 dividerer for eksempel rangen\nmed én plus logaritmen af dokumentets længde, så et langt dokument ikke vinder\nalene, fordi det er langt.\n\nDet samme behov går igen i virksomhedens\n[arbejde med virksomhedsdata klar til AI-agenter](/da/ai-data/). Siden\nbeskriver, hvordan gamle PDF'er, scannede dokumenter og mailarkiver bliver til\nsøgbar tekst med kilden gemt ved siden af, så de kan findes og ikke kun\narkiveres. Kolonnen `source` ovenfor har netop den opgave: et træf er mere værd,\nnår læseren kan åbne originalen.\n\nSQLite når samme resultat med færre ceremonier. En virtuel tabel oprettet med\n`CREATE VIRTUAL TABLE notes USING fts5(title, body)` forespørges med\n`WHERE notes MATCH 'faktura NOT kladde'`, og `ORDER BY bm25(notes)` sætter de\nbedste træf først: FTS5 giver bedre træf lavere værdier, så den almindelige\nstigende sortering er den rigtige. Standardtokenizeren hedder `unicode61`;\ntokenizeren `porter` tilføjer stemming, men ifølge dokumentationen kun til\nengelsk, så danske tekster får ingen bøjningsformer lagt sammen i FTS5 uden en\ntokenizer, man selv tilføjer.\n\n## Hvor det går galt\n\n**Et indeks, forespørgslen aldrig rører.** Et udtryksindeks bygget på\n`to_tsvector('danish', body)` hjælper kun forespørgsler, der gentager præcis det\nudtryk. En forespørgsel skrevet som `to_tsvector(body)`, der læner sig op ad\nstandardkonfigurationen, læser hele tabellen. Gem vektoren i en genereret\nkolonne som ovenfor, og søg i kolonnen; så kan forespørgsel og indeks ikke glide\nfra hinanden.\n\n**Én NULL, der skjuler et dokument.** `to_tsvector(NULL)` giver NULL, og en\nNULL-titel sat sammen med en brødtekst giver også NULL, så en række uden titel\nforsvinder i stilhed fra alle søgninger. Pak hvert felt ind i `coalesce`.\n\n**Rå input i `to_tsquery`.** `to_tsquery` forventer sin egen operatorsyntaks og\ner mindre tilgivende over for input end de andre konverteringsfunktioner, så en\nbruger, der taster en parentes uden partner eller et løst \u0026-tegn, får en\nfejlside. Send brugerinput gennem `websearch_to_tsquery`, eller gennem\n`plainto_tsquery`, når der slet ikke skal være operatorer.\n\n**Det forkerte sprog.** Dansk tekst indekseret med den engelske konfiguration\nbliver skåret til efter engelske regler og filtreret med engelske stopord, så\nhalvdelen af bøjningsformerne aldrig mødes. Vælg konfigurationen efter tekstens\nsprog. En samling på flere sprog kan gemme konfigurationens navn i en kolonne\nfor sig og indeksere `to_tsvector(config_name, body)`, så længe forespørgslerne\nbruger samme kolonne.\n\n**Rangering af hvert eneste træf.** Rangeringen læser `tsvector` for hver række,\nder matcher, og dokumentationen advarer om, at det kan være I/O-bundet og\nlangsomt. En forespørgsel på ét ord, der matcher halvdelen af tabellen, får\ndatabasen til at rangere halvdelen af tabellen, før `LIMIT` beholder ti.\nIndsnævr kandidaterne med almindelige betingelser først, for eksempel et\ndatointerval eller en kunde, og hold vektoren gemt, så den ikke beregnes igen\nfor hver række.\n\n**En rang vist som procent.** Rangeringsfunktionerne bruger ingen viden om\nsamlingen som helhed, så en rang kan ikke omsættes til et retvisende »87 %\nrelevant«. Normaliseringsflaget 32 presser rangen ind mellem nul og én, men\ndokumentationen kalder det en rent kosmetisk ændring. Brug rangen til at sortere\nresultaterne og til intet andet.\n\n**Fremhævninger med markup.** `ts_headline` returnerer et uddrag, hvor\nsøgeordene er markeret, og det er netop, hvad en resultatside vil have.\nPostgreSQL advarer om, at uddraget ikke er garanteret sikkert at sætte direkte\nind i en webside. Et dokument med HTML kan bære et script med ind på siden.\nFjern markup fra input, eller send output gennem en HTML-sanitizer. Funktionen\narbejder desuden på den oprindelige tekst og ikke på vektoren, så kald den kun\nfor rækkerne på den viste side, efter `LIMIT`, og ikke for hvert træf.\n\n**Dokumenter, der er for store til én vektor.** En `tsvector` skal holde sig\nunder 1 MB og gemmer højst 256 positioner pr. leksem. En hel bog eller et års\nreferater i én række rammer begge grænser. Del lange dokumenter op i afsnit\neller sider, så hvert resultat også får et mere præcist sted at pege hen.\n\n**Brudstykker og varenumre.** Fuldtekstsøgning sammenligner hele leksemer, så\n»fakt« finder intet om fakturaer, og et varenummer som `AB-1042-X` kan blive\ndelt i stykker af parseren. Behold et almindeligt indeks på de kolonner, folk\nslår op på eksakt værdi, eller brug i SQLite tokenizeren `trigram`, som gør hver\nsammenhængende række på tre tegn til et token og dermed understøtter søgning på\ndelstrenge.\n\n**»Får«, der bliver til »far« i SQLite.** Tokenizeren `unicode61` fjerner som\nstandard diakritiske tegn fra latinske bogstaver, og »å« regnes med, så FTS5\ngemmer »får« og »far« som samme token og blander dem sammen i træffene.\nBogstaverne »æ« og »ø« lader den være i fred. Opret tabellen med\n`tokenize = 'unicode61 remove_diacritics 0'`, når »å« skal være sit eget\nbogstav.\n\n**Et SQLite-indeks, der glider fra sin tabel.** En FTS5-tabel oprettet med\n`content=` henter sin tekst fra en anden tabel, og dokumentationen overlader det\ntil brugeren at holde de to i overensstemmelse. Kommer de ud af trit, giver\nforespørgslerne resultater, der ser ud til at modsige hinanden. Opret de\ntriggere til insert, update og delete, som dokumentationen viser, i samme\nmigrering som den virtuelle tabel.\n\n## Læs mere\n\n- [Introduction to full text search](https://www.postgresql.org/docs/current/textsearch-intro.html)\n  — PostgreSQL's definition af dokumenter, tokens, leksemer og konfigurationer,\n  og hvad `LIKE` og regulære udtryk mangler.\n- [Tables and Indexes](https://www.postgresql.org/docs/current/textsearch-tables.html)\n  — søgning i en tabel, udtryksindeks over for en gemt genereret kolonne, og\n  hvorfor konfigurationen skal nævnes ved navn.\n- [Controlling Text Search](https://www.postgresql.org/docs/current/textsearch-controls.html)\n  — vægte, `websearch_to_tsquery`, `ts_rank` og `ts_rank_cd`, normaliseringsflag\n  og advarslen om `ts_headline`.\n- [Preferred Index Types for Text Search](https://www.postgresql.org/docs/current/textsearch-indexes.html)\n  — GIN og GiST sammenlignet, også hvorfor GiST må tjekke rækkerne igen.\n- [Limitations](https://www.postgresql.org/docs/current/textsearch-limitations.html)\n  — størrelsesgrænserne for leksemer, vektorer, positioner og forespørgsler.\n- [SQLite FTS5 Extension](https://www.sqlite.org/fts5.html) — virtuelle\n  tabeller, operatoren `MATCH`, de indbyggede tokenizere, `bm25()` og external\n  content-tabeller.\n\n\u003chttps://engineer.company/da/glossary/full-text-search/\u003e\n","date_modified":"2026-10-29T11:17:41Z","description":"Hvad fuldtekstsøgning er: tekst gjort til leksemer, GIN-indeks og rangering i PostgreSQL, SQLite FTS5, og de fejl, der får søgningen til at svigte.","formats":{"gemtext":"https://engineer.company/da/glossary/full-text-search/index.gmi","gopher":"https://engineer.company/da/glossary/full-text-search/gophermap","html":"https://engineer.company/da/glossary/full-text-search/","json":"https://engineer.company/da/glossary/full-text-search/index.json","markdown":"https://engineer.company/da/glossary/full-text-search/index.md","pdf":"https://engineer.company/da/glossary/full-text-search/index.pdf"},"kind":"page","language":"da","title":"Hvad er fuldtekstsøgning?","url":"https://engineer.company/da/glossary/full-text-search/","version":1}