{"canonical_url":"https://engineer.company/nb/glossary/retrieval-augmented-generation/","content_markdown":"# Retrieval-augmented generation\n\n## Hva det er\n\nRetrieval-augmented generation er en måte å besvare et spørsmål med en\nspråkmodell på i to steg. Først søker applikasjonen i en samling dokumenter\netter de utdragene som mest sannsynlig inneholder svaret. Deretter legger den\nutdragene inn i modellens inndata ved siden av spørsmålet, og modellen skriver\nsvaret ut fra dem i stedet for ut fra det den tok opp i seg under treningen.\nNavnet, som som regel forkortes til RAG, kommer fra en forskningsartikkel fra\n2020 om kunnskapskrevende språkoppgaver som å besvare åpne spørsmål.\n\nArtikkelen beskrev to slags hukommelse. En forhåndstrent modell tar vare på det\nden har lært, i parameterne sine, og det kalte forfatterne parametrisk\nhukommelse. En separat indeks over dokumenter, som en trent søkemodell, en\nsåkalt retriever, søker i, er ikke-parametrisk hukommelse. Systemet deres koblet\nen forhåndstrent sequence-to-sequence-modell til en tett vektorindeks over\nWikipedia, og de sammenlignet to måter å bruke funnene på: den ene lar hele\nsvaret bygge på de samme utdragene, den andre kan hente fra ulike utdrag for\nhvert token den skriver. På tre referansetester for besvarelse av spørsmål i\nåpne domener satte systemet nye rekorder, og forfatterne fant at teksten det\ngenererte, var mer spesifikk, mer variert og mer faktisk korrekt enn teksten fra\nen sammenlignbar modell uten søk.\n\nEn applikasjon kan bygge det samme mønsteret av deler den allerede har: en\nsøkeindeks over sine egne dokumenter og en stor språkmodell den kaller via et\nAPI. Søkedelen er vanlig søk, og begge familiene av søk dukker opp her. Sparse\nretrieval matcher ord, slik fulltekstsøk rangerer dokumenter med en\npoengfunksjon som BM25. Dense retrieval gjør spørsmålet og hvert utdrag om til\nvektorer av tall og returnerer utdragene der vektorene ligger nærmest, og det er\nvektorsøk. En artikkel fra 2020 om dense passage retrieval fant at en tett\nretriever, trent på et beskjedent antall par av spørsmål og utdrag, slo en sterk\nBM25-baseline med 9 til 19 prosentpoeng, målt på hvor ofte det riktige utdraget\nvar blant de tjue første resultatene. Et system kan kjøre begge og flette de to\nlistene.\n\n## Hvorfor det er viktig\n\nEn språkmodell kjenner bare det som sto i treningsteksten, og den teksten\nslutter på en fast dato og har aldri inneholdt kontraktene dine, prislistene\ndine eller referatet fra forrige ukes møte. RAG-artikkelen peker på to svakheter\nved kunnskap som ligger i parametere: det er vanskelig å vise hvor et svar kom\nfra, og vanskelig å oppdatere kunnskapen. Søket tar seg av begge deler. Svaret\nkan vise til utdragene modellen fikk, så en leser kan åpne kilden og kontrollere\nden, og ny kunnskap når fram til modellen i det øyeblikket et dokument kommer\ninn i indeksen, helt uten en treningskjøring.\n\nDet plasserer også spørsmålet om hvem som får se hva, der det hører hjemme. Et\nsøk kan kjøre med rettighetene til den som spør, slik at modellen bare får se\nutdrag som den personen selv kunne ha åpnet. I en modell som var trent på de\nsamme dokumentene, finnes ikke den grensen: alt den har lært, er tilgjengelig\nfor alle som bruker den.\n\nPrisen er at svaret aldri blir bedre enn det søket returnerer. En modell som får\nfeil utdrag, skriver et flytende svar ut fra dem, og en modell som ikke får noe\nbrukbart, svarer kanskje ut fra hukommelsen likevel. Mesteparten av arbeidet i\net system bygd på retrieval-augmented generation ligger derfor i dataene og\nsøket, ikke i modellen.\n\n## Slik ser det ut i praksis\n\nSporet nedenfor følger ett spørsmål gjennom et slikt system. Søket kjører med\nrettighetene til brukeren som spør, hvert utdrag kommer med filen og siden det\nstammer fra, og instruksjonene ber modellen svare ut fra utdragene og ingenting\nannet:\n\n```text\nspørsmål: Hvilke leveringsbetingelser gjelder for ordre 4471?\nbruker:   salg-3 (rolle: salg, region: nord)\n\nfunnet, filtrert til det salg-3 får lese:\n  [1] kontrakter/rammeavtale-2025.pdf, side 4\n      «Varer leveres til kjøperens lager,\n       med mindre ordren angir noe annet.»\n  [2] ordrer/4471.txt, linje 12\n      «Leveringsbetingelser: jf. rammeavtalen.»\n\ninstruksjoner:\n  Svar bare ut fra utdragene nedenfor, og vis til dem som [n].\n  Hvis de ikke besvarer spørsmålet, så si det.\n\nsvar:\n  Ordre 4471 viser til rammeavtalen [2], som sier at\n  varer leveres til kjøperens lager [1].\n```\n\nHver del av sporet er data systemet kan kontrollere. En test kan bekrefte at de\nriktige utdragene kom tilbake for et kjent spørsmål, et skript kan bekrefte at\nhver `[n]` i svaret viser til et utdrag som faktisk ble funnet, og en person som\nleser svaret, kan slå opp på side 4 i kontrakten.\n\nForarbeidet dette krever, er temaet for siden om\n[bedriftsdata klare for AI-agenter](/nb/ai-data/) her på nettstedet. Den\nbeskriver hvordan gamle PDF-er, skanninger og e-postarkiver gjøres om til søkbar\ntekst med kilden lagret ved siden av, og hvordan hver rad tar vare på hvor og\nnår den kom inn, nemlig systemet, innlastingen, filen og siden, slik at en agent\nkan vise til posten bak et tall og et menneske kan åpne den. Siden legger også\nreglene i dataene og ikke i prompten: agenten handler med brukerens rettigheter,\naldri med en administrators, og hvert oppslag logges med hvem det ble gjort for.\n\n## Hvor det går galt\n\n**Søket bommer, og modellen svarer likevel.** Når det riktige utdraget ikke blir\nfunnet, får modellen fortsatt noe og skriver fortsatt et svar. Mål søket for\nseg: skriv ned ekte spørsmål sammen med utdragene som besvarer dem, og\nkontroller hvor ofte de utdragene er blant resultatene modellen får. Be modellen\nsi fra når utdragene ikke besvarer spørsmålet, og ta med slike spørsmål blant\ntestsakene.\n\n**Utdrag som skjærer svaret i to.** Når dokumenter deles i biter av fast lengde,\nblir en tabell skilt fra overskriften sin og en klausul fra unntaket sitt, og\nhver halvdel villeder når den blir funnet alene. Del langs strukturen dokumentet\nallerede har, altså avsnittene, sidene og tabellradene, og hold dokumentets\ntittel og plassering sammen med hver bit.\n\n**Indeksen bryr seg ikke om hvem som spør.** En indeks som er bygd av en\ntjeneste som kan lese alt, returnerer utdrag fra dokumenter den som spør, ikke\nfår åpne, og modellen oppsummerer dem for vedkommende. Filtrer på brukerens\nrettigheter inne i søket, i indeksen eller databasen, før noe når modellen. En\nregel i prompten er ikke tilgangskontroll.\n\n**Instruksjoner plantet i et dokument.** Funnet tekst er tekst noen andre har\nskrevet, og modellen kan ikke pålitelig skille et utdrag fra en instruksjon.\nNISTs profil for generativ AI beskriver indirekte prompt injection som angrep på\napplikasjoner bygd på språkmodeller gjennom data som sannsynligvis blir hentet\nfram, og en artikkel fra 2023 demonstrerte slike angrep mot ekte systemer.\nBehandle hvert funnet utdrag som inndata du ikke kan stole på, la ingen utdrag\nutløse en handling uten en kontroll i kode, og gi verktøyene modellen kan kalle,\nikke flere rettigheter enn brukeren selv har.\n\n**En indeks som henger etter.** Et dokument blir endret eller slettet, og\nindeksen inneholder fortsatt de gamle utdragene, så systemet svarer selvsikkert\nut fra en kontrakt som ikke lenger gjelder. Oppdater indeksen hver gang en kilde\nendres, fjern utdrag når dokumentet deres blir slettet, og vis datoen for hver\nkilde ved siden av svaret.\n\n**Kildehenvisninger som ikke sier det svaret påstår.** En modell kan vise til\nutdrag [2] for en setning som utdrag [2] ikke underbygger, og NIST påpeker at\ngenererte kildehenvisninger selv kan være konfabulerte. Kontroller i kode at\nhver henvisning peker på et utdrag som ble funnet, og la mennesker ta\nstikkprøver av svar mot kildene deres som en fast del av testarbeidet.\n\n## Les mer\n\n- [Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks](https://arxiv.org/abs/2005.11401)\n  — artikkelen fra 2020 som introduserte RAG-modellene og sammenlignet de to\n  variantene på besvarelse av spørsmål og generering av tekst.\n- [Dense Passage Retrieval for Open-Domain Question Answering](https://arxiv.org/abs/2004.04906)\n  — en tett retriever, trent på par av spørsmål og utdrag og målt mot BM25 på å\n  finne utdraget som inneholder svaret.\n- [NIST AI 600-1: Generative Artificial Intelligence Profile](https://doi.org/10.6028/NIST.AI.600-1)\n  — NISTs risikoprofil for generativ AI, med konfabulering, personvern og\n  indirekte prompt injection.\n- [Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection](https://arxiv.org/abs/2302.12173)\n  — hvordan instruksjoner gjemt i funnede data tar over en applikasjon, med\n  angrep på ekte systemer.\n\n\u003chttps://engineer.company/nb/glossary/retrieval-augmented-generation/\u003e\n","date_modified":"2026-10-29T11:17:41Z","description":"Slik svarer en språkmodell ut fra dine egne dokumenter i stedet for fra hukommelsen, hva som avgjør om svaret holder, og seks måter det går galt på.","formats":{"gemtext":"https://engineer.company/nb/glossary/retrieval-augmented-generation/index.gmi","gopher":"https://engineer.company/nb/glossary/retrieval-augmented-generation/gophermap","html":"https://engineer.company/nb/glossary/retrieval-augmented-generation/","json":"https://engineer.company/nb/glossary/retrieval-augmented-generation/index.json","markdown":"https://engineer.company/nb/glossary/retrieval-augmented-generation/index.md","pdf":"https://engineer.company/nb/glossary/retrieval-augmented-generation/index.pdf"},"kind":"page","language":"nb","title":"Hva er retrieval-augmented generation?","url":"https://engineer.company/nb/glossary/retrieval-augmented-generation/","version":1}