Retrieval-augmented generation

Vad det är

Retrieval-augmented generation är ett sätt att besvara en fråga med
en språkmodell i två steg. Först söker applikationen i en samling
dokument efter de utdrag som mest sannolikt innehåller svaret. Sedan
lägger den in utdragen i modellens indata bredvid frågan, och
modellen skriver svaret utifrån dem i stället för utifrån det den
tog till sig under träningen. Namnet, som oftast förkortas RAG,
kommer från en forskningsartikel från 2020 om kunskapsintensiva
språkuppgifter som att besvara öppna frågor.

Artikeln beskrev två slags minne. En förtränad modell bevarar det
den har lärt sig i sina parametrar, och det kallade författarna
parametriskt minne. Ett separat index över dokument, som en tränad
sökmodell, en så kallad retriever, söker i, är icke-parametriskt
minne. Deras system kopplade en förtränad
sequence-to-sequence-modell till ett tätt vektorindex över
Wikipedia, och de jämförde två sätt att använda träffarna: det ena
låter hela svaret bygga på samma utdrag, det andra kan hämta från
olika utdrag för varje token det skriver. På tre referenstester för
frågebesvarande i öppna domäner satte systemet nya rekord, och
författarna fann att texten det genererade var mer specifik, mer
varierad och mer faktamässigt korrekt än texten från en jämförbar
modell utan sökning.

En applikation kan bygga samma mönster av delar den redan har: ett
sökindex över de egna dokumenten och en stor språkmodell som den
anropar via ett API. Sökdelen är vanlig sökning, och båda familjerna
av sökning dyker upp här. Sparse retrieval matchar ord, på det sätt
som fulltextsökning rangordnar dokument med en poängfunktion som
BM25. Dense retrieval gör om frågan och varje utdrag till vektorer
av tal och returnerar de utdrag vars vektorer ligger närmast, och
det är vektorsökning. En artikel från 2020 om dense passage
retrieval fann att en tät retriever, tränad på ett måttligt antal
par av frågor och utdrag, slog en stark BM25-baslinje med 9 till 19
procentenheter, mätt på hur ofta rätt utdrag fanns bland de tjugo
första resultaten. Ett system kan köra båda och slå ihop de två
listorna.

Varför det spelar roll

En språkmodell känner bara till det som stod i träningstexten, och
den texten slutar vid ett fast datum och har aldrig innehållit dina
avtal, dina prislistor eller anteckningarna från förra veckans möte.
RAG-artikeln pekar på två svagheter hos kunskap som ligger i
parametrar: det är svårt att visa var ett svar kom ifrån, och svårt
att uppdatera kunskapen. Sökningen tar hand om båda. Svaret kan
hänvisa till de utdrag modellen fick, så att en läsare kan öppna
källan och kontrollera den, och ny kunskap når modellen i samma
ögonblick som ett dokument kommer in i indexet, helt utan en
träningskörning.

Det placerar också frågan om vem som får se vad där den hör hemma.
En sökning kan köras med behörigheterna hos den som frågar, så att
modellen bara får se utdrag som den personen själv hade kunnat
öppna. I en modell som hade tränats på samma dokument finns inte den
gränsen: allt den har lärt sig är tillgängligt för alla som använder
den.

Priset är att svaret aldrig blir bättre än det sökningen returnerar.
En modell som får fel utdrag skriver ett flytande svar utifrån dem,
och en modell som inte får något användbart svarar kanske ur minnet
ändå. Det mesta av arbetet i ett system byggt på retrieval-augmented
generation ligger därför i datan och sökningen, inte i modellen.

Så ser det ut i praktiken

Spåret nedan följer en fråga genom ett sådant system. Sökningen körs
med behörigheterna hos användaren som frågar, varje utdrag kommer
med filen och sidan det kommer från, och instruktionerna ber
modellen svara utifrån utdragen och ingenting annat:

```text
fråga:     Vilka leveransvillkor gäller för order 4471?
användare: sälj-3 (roll: sälj, region: norr)

träffar, filtrerade till det sälj-3 får läsa:
  [1] avtal/ramavtal-2025.pdf, sida 4
      ”Varor levereras till köparens lager,
       om inte ordern anger något annat.”
  [2] order/4471.txt, rad 12
      ”Leveransvillkor: se ramavtalet.”

instruktioner:
  Svara bara utifrån utdragen nedan och hänvisa till dem som [n].
  Om de inte besvarar frågan, säg det.

svar:
  Order 4471 hänvisar till ramavtalet [2], som säger att
  varor levereras till köparens lager [1].
```

Varje del av spåret är data som systemet kan kontrollera. Ett test
kan bekräfta att rätt utdrag kom tillbaka för en känd fråga, ett
skript kan bekräfta att varje `[n]` i svaret hänvisar till ett
utdrag som faktiskt hittades, och en person som läser svaret kan slå
upp sidan 4 i avtalet.

Förarbetet som detta kräver är ämnet för sidan om företagsdata redo
för AI-agenter här på webbplatsen. Den beskriver hur gamla PDF:er,
inskannade dokument och e-postarkiv görs om till sökbar text med
källan sparad bredvid, och hur varje rad bär med sig varifrån den
kom och när, alltså systemet, inläsningen, filen och sidan, så att
en agent kan hänvisa till posten bakom en siffra och en människa kan
öppna den. Sidan lägger också reglerna i datan och inte i prompten:
agenten agerar med sin användares behörigheter, aldrig en
administratörs, och varje läsning loggas med personen den gjordes
för.

Var det går fel

Sökningen missar, och modellen svarar ändå. När rätt utdrag inte
hittas får modellen ändå något och skriver ändå ett svar. Mät
sökningen för sig: skriv ner riktiga frågor tillsammans med de
utdrag som besvarar dem, och kontrollera hur ofta de utdragen finns
bland resultaten modellen får. Be modellen säga till när utdragen
inte besvarar frågan, och ta med sådana frågor bland testfallen.

Utdrag som skär svaret i två. När dokument delas upp i bitar av fast
längd skiljs en tabell från sin rubrik och en klausul från sitt
undantag, och varje halva vilseleder när den hittas ensam. Dela
längs den struktur som dokumentet redan har, alltså styckena,
sidorna och tabellraderna, och håll dokumentets titel och placering
ihop med varje bit.

Indexet bryr sig inte om vem som frågar. Ett index som har byggts av
en tjänst som kan läsa allt returnerar utdrag ur dokument som den
som frågar inte får öppna, och modellen sammanfattar dem för den
personen. Filtrera på användarens behörigheter inne i sökningen, i
indexet eller databasen, innan något når modellen. En regel i
prompten är inte åtkomstkontroll.

Instruktioner planterade i ett dokument. Text som hittas är text som
någon annan har skrivit, och modellen kan inte på ett tillförlitligt
sätt skilja ett utdrag från en instruktion. NIST:s profil för
generativ AI beskriver indirekt prompt injection som attacker mot
applikationer byggda på språkmodeller genom data som sannolikt
kommer att hämtas, och en artikel från 2023 demonstrerade sådana
attacker mot verkliga system. Behandla varje utdrag som hittas som
indata du inte kan lita på, låt inget utdrag utlösa en handling utan
en kontroll i kod, och ge verktygen som modellen kan anropa inte
fler behörigheter än användaren själv har.

Ett index som släpar efter. Ett dokument ändras eller raderas, och
indexet innehåller fortfarande de gamla utdragen, så systemet svarar
självsäkert utifrån ett avtal som inte längre gäller. Uppdatera
indexet varje gång en källa ändras, ta bort utdrag när deras
dokument raderas, och visa datumet för varje källa bredvid svaret.

Källhänvisningar som inte säger det svaret påstår. En modell kan
hänvisa till utdrag [2] för en mening som utdrag [2] inte stöder,
och NIST påpekar att genererade källhänvisningar själva kan vara
konfabulerade. Kontrollera i kod att varje hänvisning pekar på ett
utdrag som hittades, och låt människor stickprovsgranska svar mot
deras källor som en fast del av testarbetet.

Läs mer

  * Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
— artikeln från 2020 som introducerade RAG-modellerna och jämförde
de två varianterna på frågebesvarande och textgenerering.

  * Dense Passage Retrieval for Open-Domain Question Answering — en
tät retriever, tränad på par av frågor och utdrag och mätt mot BM25
på att hitta det utdrag som innehåller svaret.

  * NIST AI 600-1: Generative Artificial Intelligence Profile —
NIST:s riskprofil för generativ AI, med konfabulering, skydd av
personuppgifter och indirekt prompt injection.

  * Not what you've signed up for: Compromising Real-World
LLM-Integrated Applications with Indirect Prompt Injection — hur
instruktioner gömda i hämtade data tar över en applikation, med
attacker mot verkliga system.

hDen här sidan på webben	URL:https://engineer.company/sv/glossary/retrieval-augmented-generation/	engineer.company	70
