{"canonical_url":"https://engineer.company/de/glossary/large-language-model/","content_markdown":"# Großes Sprachmodell\n\n## Was es ist\n\nEin großes Sprachmodell ist ein neuronales Netz, das an einer sehr großen Textmenge für eine einzige Aufgabe trainiert wurde: Ausgehend vom bisherigen Text weist es jedem Token, das als Nächstes folgen könnte, eine Wahrscheinlichkeit zu. Ein Token ist ein kurzes Textstück, oft ein ganzes Wort, manchmal ein Wortteil oder ein einzelnes Satzzeichen. Eine Antwort zu schreiben bedeutet, diesen einen Schritt in einer Schleife zu wiederholen. Die Software wählt anhand dieser Wahrscheinlichkeiten ein Token aus, hängt es an den Text an und fragt erneut, bis das Modell ein Token erzeugt, das das Ende signalisiert, oder eine Längengrenze erreicht ist. Das im Juli 2024 veröffentlichte NIST-Profil für generative KI fasst es in einem Satz zusammen: „LLMs sagen das nächste Token oder Wort in einem Satz oder einer Wortgruppe voraus.“ Die Abkürzung LLM, die das Profil selbst verwendet, steht für den englischen Ausdruck Large Language Model und bezeichnet dasselbe.\n\nDie Architektur hinter den Modellen der letzten Jahre ist der Transformer, beschrieben in einer Forschungsarbeit zur maschinellen Übersetzung von 2017. Sie verzichtete auf die rekurrenten Schichten und Faltungsschichten, aus denen frühere Modelle bestanden, und setzte ausschließlich auf Attention: einen Mechanismus, mit dem jede Position im Text unmittelbar auf jede andere zugreifen kann. Dadurch ließ sich das Training wesentlich leichter auf viele Prozessoren verteilen, und das Modell der Forschungsarbeit wurde in viel kürzerer Zeit trainiert als seine Vorgänger.\n\n„Groß“ bezieht sich auf die Zahl der Parameter, also der Gewichte, die das Netz beim Training lernt. Eine Forschungsarbeit von 2020 beschrieb ein Modell mit 175 Milliarden Parametern, also zehnmal so vielen, wie jedes frühere nicht dünn besetzte Sprachmodell hatte, und zeigte, dass ein Modell dieser Größe anhand weniger ausgearbeiteter Beispiele in seiner Eingabe eine neue Aufgabe übernehmen konnte, ohne seine Gewichte im Geringsten zu verändern.\n\nEin Modell, das nur auf das Fortsetzen von Text trainiert wurde, tut genau das: Es setzt den Text fort. Das ist etwas anderes, als die gestellte Aufgabe zu erfüllen. Eine Forschungsarbeit von 2022 beschrieb den Schritt, der ein solches Modell zu einem Assistenten macht. Menschen schrieben die gewünschten Antworten auf eine Reihe von Anfragen, und das Modell wurde anhand dieser Antworten feinabgestimmt. Anschließend brachten Menschen die Antworten des Modells selbst in eine Rangfolge, und es wurde anhand dieser Rangfolgen weitertrainiert. Dieses Verfahren heißt bestärkendes Lernen aus menschlichem Feedback. In den Auswertungen der Forschungsarbeit bevorzugten Menschen die Antworten eines so trainierten Modells mit 1,3 Milliarden Parametern gegenüber denen des ursprünglichen Modells mit hundertmal so vielen Parametern.\n\n## Warum es wichtig ist\n\nEin Sprachmodell übernimmt Arbeit, die sich nur schwer mit festen Regeln abdecken lässt: eine frei formulierte E-Mail in den richtigen Ordner einordnen, die Felder aus einem eingescannten Lieferschein extrahieren, eine Antwort in der Sprache des Kunden entwerfen oder einen langen Gesprächsverlauf zusammenfassen. Bei Arbeit, für die früher ein Mensch jeden einzelnen Eintrag lesen musste, kann Software nun einen Entwurf erstellen, den ein Mensch prüft.\n\nDie Eigenschaft, die das Modell nützlich macht, erschwert es zugleich, Anwendungen darauf aufzubauen. Seine Ausgabe entsteht gewöhnlich durch Stichprobenziehung, sodass dieselbe Eingabe bei verschiedenen Durchläufen unterschiedliche Antworten liefern kann. Sprachlich flüssig ist es unabhängig davon, ob seine Antwort stimmt. NIST bezeichnet selbstsicher vorgetragene falsche Ausgaben als Konfabulation, besser bekannt als Halluzination, und beschreibt sie als natürliche Folge der Bauweise dieser Modelle: Sie erzeugen Text, der zur Statistik der Texte passt, mit denen sie trainiert wurden. Das ist oft richtig und manchmal nicht. NIST weist auch darauf hin, dass ein Modell die Begründungen oder Quellenangaben erfinden kann, die eine Antwort zu rechtfertigen scheinen. Eine falsche Antwort sieht genauso aus wie eine richtige. Wie oft ein Modell bei Ihrer Arbeit richtigliegt, lässt sich deshalb nur herausfinden, indem Sie es an Ihrer Arbeit messen.\n\nEs gibt auch nicht das eine Modell, auf das man sich festlegen könnte. Regelmäßig erscheinen neue Modelle, zwei davon können sich bei derselben Eingabe sehr unterschiedlich verhalten, und der Anbieter des Modells, das eine Anwendung aufruft, entscheidet, wann es sich ändert. Ein Team, das auf einem Sprachmodell aufbaut, baut auf einem Bestandteil auf, den es nicht kontrolliert. Dauerhaft wertvoll ist alles rund um das Modell: die Fälle, an denen es gemessen wird, die Werkzeuge, die es aufrufen darf, und die Regeln dafür, was es selbstständig tun darf.\n\nDas NIST-Profil nennt zwölf Risikobereiche für generative KI, darunter Konfabulation, Datenschutz, Informationssicherheit und geistiges Eigentum. Es wurde für Organisationen geschrieben, die Risiken steuern, und nicht für Entwickler. Dennoch ist es eine brauchbare Prüfliste für ein Team, das entscheidet, worauf eine modellgestützte Funktion zugreifen darf.\n\n## Wie es in der Praxis aussieht\n\nEine Funktion, die auf einem Sprachmodell aufbaut, beginnt mit schriftlich festgehaltenen Fällen, nicht mit einem Prompt. Jeder Fall besteht aus einer echten Eingabe und der Antwort, die eine mit der Arbeit vertraute Person akzeptieren würde. Die Fälle liegen in einer Datei unter Versionskontrolle neben dem Code:\n\n```yaml\n# cases/delivery-notes.yaml\n- id: note-0142\n  input: scans/note-0142.txt\n  expect:\n    supplier: \"Example Freight\"\n    reference: \"DN-58213\"\n    pallets: 6\n- id: note-0157\n  input: scans/note-0157.txt\n  expect:\n    supplier: \"Sample Haulage\"\n    reference: \"DN-59002\"\n    pallets: 14\n```\n\nWelches Modell welche Art von Aufgabe übernimmt, ist eine Einstellung. So kann ein kleines, schnelles Modell die Extraktion übernehmen, während ein größeres die Antworten entwirft, für die Urteilsvermögen nötig ist:\n\n```yaml\n# routing.yaml\njobs:\n  extract-delivery-note:\n    model: small-fast\n    cases: cases/delivery-notes.yaml\n  draft-claim-reply:\n    model: large\n    cases: cases/claim-replies.yaml\n```\n\nJede Änderung wird vor der Veröffentlichung gegen sämtliche Fälle geprüft, unabhängig davon, ob sie einen neuen Prompt, ein neues Werkzeug oder ein neues Modell betrifft. Das Ergebnis ist eine Bewertung für jeden Fall, die im Zeitverlauf aufbewahrt wird, damit die Korrektur eines Falls nicht unbemerkt einen anderen verschlechtert. Erscheint ein neues Modell, genügt zum Ausprobieren eine Änderung an einer Zeile in `routing.yaml` und ein Durchlauf über die Fälle. Die Entscheidung zum Wechsel beruht auf den Bewertungen und nicht auf der Ankündigung.\n\nSo beschreibt diese Website ihre [individuellen KI-Agenten](/de/ai-agents/). Die Modellwahl ist Konfiguration statt Code, mit einem kleinen, schnellen Modell zum Einordnen und Extrahieren und einem großen für Aufgaben, die Urteilsvermögen verlangen. Ein Auftrag beginnt damit, dreißig bis fünfzig echte Beispiele mit den richtigen Antworten aufzuschreiben. Jede Änderung, ob an einem Prompt, einem Werkzeug oder dem Modell, wird vor der Veröffentlichung gegen alle Beispiele geprüft. Die Seite erklärt außerdem, dass das Modell austauschbar bleibt und der Code, die Fälle und die Daten dem Kunden gehören. Damit gehört der Agent dem Kunden weiterhin, wenn sich das darunterliegende Modell ändert.\n\n## Wo es schiefgeht\n\n**Selbstsichere Antworten, die falsch sind.** Wird ein Modell nach einer Vertragsklausel gefragt, die ihm nicht vorliegt, beschreibt es womöglich trotzdem eine, im selben sicheren Ton wie bei einer richtigen Antwort, und nennt vielleicht eine Quelle, die nicht existiert. Geben Sie dem Modell die Dokumente, aus denen es antworten soll, verlangen Sie Quellenangaben und prüfen Sie im Code, dass jede Angabe auf ein echtes Dokument und eine konkrete Textstelle verweist. Messen Sie die Fehlerquote anhand schriftlich festgehaltener Fälle und leiten Sie folgenreiche Antworten an einen Menschen weiter, bevor irgendetwas auf ihrer Grundlage handelt.\n\n**Anweisungen, die in den Daten versteckt sind.** Eine Anwendung, die ein Modell E-Mails, Webseiten oder hochgeladene Dateien lesen lässt, lässt die Verfasser dieser Texte mit dem Modell sprechen. Eine Forschungsarbeit von 2023 zeigte dies an echten Anwendungen: Anweisungen in Inhalten, die das Modell voraussichtlich lesen würde, brachten es dazu, Daten preiszugeben und das Verhalten der Anwendung zu verändern. Das NIST-Profil führt indirekte Prompt Injection unter den Sicherheitsrisiken generativer KI auf. Behandeln Sie alles, was das Modell liest, als nicht vertrauenswürdige Eingabe. Setzen Sie Berechtigungen in den Werkzeugen durch, nicht im Prompt, geben Sie den Werkzeugen nur die Rechte der Person, für die das Modell handelt, und verlangen Sie die Zustimmung eines Menschen zu jeder Aktion, die sich nicht rückgängig machen lässt.\n\n**Ein Modell ändert sich unter Ihrer Anwendung.** Eine neue Version oder ein anderer Anbieter kann dieselbe Eingabe anders beantworten. Eine Antwort, die letzten Monat noch den Test bestand, fällt heute durch, ohne dass sich Ihr eigener Code geändert hätte. Legen Sie eine genaue Modellversion fest, wo der Anbieter eine anbietet, und führen Sie bei jeder Änderung, auch bei einem Modellwechsel, die gesamte Falldatei aus, bevor die Änderung Nutzer erreicht.\n\n**Ausgaben, die Code nicht parsen kann.** Ein Modell, das JSON liefern soll, gibt JSON mit einem freundlichen Satz dahinter zurück, lässt ein Feld weg oder schreibt eine Zahl als Zeichenkette. Beschreiben Sie die erwartete Struktur mit JSON Schema, prüfen Sie jede Antwort dagegen und behandeln Sie eine Antwort, die die Prüfung nicht besteht, als Fehler, der einen erneuten Versuch oder die Übergabe an einen Menschen erfordert, niemals als Daten.\n\n**Personenbezogene Daten in Prompts und Protokollen.** Alles, was an ein gehostetes Modell gesendet wird, verlässt Ihre eigenen Systeme. Ein Protokoll mit Prompts und Antworten bewahrt personenbezogene Daten noch lange nach Abschluss der Anfrage auf. NIST ergänzt, dass Modelle sensible Inhalte aus ihren Trainingsdaten wiedergeben können, und bezeichnet dieses Problem als Datenmemorierung. Senden Sie nur die Felder, die eine Aufgabe benötigt. Wenden Sie auf Prompt-Protokolle dieselben Aufbewahrungs- und Zugriffsregeln an wie auf die darin enthaltenen Daten und lesen Sie die Bedingungen des Anbieters zur Aufbewahrung und zum Training, bevor ihn personenbezogene Daten erreichen.\n\n## Weiterführende Lektüre\n\n- [NIST AI 600-1: Profil für generative künstliche Intelligenz](https://doi.org/10.6028/NIST.AI.600-1) — die im Juli 2024 veröffentlichte Ergänzung des NIST zu seinem AI Risk Management Framework: zwölf Risiken generativer KI, darunter Konfabulation, und empfohlene Maßnahmen für jedes davon.\n- [Attention Is All You Need](https://arxiv.org/abs/1706.03762) — die Forschungsarbeit von 2017, die den Transformer einführte, die Architektur hinter den heutigen Sprachmodellen.\n- [Language Models are Few-Shot Learners](https://arxiv.org/abs/2005.14165) — die Forschungsarbeit von 2020 über ein Modell mit 175 Milliarden Parametern, das anhand von Beispielen in seiner Eingabe neue Aufgaben übernimmt.\n- [Training language models to follow instructions with human feedback](https://arxiv.org/abs/2203.02155) — Feinabstimmung anhand geschriebener Antworten und bewerteter Ausgaben: der Schritt vom Textvorhersagemodell zum Assistenten.\n- [Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection](https://arxiv.org/abs/2302.12173) — in Daten versteckte Anweisungen, die ein Modell liest, vorgeführt an echten Anwendungen.\n\n\u003chttps://engineer.company/de/glossary/large-language-model/\u003e\n","date_modified":"2026-11-12T05:34:23Z","description":"Was ein großes Sprachmodell tatsächlich berechnet, warum seine Antworten Tests brauchen und auf welche fünf Arten eine darauf aufgebaute Funktion scheitert.","formats":{"gemtext":"https://engineer.company/de/glossary/large-language-model/index.gmi","gopher":"https://engineer.company/de/glossary/large-language-model/gophermap","html":"https://engineer.company/de/glossary/large-language-model/","json":"https://engineer.company/de/glossary/large-language-model/index.json","markdown":"https://engineer.company/de/glossary/large-language-model/index.md","pdf":"https://engineer.company/de/glossary/large-language-model/index.pdf"},"kind":"page","language":"de","title":"Was ist ein großes Sprachmodell?","url":"https://engineer.company/de/glossary/large-language-model/","version":1}