Was ein Sprachmodell tut

Stellen Sie sich jemanden vor, der unzählige Texte gelesen hat. Millionen Bücher, Foren, Anleitungen, Zeitungsartikel. Diese Person hat kein einziges Wort davon behalten. Was sie behalten hat, ist ein Gefühl dafür, welches Wort auf welches folgt.

Genau das ist ein Sprachmodell.

Es rät das nächste Stück

Wenn Sie schreiben „Die Hauptstadt von Frankreich ist”, dann hat das Modell keine Landkarte im Kopf. Es hat nur bemerkt, dass nach dieser Wortfolge fast immer „Paris” kommt. Also schreibt es „Paris”.

Danach hängt es das nächste Stück an. Und das nächste. Ein Wort nach dem anderen, immer auf Basis von allem, was bisher dasteht.

seitlich verschiebbar

eigene Darstellung zur Veranschaulichung, keine gemessenen Werte

Wichtig an dieser Darstellung ist, was nicht darin vorkommt: keine Landkarte, kein Nachschlagewerk, keine Prüfung. Nur eine Rangfolge möglicher nächster Wörter.

Warum das trotzdem klug wirkt

Weil Sprache und Wissen eng zusammenhängen. Wer weiß, welche Wörter zusammen vorkommen, wirkt so, als wüsste er, wovon er redet. Für die meisten Alltagsfragen reicht das erstaunlich weit.

Und warum es manchmal danebengeht

Weil dasselbe Verfahren auch dann eine Antwort erzeugt, wenn es die Antwort nicht gibt. Das Modell hört nicht auf, wenn ihm etwas fehlt. Es schreibt weiter, so flüssig wie vorher. Erfundenes klingt genauso überzeugend wie Richtiges, und das ist der wichtigste Satz auf dieser Seite.

Woran Sie sich halten können

Ein Sprachmodell ist ein sehr guter Formulierer und ein unzuverlässiger Zeuge. Nutzen Sie es für alles, wo Sie das Ergebnis selbst beurteilen können. Bei allem anderen prüfen Sie nach.

Wie es weitergeht

Bisher war von „Wörtern” die Rede, weil sich das leichter liest. Genau genommen arbeitet ein Modell nicht mit Wörtern, sondern mit Token, und diese Unterscheidung erklärt eine ganze Reihe von Eigenheiten: warum deutscher Text mehr kostet als englischer, warum Modelle Buchstaben nicht zuverlässig zählen können, und warum irgendwann der Anfang eines langen Gesprächs verloren geht.

Darum geht es im nächsten Kapitel.

Sie haben schon mit einem Chatprogramm gearbeitet und wollen wissen, was tiefer darunter passiert. Wichtig ist dabei die Trennung: Ein Chatprogramm ist eine Anwendung, das Sprachmodell ist ein Bauteil darin. Was gleich beschrieben wird, betrifft das Bauteil.

Der Kern ist schlichter, als die meisten erwarten: Ein Sprachmodell berechnet für jedes mögliche nächste Token eine Wahrscheinlichkeit und wählt eines davon aus.

Token statt Wörter

Text wird vor der Verarbeitung zerlegt. Nicht in Wörter und nicht in Buchstaben, sondern in Stücke dazwischen. Häufige Wörter sind ein Token, seltene zerfallen in mehrere. Deutsche Komposita und Umlaute brauchen mehr Token als englischer Text, und weil nach Token abgerechnet wird, kostet dieselbe Aussage auf Deutsch mehr.

Die Auswahl ist nicht immer dieselbe

Das Modell nimmt nicht stur das wahrscheinlichste Token. Über einen Parameter lässt sich steuern, wie stark es von der Spitze abweichen darf. Deshalb bekommen Sie auf dieselbe Frage zweimal unterschiedliche Antworten. Das ist kein Fehler, sondern eine Einstellung.

Der Kontext ist der ganze Zustand

Ein Modell hat kein Gedächtnis zwischen zwei Aufrufen. Was es zu wissen scheint, steht entweder in seinen Gewichten oder im Kontext, den es gerade mitbekommt: Systemanweisung, bisheriger Verlauf, Ihre Eingabe, Ergebnisse von Werkzeugen. Was nicht im Kontext steht, existiert für das Modell nicht.

Halluzination ist die Kehrseite des Verfahrens

Ein Modell, das immer das plausibel nächste Token erzeugt, hat keinen Zustand für „ich weiß es nicht”. Es produziert weiter, auch wenn die Grundlage fehlt. Das ist kein Defekt, den man wegpatcht, sondern die logische Folge der Bauweise. Deshalb bekämpft man es von außen: mit nachgeschlagenen Belegen, mit Werkzeugen, die rechnen statt zu schätzen, und mit Prüfungen, die das Ergebnis gegen die Realität halten.

Was daraus folgt

Wer ein Sprachmodell einsetzt, baut nicht an einem Orakel, sondern an einem System um einen Textgenerator herum. Die Qualität entsteht überwiegend in diesem System, nicht im Modell.

Der Kern ist autoregressive Modellierung: Das Modell schätzt P(token_t | token_1..t-1) über ein festes Vokabular und zieht daraus. Alles, was nach Verstehen aussieht, ist eine Eigenschaft dieser Verteilung, nicht ein zusätzlicher Mechanismus.

Was der Transformer beigetragen hat

Der Verzicht auf Rekurrenz macht die Verarbeitung einer Sequenz parallelisierbar. Erst dadurch wurde Training in der Größenordnung überhaupt wirtschaftlich. Die Architektur selbst ist seit 2017 erstaunlich stabil; skaliert wurden vor allem Parameterzahl, Datenmenge und Kontextlänge.

Sampling ist eine Produktentscheidung

Temperatur, Top-p und Top-k bestimmen, wie weit die Ziehung von der Spitze abweicht. Niedrige Werte erzeugen wiederholbare, aber blasse Ausgaben, hohe Werte das Gegenteil. Wer Reproduzierbarkeit braucht, muss das festschreiben und protokollieren, sonst sind zwei Läufe nicht vergleichbar.

Das Kontextfenster ist eine harte Grenze

Es ist keine Speichergröße im menschlichen Sinn, sondern die maximale Sequenzlänge. Alles, was hineinsoll, konkurriert um denselben Platz: Systemanweisung, Historie, abgerufene Dokumente, Werkzeugausgaben. Große Fenster lösen das Problem nicht auf, sie verschieben es. Die Aufmerksamkeit verteilt sich über mehr Inhalt, und Relevantes kann in der Mitte untergehen.

Wo Skalierung aufhört zu helfen

Größere Modelle verbessern breite Fähigkeiten, ändern aber nichts an der strukturellen Blindheit für die eigene Unsicherheit. Der zweite Skalierungspfad verlagert Rechenzeit von der Trainings- in die Antwortzeit, indem das Modell Zwischenschritte erzeugt, bevor es antwortet. Auch das erzeugt keine Gewissheit, sondern mehr Gelegenheiten, einen Fehler zu bemerken.

Konsequenz für die Architektur

Verlässlichkeit entsteht außerhalb des Modells: durch Werkzeugaufrufe für alles Berechenbare, durch Belegbindung für alles Faktische, durch Prüfstrecken mit bekannter Soll-Ausgabe für alles Wiederkehrende.