NLP vor den Sprach­mo­dellen

Grundkurs, Kapitel 03 sagt, dass die heutige Zerlegung eines Textes Grenzen zieht, die quer zu allem liegen, was ein Linguist ziehen würde. Wie ein Linguist zerlegt hat, sagt es nicht. Grundkurs, Kapitel 04 beginnt damit, dass jedes Token eine Reihe von Zahlen bekommt, und sagt nicht, wie Text davor zu Zahlen wurde.

Dazwischen liegen dreißig Jahre. Dieses Kapitel handelt von ihnen.

Vom Gesprächssystem als Produkt handelt es dabei nicht. Wie ein Chatbot vor den Sprachmodellen aufgebaut war, mit Absichtsliste und vorformulierten Antworten, steht in Conversational AI, Kapitel 01. Hier geht es um die Verfahren darunter.

Ein Programm, das Verständnis vortäuschte

Am Anfang steht ein Programm, das bis heute erklärt, warum Menschen Maschinen Verstehen zuschreiben. Eine Arbeit von 2025 (externe Seite, arxiv.org), die den Originalausdruck im Nachlass wiederfand, ordnet es so ein: ELIZA, Anfang der 1960er Jahre von Joseph Weizenbaum am MIT geschrieben, gilt gewöhnlich als der erste Chatbot der Welt.

Das Programm arbeitete mit Wortmustern. Es suchte in der Eingabe nach Schlüsselwörtern, wählte dazu eine vorbereitete Satzschablone und setzte Teile der Eingabe hinein. Aus „Ich habe Angst vor meinem Vater“ wurde damit „Erzählen Sie mir mehr über Ihren Vater“. Eine Darstellung von Bedeutung gab es nirgends im Programm.

Der Fund, auf dem die Arbeit von 2025 beruht, zeigt zugleich, wie wenig davon lange gesichert war: Die Verfasser stießen in Weizenbaums Archiv am MIT auf einen Originalausdruck des Programms (externe Seite, arxiv.org). Er enthält eine frühe Fassung des bekannten Skripts DOCTOR, den nahezu vollständigen Code in MAD-SLIP und mehrere Hilfsfunktionen in MAD und FAP.

Wichtig für alles Folgende ist die Beobachtung, die Weizenbaum an seinen Benutzern machte. Sie führten Gespräche mit einem Programm, das nichts verstand, und sie schrieben ihm trotzdem Verständnis zu. Warum ein solches Programm damals als Schritt zu einer denkenden Maschine gelesen wurde, steht in Kapitel 11.

Regeln, die jemand aufgeschrieben hat

Nach ELIZA folgte die Zeit der Regelwerke. Ein Verfahren bekam eine Grammatik, ein Wörterbuch und eine Liste von Umformungen, alles von Hand geschrieben. Damit ließen sich Sätze zerlegen, Wortarten bestimmen und einfache Fragen beantworten.

Dass diese Arbeit schwerer ist, als sie klingt, sagt heute noch die Dokumentation (externe Seite, spacy.io) der gebräuchlichsten Pro­gramm­bi­blio­thek für dieses Fach: In vielen Sprachen kann schon das Zerlegen eines Textes in brauchbare, wortähnliche Einheiten schwierig sein.

Schon das Zerlegen also. Für jede weitere Sprache begann die Arbeit von vorn, und ein Regelwerk, das Zeitungstexte beherrschte, scheiterte an gesprochener Sprache.

Aus Wörtern werden Zahlen, durch Zählen

Ab den 1990er Jahren übernahm eine andere Herangehensweise. Statt Regeln aufzuschreiben, wurden Häufigkeiten gezählt. Der Übergang von Text zu Zahlen, der jedem heutigen Verfahren zugrunde liegt, heißt in seiner ältesten Form Vektorisierung. Die Dokumentation von scikit-learn (externe Seite, scikit-learn.org) versteht darunter allgemein den Vorgang, eine Sammlung von Textdokumenten in numerische Merkmalsvektoren zu verwandeln.

Der einfachste Fall zählt für jedes Wort des Wortschatzes, wie oft es im Text vorkommt. Ein Dokument wird damit zu einer sehr langen Zahlenreihe, in der fast überall eine Null steht. Was dabei verlorengeht, benennt dieselbe Seite (externe Seite, scikit-learn.org) ausdrücklich: Ein Dokument wird allein durch die Wörter beschrieben, die darin vorkommen, und die Information, wo sie im Dokument zueinander stehen, bleibt vollständig unberücksichtigt.

Die Reihenfolge fällt also weg. „Der Hund beißt den Mann“ und „Der Mann beißt den Hund“ ergeben dieselbe Zahlenreihe. Das ist die Grenze dieser ganzen Epoche, und sie ist an dieser einen Stelle eingebaut.

Warum das häufigste Wort das nutzloseste ist

Beim reinen Zählen gewinnen die Wörter, die überall stehen. Die Dokumentation (externe Seite, scikit-learn.org) erklärt, warum das die Rechnung verdirbt: Gäbe man die rohen Zählwerte unmittelbar an ein einordnendes Verfahren, würden die sehr häufigen Wörter die Häufigkeiten der selteneren und auf­schluss­rei­cheren überdecken.

Die Antwort darauf ist eine Gewichtung: Ein Wort wiegt umso mehr, je seltener es über alle Dokumente hinweg ist. Ein Wort wie „und“ kommt überall vor und unterscheidet nichts, ein Fachbegriff kommt in fünf von tausend Dokumenten vor und unterscheidet viel.

Diese Gewichtung ist die Grundlage der Volltextsuche, und sie arbeitet bis heute. In der Suche über eine Wissensbasis steht sie neben dem Vergleich von Zahlenreihen, siehe Agenten und Harness, Kapitel 03.

Die Vorarbeiten am Wort

Vor dem Zählen lagen mehrere Schritte, die jede Anwendung selbst erledigen musste. Sie haben eigene Namen, und sie stecken heute in der Zerlegung eines Sprachmodells oder fallen ganz weg.

Zerlegen. Den Text in Wörter schneiden. Was daraus geworden ist, steht in Grundkurs, Kapitel 03.

Grundform bilden. „Ging“, „gegangen“ und „geht“ auf „gehen“ zurückführen, damit die Zählung sie zusammenfasst. Die Dokumentation (externe Seite, spacy.io) beschreibt den zugrunde liegenden Vorgang, die Flexion: Die Grundform eines Wortes wird durch Vorsilben oder Endungen verändert, die seine grammatische Aufgabe angeben und seine Wortart unverändert lassen.

Wortart bestimmen. Für jedes Wort festlegen, ob es Substantiv, Verb oder Adjektiv ist. In Tiefe 3 steht, warum gerade dieser Schritt der Kette gefährlich wurde.

Eigennamen finden. Personen, Orte und Firmen aus dem Fließtext ziehen. Diese Aufgabe gibt es weiterhin als eigenes Werkzeug: Laut seiner Dokumentation (externe Seite, spacy.io) bringt spaCy eine äußerst schnelle statistische Erkennung mit, die zusammenhängenden Folgen von Tokens ein Etikett zuweist.

Woran Sie ein Verfahren dieser Art erkennen

Zählt es Wörter? Dann kennt es keine Reihenfolge, und Verneinungen fallen durch.

Braucht es je Aufgabe eigenes Material? Übersetzen, Zusammenfassen und Einordnen waren getrennte Verfahren mit getrennten Datensammlungen.

Nennt es die Wortart oder die Grundform? Dann läuft dahinter eine Kette von Schritten, und jeder davon kann fehlgehen.

Alle drei Merkmale beschreiben eine Welt, in der ein System aus vielen austauschbaren Teilen bestand. Was daraus wurde, steht in Tiefe 2.

Tiefe 1 hat die Bausteine genannt. Hier stehen ihre Grenzen, und die eine Stelle, an der die Epoche zu Ende ging.

Wie weit der Kontext eines Verfahrens reichte

Die Verfahren dieser Zeit sahen nie den ganzen Text an. Sie sahen ein Fenster an, meistens wenige Wörter breit. Der Fachausdruck dafür ist n-Gramm, und das Lehrbuch (externe Seite, nltk.org) zur gebräuchlichsten Pro­gramm­bi­blio­thek beschreibt ihn am Beispiel der Wortartbestimmung: Ein n-Gramm-Tagger verallgemeinert den Unigramm-Tagger, sein Kontext ist das aktuelle Wort zusammen mit den Wortart-Etiketten der n-1 vorangehenden Tokens.

Bei n gleich drei sieht ein solches Verfahren also das aktuelle Wort und die Etiketten der zwei davor. Alles weiter zurück liegt außerhalb.

Diese Grenze war hart und wurde bewusst gesetzt: Laut Lehrbuch (externe Seite, nltk.org) soll ein n-Gramm-Tagger keinen Kontext berücksichtigen, der über eine Satzgrenze hinausreicht.

Der Grund für die Enge ist eine Rechnung. Bei einem Wortschatz von zehntausend Wörtern gibt es hundert Millionen mögliche Wortpaare und eine Billion mögliche Dreiergruppen. Die allermeisten davon kommen in keinem noch so großen Textbestand vor, und ein Verfahren, das Häufigkeiten zählt, hat für sie keine Zahl. Jedes Wort mehr an Reichweite multipliziert den Bedarf an Material mit der Größe des Wortschatzes.

Was ein heutiges Modell an dieser Stelle anders macht, steht in Grundkurs, Kapitel 02.

Übersetzen durch Zählen

Die maschinelle Übersetzung war die Aufgabe, an der sich diese Epoche gemessen hat, und sie kam ohne Grammatikregeln aus. Die Verfahren zählten, welche Wortgruppen in zweisprachigen Textsammlungen einander gegenüberstanden, und setzten die Übersetzung daraus zusammen.

Wie gut das war, steht als Vergleichswert in der Arbeit (externe Seite, arxiv.org), die es 2014 ablöste: Ein wort­grup­pen­ba­siertes statistisches Über­set­zungs­system (phrase-based SMT) erreicht auf demselben Datensatz einen BLEU-Wert von 33,3.

Der neue Weg lag knapp darüber: Laut derselben Arbeit (externe Seite, arxiv.org) erreichen die Übersetzungen des LSTM auf dem gesamten Testdatensatz einen BLEU-Wert von 34,8.

Die Zahl ist der Punkt: Nach zwanzig Jahren Arbeit an Wort­grup­pen­sta­tistik holte ein Verfahren ohne jede sprachliche Vorgabe im ersten Anlauf denselben Wert.

Wichtig ist dabei, was diese Zahlen messen. BLEU vergleicht die maschinelle Übersetzung mit einer menschlichen, indem es übereinstimmende Wortgruppen zählt. Es ist damit selbst ein Verfahren aus dieser Epoche und misst die Nähe zu einer Vorlage statt der Verständlichkeit.

Die Gewichtung, die bis heute arbeitet

Die Frage, wie schwer ein einzelnes Wort wiegen soll, hat das Fach zwei Jahrzehnte beschäftigt. Ein Bericht von 1987 (externe Seite, ecommons.cornell.edu) fasst den Stand zusammen und benennt die Bedingung für alles: Die Ergebnisse hängen entscheidend davon ab, dass eine wirksame Gewichtung der Begriffe gewählt wird.

Was er dazu liefert, beschreibt der Bericht (externe Seite, ecommons.cornell.edu) selbst zurückhaltend: Er fasst zusammen, was über die automatische Gewichtung von Begriffen gelernt wurde, und stellt einfache Inde­xie­rungs­mo­delle mit einzelnen Begriffen als Grundlinie bereit, an der sich aufwendigere Verfahren der Inhaltsanalyse messen lassen.

Aus dieser Arbeit stammt die Gewichtung, die heute TF-IDF heißt und in jeder Volltextsuche steckt. Sie ist der Teil dieser Epoche, der die Sprachmodelle überlebt hat, und in der Suche über eine Wissensbasis arbeitet sie neben dem Vergleich von Zahlenreihen; siehe Agenten und Harness, Kapitel 03.

Was das Zählen nie hinbekommen hat

Zwei Sachen liegen außerhalb dessen, was eine Zählung leisten kann, und beide stehen in den Dokumentationen der heutigen Pro­gramm­bi­blio­theken.

Die erste ist die Reihenfolge. Dieselben Wörter können in anderer Reihenfolge etwas völlig anderes bedeuten, so die Dokumentation von spaCy (externe Seite, spacy.io).

Für ein Verfahren, das Wörter zählt, sind zwei solche Sätze identisch. Die zweite Sache folgt daraus und ist im Betrieb teurer: die Verneinung. „Der Vertrag wurde gekündigt“ und „Der Vertrag wurde nicht gekündigt“ unterscheiden sich in einem einzigen Wort, das für sich genommen in fast jedem Dokument vorkommt und deshalb kaum Gewicht bekommt. Genau dieses Beispiel führt Grundkurs, Kapitel 04 für die heutigen Verfahren weiter, wo dieselbe Schwäche in abgeschwächter Form fortbesteht.

Ein Ausweg der damaligen Zeit bestand darin, Wortpaare statt einzelner Wörter zu zählen. Damit wandert die Reihenfolge in kleinem Umfang zurück in die Rechnung, und die Zahl der möglichen Merkmale wächst um den Faktor des Wortschatzes.

Der Bruch liegt bei der Darstellung

Der Übergang zu den heutigen Verfahren lässt sich an einer Stelle festmachen, und es ist weder die Rechenleistung noch die Datenmenge. Es ist die Frage, was ein Wort für das Verfahren überhaupt ist.

Beim Zählen ist ein Wort eine Spalte. „Hund“ und „Katze“ stehen in zwei verschiedenen Spalten und haben miteinander so viel zu tun wie „Hund“ und „Buchhaltung“, nämlich nichts. Jede Ähnlichkeit zwischen Wörtern musste in einem Wörterbuch stehen, das jemand gepflegt hat.

Ab 2013 bekam jedes Wort stattdessen eine Reihe von Zahlen, die aus seiner Umgebung im Text gelernt wurde. Ähnliche Wörter landen dort nahe beieinander, ohne dass jemand die Ähnlichkeit eingetragen hätte. Wie das gerechnet wird, steht in Grundkurs, Kapitel 04.

Damit fielen zwei Sachen zugleich weg: das gepflegte Wörterbuch und die Notwendigkeit, für jede Aufgabe von vorn anzufangen.

Die Kette und das eine Modell

Bis dahin war ein Sprachsystem eine Kette: zerlegen, Grundformen bilden, Wortarten bestimmen, Satzbau zerlegen, Eigennamen finden, und erst dann die eigentliche Aufgabe. Jeder Schritt hatte eigenes Trainingsmaterial und eigene Fehlerquoten. Das Lehrbuch (externe Seite, nltk.org) beschreibt die Anordnung so: In der typischen NLP-Pipeline ist das Tagging der zweite Schritt, nach der Tokenisierung.

Diese Kette verschwand mit einem Ansatz, der ausdrücklich mit möglichst wenigen Annahmen über die Sprache auskommt: Die Über­set­zungs­ar­beit von 2014 (externe Seite, arxiv.org) stellt ein allgemeines End-to-End-Verfahren für das Lernen von Folgen vor, das nur minimale Annahmen über den Aufbau der Folge macht.

Das dabei benutzte Netz war ein rekurrentes, und einer seiner beiden Erfinder hat 2024 selbst beschrieben, wie weit diese Bauform gekommen ist: Laut der xLSTM-Arbeit (externe Seite, arxiv.org) haben sich LSTMs seither bewährt und zu zahlreichen Erfolgen des Deep Learning beigetragen, vor allem bildeten sie die ersten großen Sprachmodelle (LLMs).

Und wo sie den Anschluss verlor: Mit dem Transformer, dessen Kern eine parallelisierbare Self-Attention ist, begann laut derselben Arbeit (externe Seite, arxiv.org) eine neue Ära, und bei großem Maßstab überholte er die LSTMs.

Die Zwischenstufe zwischen Kette und Transformer dauerte damit etwa drei Jahre. Was danach kam, steht in Kapitel 03.

Was daraus für die Praxis folgt

Drei Beobachtungen aus dieser Epoche gelten weiter.

Eine Kette multipliziert ihre Fehler. Wer heute mehrere Modellaufrufe hin­ter­ein­an­der­schaltet, baut dieselbe Anordnung neu; die Rechnung dazu steht in Grundkurs, Kapitel 09.

Das Zählen von Wörtern ist billig und robust. Es braucht kein Training, keine Grafikkarte und liefert nachvollziehbare Ergebnisse. Für eine Suche über zehntausend Dokumente ist es oft die richtige Wahl.

Eine Kennzahl aus dieser Zeit misst die Nähe zu einer Vorlage. BLEU und verwandte Maße vergleichen mit einer menschlichen Musterlösung und sagen wenig darüber, ob ein Text brauchbar ist.

Die Epoche endete an einer Eigenschaft ihres Aufbaus, und die lässt sich an einem einzigen Arbeitsschritt zeigen. Mangelnde Genauigkeit der Verfahren war dafür nicht der Grund.

Eine Zwischenstufe entscheidet, und die Entscheidung bleibt

Die Wortartbestimmung ist eine Einordnung wie jede andere. Das Lehrbuch (externe Seite, nltk.org) sagt das ausdrücklich und nennt zugleich, worauf sie sich stützt: Sie ist ein wichtiges frühes Beispiel für das Einordnen von Folgen in NLP, bei dem jede Entscheidung an einer Stelle der Folge die Wörter und Etiketten aus dem lokalen Kontext benutzt.

Entscheidend ist die Form des Ergebnisses. Am Ende dieses Schrittes steht ein Etikett, also ein einzelner Wert aus einer festen Liste. Die Alternativen, die das Verfahren erwogen hat, sind danach verschwunden, samt der Sicherheit, mit der es sich entschieden hat.

Der nächste Schritt in der Kette sieht nur noch das Etikett. Ein Satz wie „Die Leiter fiel um“ ist an dieser Stelle mehrdeutig, und wer sich auf die falsche Lesart festgelegt hat, kann sie später nicht zurücknehmen. Der Satzbau-Zerleger dahinter bekommt keine Gelegenheit, die Entscheidung zu überstimmen, weil er den ursprünglichen Satz gar nicht mehr sieht.

Dieselbe Figur steht am Anfang und am Ende der gesprochenen Sprache: Im klassischen Erkenner legt sich das akustische Modell auf einen Laut fest (Kapitel 07), und in der Sprachausgabe schreibt ein Mel-Spektrogramm die Betonung fest, bevor irgendetwas klingt (Kapitel 08).

Genau das ist der Unterschied zu einem heutigen Modell, in dem die Mehrdeutigkeit bis zum Ende als Verteilung mitläuft. Dass sich Fehler entlang einer Kette vervielfachen, ist dabei die schwächere Aussage und in Grundkurs, Kapitel 09 durchgerechnet. Die stärkere ist die hier: Die Information, die eine spätere Korrektur ermöglicht hätte, existiert nach dem Schritt nicht mehr.

Das Zählen ist nicht verschwunden

Die Gewichtung eines Wortes nach seiner Seltenheit arbeitet bis heute in jeder Volltextsuche. In der Suche über eine Wissensbasis steht sie ausdrücklich neben dem Vergleich von Zahlenreihen, und die Kombination aus beidem gilt als der bessere Weg; die Messungen dazu stehen in Agenten und Harness, Kapitel 03.

Der Grund für dieses Nebeneinander liegt in einer Stärke, die dem gelernten Vergleich fehlt. Ein gezähltes Wort ist ein gefundenes Wort. Wer nach einer Artikelnummer, einem Eigennamen oder einer selten benutzten Fachbezeichnung sucht, will genau diese Zeichenfolge finden, und ein Verfahren, das Ähnlichkeiten lernt, liefert dann ähnliche statt gleicher Treffer.

Die Vorarbeiten aus Tiefe 1 gibt es ebenfalls weiterhin, allerdings als eigenständige Werkzeuge statt als Pflichtstufen einer Kette. Die Eigen­na­men­er­ken­nung ist der Fall, der am häufigsten überlebt hat, und die Dokumentation (externe Seite, spacy.io) nennt, was ein solches Werkzeug ohne eigenes Training kennt: Die mitgelieferten trainierten Pipelines erkennen verschiedene benannte und numerische Entitäten, darunter Firmen, Orte, Organisationen und Produkte.

Für das Entfernen von Namen aus großen Textbeständen ist das nach wie vor der günstigere Weg, weil er ohne Modellaufruf je Dokument auskommt. Was danach im Text noch auf eine Person schließen lässt, zeigt Nutzung und Anpassung von LLMs, Kapitel 07.

Warum das rekurrente Netz die Kette nicht auflöste

Die Bauform, die 2014 die Übersetzung übernahm, stammt aus den 1990er Jahren. Ihr Erfinder nennt in der xLSTM-Arbeit (externe Seite, arxiv.org) die beiden zentralen Ideen, mit denen das Long Short-Term Memory (LSTM) in den 1990er Jahren eingeführt wurde: den Constant Error Carousel und das Gating.

Der Aufbau der Über­set­zungs­ar­beit von 2014 (externe Seite, arxiv.org) bestand aus zwei solchen Netzen: Ein mehrschichtiges LSTM bildet die Eingabefolge auf einen Vektor fester Dimension ab, und ein zweites tiefes LSTM erzeugt aus diesem Vektor die Zielfolge.

Der Engpass steckt in der Mitte dieses Satzes. Der ganze Ausgangssatz muss in einen Vektor fester Länge passen, bevor die Übersetzung beginnt, und diese Länge ist dieselbe für einen Satz mit fünf Wörtern und einen mit fünfzig.

Erstaun­li­cher­weise fiel das weniger ins Gewicht als erwartet: Laut der Über­set­zungs­ar­beit (externe Seite, arxiv.org) hatte das LSTM zudem keine Schwierigkeiten mit langen Sätzen.

Der Satz steht im Abstract, weil das Gegenteil erwartet worden war. Behoben wurde der Engpass trotzdem, und zwar im selben Jahr durch einen Zusatz, der dem zweiten Netz erlaubt, sich die passende Stelle im Ausgangssatz selbst zu suchen. Dieser Zusatz ist die Aufmerksamkeit, drei Jahre bevor sie allein genügte; die Geschichte steht in Kapitel 03.

Was die rekurrente Bauform in der Sache nicht auflöste, ist ihre serielle Arbeitsweise. Sie liest ein Element nach dem anderen, womit sich das Training schlecht auf viele Rechenwerke verteilen lässt. Genau daran verlor sie den Anschluss: Mit dem Transformer, dessen Kern eine parallelisierbare Self-Attention ist, begann laut der xLSTM-Arbeit (externe Seite, arxiv.org) eine neue Ära, und bei großem Maßstab überholte er die LSTMs.

Was mit den Fächern verlorenging

Die alte Kette hatte eine Eigenschaft, die selten genannt wird: Jeder ihrer Schritte war einzeln messbar. Für die Wortartbestimmung gab es Datensätze mit hinterlegten Etiketten, für die Eigen­na­men­er­ken­nung ebenfalls, und die Ergebnisse waren über Jahre hinweg vergleichbar.

Ein heutiges Sprachmodell erledigt dieselben Aufgaben nebenbei und ohne sie zu benennen. Damit fällt die Zwischenmessung weg, und übrig bleibt die Bewertung des Gesamtergebnisses. Welche Schwierigkeiten das mit sich bringt, steht in Beurteilen und Einordnen, Kapitel 04.

Der praktische Verlust zeigt sich bei der Fehlersuche. Wenn eine Kette ein falsches Ergebnis liefert, lässt sich der Schritt finden, an dem es kippte. Bei einem einzelnen Modellaufruf gibt es diesen Ort nicht, und die Antwort auf die Frage nach dem Grund ist selbst wieder eine erzeugte Ausgabe.

Ein Teil des Fachs hat darauf mit einer Rückkehr reagiert: Wer heute eine Aufgabe in Teilschritte zerlegt und jeden einzeln prüfbar macht, baut die alte Kette mit neuen Bausteinen. Der Unterschied liegt darin, dass die Zwi­schen­er­geb­nisse in Prosa vorliegen statt als Etikett aus einer festen Liste.

Was daraus nicht folgt

Die alten Verfahren waren deshalb keine Sackgasse. Die Gewichtung nach Seltenheit, die Eigen­na­men­er­ken­nung und die Zerlegung in Wörter arbeiten weiter, teils als eigenständige Werkzeuge, teils in den Sprachmodellen selbst.

Der Bruch lag nicht an der Rechenleistung allein. Er lag an der Darstellung: Ein Wort wurde von einer Spalte in einer Zähltabelle zu einer gelernten Zahlenreihe. Die Rechenleistung machte diesen Schritt bezahlbar.

Eine Kette bleibt ein brauchbares Muster. Gescheitert ist diese eine an Zwischenstufen, die eine Entscheidung erzwingen und die Alternativen wegwerfen. Wer diese Eigenschaft vermeidet, kann weiterhin in Schritten arbeiten.