GrundlagenGrundkursKapitel 01von 16 im Pfad
Was ein Sprachmodell ist
Wenn über KI geredet wird, fallen drei Wörter fast immer durcheinander: KI, Sprachmodell und der Name irgendeines Programms. Sie meinen nicht dasselbe, und der Unterschied ist der Anfang von allem.
Was oft verwechselt wird
Ein Sprachmodell ist ein Bauteil. Man kann es nicht anfassen und nicht starten; es ist eine sehr große Datei mit Zahlen, die aus Text weiteren Text erzeugen kann. Für sich allein tut es nichts.
Eine Anwendung ist das, was Sie bedienen. Sie hat ein Eingabefeld, merkt sich das Gespräch, kann Dateien annehmen und im Netz nachschlagen. Im Inneren benutzt sie ein Sprachmodell.
KI ist der Oberbegriff für das ganze Feld. Sprachmodelle sind ein Teil davon, aber längst nicht alles. Was sonst noch dazugehört, steht in KI-Wissen, Kapitel 01.
Das Beispiel, das man sich merken kann
ChatGPT ist die Anwendung. GPT ist das Sprachmodell.
Anwendung
ChatGPT
Das Programm, das Sie öffnen und bedienen.
- hat eine Oberfläche und ein Eingabefeld
- merkt sich das Gespräch
- nimmt Dateien an und sucht im Netz
- verwaltet Konto, Rechte und Abrechnung
Auch: Claude, Gemini, Copilot, Perplexity
Sprachmodell
GPT-4o
Die Datei mit gelernten Werten, die aus Text weiteren Text erzeugt.
- kennt kein gestern und kein morgen
- hat keinen Netzzugang
- vergisst zwischen zwei Aufrufen alles
- wird ausgetauscht, ohne dass es auffällt
Auch: GPT-3.5, GPT-4, Claude Opus, Gemini Pro
Das Sprachmodell ist der Motor. Die Anwendung ist das Auto.
Das lässt sich an der eigenen Geschichte der beiden zeigen. Als OpenAI ChatGPT am 30. November 2022 veröffentlichte, stand in der Ankündigung (externe Seite, openai.com) kein Modellname mit Versionsnummer. Dort hieß es, ChatGPT sei aus „einem Modell der GPT-3.5-Serie“ einem Fine-Tuning unterzogen worden. Die Anwendung bekam einen Namen und ein Gesicht, das Modell darunter blieb ungenannt.
Seitdem wurde dieses Modell mehrfach ausgetauscht: GPT-4 (externe Seite, openai.com) im März 2023, GPT-4o (externe Seite, openai.com) im Mai 2024, danach weitere. Der Name der Anwendung hat sich in dieser Zeit nicht geändert.
seitlich verschiebbar
eigene Darstellung nach den Ankündigungen von OpenAI, Stand 07/2026
Warum die Trennung wichtig ist
Weil sonst Eigenschaften verwechselt werden. Dass ein Chatprogramm eine aktuelle Nachricht kennt, liegt meist daran, dass die Anwendung im Netz nachgesehen und das Ergebnis mitgegeben hat. Was ein Modell von sich aus weiß, hat einen Stichtag, siehe Kapitel 08. Dass eine Rechnung stimmt, liegt oft daran, dass die Anwendung einen Taschenrechner aufgerufen hat.
Woran Sie es im Alltag merken
Dasselbe Sprachmodell verhält sich in zwei Programmen unterschiedlich. Das eine antwortet knapp, das andere ausführlich; das eine kann Dateien lesen, das andere nicht. Der Unterschied steckt in der Anwendung, nicht im Modell.
Umgekehrt gilt dasselbe: Wenn eine Anwendung von heute auf morgen bessere Antworten gibt, ohne dass sich an der Oberfläche etwas geändert hat, wurde meist das Modell darunter getauscht.
In Kapitel 02 geht es darum, was das Bauteil eigentlich tut.
Was umgangssprachlich „die KI“ heißt, ist meistens ein Stapel aus mindestens drei Schichten. Wer die trennt, kann Aussagen über KI-Systeme viel genauer beurteilen.
Die drei Schichten
Der Modellkern. Architektur, gelernte Werte und ein Tokenizer. Er nimmt eine Folge von Zahlen entgegen und liefert eine Wahrscheinlichkeitsverteilung für die nächste Zahl zurück. Er hat kein Gedächtnis, keine Uhr, keinen Netzzugang und keinen Zustand zwischen zwei Aufrufen.
Die Laufzeitumgebung. Sie lädt den Kern, nimmt Anfragen über eine Schnittstelle entgegen, setzt Grenzen für Länge und Kosten und ruft Tools auf, wenn das Modell danach verlangt.
Die Anwendung. Oberfläche, Gesprächsverlauf, Systemanweisung, Dateiverarbeitung, Suche, Rechteverwaltung. Hier entsteht ein erheblicher Teil dessen, was Menschen als Verhalten wahrnehmen. Was ein System überhaupt leisten kann, entscheidet zugleich der Kern.
seitlich verschiebbar
eigene Darstellung, Stand 08/2026
ChatGPT und GPT, am Kalender aufgezeigt
Die Trennung von Anwendung und Modell ist keine Spitzfindigkeit, sie lässt sich an Daten festmachen.
| Wann | Was | Ebene |
|---|---|---|
| 12.06.2017 | „Attention Is All You Need“ (externe Seite, arxiv.org) stellt den Transformer vor | Forschung |
| 11.06.2018 | GPT-1 (externe Seite, openai.com), erstmals das Muster vortrainieren und nachjustieren | Modell |
| 14.02.2019 | GPT-2 (externe Seite, openai.com), das größte Modell zunächst zurückgehalten | Modell |
| 28.05.2020 | GPT-3 (externe Seite, arxiv.org), Aufgaben lösen anhand weniger Beispiele im Text | Modell |
| 04.03.2022 | InstructGPT (externe Seite, arxiv.org), Nachtraining mit menschlicher Rückmeldung | Modell |
| 30.11.2022 | ChatGPT (externe Seite, openai.com) | Anwendung |
| 14.03.2023 | GPT-4 (externe Seite, openai.com), verarbeitet auch Bilder | Modell |
| 13.05.2024 | GPT-4o (externe Seite, openai.com), Text, Bild und Ton in einem Modell | Modell |
seitlich verschiebbar
eigene Darstellung nach arXiv und den Ankündigungen von OpenAI, Daten geprüft am 26.07.2026
Zwei Dinge fallen an dieser Reihe auf.
Zwischen der Grundlagenarbeit und dem Moment, in dem die Öffentlichkeit davon Notiz nahm, liegen fünfeinhalb Jahre. Die Technik war 2017 da, GPT-3 löste 2020 bereits Aufgaben anhand weniger Beispiele im Text. Bis daraus etwas wurde, das man einfach benutzt, kamen zwei Dinge dazu. Das eine ist das Nachtraining mit menschlicher Rückmeldung, in der Fachsprache RLHF für Reinforcement Learning from Human Feedback: Menschen bewerten Antworten, aus den Bewertungen entsteht ein Belohnungsmodell, und gegen dieses wird weitertrainiert. OpenAI zeigte im März 2022 an einem eigenen Vergleich, wie viel dieser Schritt ausmacht. Ein Modell mit 1,3 Milliarden Werten (externe Seite, arxiv.org) wurde danach als hilfreicher eingeschätzt als eines mit 175 Milliarden ohne ihn. Das andere ist die Oberfläche, in die man einfach hineinschreiben konnte.
Die einzige Zeile in der Tabelle, die eine Anwendung nennt, ist die einzige, die fast jeder kennt.
Die Verwechslung hat Folgen
Sie erklärt fast jede unklare Diskussion über KI:
- „Das Modell kann im Internet suchen.“ Kann es nicht. Die Anwendung ruft ein Tool auf und legt das Gefundene in den Kontext, siehe Kapitel 09.
- „Das Modell erinnert sich an letzte Woche.“ Tut es nicht. Die Anwendung speichert und schickt es erneut mit, als Teil dessen, was Kapitel 05 beschreibt.
- „Das Modell hat sich verbessert.“ Manchmal stimmt das. Oft wurde nur die Anweisung geändert oder ein Tool ergänzt.
Was daraus folgt
Wer ein KI-Vorhaben plant, entscheidet an drei Stellen getrennt: welches Modell, welche Umgebung, welche Anwendung. Die meisten Projekte scheitern nicht an der ersten Frage.
Präzise formuliert ist ein Sprachmodell eine parametrisierte Funktion
f(θ): Token-Sequenz → Verteilung über das Vokabular. Alles Weitere ist
Umgebung.
Was zum Modell gehört
Die Architektur, die Gewichte θ, das Vokabular und der Tokenizer. Der Tokenizer
wird gern vergessen, gehört aber zwingend dazu: Dieselben Gewichte mit einem
anderen Vokabular ergeben ein anderes Modell. Was ein Token ist, steht in
Kapitel 03.
Nicht zum Modell gehören: Systemanweisung, Sampling-Parameter, Kontextverwaltung, Tool-Definitionen, Cache. Alles davon verändert das beobachtbare Verhalten erheblich, ohne ein einziges Gewicht anzufassen.
Die Serving-Schicht
Zwischen Kern und Anwendung liegt in der Praxis eine eigene Ebene: Stapelverarbeitung mehrerer Anfragen, Wiederverwendung berechneter Zustände, gestreamte Ausgabe, Kontingente. Sie ist der Grund, warum dieselben Gewichte bei zwei Anbietern unterschiedlich teuer und unterschiedlich schnell sind.
Warum die Unterscheidung trotzdem gilt
Weil sie die Suche ordnet. Ohne die Trennung sucht man im Ganzen, mit ihr geht man die Schichten der Reihe nach durch: Fehlte der Beleg im Kontext, hat das Tool versagt, war die Anweisung mehrdeutig, oder hat der Kern trotz korrekter Eingabe daneben gegriffen. Woran man den letzten Fall erkennt, steht in Kapitel 07.
Oft wirken mehrere davon zusammen, und welche Schicht wie häufig anschlägt, hängt an Aufgabe und Aufbau. Was die Trennung erspart, ist die pauschale Zuschreibung an das Modell. Das ist die eigentliche Botschaft dieses Kapitels.
Quellen
8 Einträge, davon 3 Schlüsselarbeitenalle erreichbar
Erreichbarkeit automatisch geprüft
SchlüsselarbeitAnkündigung des Herstellerserreichbar
Introducing ChatGPT (externe Seite, openai.com)
openai.comgeprüft 24.09.2026
Die Ankündigung vom 30.11.2022, mit der Sprachmodelle aus der Fachwelt heraustraten. Aufschlussreich ist der Wortlaut: Statt eines Modells mit Versionsnummer nennt OpenAI nur eine Herkunft, ChatGPT sei aus einem Modell der GPT-3.5-Serie einem Fine-Tuning unterzogen worden. Die Anwendung bekam einen Namen, das Modell dahinter blieb ungenannt. Diese Trennung besteht bis heute.
SchlüsselarbeitOriginalarbeiterreichbar
Training language models to follow instructions with human feedback (externe Seite, arxiv.org)
arxiv.orggeprüft 24.09.2026
Ouyang und Mitautoren zeigen am 04.03.2022, dass ein deutlich kleineres, mit menschlicher Rückmeldung nachtrainiertes Modell hilfreicher antwortet als ein sehr viel größeres ohne. Das ist der Schritt, der aus einem Textfortsetzer einen Assistenten macht, und die Voraussetzung für ChatGPT acht Monate später.
SchlüsselarbeitOriginalarbeiterreichbar
Attention Is All You Need (externe Seite, arxiv.org)
arxiv.orggeprüft 24.09.2026
Die Arbeit, mit der alles anfing. Vaswani und sieben Mitautoren stellen am 12.06.2017 die Transformer-Architektur vor und zeigen, dass ein Netz allein über den Mechanismus der Aufmerksamkeit auskommt, ohne die bis dahin übliche schrittweise Verarbeitung. Erst dadurch ließen sich Modelle sinnvoll auf viele Rechenkerne verteilen. Jedes GPT, jedes Claude und jedes Gemini steht auf dieser Arbeit. Abschnitt 3.2.3 hält die Einschränkung fest, die für alle fortsetzenden Modelle gilt: „self-attention layers in the decoder allow each position in the decoder to attend to all positions in the decoder up to and including that position“, dazu die Begründung „We need to prevent leftward information flow in the decoder to preserve the auto-regressive property“. Beide Stellen stehen im Volltext und sind deshalb ohne hinterlegtes Zitat, der Prüflauf liest die Abstract-Seite.
Ankündigung des Herstellerserreichbar
GPT-4 (externe Seite, openai.com)
openai.comgeprüft 24.09.2026
GPT-4, vorgestellt am 14.03.2023. Erstmals verarbeitet ein Modell dieser Reihe neben Text auch Bilder. Der technische Bericht nennt bewusst keine Angaben zu Größe und Trainingsdaten, ein Bruch mit der bis dahin üblichen Offenheit.
Ankündigung des Herstellerserreichbar
Hello GPT-4o (externe Seite, openai.com)
openai.comgeprüft 24.09.2026
GPT-4o, vorgestellt am 13.05.2024. Text, Bild und Ton laufen durch ein einziges Modell statt durch mehrere hintereinandergeschaltete. Mit diesem Modell kam auch das Vokabular o200k_base, nach dem der Tokenizer im Grundkurs zerlegt.
Originalarbeiterreichbar
Improving Language Understanding by Generative Pre-Training (externe Seite, openai.com)
openai.comgeprüft 24.09.2026
GPT-1, vorgestellt am 11.06.2018. Führt das Muster ein, das bis heute gilt: erst ein Modell auf sehr viel unbeschriftetem Text vortrainieren, dann für einzelne Aufgaben nachjustieren. Das G in GPT steht für generative, das P für pre-trained, das T für Transformer.
Ankündigung des Herstellerserreichbar
Better language models and their implications (externe Seite, openai.com)
openai.comgeprüft 24.09.2026
GPT-2, angekündigt am 14.02.2019. Die Technik zählte dabei weniger als die Entscheidung, das größte Modell zunächst zurückzuhalten. Die erste öffentliche Debatte darüber, ob ein Sprachmodell zu gut sein kann.
Originalarbeiterreichbar
Language Models are Few-Shot Learners (externe Seite, arxiv.org)
arxiv.orggeprüft 24.09.2026
GPT-3, eingereicht am 28.05.2020. Zeigt, dass ein ausreichend großes Modell Aufgaben löst, für die es nie eigens trainiert wurde, wenn man ihm im Text ein paar Beispiele vorlegt. Das ist der Grund, warum Prompting überhaupt funktioniert. Die Zusammenfassung beschreibt außerdem, was vorher galt: Ein Sprachverarbeitungssystem brauchte für jede Aufgabe eigens gesammelte Beispiele, Tausende bis Zehntausende.