Modell

Wie ein Sprachmodell gebaut ist und womit es trainiert wurde. Bauformen, Verfahren, Kennzahlen.

59 Begriffe51 mit Kapitelverweis187 Zweitwörter im Indexalle 214 im Verzeichnis

Alignment

Die Ausrichtung eines Modells auf erwünschtes Verhalten, als Forschungsprogramm mit veröffentlichten Verfahren.

Ein Weg ersetzt menschliche Bewertungen durch eine aufgeschriebene Regelliste, an der das Modell seine eigenen Antworten kritisiert und überarbeitet. Gemessen wird das Ergebnis, und eine Untersuchung von 2024 zeigt, dass ein Modell sich anders verhält, wenn es seine Antworten für beobachtet hält; das war ein Aufbau mit vorgegebenem Rahmen, und im laufenden Betrieb hat es niemand beobachtet. Nicht zu verwechseln mit der gleichnamigen Frage im Harness, wo Alignment die Übereinstimmung zwischen Auftrag und Ausführung meint.

auchAusrichtung · RLHF

Kapitel 06 · Was im Modell entsteht Constitutional AI: Harmlessness from AI Feedback Alignment faking in large language models siehe Interpretierbarkeit siehe Emergenz

ARC

Eine Testreihe für die Fähigkeit, aus wenigen Beispielen eine unbekannte Regel zu erschließen. Die Aufgaben kommen ohne Sprache und ohne Fachwissen aus, damit Vorwissen niemandem hilft.

François Chollet stellte den Test 2019 in der Arbeit On the Measure of Intelligence vor, zusammen mit einer Definition von Intelligenz als Lerneffizienz: Was zählt, ist die Geschwindigkeit, mit der ein System aus Erfahrung eine neue Fähigkeit gewinnt. In der Arbeit heißt er Abstraction and Reasoning Corpus, kurz ARC. Die ARC Prize Foundation, die ihn heute betreibt, schreibt ARC-AGI und löst die Abkürzung als Abstraction and Reasoning Corpus for Artificial General Intelligence auf. Der Zuschnitt der Aufgaben folgt einem Grundsatz, der ihn von den üblichen Messreihen abhebt: Easy for Humans, Hard for AI. Zugelassen ist nur, was ein Mensch sehr früh mitbringt, also Formen, Anzahlen, Symmetrie und Abgrenzung. Sprache bleibt draußen, weil ein auf Text trainiertes Modell damit einen Vorsprung hätte, den der Test gerade nicht messen will. Drei Fassungen gibt es. Die dritte erschien am 25.03.2026 und misst etwas anderes als ihre Vorgänger: Der Agent bekommt eine Spielumgebung ohne Anleitung, ohne Regeln und ohne genanntes Ziel und muss selbst herausfinden, was Gewinnen bedeutet. Menschen lösen das vollständig, die besten Modelle lagen zum Start bei 0,51 Prozent.

auchARC-AGI · Abstraction and Reasoning Corpus

Beitrag · Dasselbe Modell, dreifacher Wert On the Measure of Intelligence ARC-AGI Series, Benchmarks for General Intelligence Announcing ARC-AGI-3 siehe ARC-AGI-3 siehe Benchmark siehe Harness

ARC-AGI-3

Ein Testverfahren aus einfachen Spielen ohne Tools, das die Zahl der genutzten Aktionen mit einem menschlichen Maßstab vergleicht, nicht die Zahl gelöster Aufgaben.

Die Testumgebung stellt bewusst keine Tools und keine Sonderausstattung bereit: Je schlichter der Rahmen, desto sichtbarer werden die Schwächen eines Modells, und desto eher lassen sich verschiedene Modelle vergleichen. Ein Wert wie 38,3 Prozent vergleicht die gebrauchten Aktionen mit einem menschlichen Maßstab von 100 Prozent. Den durchschnittlichen Tester schätzt OpenAI auf 48 Prozent. Wie stark eine solche Zahl von der Umgebung um das Modell abhängt, zeigte OpenAI im Juli 2026 an einem eigenen Beispiel: Zwei geänderte Einstellungen am Harness verdreifachten den Wert für GPT-5.6 Sol, ohne dass sich am Modell etwas änderte.

auchARC-AGI-3-Test

Beitrag · Dasselbe Modell, dreifacher Wert How two API settings improved GPT-5.6 performance on ARC-AGI-3 29.07.2026 · Zwei Einstellungen am Harness verdreifachen die ARC-AGI-3-Werte von GPT-5.6 Sol siehe ARC siehe Benchmark siehe Harness siehe Agent

Benchmark

Ein fester Satz Aufgaben, mit dem Modelle verglichen werden. Die Zahl gilt für diese Aufgaben, nicht für die eigene Arbeit.

Fast jede Ankündigung eines Modells nennt Balken, in denen es vorn liegt. Damit eine solche Zahl etwas wert ist, gehören drei Angaben dazu: wer gemessen hat, welche Aufgaben gemessen wurden und ob diese Aufgaben im Training vorkamen. Bei Herstellerangaben ist die erste Frage schon beantwortet. Für eine Entscheidung zählt am Ende ein eigener Vergleich an den eigenen Aufgaben, weil keine Aufgabensammlung der Welt zu der Mischung passt, die in einem Betrieb anfällt.

auchBenchmarks · Auswertung · Bewertungslauf · Evaluation · Eval

2024 · Die Spitze wechselt zum ersten Mal 21.09.2026 · Ein physikalisches Optimierungsverfahren wählt beim Pruning großer Sprachmodelle die zu entfernenden Blöcke 29.07.2026 · Zwei Einstellungen am Harness verdreifachen die ARC-AGI-3-Werte von GPT-5.6 Sol siehe Harness siehe Sprachmodell siehe Halluzination siehe Tokenmaxxing siehe Enthaltung siehe ARC siehe ARC-AGI-3

BFloat16BF16

Ein Zahlenformat mit 16 Bit: 1 Bit Vorzeichen, 8 Bit Exponent und 7 Bit Mantisse. In ihm veröffentlichen viele Hersteller die Gewichte ihrer Modelle.

BF16 hat denselben Wertebereich wie das übliche Format mit 32 Bit und weniger Ziffern. Für das Training reicht das, und es halbiert den Speicher. Google veröffentlicht Gemma 4 in BF16, ein Modell mit 30,7 Milliarden Parametern wiegt so gut 61 Gigabyte. Für den eigenen Rechner werden die Gewichte deshalb meist quantisiert.

auchBF16 · bfloat16 · Brain Float

Beitrag · Gleicher Name, neuer Digest: Wie Ollama ein Modell ablegt Gemma 4 31B, config.json beim Commit 842da37 siehe Quantisierung siehe Gewichte

CLIP

Contrastive Language-Image Pre-training. Ein Bild- und ein Textnetz, gemeinsam trainiert auf einen geteilten Raum für Bild und Text.

OpenAI stellte CLIP im Februar 2021 vor. Trainiert wurde mit 400 Millionen Bild-Text-Paaren aus dem Netz, mit der Aufgabe vorherzusagen, welche Bildunterschrift zu welchem Bild gehört. Im Original heißt es: „CLIP learns a multi-modal embedding space by jointly training an image encoder and text encoder“. Ein gemeinsamer Raum für zwei Medienarten war damit schon 2021 belegt, lange vor den heutigen multimodalen Modellen. Neu an einem Modell wie Gemini Embedding 2 ist 2026 die Breite: Text, Bild, Ton und Video in einem einzigen Raum, CLIP kannte nur zwei.

auchContrastive Language-Image Pre-training · Contrastive Language-Image Pretraining

Kapitel 04 · Embedding, Bedeutung als Zahlenreihe Learning Transferable Visual Models From Natural Language Supervision Gemini Embedding 2: A Native Multimodal Embedding Model from Gemini 2021 · CLIP, ein gemeinsamer Raum für Bild und Text siehe Embedding siehe Vektorraum siehe Contrastive Learning siehe Multimodal

Contrastive Learning

Das Trainingsziel von Embedding-Modellen: Zusammengehörige Textpaare sollen im Vektorraum nah beieinander landen, unzusammengehörige weit auseinander.

Hier liegt der Unterschied zum Sprachmodell, das auf die Vorhersage des nächsten Token trainiert wird. Einem Embedding-Modell legt man stattdessen Millionen Paare vor, etwa Frage und passende Antwort oder Titel und Artikel, und straft es, wenn der Abstand im Raum nicht stimmt. Daher rühren die praktischen Eigenschaften: Ein solches Modell ist klein, im Betrieb billig und muss nichts formulieren, nur einordnen. Dasselbe Verfahren legt beim multimodalen Training Text, Bild, Ton und Video in einen gemeinsamen Raum.

auchKontrastives Lernen · Kontrastives Training · Contrastive Loss · Embedding-Training

Kapitel 04 · Embedding, Bedeutung als Zahlenreihe Gemini Embedding 2: A Native Multimodal Embedding Model from Gemini siehe Embedding siehe Vektorraum siehe Pre-Training

Diarisierung

Auseinanderhalten, wer von mehreren Anwesenden gerade spricht.

Eine Abschrift hält fest, was gesagt wurde. Wer es gesagt hat, steht dort nur, wenn ein eigenes Verfahren die Stimmen trennt und den Abschnitten zuordnet. Praktisch wird das, sobald ein Gerät in einem Raum mit mehreren Menschen steht oder eine Aufnahme aus einer Besprechung stammt.

auchSprechertrennung · Speaker Diarization

Kapitel 07 · Spracherkennung siehe Spracherkennung

Diffusion

Das Verfahren hinter Stable Diffusion und seiner Linie: Ein Netz lernt, Rauschen schrittweise zu entfernen.

Trainiert wird über die leichte Richtung. Ein Bild wird Schritt für Schritt in Rauschen verwandelt, und gelernt wird der Rückweg. Wer den beherrscht, kann bei einem beliebigen Zufallsmuster anfangen; der eingegebene Text lenkt dabei, wohin die Schritte führen. Seit Dezember 2021 läuft die Rechnung in einem verdichteten Zwischenraum, in den ein zweites Netz das Bild übersetzt, und erst das brachte das Verfahren auf eine einzelne Grafikkarte. Seit März 2025 steht ein zweites Verfahren daneben: OpenAIs Bilderzeugung sitzt im Sprachmodell selbst und baut ein Bild Stück für Stück auf, wie einen Text; die Modellkarte grenzt das ausdrücklich vom Diffusionsmodell DALL·E ab.

auchDiffusionsmodell · Latent Diffusion · Entrauschen

Kapitel 14 · Ein Bild, das es vorher nicht gab Deep Unsupervised Learning using Nonequilibrium Thermodynamics Denoising Diffusion Probabilistic Models High-Resolution Image Synthesis with Latent Diffusion Models Addendum to GPT-4o System Card: 4o image generation 2025 · Bilder entstehen wie Text siehe Multimodal siehe Sampling

Direct Preference OptimizationDPO

Ein Training aus Antwortpaaren: je eine bevorzugte und eine abgelehnte Antwort zur selben Eingabe.

Rafailov und Mitautoren von der Universität Stanford stellten das Verfahren 2023 vor. Wie RLHF richtet es ein Modell an menschlichen Vorlieben aus. Es kommt dabei ohne eigenes Belohnungsmodell aus, eine einfache Verlustfunktion für eine Einordnung genügt. Die Autoren nennen es stabil und sparsam in der Rechnung. Ihre Vergleiche betreffen die Stimmung eines Textes, Zusammenfassungen und Dialoge mit einer Runde. Offene Modelle nutzen es als Stufe im Nachtraining: Bei Olmo 3.1 liegt eine Stufe mit DPO zwischen dem überwachten Fine-Tuning und der fertigen Instruct-Fassung. OpenAI führt das Verfahren unter diesem Namen in seiner Übersicht der Abstimmverfahren, für gpt-4.1 in drei Größen. Für die kleinste nennt OpenAI den 23.10.2026 als Abschalttag, für die beiden anderen den 14.01.2027.

auchDPO · Präferenzoptimierung

Kapitel 08 · Woran es fehlt, entscheidet den Weg Kapitel 02 · Woher Modelle kommen Direct Preference Optimization: Your Language Model is Secretly a Reward Model Ai2, Olmo 3.1 32B Instruct Modellkarte OpenAI, Model optimization OpenAI, Deprecations siehe Reinforcement Learning from Human Feedback siehe Fine-Tuning siehe Reinforcement Learning

Distillation

Ein großes Modell erzeugt Antworten, ein kleines lernt sie nachzumachen. Am Ende steht ein kleineres Modell, das einen Teil des Könnens übernommen hat.

Der Gedanke stammt aus einer Arbeit von 2006: Ein Verbund aus Hunderten von Modellen beschriftete Daten, an denen ein tausendmal kleineres Netz lernte. Den Namen gab ihm 2015 eine Arbeit, in der das kleine Modell an den Wahrscheinlichkeiten des großen für alle Antworten lernt. DistilBERT bezifferte das Verfahren 2019 an einem Sprachmodell: 40 Prozent kleiner, 60 Prozent schneller, im Mittel über neun Aufgaben 97 Prozent des Sprachverständnisses. Anbieter führen es heute als buchbaren Vorgang, bei dem das große Modell die Trainingsdaten selbst erzeugt. Erzeugt AWS dabei zusätzliche Daten, berechnet es die Aufrufe beim großen Modell.

auchDestillation · Knowledge Distillation · Modelldestillation · Lehrer-Schüler · Soft Targets · weiche Zielwerte

Kapitel 02 · Ein Modell auf eigene Daten abstimmen Kapitel 03 · Wie ein Modell von einem anderen lernt Model Compression Distilling the Knowledge in a Neural Network DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter AWS, Customize a model with distillation in Amazon Bedrock siehe Fine-Tuning siehe Low-Rank Adaptation siehe Gewichte

Effort

Eine Einstellung, die festlegt, wie gründlich ein Modell vor seiner Antwort nachdenken darf, in benannten Stufen von niedrig bis maximal.

Bei den aktuellen Claude-Modellen entscheidet das Modell bei jedem Schritt selbst, ob und wie viel es nachdenkt, und der Effort setzt dafür den Rahmen. Niedrige Stufen antworten schneller und billiger, hohe denken bei schwierigen Aufgaben tiefer. Bezahlt wird jedes Denk-Token wie Ausgabe, auch wenn man es nie sieht. Die Stufen sind je Modell geeicht, derselbe Name steht bei zwei Modellen also nicht für denselben Wert. Andere Anbieter nennen den Regler anders und steuern damit dieselbe Sache.

auchReasoning Effort · Effort-Stufe · Denkstufe · reasoning_effort

Kapitel 10 · Welches Modell, welche Stufe Kapitel 06 · Modelle und Aufwand Anthropic, Model configuration Effort siehe Reasoning-Modell siehe Fast Mode

Elo

Eine Rangzahl aus paarweisen Vergleichen. Ursprünglich für Schach gedacht, heute auch für Sprachmodelle.

Der Name kommt von Arpad E. Elo, der das Verfahren 1967 in der Zeitschrift Chess Life für den US-amerikanischen Schachverband beschrieb. Elo ist der Nachname des Erfinders. Häufig steht dafür großgeschrieben ELO, korrekt ist die Schreibweise mit einem einzigen Großbuchstaben. Im April 2023 ging die Plattform Chatbot Arena an den Start und rechnete von Beginn an mit diesem Verfahren für Sprachmodelle. Im Dezember 2023 stellte sie auf Bradley-Terry-Koeffizienten um, weil sich diese statistisch genauer schätzen lassen. Der Name Elo-Wert blieb trotzdem im Sprachgebrauch. Wie bei jeder Rangliste gilt ein Elo-Wert nur innerhalb seiner Vergleichsgruppe. Seit 2026 führt derselbe Betreiber, inzwischen unter dem Namen Arena Intelligence, eine eigene Rangliste für Agenten mit einem anderen Verfahren: Causal Tracing schätzt aus einzelnen Sitzungen, wie viel ein Modell zum Ergebnis beiträgt.

auchELO · Elo-Wert · Elo-Rating · Elo-Zahl

Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference Chatbot Arena: Benchmarking LLMs in the Wild with Elo Ratings Chatbot Arena: New models & Elo system update Agent Arena: Causal Evaluation of Agents in the Real World siehe Benchmark siehe Agent

Emergenz

Eine Fähigkeit, die kleine Modelle nicht zeigen und größere schon; ob der Sprung echt ist, wird begutachtet gestritten.

Die Bestimmung von 2022 hat zwei Teile, und der zweite ist die eigentliche Behauptung: Solche Fähigkeiten lassen sich aus dem Verhalten kleinerer Modelle nicht hochrechnen. Ein Jahr später kam die begutachtete Gegenthese, wonach der Sprung an der gewählten Kennzahl hängen kann. Wer eine mehrstellige Rechnung nur als richtig oder falsch zählt, sieht lange nichts und dann plötzlich etwas; wer Teilerfolge zählt, sieht eine glatte Kurve. Der Streit betrifft die Form der Kurve, und beide Arbeiten stehen begutachtet nebeneinander.

auchEmergente Fähigkeit · Emergent Ability

Kapitel 06 · Was im Modell entsteht Kapitel 05 · Geschwindigkeit der Entwicklung Emergent Abilities of Large Language Models Are Emergent Abilities of Large Language Models a Mirage?siehe Interpretierbarkeit siehe Benchmark

Entscheidungsmodell

Ein Modell, das eine vorgegebene Frage mit einer der erlaubten Antworten beantwortet und für jede eine Wahrscheinlichkeit nennt.

Technisch bisher ein feinjustiertes Sprachmodell, das statt eines Satzes oft nur ein einziges Token ausgibt: Aus den Rohwerten der erlaubten Antworten wird eine Verteilung. Die Liste der Antworten steht in jeder Anfrage neu, ein Training je Klassenliste entfällt. Ob die Wahrscheinlichkeit zur Trefferquote passt, ist eine Frage der Kalibrierung und an den eigenen Daten zu prüfen. Das Vorbild ist TypeSafes Jev, Ollama bietet die Schnittstelle seit Version 0.35.0 an.

auchEntscheidungsmodelle · Decision Model · System-One-Modell

Kapitel 15 · Entscheidungsmodelle Beitrag · Entscheidungsmodelle geben eine Auswahl mit Wahrscheinlichkeit zurück Ollama v0.35.0 TypeSafe, System One siehe Klassifikation siehe Kalibrierung siehe Sampling

Fine-Tuning

Nachtraining eines fertigen Modells auf ein engeres Ziel, etwa auf hilfreiche Antworten in Gesprächsform.

Verglichen mit dem Pre-Training ein kleiner Eingriff, der das Verhalten trotzdem stark verändert. ChatGPT entstand aus einem Modell der GPT-3.5-Serie, das ein Fine-Tuning durchlaufen hat. Wer heute von einem Chatmodell spricht, meint fast immer ein Modell nach dem Fine-Tuning und selten das rohe Ergebnis des Pre-Trainings.

auchFeinjustierung · Feinabstimmung · Finetuning · Nachtraining · RLHF

Kapitel 02 · Ein Modell auf eigene Daten abstimmen Introducing ChatGPT Training language models to follow instructions with human feedback 2022 · RLHF, Nachtraining mit menschlicher Rückmeldung 2021 · LoRA, Anpassen ohne die Gewichte anzufassen 30.07.2026 · Die EU schreibt sieben KI-Gigafabriken aus siehe Pre-Training siehe GPT siehe Reinforcement Learning from Human Feedback siehe Low-Rank Adaptation siehe Distillation

Gewichte

Die gelernten Zahlen im Inneren eines Modells. Sie sind das Ergebnis des Trainings.

Ein Modell besteht aus Architektur und Gewichten. Die Architektur ist der Bauplan, die Gewichte sind das Gelernte. Offene Modelle geben die Gewichte frei, geschlossene nicht. Die Parameterzahl ist dabei der weitere Begriff: Sie zählt alle gelernten Zahlen, also auch die Tabelle für das Vokabular. Bei Gemma 3 270M stecken 170 der 270 Millionen Parameter dort und nur 100 Millionen in den Rechenschichten. Für sich genommen sagt die Zahl wenig über die Qualität. Ein drittes Mal begegnet das Wort Parameter beim Sampling, wo es Einstellungen wie Temperatur oder Top-K meint, also nichts Gelerntes.

auchWeights · Parameter · Parameterzahl

Kapitel 08 · Was ein Modell weiß, und woher Kapitel 03 · Neuronale Netze und Deep Learning Google, Introducing Gemma 3 270M siehe Modellkern siehe Pre-Training siehe Offene Gewichte siehe Mixture of Experts siehe Trainingsdaten

GPT

Generative Pre-trained Transformer. Eine Bauart von Sprachmodellen, oft als Name für einzelne Modelle verwendet.

Generative heißt, es erzeugt Text. Pre-trained heißt, es wurde erst auf sehr viel unbeschriftetem Text vortrainiert und danach für einzelne Aufgaben nachjustiert. Transformer ist die Bauform. GPT ist damit weder ein Produkt noch ein Hersteller, sondern eine Beschreibung.

auchGPT-3 · GPT-4 · GPT-4o · Generative Pre-trained Transformer

Kapitel 01 · Was ein Sprachmodell ist Improving Language Understanding by Generative Pre-Training 2018 · GPT-1 siehe Transformer siehe Pre-Training siehe Sprachmodell

Group Relative Policy OptimizationGRPO

Ein Verfahren des Reinforcement Learning, das je Aufgabe mehrere Antworten erzeugt und sie gegeneinander wertet, statt jede einzeln gegen ein eigenes Wertmodell.

GRPO stammt aus der DeepSeekMath-Arbeit vom Februar 2024 und ist eine Variante von PPO, dem bis dahin üblichen Verfahren. Für jede Aufgabe zieht es eine Gruppe von Antworten, etwa acht, lässt sie bewerten und lernt aus dem Abstand jeder Antwort zum Durchschnitt ihrer Gruppe. Das zweite Modell, das bei PPO den Wert einer Antwort schätzt, entfällt, und damit ein großer Teil des Speicherbedarfs. DeepSeek R1 erwarb auf diesem Weg seine Zwischenschritte, und in der Bibliothek TRL ist GRPO der Trainer für Aufgaben mit prüfbarem Ergebnis.

auchGRPO · PPO · Proximal Policy Optimization

Kapitel 02 · Maschinelles Lernen DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning siehe Reinforcement Learning siehe Reinforcement Learning from Human Feedback siehe Reasoning-Modell siehe Low-Rank Adaptation siehe Transformer Reinforcement Learning

Grouped-Query AttentionGQA

Eine Bauform der Aufmerksamkeit, bei der sich mehrere Abfrageköpfe einen Schlüssel-Wert-Kopf teilen, damit der KV-Cache kleiner wird.

Beim Erzeugen jedes Tokens lädt ein Modell neben seinen Gewichten die Schlüssel und Werte aller vorigen Token aus dem Speicher, und dieses Laden ist ein Engpass. Noam Shazeer schlug 2019 vor, dass sich alle Köpfe einen einzigen Satz Schlüssel und Werte teilen, und nannte das Multi-Query Attention. Weil ein einziger Schlüssel-Wert-Kopf die Qualität mindern kann, führten Joshua Ainslie und Mitautoren 2023 die Mitte ein: mehr als einen Schlüssel-Wert-Kopf und weniger, als es Abfrageköpfe gibt. Der Cache schrumpft im selben Verhältnis wie die Zahl der Schlüssel-Wert-Köpfe, und nachtrainierte Modelle erreichten in ihren Versuchen fast die Qualität der vollen Aufmerksamkeit, bei einem Tempo nahe an Multi-Query Attention. Qwen3-4B-Instruct-2507 hat 32 Abfrageköpfe und 8 Schlüssel-Wert-Köpfe, sein Cache ist damit ein Viertel so groß wie mit 32 eigenen.

auchGQA · Schlüssel-Wert-Köpfe · Schlüssel-Wert-Kopf

Kapitel 01 · Wie ein Modell innen gebaut ist Kapitel 04 · Was ein Modell an Hardware braucht Fast Transformer Decoding: One Write-Head is All You Need GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints Qwen3-4B-Instruct-2507, config.json beim Commit cdbee75 siehe KV-Cache siehe Transformer siehe Speicherbandbreite

Kalibrierung

Wie gut die ausgedrückte Sicherheit eines Modells zu seiner tatsächlichen Trefferquote passt.

Ein gut kalibriertes Modell liegt bei Aussagen, die es mit neunzig Prozent Sicherheit trifft, auch in neun von zehn Fällen richtig. Daraus folgt eine unbequeme Kante: Für Tatsachen, deren Wahrheit sich aus den Trainingsdaten nicht ermitteln lässt, muss ein ehrlich kalibriertes Modell mit einer bestimmten Rate danebenliegen. Diese Untergrenze hängt weder an der Architektur noch an der Datenqualität.

auchkalibriert · Calibration · Sicherheitsschätzung

Kapitel 07 · Halluzinationen erkennen Beitrag · Entscheidungsmodelle geben eine Auswahl mit Wahrscheinlichkeit zurück Calibrated Language Models Must Hallucinate siehe Halluzination siehe Enthaltung siehe Benchmark

Knowledge Cutoff

Der Zeitpunkt, bis zu dem ein Modell beim Training gelesen hat. Alles Spätere muss ihm mitgegeben werden.

Anthropic führt dafür zwei verschiedene Daten: bis wann das Wissen verlässlich ist, und wie weit die Trainingsdaten reichen. Zwischen beiden können Monate liegen. Google schränkt zusätzlich ein, dass der Stichtag je Themengebiet verschieden ausfällt. In Claude.ai erfährt das Modell seinen Stichtag aus der Systemanweisung, über die Schnittstelle bekommt es diese nicht.

auchWissensstichtag · Stichtag · Trainingsstand · Cutoff · Wissensstand

Kapitel 08 · Was ein Modell weiß, und woher Anthropic, Models overview Anthropic, System Prompts Anthropic, Claude Opus 5.5 system prompts Google DeepMind, Gemini 3.6 Flash Model Card siehe Trainingsdaten siehe Gewichte siehe RAG siehe Halluzination

Looped Transformer

Ein Transformer, der für jedes Token denselben Block von Schichten mehrfach hintereinander durchläuft. So rechnet ein Modell tiefer, als seine Zahl an Parametern vermuten lässt.

Ein gewöhnlicher Transformer schickt jedes Token einmal durch alle Schichten. Ein Looped Transformer wiederholt einen Block davon, und bei vielen dieser Modelle wird erst bei der Anwendung festgelegt, wie oft. Den Gedanken beschrieben Mostafa Dehghani und Mitautoren im Juli 2018 als Universal Transformer. Jonas Geiping und Mitautoren bauten im Februar 2025 unter dem Namen Recurrent Depth ein Sprachmodell mit 3,5 Milliarden Parametern nach diesem Prinzip. Im Oktober 2025 folgten die offenen Ouro-Modelle mit 1,4 und 2,6 Milliarden Parametern. Im Juli 2026 stellte das Nanbeige Lab Nanbeige4.2-3B vor, ein kompaktes Modell für Agentenaufgaben, das nach Angabe der Entwickler von Grund auf als Looped Transformer vortrainiert ist. Die zusätzlichen Durchläufe rechnen mit Zahlen im Inneren des Modells und erscheinen in keiner Denkspur. Damit zählt die Bauform zum Latent Reasoning, dem Denken ohne ausgeschriebenen Text, und für die Überwachung von Modellen ist das eine offene Frage.

auchRecurrent Depth · Looped Language Model · LoopLM · Depth Recurrence · Universal Transformer

Beitrag · Die Denkspur als Fenster ins Modell, und was GPT-6 Astra daran ändert Beitrag · Looped Transformer: Ein Modell, das denselben Block mehrfach durchläuft Universal Transformers Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach Scaling Latent Reasoning via Looped Language Models Nanbeige4.2-3B: Unlocking Agentic Capabilities in a Compact Model siehe Transformer siehe Reasoning-Modell siehe Chain-of-Thought

Low-Rank AdaptationLoRA

Anpassung eines Modells über eine kleine Zusatzdatei, während die Gewichte selbst eingefroren bleiben.

Trainiert werden kleine Zusatzmatrizen neben den unveränderten Gewichten. Die Arbeit von 2021 beziffert den Rückgang der trainierbaren Parameter mit dem Faktor 10.000 und den des Speicherbedarfs mit dem Faktor 3, bei gleicher Antwortzeit im Betrieb. QLoRA verband das 2023 mit der Quantisierung und brachte damit die Anpassung eines Modells mit 65 Milliarden Parametern auf eine einzelne Grafikkarte. Fast alles, was Anbieter heute als Abstimmung anbieten, arbeitet darunter so. Der Rang gibt an, wie breit die Zusatzmatrizen sind; Rang 1 ist die kleinste Fassung, und für Reinforcement Learning kommt sie nach einer Messung von Thinking Machines aus dem Jahr 2025 dem vollen Fine-Tuning gleich, weil die Bewertung je Versuch nur wenige Bit Information liefert.

auchLoRA · Adapter · QLoRA · PEFT · Rang

Kapitel 02 · Ein Modell auf eigene Daten abstimmen LoRA: Low-Rank Adaptation of Large Language Models QLoRA: Efficient Finetuning of Quantized LLMs Parameter-Efficient Transfer Learning for NLP LoRA Without Regret 2021 · LoRA, Anpassen ohne die Gewichte anzufassen siehe Fine-Tuning siehe Gewichte siehe Quantisierung

Massive Multitask Language UnderstandingMMLU

Ein Wissenstest aus Multiple-Choice-Fragen in 57 Fächern, von Grundschulmathematik bis Recht. Jahrelang die Zahl, die jede Modellankündigung nannte, bis die Spitzenmodelle darin dicht beieinanderlagen.

Hendrycks und Mitautoren veröffentlichten den Test am 07.09.2020. Jede Frage hat vier Antwortmöglichkeiten, die Fächer reichen von Grundschulmathematik über US-Geschichte und Informatik bis zu Recht, und wer hoch punkten will, braucht breites Weltwissen und die Fähigkeit, es auf eine Aufgabe anzuwenden. Zum Start lag das größte GPT-3 knapp 20 Prozentpunkte über dem Raten und auf keinem der 57 Gebiete auf Expertenniveau. In den Jahren danach wurde MMLU zur Standardangabe jeder Modellankündigung, und genau das machte ihn unbrauchbar: Sobald die Spitzenmodelle dicht beieinanderliegen, unterscheidet der Test sie kaum noch. Die Nachfolgefassung MMLU-Pro von 2024 erhöht die Zahl der Antwortmöglichkeiten von vier auf zehn und streicht triviale Fragen; die Genauigkeit derselben Modelle fällt darin nach Angabe der Autoren um 16 bis 33 Prozent. Ein MMLU-Wert in einer Ankündigung sagt deshalb zuerst etwas darüber, welche Fassung gemessen wurde und wie verbraucht sie ist.

auchMMLU · MMLU-Pro · Wissenstest

Kapitel 04 · Was eine Benchmarkzahl sagt Measuring Massive Multitask Language Understanding MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding Benchmark 21.09.2026 · Ein physikalisches Optimierungsverfahren wählt beim Pruning großer Sprachmodelle die zu entfernenden Blöcke siehe Benchmark siehe ARC siehe Elo

MicroscalingMX

Eine Familie von Zahlenformaten der Open Compute Project Foundation von 2023. Je 32 Werte teilen sich eine Skala, die immer eine Zweierpotenz ist.

Die bekanntesten Formate der Familie sind MXFP4 mit Werten in E2M1 und MXFP8 mit Werten in E4M3 oder E5M2. MXFP4 kommt auf 4,25 Bit je Wert, MXFP8 auf 8,25. Die Spezifikation haben unter anderem AMD, Arm, Intel, Microsoft, NVIDIA und Qualcomm mitgeschrieben, damit Grafikchips die Formate direkt rechnen können. OpenAI hat die Experten von gpt-oss in MXFP4 veröffentlicht.

auchMXFP4 · MXFP8 · MX-Formate

Kapitel 05 · Womit ein Modell läuft Beitrag · Gleicher Name, neuer Digest: Wie Ollama ein Modell ablegt OCP Microscaling Formats (MX) Specification, Version 1.0 Microscaling Data Formats for Deep Learning siehe NVFP4 siehe Quantisierung

Mixture of ExpertsMoE

Ein Aufbau, bei dem für jedes Token nur ein Teil des Modells rechnet. Das Modell bleibt groß, der Aufwand je Antwort wird kleiner.

Das Netz enthält viele Teilnetze, und eine vorgeschaltete Auswahl entscheidet für jedes Token, welche davon zum Einsatz kommen. Für den Betrieb bedeutet das: Der Speicher muss das ganze Modell fassen, gerechnet wird nur mit einem Bruchteil. Kimi K3 zeigt beide Zahlen nebeneinander, 2,8 Billionen Gewichte insgesamt und 104 Milliarden je Token. Die Parameterzahl solcher Modelle sagt deshalb nichts über den Aufwand einer einzelnen Antwort.

auchMoE · Expertenmodell · Sparse Model

Kapitel 10 · Small Language Models Beitrag · Wie ein Mixture-of-Experts-Modell rechnet Jiang u. a.: Mixtral of Experts Shazeer u. a.: Outrageously Large Neural Networks, The Sparsely-Gated Mixture-of-Experts Layer Kimi K3, Modellkarte auf Hugging Face 2026 · Offene Gewichte in der Drei-Billionen-Klasse 2023 · Mistral 7B, die europäische Antwort siehe Gewichte siehe Inferenz siehe Quantisierung

Modellkarte

Das Begleitdokument, in dem ein Anbieter beschreibt, was sein Modell ist und was er daran gemessen hat.

Zwei Wörter für zwei Sachen, und die Anbieter benutzen beide. Der ältere stammt aus einer Arbeit von 2018 und meint ein kurzes Dokument, das ein veröffentlichtes Modell begleitet: Aufbau, Grenzen, Leistung, aufgeschlüsselt nach Gruppen. System Card ist Jahre jünger und stammt von den Häusern, die ihre Modelle selbst betreiben. Wo die Grenze verläuft, zeigt OpenAI an sich selbst: Die offenen Gewichte gpt-oss bekamen eine Model Card, das eigene GPT-6 Astra eine System Card. Wer beides gleichsetzt, überspringt die Schicht, in der der Betrieb stattfindet. Verbindlich ist keine der Formen. Der Verhaltenskodex zur KI-Verordnung sieht ein Formular für die Modelldokumentation vor, alles Weitere entscheidet das Haus: Am 06.09.2026 führten drei von fünfzehn geprüften Anbietern ein eigenes Verzeichnis, in dem je Karte ein Datum steht.

auchModel Card · System Card · Systemkarte · Modelldokumentation

Kapitel 08 · Was ein Modell weiß, und woher Kapitel 07 · Die Systemkarte lesen Model Cards for Model Reporting OpenAI, gpt-oss-120b und gpt-oss-20b Model Card Anthropic, Model system cards The General-Purpose AI Code of Practice siehe Trainingsdaten siehe Benchmark siehe Offene Gewichte siehe Modell mit allgemeinem Verwendungszweck

Multi-Token PredictionMTP

Zusätzliche Ausgabeköpfe auf demselben Modellrumpf, die schon beim Training mehrere zukünftige Token statt nur des nächsten vorhersagen.

Gloeckle und Mitautoren von Meta AI schlugen das Verfahren im April 2024 vor: mehrere unabhängige Köpfe sitzen auf einem gemeinsamen Rumpf und sagen je einen der folgenden Token voraus, was die Dateneffizienz beim Training verbessert. DeepSeek-V3 übernahm den Ansatz im Dezember 2024 und fand eine zweite Verwendung dafür: Bei der Inferenz lassen sich dieselben Köpfe als Entwurf für das Speculative Decoding wiederverwenden, mit einer gemessenen Trefferquote von 85 bis 90 Prozent für den zweiten vorhergesagten Token. Ein eigenes zweites Modell wird dafür nicht mehr gebraucht. Der Kopf muss dafür in der Modelldatei liegen: Er entsteht beim Training und geht beim Umwandeln in ein Ausführungsformat entweder mit oder verloren. Die verbreiteten GGUF-Fassungen der großen offenen Modelle hatten ihn im August 2026 überwiegend nicht, gemessen an vier Dateien eines eigenen Bestands. Ollama nutzt einen solchen Kopf seit August 2026 automatisch, wenn Qwen3.5 über die MLX-Engine auf einer Apple-GPU läuft; über llama.cpp braucht es eine eigens gebaute Datei und den Schalter draft-mtp.

auchMTP · MTP-Kopf · MTP-Modul

Beitrag · Elf Wege, ein lokales Modell schneller zu machen Beitrag · Gleicher Name, neuer Digest: Wie Ollama ein Modell ablegt Better & Faster Large Language Models via Multi-token Prediction llama.cpp, Dokumentation zum Speculative Decoding DeepSeek-V3 Technical Report Ollama v0.32.6 siehe Speculative Decoding siehe Sprachmodell siehe MLX

Multimodal

Ein Modell, das nicht nur Text verarbeitet, sondern auch Bild, Ton oder Video.

Zwei Bauformen werden oft verwechselt: mehrere hintereinandergeschaltete Modelle, von denen eines Bilder beschreibt und ein zweites den Text verarbeitet, oder ein einziges Modell, das alle Formen gemeinsam gelernt hat. Nur das Zweite ist im engeren Sinn multimodal.

auchMultimodalität · Vision

Kapitel 13 · Was ein Modell auf einem Bild erkennt Vision GPT-4 Hello GPT-4o 2026 · Gemini Embedding 2, ein Raum für Text, Bild, Ton und Video 2025 · Bilder entstehen wie Text 2024 · GPT-4o, ein Netz für alle Medien und 1 weitere in der KI-Geschichte siehe Sprachmodell siehe Vektorraum siehe Deepfake

Neural Radiance Field

Ein Verfahren, das aus Fotos mit bekannter Kameraposition eine Szene ablegt, aus der sich neue Blickwinkel berechnen lassen.

Gespeichert wird eine Funktion in den Gewichten eines kleinen Netzes, aus der sich für jeden Punkt und jede Blickrichtung Farbe und Dichte ergeben. Ein Gitternetz oder eine Oberfläche entsteht dabei an keiner Stelle, weshalb das Ergebnis kein Konstruktionsmodell ist. Gaussian Splatting löst dieselbe Aufgabe seit 2023 in Echtzeit, mit mindestens hundert Bildern je Sekunde bei 1080p. Beide rekonstruieren aus Aufnahmen. Der erfindende Weg über ein Bildmodell (DreamFusion) führt zum selben Dateiformat wie NeRF, und die Datei sagt nicht, welcher von beiden es war.

auchNeRF · Gaussian Splatting · Radiance Field

Kapitel 13 · Video, Musik und 3D NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis 3D Gaussian Splatting for Real-Time Radiance Field Rendering DreamFusion: Text-to-3D using 2D Diffusion siehe Diffusion siehe Text-zu-Video

NVFP4

Ein Format von NVIDIA, das Gewichte mit 4 Bit speichert: Werte in E2M1, je 16 Werte eine Skala mit 8 Bit, dazu eine Skala für den ganzen Tensor. Zusammen sind das rund 4,5 Bit je Wert.

Die Werte E2M1 sind winzige Gleitkommazahlen und stehen für 0, 0,5, 1, 1,5, 2, 3, 4 und 6, jeweils mit Vorzeichen. Gegenüber MXFP4 halbiert NVFP4 den Block auf 16 Werte und speichert die Skala als Zahl mit 8 Bit statt als Zweierpotenz. NVIDIAs Chips der Blackwell-Reihe rechnen das Format direkt. MLX auf dem Mac wandelt die Werte beim Rechnen in 16 Bit um. Ollama liefert Gemma 4 für Apple-Rechner in NVFP4 aus.

auchFP4 · E2M1

Beitrag · Gleicher Name, neuer Digest: Wie Ollama ein Modell ablegt Introducing NVFP4 for Efficient and Accurate Low-Precision Inference mlx.core.quantize siehe Quantisierung siehe Microscaling siehe MLX

Offene Gewichte

Die gelernten Zahlen eines Modells stehen zum Herunterladen bereit. Über die Lizenz und über die Trainingsdaten sagt das nichts.

Wer die Gewichte hat, kann ein Modell auf eigener Hardware betreiben, ohne dass eine Anfrage das Haus verlässt. Mit offener Software ist das trotzdem nicht dasselbe: Die Trainingsdaten liegen fast nie bei, der Trainingslauf lässt sich nicht wiederholen, und manche Lizenz beschränkt die Nutzung nach Nutzerzahl oder Zweck. Die Bezeichnung Open Source ist für solche Modelle deshalb meistens falsch. Die zweite Grenze ist die Hardware: Ein Modell der Spitzenklasse braucht mehr Speicher, als in einem Rechner steckt.

auchOpen Weights · offenes Modell · Open-Weight-Modell · frei verfügbare Gewichte

Kapitel 01 · Wo Modelle betrieben werden Kapitel 02 · Woher Modelle kommen LLaMA: Open and Efficient Foundation Language Models Kimi K3 License 2026 · Offene Gewichte in der Drei-Billionen-Klasse 2025 · Offene Gewichte mit Zwischenschritten 2023 · Mistral 7B, die europäische Antwort und 2 weitere in der KI-Geschichte 27.07.2026 · Anthropic legt seine Haltung zu offenen Gewichten dar siehe Gewichte siehe Quantisierung siehe Laufzeitumgebung siehe Open Source

Pre-Training

Der erste und teuerste Schritt: Ein Modell lernt aus sehr viel Text, das jeweils nächste Token vorherzusagen.

Hier entsteht das meiste von dem, was ein Modell kann. Das Pre-Training findet einmal statt, dauert Wochen bis Monate und kostet den überwiegenden Teil der Rechenzeit. Alles danach justiert nur noch nach.

auchVortraining · Pretraining · Training

Kapitel 02 · Maschinelles Lernen Improving Language Understanding by Generative Pre-Training 2018 · GPT-1 siehe Fine-Tuning siehe Gewichte siehe Contrastive Learning siehe Reinforcement Learning from Human Feedback

QLoRA

LoRA-Fine-Tuning eines quantisierten Modells: Die eingefrorenen Basisgewichte liegen grob gespeichert, nur die kleinen Zusatzmatrizen rechnen in voller Genauigkeit.

Dettmers und Mitautoren verbanden das 2023 mit der Quantisierung: Ein Modell mit 65 Milliarden Parametern lässt sich damit auf einer einzelnen Grafikkarte mit 48 Gigabyte feinjustieren, bei erhaltener Leistung gegenüber der vollen 16-Bit-Justierung. Vorher war eine solche Anpassung eine Sache für Rechenzentren.

Kapitel 02 · Ein Modell auf eigene Daten abstimmen QLoRA: Efficient Finetuning of Quantized LLMs siehe Low-Rank Adaptation siehe Quantisierung

Quantisierung

Die Gewichte werden gröber gespeichert, meist mit 4 statt 16 Bit. Das Modell schrumpft und läuft auf gewöhnlicher Hardware.

Ein Gewicht ist eine Zahl. Wird sie mit 4 statt mit 16 Bit gespeichert, braucht das Modell etwa ein Viertel des Platzes, und eines mit sieben Milliarden Parametern passt in den Arbeitsspeicher eines Laptops. Bezahlt wird das mit Genauigkeit, bei starker Kürzung deutlich. Ohne dieses Verfahren gäbe es keine lokale Nutzung auf gewöhnlichen Rechnern; mit ihm wurde sie ab März 2023 Alltag.

auchQuantization · 4-Bit-Quantisierung · quantisiert

Kapitel 01 · Wo Modelle betrieben werden Beitrag · Gleicher Name, neuer Digest: Wie Ollama ein Modell ablegt llama.cpp, die README am Tag der Veröffentlichung 2023 · llama.cpp, das Modell läuft auf dem eigenen Rechner siehe Gewichte siehe Inferenz siehe Modellkern siehe Offene Gewichte

Reasoning-Modell

Ein Modell, das vor der Antwort sichtbare oder unsichtbare Zwischenschritte erzeugt und dafür mehr Rechenzeit verbraucht.

Der Zugewinn entsteht zur Antwortzeit und kostet bei jeder Anfrage Rechenzeit. Ob dieses Verhalten im Modell trainiert ist oder von der Umgebung erzwungen wird, lässt sich von außen nicht sicher unterscheiden. Damit verwischt die saubere Trennung zwischen Modell und System.

auchReasoning · Denkschritte · Schlussfolgern

Kapitel 01 · Was ein Sprachmodell ist Learning to reason with LLMs DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning Prompting Claude Opus 5 2024 · Reasoning, Rechenzeit zur Antwortzeit 2016 · AlphaGo schlägt einen Profi siehe Inferenz siehe Modellkern siehe Reinforcement Learning siehe Chain-of-Thought

Reinforcement LearningRL

Training über Belohnung statt über vorgegebene Lösungen: Das Modell probiert, bekommt eine Bewertung und richtet sich danach.

Beim üblichen Training steht die richtige Antwort daneben. Beim Reinforcement Learning gibt es nur eine Bewertung des Ergebnisses, und das Modell muss selbst herausfinden, was zu ihr geführt hat. Woher die Bewertung kommt, unterscheidet die Verfahren. Bei RLHF stammt sie von Menschen, aus deren Urteilen ein Belohnungsmodell gebaut wird. Bei Aufgaben mit prüfbarem Ergebnis, etwa Rechnen oder Programmieren, kann eine automatische Prüfung sie liefern. Auf diesem Weg erwarb DeepSeek R1 seine Zwischenschritte, ohne dass jemand sie vorgegeben hätte. Das Modell, das dabei trainiert wird, heißt in diesem Verfahren Policy, ein einzelner Versuch samt seiner Bewertung ein Rollout; GRPO wertet mehrere Rollouts zu derselben Aufgabe gegeneinander.

auchBestärkendes Lernen · Belohnungsmodell · Reward Model · Policy · Rollout

Kapitel 02 · Maschinelles Lernen Training language models to follow instructions with human feedback DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning 2025 · Offene Gewichte mit Zwischenschritten siehe Reinforcement Learning from Human Feedback siehe Reasoning-Modell siehe Fine-Tuning siehe Group Relative Policy Optimization

Reinforcement Learning from Human FeedbackRLHF

Nachtraining mit menschlicher Rückmeldung. Der Schritt, der aus einem Textfortsetzer einen Assistenten macht.

Ein vortrainiertes Modell setzt Text fort, das ist alles. Damit daraus ein Assistent wird, bewerten Menschen Antworten, aus diesen Bewertungen entsteht ein Belohnungsmodell, und gegen dieses wird das Sprachmodell weitertrainiert. Die Wirkung ist größer als jede Vergrößerung: Ein nachtrainiertes Modell mit 1,3 Milliarden Parametern wurde in der Arbeit von 2022 hilfreicher eingeschätzt als ein untrainiertes mit 175 Milliarden. Damit entsteht eine Abhängigkeit von denen, die bewertet haben, denn deren Vorstellung von einer guten Antwort steckt danach im Modell.

auchRLHF · Reinforcement Learning aus menschlicher Rückmeldung · Nachtraining · Alignment

Kapitel 01 · Was ein Sprachmodell ist Kapitel 02 · Ein Modell auf eigene Daten abstimmen Training language models to follow instructions with human feedback 2022 · RLHF, Nachtraining mit menschlicher Rückmeldung siehe Pre-Training siehe Fine-Tuning siehe Sprachmodell siehe Reasoning-Modell siehe Reinforcement Learning siehe Direct Preference Optimization

Sampling

Der Schritt, der aus der Rangliste des Modells ein einzelnes Token zieht.

Ein Sprachmodell endet bei einer Bewertung über sein ganzes Vokabular. Welches Token daraus wird, entscheidet das Programm davor, und dafür gibt es mehrere Verfahren: Top-K schneidet nach Anzahl, Top-P nach aufsummiertem Anteil, Min-P gemessen am besten Eintrag. Welche davon zur Verfügung stehen, ist eine Eigenschaft des Zugangs. Dasselbe Modell hat hinter zwei Zugängen verschiedene Regler.

auchTop-K · Top-P · Min-P · Nucleus Sampling · Ziehung

Kapitel 12 · Wie zufällig die Antwort ist Beitrag · Entscheidungsmodelle geben eine Auswahl mit Wahrscheinlichkeit zurück siehe Temperatur siehe Inferenz

Selbstüberwachtes Lernen

Das Verfahren erzeugt seine Zielantwort aus den Daten selbst, indem es einen Teil davon verdeckt.

Man verdeckt ein Stück Text und lässt das Verfahren erraten, was dort stand. Die Lösung liegt bereits vor, denn sie ist der verdeckte Teil. Damit entstehen aus jedem Satz Aufgaben mit bekannter Antwort, ohne dass jemand Etiketten vergibt. Formal gehört das Verfahren zum unüberwachten Lernen, vom Ablauf her arbeitet es wie überwachtes. Es ist die Grundlage jedes heutigen Sprachmodells, und aus der Wahl dessen, was verdeckt wird, folgen zwei Modellfamilien: Schreiber und Leser.

auchSelf-Supervised Learning · self-supervised · Selbstüberwachung

Kapitel 02 · Maschinelles Lernen BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding Verordnung (EU) 2024/1689 über künstliche Intelligenz siehe Überwachtes Lernen siehe Pre-Training siehe Transformer

Small Language ModelSLM

Ein Sprachmodell, das auf ein gewöhnliches Gerät passt und einem einzelnen Nutzer schnell genug antwortet. Eine feste Parametergrenze gehört nicht dazu.

Eine Grenze in Parametern hat sich nie durchgesetzt, weil jede Zahl mit der nächsten Hardware-Generation veraltet. Belcak und Mitautoren bei NVIDIA setzen deshalb am Gerät an: Klein ist, was auf ein gewöhnliches Endgerät passt und einem einzelnen Nutzer schnell genug antwortet. Als Faustzahl für 2025 nennen sie 10 Milliarden Parameter. Bei Modellen mit Mixture-of-Experts-Aufbau sind zwei Zahlen zu unterscheiden, die gesamte und die aktive. Für den Platzbedarf zählt die erste, für die Antwortzeit die zweite. Zur Herkunft sagt die Bezeichnung nichts: Ein kleines Modell kann aus einem großen abgeleitet sein, was der Regelfall ist, oder von Grund auf für ein Fachgebiet und dessen Sprache trainiert worden sein.

auchSLM · kleines Sprachmodell · kleine Sprachmodelle · Kleinmodell

Kapitel 10 · Small Language Models Small Language Models are the Future of Agentic AI Mistral 7B siehe Sprachmodell siehe Gewichte siehe Mixture of Experts siehe Quantisierung siehe On-Device

Speech-to-TextSTT

So heißt Spracherkennung in Produkten und Programmierschnittstellen. Derselbe Vorgang, nur der Name kommt aus der Praxis statt aus der Forschung.

ASR und STT bezeichnen denselben Vorgang, nur mit unterschiedlicher Herkunft. Automatic Speech Recognition stammt aus der Forschung und beschreibt die Aufgabe, Speech-to-Text ist die Bezeichnung, unter der Cloud-Anbieter ihre Schnittstellen dafür anbieten. In einem Sprachsystem markiert STT die Eingangsseite. Am Ausgang, dort wo aus Text wieder Ton wird, steht das Gegenstück Text-to-Speech.

auchSpeech to Text · STT

Kapitel 01 · Was Conversational AI ist siehe Spracherkennung siehe Sprachsynthese

SpracherkennungASR

Macht aus Ton Text. Ein eigenes Modell, das vor dem Sprachmodell sitzt oder in ihm steckt.

Bis 2022 kamen die besten Werte aus einem System, das auf den jeweiligen Datenbestand eingestellt war. Seither reicht dafür ein Modell, das auf sehr großen Mengen ungeordneter Aufnahmen trainiert wurde. Zwei Eigenschaften prägen den Umgang damit: Seltene Wörter wie Eigennamen und Abkürzungen gehen häufiger verloren als gewöhnliche, weil das Modell nach Wahrscheinlichkeit auswählt, und bei Stille geben manche Modelle Text aus, den niemand gesagt hat.

auchAutomatic Speech Recognition · ASR · Transkription

Kapitel 02 · Sprache und Audio Kapitel 07 · Spracherkennung Beitrag · Warum ich eine eigene Diktier-App gebaut habe Robust Speech Recognition via Large-Scale Weak Supervision NVIDIA, Modellkarte Parakeet TDT 0.6B v3 2022 · Spracherkennung mit offenen Gewichten siehe Speech-to-Text siehe Wortfehlerrate siehe Halluzination siehe Token

SprachsyntheseTTS

Macht aus Text Ton. Das Gegenstück zur Spracherkennung, am anderen Ende des Gesprächs.

Die Ausgabe kommt stückweise, damit die Antwort anfangen kann, bevor der letzte Satz erzeugt ist. Geführt wird sie heute über eine Anweisung in Prosa: Tempo, Betonung, Gefühlslage und Akzent stehen als Satz daneben. Für ein Gespräch zählt vor allem, dass die Ausgabe an jeder Stelle abbrechbar bleibt, weil sonst weitergeredet wird, nachdem jemand unterbrochen hat.

auchText-to-Speech · TTS · Sprachausgabe

Kapitel 01 · Was Conversational AI ist Kapitel 08 · Sprachsynthese OpenAI, Text to speech siehe Spracherkennung siehe Barge-in

Stimmklon

Eine synthetische Stimme, die einer vorhandenen nachgebildet ist.

Zwei Anbieter machen die Zustimmung des Sprechers in ihrem gründlichen Verfahren zur technischen Voraussetzung. Einer verlangt eine Tonaufnahme mit vorgegebenem Wortlaut, bei der jede Abweichung den Vorgang scheitern lässt, und die Stimmprobe muss zu dieser Aufnahme passen; ein anderer erlaubt nur die eigene Stimme und prüft sie nach. Für seinen schnellen Klon aus einer kurzen Aufnahme genügt demselben Anbieter eine Bestätigung im Formular. Das alles sind Entscheidungen der Anbieter, die sie jederzeit anders treffen können.

auchVoice Cloning · Stimmnachbildung · Voice Clone

Kapitel 09 · Was die Stimme noch beweist ElevenLabs, Professional voice cloning ElevenLabs, Instant voice cloning OpenAI, Custom voices siehe Sprachsynthese siehe Deepfake

Synthetische Daten

Trainingsdaten, die ein Modell erzeugt hat, etwa Fragen mit Antworten, an denen ein anderes Modell lernt.

Bei der Destillation gibt ein großes Modell so sein Können als fertigen Text weiter, und der Schüler wird darauf abgestimmt wie auf jeden anderen Trainingstext. Stanford stimmte 2023 für Alpaca ein LLaMA 7B auf 52.000 Beispiele ab, die ein Modell von OpenAI erzeugt hatte; die Daten kosteten laut Projektseite unter 500 Dollar. Meta nennt für das Fine-Tuning von Llama 3.1 über 25 Millionen synthetisch erzeugte Beispiele und erlaubt in der Modellkarte, die Ausgaben seiner Modelle für synthetische Daten zu nutzen. Ob man die Ausgaben eines fremden Modells so verwenden darf, regeln dessen Bedingungen: Google zählt ein Modell, das an solchen Daten von Gemma lernt, um ähnlich wie Gemma zu arbeiten, als Derivat.

auchSynthetic Data · synthetische Trainingsdaten · synthetisch erzeugte Beispiele

Kapitel 03 · Wie ein Modell von einem anderen lernt Kapitel 02 · Woher Modelle kommen Alpaca: A Strong, Replicable Instruction-Following Model Llama 3.1 Model Card, beim Commit 0e0b8c5 Gemma Terms of Use siehe Distillation siehe Trainingsdaten siehe Derivat

Tensor

Ein benanntes Zahlenfeld mit fester Form und festem Datentyp. Die Gewichte eines Sprachmodells liegen in Tensoren, bei Gemma 4 31B in über tausend.

Ein Tensor hat einen Namen, der sagt, wo im Modell er sitzt, etwa in welcher Schicht und in welchem Bauteil. Er hat eine Form, etwa 5376 mal 21504 Zahlen, und einen Datentyp, der die Bit je Zahl festlegt. Die Dateiformate safetensors und GGUF speichern zu jedem Tensor diese drei Angaben und die Lage seiner Bytes. Bei einem quantisierten Tensor kommen Skalen als weitere Tensoren dazu.

auchTensoren · Gewichtsmatrix

Kapitel 01 · Wie ein Modell innen gebaut ist Beitrag · Gleicher Name, neuer Digest: Wie Ollama ein Modell ablegt safetensors, die README beim Commit e246a25 GGUF, die Formatbeschreibung beim Commit ffa4e8b siehe Gewichte siehe safetensors siehe GGUF

Text-zu-Video

Ein Modell, das aus einer Beschreibung einen Clip erzeugt, bei Sora über Diffusion in Raum-Zeit-Stücken.

Zerlegt wird in Stücke, die eine Fläche über eine Zeitspanne bezeichnen, vergleichbar den Token eines Sprachmodells. Ihre Zahl wächst mit Fläche und Dauer gleichzeitig, weshalb ein längerer Clip mehr als anteilig Rechenzeit braucht. Wie lang ein Clip höchstens wird, legt das Modell fest, innerhalb dieser Grenze ist die Dauer eine Einstellung. Ende 2023 lag ein offenes Modell bei 14 oder 25 Bildern je Clip, 2026 nennen Anbieter bis zu dreißig Sekunden aus einem Lauf. Neuere Modelle erzeugen die Tonspur im selben Lauf, womit die Trennung zur Sprachsynthese an dieser Stelle wegfällt.

auchText-to-Video · Videomodell · Videoerzeugung

Kapitel 13 · Video, Musik und 3D Video generation models as world simulators Introducing Stable Video Diffusion Veo Wan3.0: 30-Second AI Video Generation from Any Input siehe Diffusion siehe Zeitliche Beständigkeit siehe Weltmodell

Trainingsdaten

Das Material, aus dem die Gewichte eines Modells entstanden sind.

Wie genau die Anbieter das benennen, geht weit auseinander. Googles Modellkarte zählt sieben Herkünfte einzeln auf, OpenAIs System Card fasst drei in einem Satz zusammen. Bei Anthropic wechselt die Formulierung von Modell zu Modell: Zwischen Sonnet 4.5 und Sonnet 5 verschwand die Nennung eingewilligter Nutzerdaten, maschinell erzeugte Daten kamen hinzu, und beim jüngsten Modell stehen Nutzerdaten wieder in der Aufzählung.

auchTraining Data · Trainingskorpus · Trainingsmaterial

Kapitel 08 · Was ein Modell weiß, und woher Kapitel 02 · Maschinelles Lernen Anthropic's Transparency Hub Google DeepMind, Gemini 3 Pro Model Card GPT-5 System Card siehe Modellkarte siehe Knowledge Cutoff siehe Gewichte siehe Pre-Training

Transformer Reinforcement LearningTRL

Die Bibliothek von Hugging Face für das Nachtraining von Sprachmodellen: SFT, DPO, GRPO und ein asynchroner Trainer, der Training und Generierung trennt.

TRL setzt auf die Transformers-Bibliothek auf und bündelt die Verfahren, mit denen aus einem vortrainierten Modell ein Assistent wird: überwachtes Fine-Tuning, Präferenzverfahren wie DPO, Belohnungsmodelle und Reinforcement Learning mit GRPO. Der asynchrone GRPO-Trainer lässt die Antworten von vLLM erzeugen, während das Training weiterläuft, und schickt seit Version 1.14 wahlweise nur den LoRA-Adapter dorthin statt des ganzen Modells. Wer LoRA-Adapter für eigene Aufgaben trainiert, landet in der Regel bei dieser Bibliothek oder bei einem Werkzeug, das sie im Inneren benutzt.

auchTRL · AsyncGRPOTrainer · GRPOTrainer · SFTTrainer

Kapitel 02 · Ein Modell auf eigene Daten abstimmen TRL, Transformer Reinforcement Learning Async GRPO with LoRA across HF Jobs: a bucket, a proxy, and no NCCL siehe Fine-Tuning siehe Low-Rank Adaptation siehe Group Relative Policy Optimization siehe Reinforcement Learning siehe vLLM

Überwachtes Lernen

Lernen aus Beispielen, zu denen die richtige Antwort dabeisteht. Die Antwort stammt von einem Menschen.

Jedes Trainingsbeispiel kommt mit einem Etikett: zu jedem Bild die Bezeichnung, zu jeder Mail die Einstufung. Das Verfahren stellt seine inneren Werte so ein, dass seine Ausgabe diesen Etiketten näherkommt. Der Aufwand steckt in den Etiketten, denn sie kosten Menschenarbeit. Genau dieser Deckel war der Grund, warum die Wende bei den Sprachmodellen über ein anderes Verfahren kam.

auchSupervised Learning · supervised · überwachtes Training

Kapitel 02 · Maschinelles Lernen ImageNet Large Scale Visual Recognition Challenge Verordnung (EU) 2024/1689 über künstliche Intelligenz siehe Selbstüberwachtes Lernen siehe Reinforcement Learning siehe Trainingsdaten

Unüberwachtes Lernen

Lernen ohne vorgegebene Antwort. Das Verfahren sucht Struktur, die bereits in den Daten liegt.

Ohne Etiketten bleibt einem Verfahren nur, was die Daten selbst hergeben: Häufungen ähnlicher Fälle, wiederkehrende Muster, Achsen mit besonders viel Streuung. Die KI-Verordnung führt das Verfahren neben dem überwachten und dem bestärkenden Lernen als eine der Methoden auf, mit denen Modelle mit allgemeinem Verwendungszweck trainiert werden.

auchUnsupervised Learning · unsupervised

Kapitel 02 · Maschinelles Lernen Verordnung (EU) 2024/1689 über künstliche Intelligenz siehe Überwachtes Lernen siehe Selbstüberwachtes Lernen

Verlustfunktion

Die Funktion, die den Abstand zwischen der Ausgabe eines Verfahrens und der gewünschten Antwort als eine Zahl misst.

Das Training verkleinert diese eine Zahl, und damit legt die Verlustfunktion fest, was überhaupt als Fehler zählt. Zwei Verfahren mit derselben Bauform und verschiedenen Verlustfunktionen lernen verschiedene Dinge. Sie wird beim Entwurf gewählt. Aus den Daten folgt sie an keiner Stelle. Ein gefallener Wert sagt, dass das Verfahren dem gewählten Maß näherkommt, und über die Güte im Feld sagt er für sich genommen nichts.

auchLoss Function · Loss · Zielfunktion · Kostenfunktion

Kapitel 02 · Maschinelles Lernen siehe Backpropagation siehe Gewichte siehe Benchmark

VLA-ModellVLA

Vision-Language-Action. Ein Modell, das aus Kamerabild und Anweisung Steuerbefehle für einen Roboter macht.

Gebaut wird es aus einem vorhandenen Bild-Sprach-Modell, dem ein Bewegungsausgang angehängt wird. Der Umweg über ein Modell aus dem Netz bringt Weltwissen mit, das sich aus Roboterdaten allein nicht gewinnen ließe: wie eine Tasse aussieht, wozu ein Henkel da ist. Die Modelle bleiben klein, weil bis zu hundert Entscheidungen je Sekunde anfallen und Größe Zeit kostet. Google DeepMind, Physical Intelligence und NVIDIA bauen jeweils eigene Familien davon.

auchVision-Language-Action · Vision-Language-Action-Modell · Robotermodell · Bewegungsmodell

Kapitel 14 · Physical AI Google DeepMind, Gemini Robotics π0: A Vision-Language-Action Flow Model for General Robot Control siehe Physical AI siehe Multimodal siehe Weltmodell siehe Small Language Model

Voice Activity DetectionVAD

Das Bauteil, das entscheidet, wann jemand zu Ende geredet hat.

Im Chatfenster übernimmt diese Aufgabe die Enter-Taste, im Gespräch ein Programm. Zwei Bauarten stehen nebeneinander: Die eine schneidet nach Stille und braucht dafür eine Dauer und eine Lautstärkeschwelle, die andere zieht die gesprochenen Wörter heran und prüft, ob der angefangene Satz vollständig ist. Beides sind Einstellungen, und sie entscheiden darüber, ob ein System ins Wort fällt oder nach jedem Satz schweigt.

auchSprachaktivitätserkennung · VAD · Endpointing

Kapitel 02 · Sprache und Audio Kapitel 03 · Wenn das Gespräch nicht in Runden läuft OpenAI, Voice activity detection (VAD)siehe Barge-in siehe Spracherkennung

Weltmodell

Ein Modell, das vorhersagt, wie sich eine Umgebung entwickelt und was die eigene Handlung daran ändert.

Der Nutzen liegt im Üben: Wer die Folgen einer Handlung vorhersagen kann, spielt sie durch, statt sie auszuführen, und ein Fehler kostet dann Rechenzeit statt Material. Der Begriff bezeichnet heute drei verschiedene Sachen, und beim Lesen lohnt die Rückfrage, welche gemeint ist: das verdichtete Umgebungsmodell eines lernenden Agenten, ein Videomodell mit Zeitachse, oder eine erzeugte Umgebung, die sich begehen lässt. Allen dreien gemeinsam ist, dass sie die Wahrscheinlichkeit von Folgen gelernt haben. Bewegungsgleichungen stehen darin nirgends.

auchWorld Model · Umgebungsmodell

Kapitel 09 · Weltmodelle World Models Mastering diverse control tasks through world models Genie 3: A new frontier for world models siehe Reinforcement Learning siehe Diffusion siehe Multimodal

WortfehlerrateWER

Das übliche Maß für Spracherkennung: die Zahl der Ersetzungen, Löschungen und Einfügungen, mit denen aus der Abschrift die Sollfassung würde, geteilt durch die Wörter der Sollfassung.

Die Zahl behandelt alle Wörter gleich. Ein falsch erkanntes „und“ wiegt darin so viel wie ein falsch geschriebener Nachname, obwohl der Schaden ein anderer ist. Deshalb lohnt eine zweite Messung über die Wörter, auf die es ankommt: An einer eigenen Referenzaufnahme lag die Gesamtrate bei 10,68 Prozent und die Rate auf den markierten Fachbegriffen bei 25,00 Prozent (eigene Messung, 19.04.2026). Weil Einfügungen mitzählen, kann die Rate über 100 Prozent steigen.

auchWord Error Rate · WER

Kapitel 02 · Sprache und Audio Beitrag · Warum ich eine eigene Diktier-App gebaut habe siehe Spracherkennung siehe Benchmark

Zeitliche Beständigkeit

Die Anforderung, dass ein Gegenstand über alle Bilder eines Clips derselbe bleibt.

Sie ist der Unterschied zwischen Bild- und Videoerzeugung. Ein Einzelbild hat keine Reihenfolge, ein Clip hat eine, und was im ersten Bild zu sehen ist, muss im hundertsten noch stimmen. Sichtbar wird die Schwäche an wandernden Gesichtern, verschwindenden Gegenständen und vor allem an Schrift, die ein Hersteller selbst als eines der härtesten Probleme dieses Gebiets bezeichnet. Beim Verlängern eines Clips setzt ein zweiter Lauf am Ende des ersten an, bei Veo an dessen letzter Sekunde, und die Abweichungen summieren sich über die Kette.

auchtemporale Konsistenz · temporal consistency · Frame-Konsistenz

Kapitel 13 · Video, Musik und 3D Introducing Solaris Video generation models as world simulators Veo siehe Diffusion siehe Weltmodell