Wie ein Modell von einem anderen lernt

Im Januar 2025 hat DeepSeek mit R1 ein Sprachmodell veröffentlicht, das vor seiner Antwort Zwischenschritte schreibt. Zusammen mit ihm erschienen sechs kleinere Modelle mit 1,5 bis 70 Milliarden Parametern. Jedes davon baut auf einem Modell einer anderen Familie auf, Qwen2.5 oder Llama. Nach dem Bericht zu R1 (externe Seite, arxiv.org) hat es an 800.000 Beispielen gelernt, die DeepSeek beim Bau von R1 zusammengestellt hat. Rund 600.000 davon schrieb eine Vorstufe von R1, die übrigen stammen zum Teil aus den Trainingsdaten von DeepSeek-V3.

Dieses Verfahren heißt Destillation. Ein großes Modell, der Lehrer, liefert die Ziele, und ein kleineres, der Schüler, lernt daran. Nach DeepSeek lassen sich die Denkmuster großer Modelle so gezielt nutzen, um kleinere beim Schließen zu verbessern.

Auf dieser Seite kommt Destillation schon in mehreren Kapiteln vor. In Beurteilen und Einordnen, Kapitel 02 ist sie eine von drei Arten, ein Modell an eigene Aufgaben anzupassen, mit ihren Kosten und dem Angebot von AWS. In KI jenseits der Sprachmodelle, Kapitel 10 ist sie ein Grund dafür, dass der Abstand zwischen kleinen und großen Modellen schrumpft. Kapitel 02 zeigt, was offene Lizenzen dazu sagen. Dieses Kapitel zeigt, wie das Verfahren arbeitet, was dabei übertragen wird und wer es mit wessen Modell tun darf.

Ein Lehrer und sechs Schüler aus zwei fremden Familien

Der Bericht nennt für jeden der sechs Schüler das Grundmodell, auf dem er aufsetzt:

• vier Schüler auf Qwen2.5, mit 1,5, 7, 14 und 32 Milliarden Parametern; die beiden kleinsten setzen auf den Mathe­ma­tik­fas­sungen Qwen2.5-Math auf;
• ein Schüler auf Llama 3.1 8B;
• ein Schüler auf Llama 3.3 70B Instruct.

Die Namen verraten den Aufbau. DeepSeek-R1-Distill-Qwen-7B heißt: R1 als Lehrer, Qwen als Basis, 7 Milliarden Parameter. Abgestimmt wurde jeder Schüler auf dieselben Beispiele aus der Entwicklung von R1. Die Modellkarte (externe Seite, huggingface.co) nennt für jeden die Lizenz seiner Basis dazu. Größe und Aufbau bringt der Schüler von seiner Basis mit, und was er kann, hängt auch an ihr. Die dritte Ebene zeigt das am kleinsten Schüler, dessen Basis ein Mathematikmodell ist.

Die Idee ist neun Jahre älter als ihr Name

Den Gedanken veröffentlichten Buciluă, Caruana und Niculescu-Mizil im Jahr 2006. In ihrer Arbeit zur Modellkompression (externe Seite, cs.cornell.edu) beschriftet ein Ensemble einen großen Bestand unbeschrifteter Daten. Ein Ensemble ist ein Verbund vieler Modelle, deren Urteile zusammengelegt werden. Ein kleines neuronales Netz lernt danach an diesen Beschriftungen. Fehlen solche Daten, erzeugt ihr Verfahren künstliche Beispiele.

Die so trainierten Netze waren nach Abschnitt 1 der Arbeit tausendmal kleiner und schneller als die Ensembles und erreichten nahezu deren Leistung. Gemessen haben die drei an Klassifizierern, also an Modellen, die eine Eingabe einer Klasse zuordnen.

Den Namen bekam das Verfahren 2015, in einer Arbeit von Hinton, Vinyals und Dean (externe Seite, arxiv.org). Sie nennt Caruana und seine Mitautoren selbst als Vorreiter. Sie stellt einen Gedanken in den Mittelpunkt: Auch die falschen Antworten eines Modells enthalten Wissen.

Das Beispiel der Arbeit ist ein Bilderkenner. Er hält das Foto eines BMW nur mit sehr kleiner Wahr­schein­lich­keit für einen Müllwagen. Diese Verwechslung ist trotzdem viel wahrscheinlicher als die mit einer Karotte.

Wer vom Lehrer nur die Antwort „BMW“ bekommt, erfährt davon nichts. Wer die ganze Verteilung bekommt, lernt mit, welche Dinge einander ähneln. Diese Wahr­schein­lich­keiten heißen Soft Targets, auf Deutsch weiche Zielwerte.

Zwei Wege führen vom Lehrer zum Schüler

Das BMW-Beispiel stammt aus der Bilderkennung, dort verteilt der Lehrer Wahr­schein­lich­keiten über Klassen. Ein Sprachmodell berechnet an jeder Stelle eine Wahr­schein­lich­keit für jedes Token, das als Nächstes kommen könnte. Daraus ergeben sich die beiden Formen der Destillation.

• Wahr­schein­lich­keiten je Token. Der Schüler lernt an der Verteilung des Lehrers, Token für Token, ganz oder an einem Ausschnitt. So hat Google die Modelle mit 2 und 9 Milliarden Parametern von Gemma 2 (externe Seite, arxiv.org) trainiert, dazu alle Modelle von Gemma 3 (externe Seite, arxiv.org). Meta hat so die Modelle von Llama 3.2 (externe Seite, github.com) mit 1 und 3 Milliarden Parametern trainiert. Die volle Verteilung hat, wer den Lehrer selbst rechnen lässt: der Hersteller, und bei offenen Gewichten jeder, der das Modell selbst betreibt. Eine Schnittstelle gibt höchstens einen Ausschnitt heraus, bei OpenAI (externe Seite, developers.openai.com) bis zu 20 Token je Stelle. Auch ein Hersteller nimmt mitunter einen Ausschnitt: Bei Gemma 3 sind es 256 Logits je Token.
• Fertiger Text. Der Lehrer schreibt Antworten, und der Schüler wird auf sie abgestimmt wie auf jeden anderen Trainingstext. Für Sprache haben Kim und Rush (externe Seite, arxiv.org) das 2016 an maschineller Übersetzung ausgearbeitet. Auf diesem Weg sind die sechs R1-Schüler entstanden. Ebenso entstand 2023 Alpaca (externe Seite, crfm.stanford.edu) aus Stanford, ein LLaMA 7B, abgestimmt auf 52.000 Beispiele eines Modells von OpenAI. Diesen Weg kann jeder gehen, der dem Lehrer Fragen stellen kann, auch über eine Schnittstelle. Hersteller gehen ihn ebenso: Die rund 600.000 Beispiele zum Schließen hat DeepSeek mit einer Vorstufe des eigenen R1 erzeugt.

Aus dem zweiten Weg folgt eine Frage, die sich beim ersten selten stellt: Darf man das?

Der kleinste Schüler ist in Mathematik stark

Der kleinste R1-Schüler hat 1,5 Milliarden Parameter. Tabelle 15 des Berichts vergleicht ihn mit zwei Modellen, GPT-4o in der Fassung vom Mai 2024 und Claude 3.5 Sonnet. Die Aufgaben des Mathe­ma­tik­wett­be­werbs AIME 2024 löst er öfter als GPT-4o, mit 28,9 gegen 9,3 Prozent beim ersten Versuch. Bei Natur­wis­sen­schafts­fragen auf Promotionsniveau liegt er mit 33,8 gegen 49,9 Prozent dahinter. Bei den Pro­gram­mier­auf­gaben von LiveCodeBench sind es 16,9 gegen 32,9 Prozent.

Gegen Claude 3.5 Sonnet zeigt sich dasselbe Muster. Die dritte Ebene zeigt die ganze Tabelle und was neben dem Vorsprung in Mathematik steht.

Eine Arbeit aus Berkeley (externe Seite, arxiv.org) fand 2023 ein verwandtes Muster. Sie stimmte offene Modelle auf Antworten von ChatGPT ab. Menschliche Bewerter hielten die Nachahmer für konkurrenzfähig. Gezielte Messungen zeigten, dass sie bei Aufgaben, die in ihren Beispielen selten vorkamen, kaum Abstand zu ChatGPT aufholten.

Nach den Autoren trafen die Nachahmer den Stil von ChatGPT und verfehlten seine Faktentreue. Gemessen ist das an Modellen von 2023.

Wer von wem lernen darf, steht in den Bedingungen des Lehrers

DeepSeek erlaubt in der Modellkarte von R1 ausdrücklich, das Modell zu destillieren, um andere Sprachmodelle zu trainieren. OpenAI, Google und Anthropic schränken es in ihren Bedingungen ein, in unterschiedlicher Reichweite.

OpenAI (externe Seite, openai.com) und Google (externe Seite, ai.google.dev) untersagen, mit ihren Diensten oder Ausgaben Modelle zu entwickeln, die mit ihnen konkurrieren. Anthropics Geschäfts­be­din­gungen (externe Seite, anthropic.com) sagen dasselbe für konkurrierende KI-Modelle. Anthropics Nut­zungs­richt­linie (externe Seite, anthropic.com) in der Fassung, die ab dem 12.11.2026 gilt, geht weiter. Ausgaben dürfen nur mit vorheriger Erlaubnis zum Training eines KI-Modells genutzt werden, gleich welchen. Die Fassung davor nennt dieselbe Regel für Eingaben und Ausgaben.

Die zweite Ebene stellt die Regeln nebeneinander. Was daraus rechtlich folgt, belegt keine dieser Quellen.

Anthropic und OpenAI berichten außerdem von Kampagnen, mit denen andere Labore nach Darstellung der beiden Anbieter deren Modelle ohne Erlaubnis abgeschöpft haben. Die Zahlen dazu und was sie belegen, stehen in der dritten Ebene.

Vier Prüfschritte für ein kleines Modell

1. Lehrer und Basis suchen. Die Modellkarte nennt beides, wenn der Hersteller es offenlegt. Bei den R1-Schülern steht es schon im Namen.
2. Die Bedingungen des Lehrers lesen. Bei einem offenen Lehrer ist das seine Lizenz. Was offene Lizenzen über Ausgaben und Ableger sagen, steht in Kapitel 02.
3. Am eigenen Fall messen. Grund: Die Stärke eines Schülers kann schmal sein, wie beim kleinsten R1-Schüler. Was eine Testzahl aussagt, steht in Beurteilen und Einordnen, Kapitel 04.
4. Sicherheit eigens prüfen. Der Sicher­heits­be­richt zu R1 bewertet den Lehrer. Die Schüler kommen darin nicht vor.

Der Überblick hat zwei Wege vom Lehrer zum Schüler gezeigt. Diese Ebene geht den Mechanismus durch, von den weichen Zielwerten bis zu den Herstellern, die ihre kleinen Modelle schon im Vortraining destillieren. Danach folgt der Vergleich, den der Bericht zu R1 am selben Grundmodell gemessen hat. Am Ende stehen die Dienste der Anbieter und die Bedingungen der Lehrer.

Weiche Zielwerte enthalten mehr als die richtige Antwort

Ein Modell, das zwischen Antworten wählt, berechnet zuerst für jede einen Rohwert, den Logit. Die Softmax-Funktion rechnet daraus Wahr­schein­lich­keiten, die zusammen eins ergeben. Vorher wird jeder Logit durch eine Temperatur geteilt. Bei Temperatur 1 bleibt die Verteilung, wie sie ist. Eine höhere Temperatur macht sie flacher, und die kleinen Wahr­schein­lich­keiten der falschen Antworten treten hervor.

Die Arbeit von 2015 (externe Seite, arxiv.org) nutzt genau das. Der Lehrer gibt seine Verteilung bei hoher Temperatur aus. Der Schüler lernt bei derselben hohen Temperatur, sie nachzubilden, und antwortet danach mit Temperatur 1. Es ist derselbe Regler, der bei einem Sprachmodell die Antworten mehr oder weniger zufällig macht, beschrieben in Grundkurs, Kapitel 12.

Den Ansatz von Caruana und seinen Mitautoren beschreibt die Arbeit als Abgleich der Logits. Sie zeigt, dass dieser Abgleich ein Sonderfall der Destillation ist.

Gemessen hat die Arbeit unter anderem an handgeschriebenen Ziffern, dem Datensatz MNIST:

• Ein großes Netz machte 67 Fehler auf den Testdaten.
• Ein kleines Netz, allein trainiert, machte 146 Fehler.
• Dasselbe kleine Netz machte 74 Fehler, wenn es an den weichen Zielwerten des großen bei Temperatur 20 lernte.

Eigene Rechnung: Die Destillation schließt 72 von 79 Fehlern Abstand, also 91 Prozent. Gerechnet ist 146 minus 74, geteilt durch 146 minus 67. Die Annahme dabei: Der Abstand zwischen dem kleinen Netz allein und dem großen ist die Lücke, die sich überhaupt schließen lässt.

Danach entfernten die Autoren alle Dreien aus den Daten, an denen der Schüler lernt, dem Übertragungssatz. Für den Schüler ist die Drei damit eine Ziffer, die er nie gesehen hat. Er machte 206 Fehler, davon 133 an den 1.010 Dreien der Testdaten. Bei den übrigen Ziffern blieben es 73 Fehler (eigene Rechnung: 206 minus 133). Erhöhten die Autoren den Grundwert der Klasse Drei, den Bias, um 3,5, erkannte er 98,6 Prozent der Dreien. Insgesamt machte er dann 109 Fehler.

Den Wert 3,5 haben die Autoren so gewählt, dass er das Ergebnis auf den Testdaten verbessert. Gewählt und gemessen wurde also an denselben Daten. Die 98,6 Prozent zeigen, wie viel über die Drei in den weichen Zielwerten steckt. Wie ein so eingestellter Schüler auf neuen Daten abschneidet, zeigen sie nicht.

Vom Klassifizierer zum Sprachmodell

Zwei Arbeiten haben die beiden Formen auf Sprache übertragen.

DistilBERT (externe Seite, arxiv.org) von Hugging Face destillierte 2019 das Sprachmodell BERT, und zwar schon im Vortraining. Der Schüler lernte an den weichen Zielwerten des Lehrers, mit Temperatur. Zum Start bekam er jede zweite Schicht des Lehrers. Er hat 66 statt 110 Millionen Parameter, also 40 Prozent weniger. Für einen Durchlauf über einen Prüfdatensatz auf dem Prozessor braucht er 410 statt 668 Sekunden.

Die Arbeit nennt das 60 Prozent schneller. 668 geteilt durch 410 ergibt 1,63. Die Laufzeit selbst sinkt um 39 Prozent (eigene Rechnung). Über neun Aufgaben gemittelt erreicht der Schüler 97 Prozent der Punktzahl seines Lehrers. Wie weit die einzelnen Aufgaben auseinanderliegen, zeigt die dritte Ebene.

Kim und Rush (externe Seite, arxiv.org) übertrugen 2016 die Destillation auf maschinelle Übersetzung. Neben dem Abgleich je Wort führten sie zwei Formen ein, bei denen der Schüler an ganzen Übersetzungen des Lehrers lernt. Damit wird der ausgegebene Text eines Modells selbst zum Lernziel.

Ihr bester Schüler übersetzte zehnmal schneller als sein Lehrer, bei geringem Qualitätsverlust. Als Vorläufer nennen sie Buciluă 2006 und Hinton 2015 nebeneinander.

Google und Meta destillieren ihre kleinen Modelle im Vortraining

Im Vortraining lernt ein Modell an großen Textmengen, das nächste Token vorherzusagen. Google und Meta haben die Destillation in diesen Schritt ihrer kleinen Modelle geholt. NVIDIA leitet mit Beschneiden und Destillation ganze Modellfamilien ab. Alle Zahlen in diesem Abschnitt sind Angaben der Hersteller über ihre eigenen Modelle.

Gemma 2. Der Bericht von Google (externe Seite, arxiv.org) beschreibt die Modelle mit 2 und 9 Milliarden Parametern. Sie lernten an der Verteilung, die ein größeres Modell für das nächste Token berechnet. Diese Verteilung ersetzt den einen richtigen Wert je Token, den sonst die Trainingsdaten vorgeben. Die Schüler sahen dabei mehr als das 50-Fache der Tokenmenge, die nach der Theorie für ihre Größe rechnerisch optimal wäre. Das größte Modell der Familie mit 27 Milliarden Parametern gehört nicht zu den destillierten.

Tabelle 6 desselben Berichts vergleicht ein Modell mit 2 Milliarden Parametern nach 500 Milliarden Token. Von Grund auf trainiert erreicht es im Mittel über drei Benchmarks 60,3 Punkte. Aus einem Lehrer mit 7 Milliarden Parametern destilliert erreicht es 67,7 Punkte. Eigene Rechnung: 7,4 Punkte oder 12 Prozent mehr.

Gemma 3. Im Bericht zu Gemma 3 (externe Seite, arxiv.org) sind alle Modelle der Familie mit Destillation trainiert. Je Token nimmt Google 256 Logits, ausgewählt nach den Wahr­schein­lich­keiten des Lehrers. Auch der Hersteller arbeitet hier also mit einem Ausschnitt der Verteilung. Derselbe Bericht prüft eine verbreitete Annahme: Ein kleiner Schüler lerne besser von einem kleineren Lehrer. Das hängt an der Tokenmenge. Bei kurzen Trainingsläufen ist der kleinere Lehrer besser, bei langen kehrt sich das um.

Llama 3.2. Metas Modellkarte (externe Seite, github.com) beschreibt die Modelle mit 1 und 3 Milliarden Parametern. Sie bekamen im Vortraining die Logits von Llama 3.1 8B und 70B als Zielwerte je Token. Zuvor wurden sie beschnitten, also um Teile des Netzes verkleinert. Die Destillation holte danach die Leistung zurück.

Die Karte beziffert auch den Aufwand. Das Erzeugen der Logits kostete 86.000 GPU-Stunden. Für das Training nennt die Summenzeile 833.000 GPU-Stunden, einschließlich der quantisierten Fassungen. Eigene Rechnung: Die Arbeit des Lehrers machte knapp ein Zehntel des Gesamtaufwands aus. Genauer lässt sich das aus der Karte nicht ablesen. Ihr Fließtext nennt insgesamt 916.000 Stunden, die Tabelle ergibt zusammen 919.000.

Minitron. NVIDIA leitete 2024 aus einem vortrainierten Modell mit 15 Milliarden Parametern Modelle mit 8 und 4 Milliarden ab, durch Beschneiden und Destillation. Nach der Arbeit (externe Seite, arxiv.org) braucht das je Modell bis zu vierzigmal weniger Trainingstoken als ein Training von Grund auf. Für die ganze Familie aus drei Größen nennt derselbe Satz eine Ersparnis an Rechenaufwand um den Faktor 1,8. Der erste Satz der Arbeit beschreibt den Stand von 2024: Die Größen einer Modellfamilie würden derzeit jeweils von Grund auf trainiert.

Destillation macht ein kleines Modell besser. Ob es eine bestimmte Aufgabe löst, entscheidet sich an der Aufgabe. In der Messung zur Diktier-App aus einem Beitrag ist Llama 3.2 3B durchgefallen. Es sollte einen Text glätten und antwortete stattdessen auf ihn.

Am selben Modell gemessen: Destillation schlägt bestärkendes Lernen

Tabelle 16 im Bericht zu R1 (externe Seite, arxiv.org) vergleicht zwei Wege am selben Grundmodell, Qwen2.5-32B.

• Bestärkendes Lernen. DeepSeek hat das Modell über mehr als 10.000 Schritte an Aufgaben aus Mathematik, Programmieren und Natur­wis­sen­schaften trainiert. Dabei probiert es Lösungen und wird für richtige belohnt. Das Ergebnis heißt Qwen2.5-32B-Zero.
• Destillation. Dasselbe Grundmodell wurde auf die 800.000 Beispiele aus der Entwicklung von R1 abgestimmt. Das Ergebnis heißt DeepSeek-R1-Distill-Qwen-32B.

Als drittes Modell führt die Tabelle QwQ-32B-Preview zum Vergleich mit. Die vier Benchmarks sind der Mathe­ma­tik­wett­be­werb AIME 2024, die Aufgabensammlung MATH-500, Natur­wis­sen­schafts­fragen auf Promotionsniveau (GPQA Diamond) und die Pro­gram­mier­auf­gaben von LiveCodeBench.

Eigene Rechnung: Der destillierte Schüler liegt vor der Fassung mit bestärkendem Lernen. Der Abstand beträgt bei AIME 2024 25,6 Punkte, bei MATH-500 2,7, bei GPQA Diamond 7,1 und bei LiveCodeBench 17,0 Punkte.

Die Schüler wurden dabei nur überwacht abgestimmt, ohne eine Stufe mit bestärkendem Lernen. Eine solche Stufe könnte ihre Leistung nach Angabe der Autoren erheblich steigern. Die Tabelle misst also die Destillation allein.

Die Autoren schließen daraus zweierlei. Erstens bringe es sehr gute Ergebnisse, stärkere Modelle in kleinere zu destillieren. Kleine Modelle mit großem bestärkendem Lernen bräuchten enorme Rechenleistung und erreichten die Destillation womöglich nicht einmal. Zweitens brauche es über die Grenzen menschlicher Intelligenz hinaus wohl stärkere Grundmodelle und mehr bestärkendes Lernen. Die Destillation setzt einen Lehrer voraus, und R1 selbst ist mit bestärkendem Lernen entstanden.

In KI jenseits der Sprachmodelle, Kapitel 02 steht dieselbe Arbeit als Beleg für das bestärkende Lernen. Für kleine Modelle empfiehlt sie die Destillation.

Die Dienste der Anbieter haben sich verschoben

OpenAI. Am 01.10.2024 hat OpenAI eine Destillation auf der eigenen Plattform (externe Seite, openai.com) angekündigt. Ein großes Modell erzeugt Antworten, sie werden gespeichert, bewertet und zum Fine-Tuning eines kleineren Modells genutzt. Heute steht das Verfahren als Abschnitt im Leitfaden zum überwachten Fine-Tuning (externe Seite, developers.openai.com). Über dem Leitfaden steht, dass OpenAI die Fine-Tuning-Plattform abwickelt und neue Nutzer keinen Zugang mehr bekommen.

Nach der Liste der Abkündigungen (externe Seite, developers.openai.com) können ab dem 06.01.2027 auch Bestandskunden keine neuen Fine-Tuning-Aufträge mehr anlegen. Abgestimmte Modelle laufen weiter, bis ihr jeweiliges Grundmodell abgekündigt wird.

Google. Eine Destillation aus eigenen Modellen gab es bei Google für PaLM. Ein großer Lehrer, text-unicorn@001, erzeugte Beschriftungen und Begründungen für den kleineren Schüler text-bison@002. Nach der archivierten Anleitung (externe Seite, cloud.google.com) endete der Zugang zu PaLM für alle Projekte am 09.04.2025.

Heute bietet Google auf seiner Gemini Enterprise Agent Platform eine Destillation für offene Modelle (externe Seite, docs.cloud.google.com) an. Lehrer sind fünf offene Modelle anderer Hersteller: DeepSeek R1 0528, DeepSeek V3.2, GLM 5.2, Kimi K2 Thinking und Qwen 3 Next 80B A3B Thinking. R1 steht damit in einer neueren Fassung bis heute als Lehrer zur Wahl. Schüler sind Qwen 3 und Gemma 3 in je vier Größen. Ein Gemini-Modell steht nicht unter den Lehrern.

Google empfiehlt das Verfahren, um mehrschrittiges Schließen zu übertragen. Wo der Schüler schon nahe am Lehrer liegt, erwartet Google kleinere Gewinne. Die Aufrufe des Lehrers werden gesondert berechnet.

AWS. In Amazon Bedrock sind Lehrer heute Amazon Nova Pro und Nova Premier sowie Llama 3.1 405B, Llama 3.1 70B und Llama 3.3 70B. Nach den Voraussetzungen (externe Seite, docs.aws.amazon.com) laufen sie in zwei Regionen, beide in den USA. Für Modelle von Anthropic meldet die Seite die Destillation als derzeit unverfügbar, ohne Zeitplan für eine Rückkehr. Ein Archivabbild vom 23.04.2026 führt noch Claude 3.7 Sonnet und Claude Sonnet 4 als Lehrer, eines vom 10.06.2026 schon den Hinweis. Einen Grund nennt die Seite nicht.

Wie das Verfahren bei AWS abläuft und was die Aufrufe des Lehrers kosten, steht in Beurteilen und Einordnen, Kapitel 02.

Was die Bedingungen der Lehrer sagen

Ob ein Modell als Lehrer genommen werden darf, regelt sein Anbieter. Die Tabelle gibt die Regeln auf Deutsch wieder, mit dem Datum, ab dem sie gelten.

Die Quellen sind OpenAIs Nut­zungs­be­din­gungen (externe Seite, openai.com), sein Vertrag für Geschäftskunden (externe Seite, openai.com), Googles Zusatzbedingungen (externe Seite, ai.google.dev), Anthropics Geschäfts­be­din­gungen (externe Seite, anthropic.com), seine Ver­brau­cher­be­din­gungen (externe Seite, anthropic.com) und seine Nut­zungs­richt­linie (externe Seite, anthropic.com), dazu die Modellkarte von R1 (externe Seite, huggingface.co).

Damit stehen drei Reichweiten nebeneinander:

• Konkurrierende Modelle. OpenAIs Nut­zungs­be­din­gungen, Googles Zusatzbedingungen und Anthropics Geschäfts- und Ver­brau­cher­be­din­gungen untersagen Modelle, die mit dem Anbieter konkurrieren.
• Konkurrierende Modelle mit Ausnahmen. OpenAIs Vertrag für Geschäftskunden nimmt interne Klassifizierer und das eigene Fine-Tuning ausdrücklich aus.
• Jedes KI-Modell. Anthropics Nut­zungs­richt­linie verlangt für das Training jedes KI-Modells mit Ausgaben eine vorherige Erlaubnis. Sie gilt nach ihrem Wortlaut für alle Nutzer, auch für Unternehmen und für Kunden über Cloud-Anbieter.

Was diese Bedingungen gegenüber jemandem bedeuten, der ihnen nie zugestimmt hat, belegt keine dieser Quellen.

Bei offenen Modellen regelt die Lizenz dieselbe Frage. Googles Bedingungen für Gemma (externe Seite, gemma.ai) gelten bis Gemma 3. Sie zählen ein Modell, das aus Ausgaben von Gemma lernt, um ähnlich wie Gemma zu arbeiten, als Derivat, ausdrücklich auch bei Destillation. Meta erlaubt für Llama 3.1 in der Modellkarte (externe Seite, github.com) ausdrücklich, die Ausgaben für synthetische Daten und Destillation zu nutzen. Die Lizenz von Llama 2 (externe Seite, github.com) untersagt, Ausgaben zur Verbesserung anderer großer Sprachmodelle zu nutzen; ausgenommen sind Llama 2 und seine Ableger. Was diese Lizenzen sonst verlangen, steht in Kapitel 02.

Der Überblick endet mit vier Prüfschritten für ein kleines Modell. Diese Ebene prüft die Zahlen, auf die sich solche Schritte stützen. Sie zeigt, was ein Mittelwert verdeckt, wo der kleinste R1-Schüler vorn liegt, was ein Lehrer außer seinen Antworten weitergibt und wie leicht Zensur mitwandert. Danach geht es um Sicherheit, um die Denkspur als Lernmaterial und um die Berichte von Anthropic und OpenAI über Destillation als Angriff.

Ein Mittelwert verdeckt die Spanne der Aufgaben

DistilBERT (externe Seite, arxiv.org) erreicht nach der Arbeit seines Herstellers Hugging Face 97 Prozent der Punktzahl seines Lehrers BERT. Gemessen ist das am Prüfsatz GLUE, einer Sammlung von Aufgaben zum Sprachverstehen. Tabelle 1 nennt den Median aus fünf Läufen auf den Entwicklungsdaten. Die Spalte mit dem Anteil ist eine eigene Rechnung, DistilBERT geteilt durch BERT.

Der Anteil reicht von 86,4 Prozent bei RTE bis 105,2 Prozent bei WNLI, wo der Schüler über dem Lehrer liegt. Sechs Aufgaben liegen über dem Mittel, drei darunter. Bei RTE liegt der Anteil gut zehn Punkte unter den 97 Prozent. Nachgerechnet ergibt das Mittel der neun BERT-Werte 79,7, die Tabelle nennt 79,5. Mit 79,7 läge der Anteil bei 96,6 Prozent.

Der kleinste R1-Schüler liegt in Mathematik vorn

DeepSeeks Bericht zu R1 (externe Seite, arxiv.org) stellt in Tabelle 15 seine Schüler neben zwei Vergleichsmodelle. Das sind GPT-4o in der Fassung vom 13.05.2024 und Claude 3.5 Sonnet vom 22.10.2024. Die Grafik zeigt GPT-4o; diese Fassung hat OpenAI laut Abkündigungsliste (externe Seite, developers.openai.com) am 23.10.2026 abgeschaltet. Gezeigt wird der kleinste Schüler, R1-Distill-Qwen-1.5B, in den vier Benchmarks, die auch der Vergleich am selben Grundmodell in der zweiten Ebene benutzt.

Eigene Rechnung: Bei AIME 2024 erreicht der Schüler das 3,1-Fache des GPT-4o-Werts, bei MATH-500 das 1,12-Fache. Bei den Natur­wis­sen­schafts­fragen auf Promotionsniveau von GPQA Diamond kommt er auf 67,7 Prozent davon, bei den Pro­gram­mier­auf­gaben von LiveCodeBench auf 51,4 Prozent. Eine weitere Spalte der Tabelle misst den Pro­gram­mier­wett­be­werb CodeForces als Wertungszahl. Dort liegt der Schüler mit 954 gegen 759 vorn.

Gegen Claude 3.5 Sonnet liegt der Schüler ebenfalls in Mathematik vorn. Bei GPQA Diamond (33,8 gegen 65,0) und LiveCodeBench (16,9 gegen 38,9) liegt er dahinter.

Unter der Tabelle schreibt DeepSeek, ein Modell mit nur 1,5 Milliarden Parametern übertreffe die besten geschlossenen Modelle. Der Satz davor grenzt das ein, auf Mathematik und auf Vergleichsmodelle ohne Denkschritte. In diesem Rahmen bestätigt die Tabelle den Satz.

Geschlossene Modelle mit Denkschritten stehen in Tabelle 8 desselben Berichts. Sie liegen auch in Mathematik vorn. OpenAI o1-mini löst dort 63,6 Prozent der AIME-Aufgaben und 90,0 Prozent bei MATH-500. Für o1 in der Fassung vom 17.12.2024 nennt die Tabelle nach OpenAIs eigener Angabe 79,2 und 96,4 Prozent.

Neben dem Vorsprung in Mathematik stehen im selben Bericht zwei Angaben. Die Basis dieses Schülers ist nach Tabelle 6 Qwen2.5-Math-1.5B, ein Mathematikmodell. Die 800.000 Beispiele, an denen er lernte, umfassen nach Tabelle 5 neben Mathematik auch Code, Natur­wis­sen­schaften und Logik. Knapp die Hälfte sind Mathe­ma­tik­auf­gaben, ein gutes Viertel ist Code. Natur­wis­sen­schaften und Logik kommen auf je rund 10.000 Beispiele. Rund 600.000 davon betreffen das Schließen, rund 200.000 anderes, etwa Schreiben und Übersetzen. Welchen Anteil Basis und Beispiele am Ergebnis je Spalte haben, misst die Tabelle nicht.

Menschliche Bewerter lassen sich vom Stil leiten

Die Arbeit aus Berkeley (externe Seite, arxiv.org) von 2023 stimmte offene Basismodelle mit 1,5 bis 13 Milliarden Parametern auf Antworten von ChatGPT ab. Die Menge der Nachahmungsdaten reichte von 0,3 bis 150 Millionen Token. Menschliche Bewerter hielten die Ausgaben der Nachahmer für konkurrenzfähig. Gezielte automatische Messungen zeigten dagegen: Bei Aufgaben, die in den Nachahmungsdaten selten vorkommen, holten die Nachahmer vom Abstand zwischen Basismodell und ChatGPT kaum etwas auf.

Die Autoren erklären die Lücke mit dem Stil. Die Nachahmer trafen den Ton von ChatGPT und verfehlten seine Faktentreue, und das kann Bewertern ohne Fachkenntnis entgehen. Gemessen ist das an Basismodellen von 2023.

Alpaca (externe Seite, crfm.stanford.edu) aus Stanford entstand im selben Jahr. Ein LLaMA 7B wurde auf 52.000 Beispiele abgestimmt, die text-davinci-003 von OpenAI erzeugt hatte. Die Daten kosteten laut Seite unter 500 Dollar, das Training unter 100 Dollar, drei Stunden auf acht Grafikkarten vom Typ A100.

Im blinden Paarvergleich gewann Alpaca 90 zu 89 gegen seinen Lehrer. Bewertet haben die fünf studentischen Autoren selbst. Dieselbe Seite nennt Halluzination einen häufigen Fehler von Alpaca, auch im Vergleich zum Lehrer.

Für die Bewertung eines Schülers heißt das: Ein Gesamturteil von Menschen sagt wenig, gezielte Messungen an Aufgaben, die in seinen Beispielen selten sind, sagen mehr. Woran sich eine erfundene Angabe erkennen lässt, steht in Grundkurs, Kapitel 07. Was ein Protokoll über den Weg zu einer Antwort festhält, zeigt Conversational AI, Kapitel 12.

Ein Lehrer gibt auch weiter, was in keinem Beispiel steht

Cloud und Mitautoren (externe Seite, arxiv.org) haben 2025 einen Effekt beschrieben, den sie Subliminal Learning nennen. Ein Lehrer hat eine Eigenschaft, etwa eine Vorliebe für Eulen oder eine Fehlausrichtung. Er erzeugt reine Zahlenfolgen, und ein Schüler, der an diesen Folgen lernt, übernimmt die Eigenschaft. Das gilt auch dann, wenn jede Erwähnung herausgefiltert ist, und ebenso für Code und Denkspuren.

Die Bedingung steht im selben Abstract. Den Effekt beobachteten die Autoren nur, wenn Lehrer und Schüler dasselbe Grundmodell hatten. Die beiden Erstautoren gehören zum Anthropic Fellows Program, ein weiterer Mitautor arbeitet bei Anthropic. Die Arbeit ist ein Vorabdruck.

Die R1-Schüler liegen auf der anderen Seite dieser Grenze. Ihre Basis ist Qwen oder Llama, ihr Lehrer R1. Für sie belegt die Arbeit deshalb nichts.

Dreißig Beispiele bringen einem Schüler eine Zensur bei

Für die R1-Schüler gibt es eine eigene Messung. Forschende der UMass Amherst, der Northeastern University und von GFW Report haben alle sechs mit 10.030 Aufträgen geprüft (R1dacted (externe Seite, arxiv.org)). Ausgewählt waren die Aufträge danach, dass R1 selbst sie zensiert. Die üblichen Formen der Zensur fanden die Verfasser bei den Schülern nur in sehr wenigen Fällen. In einigen Fällen schrieb ein Schüler zuerst eine Denkspur und verweigerte dann die Antwort.

Danach haben die Verfasser die Zensur selbst in die Beispiele gelegt. Sie mischten zensierende Beispiele zum Thema Taiwan in einen Destil­la­ti­ons­da­ten­satz mit 1.000 Beispielen und stimmten Qwen 2.5 7B Instruct darauf ab. Mit 30 solchen Beispielen zensierte der Schüler 191 von 200 Testfragen zu Taiwan, also 95,5 Prozent.

In drei Prüfungen zu Mathematik und Naturwissenschaft blieben die Ergebnisse des Schülers weitgehend gleich. Mit der Zahl der Beispiele stieg aber auch die Zensur bei anderen heiklen Themen. Bei Fragen aus Biologie, Chemie und Physik ließ er öfter die Denkspur weg.

Ob eine Antwort zensiert war, hat in diesem Versuch GPT-4.1 entschieden, also ein Sprachmodell. Gemessen ist ein Schüler an einem Thema. Welche Haltungen offene Modelle aus China sonst mitbringen, zeigt die zweite Ebene von Kapitel 02.

Zur Sicherheit destillierter Modelle ist am wenigsten gemessen

Der Bericht zu R1 bewertet die Sicherheit in Abschnitt 5 und im Sicher­heits­be­richt in Anhang D.3. Bewertet wird dort R1, die Schüler kommen im Sicher­heits­be­richt nicht vor. Abschnitt 5 hält fest, dass ein öffentliches Modell durch weiteres Fine-Tuning seine eingebauten Schutzmaßnahmen verlieren kann.

Anthropic hielt es im Bericht vom Februar 2026 (externe Seite, anthropic.com) für unwahrscheinlich, dass ein unerlaubt destilliertes Modell die Schutzmaßnahmen des Originals behält. Im Bedrohungsbericht vom September 2026 (externe Seite, anthropic.com) schreibt es, die Schutzmaßnahmen von Claude übertrügen sich bei einer unerlaubten Destillation nicht. Nach eigener Forschung kann ein destilliertes Modell auch zu gefährlichen Fähigkeiten in Biologie oder Cybersicherheit verhelfen, selbst wenn die abgeschöpften Austausche diese Themen kaum enthalten. Messwerte zu dieser Forschung nennt der Bericht nicht. OpenAI hält den Verlust der Schutzmaßnahmen für möglich (Bericht vom September 2026 (externe Seite, openai.com)).

Ein Beispiel nennt Anthropic erst im Bericht vom Oktober 2026 (externe Seite, anthropic.com): Die Schutzmaßnahmen von GLM-5.3 ließen sich nach eigener Untersuchung leicht umgehen. Eine Messung, wie viel Schutz ein destilliertes Modell verliert, enthält keiner der Berichte.

Alpaca hat seine öffentliche Vorführung abgeschaltet. Als Gründe nennt die Seite die Kosten des Betriebs und unzureichende Inhaltsfilter. Das ist ein Einzelfall aus dem Betrieb einer Vorführung. Gemessen ist damit nichts über die Schutzwirkung einer Destillation.

Mit voller Denkspur lernte Anthropics Schüler mehr

Im Oktober 2026 hat Anthropic in einem Bericht über seine Abwehr (externe Seite, anthropic.com) beziffert, was die Denkspur als Lernmaterial wert ist. Ein vortrainiertes Claude-Modell wurde auf Transkripte von Claude Opus 4.8 abgestimmt und danach mit dem Programmier-Benchmark SWE-bench Verified gemessen. Mit den vollen Denkspuren löste es 80,4 Prozent der Aufgaben, mit nur den Zusammenfassungen 71,8 Prozent.

Lehrer und Schüler stammen beide von Anthropic, und den Aufbau legt der Bericht nicht offen. Was ein Schüler aus einer anderen Familie gewinnt, misst der Versuch nicht.

Eigene Rechnung: Das sind 8,6 Punkte. Mit zusammengefassten Denkspuren erreicht der Schüler 89,3 Prozent des Ergebnisses mit vollen. Wie viel Wissen in der Denkspur steckt, sagt ein solcher Punktabstand in einem einzelnen Benchmark nicht. Warum Anbieter die rohe Denkspur zurückhalten und wer sie zu sehen bekommt, beschreibt der Beitrag Die Denkspur als Fenster ins Modell.

Nach demselben Bericht haben die neuen Abwehrmethoden die Datenmenge, die Destillierer abschöpfen, um etwa 90 bis 99 Prozent gesenkt. Die abgeschöpften Denkspur-Token lägen auf Anthropics eigener Plattform um das 10- bis 100-Fache niedriger als zuvor. Beides ist eine frühe Schätzung des Unternehmens selbst.

Die Abwehr kostet auch zahlende Kunden etwas. Die Klassifizierer stufen in weniger als 0,1 Prozent der Fälle harmlose Anfragen falsch ein oder blockieren sie. Seit dem 24.09.2026 berechnet Anthropic wieder Anfragen, die seine Schutzmaßnahmen blockieren, bevor Claude antwortet. Das gilt in den Bereichen mit einer Fehlerquote unter 0,1 Prozent, darunter Destillation.

Der Bericht schränkt sich selbst ein: Einen ausgefeilten und hartnäckigen Versuch, die Abwehr zu umgehen, habe Anthropic noch nicht gesehen.

Destillation als Angriff, nach Angabe von Anthropic und OpenAI

Anthropic hat am 23.02.2026 einen Bericht über drei Kampagnen (externe Seite, anthropic.com) veröffentlicht. Drei Labore sollen über rund 24.000 betrügerische Konten mehr als 16 Millionen Austausche mit Claude erzeugt haben. Die Zahlen je Labor:

Die Anteile beziehen sich auf die Summe der drei Untergrenzen, 16,55 Millionen. Zuordnung und Zahlen sind Anthropics eigene Angaben, nach eigener Methode gewonnen, unter anderem aus IP-Adressen und Metadaten der Anfragen. Derselbe Bericht nennt Destillation ein verbreitetes und legitimes Trai­nings­ver­fahren, mit dem führende Labore ihre eigenen Modelle verkleinern. Er wirbt außerdem in einem eigenen Abschnitt für Ausfuhrkontrollen für Chips.

Im Bedrohungsbericht vom September 2026 (externe Seite, anthropic.com) meldet Anthropic weitere Angriffe von sieben Laboren aus China. Den größten ordnet es Alibaba zu, mit über 151 Millionen Austauschen von Mai bis Juli 2026. Dazu kommt eine Kampagne von Zhipu vor dem Erscheinen von GLM 5.3. Sie zielte auf die Cyberfähigkeiten führender US-Modelle. Auch diese Zuordnungen sind Anthropics eigene Angaben.

Im Oktober griff Anthropic den Fall wieder auf: Zhipu habe beim Bau von GLM-5.3 die Cyberfähigkeiten führender US-Modelle destilliert.

OpenAI hat am 30.09.2026 eine unterbundene Kampagne (externe Seite, openai.com) beschrieben. OpenAI nennt das gegnerische Destillation. Gemeint ist die systematische und unerlaubte Nutzung der Ausgaben oder der Denkspur eines Modells, um ein anderes zu trainieren, nachzubauen oder zu verbessern. Am 24. und 25. Juli kamen nach dem Bericht 16.000 Anfragen von über 4.000 Nutzern. Eine verwandte Gruppe umfasste mehr als 15.000 Nutzer und war bis zum 28. Juli vollständig unterbunden.

Laut einer Fußnote beschreiben diese Zahlen versuchte Extraktionen, die nicht zwingend gelungen sind. Einen Kern der Aktivität ordnet OpenAI Personen im Umfeld von Moonshot AI zu, dem Entwickler von Kimi. Auch das ist eine Zuordnung des Anbieters nach eigener Methode.

Google führt in seinem Destil­la­ti­ons­dienst (externe Seite, docs.cloud.google.com) Kimi K2 Thinking von Moonshot AI und GLM 5.2 von Zhipu als Lehrer. Beide Hersteller sind dort Lehrer für fremde Schüler.

Was aus den Zahlen nicht folgt

• Ein Verbot in Nut­zungs­be­din­gungen beschreibt einen Vertrag. Was es für jemanden bedeutet, der nie zugestimmt hat, belegt keine Quelle dieses Kapitels.
• Distill im Modellnamen nennt den Lehrer. Die Lizenz eines Schülers steht in seiner Modellkarte, bei den R1-Schülern mit der Lizenz der Basis daneben.
• Ein Mittelwert über neun Aufgaben sagt wenig über die eigene. Bei DistilBERT reicht der Anteil von 86 bis 105 Prozent.
• Ein Vorsprung in Mathematik gilt in Mathematik. Der kleinste R1-Schüler liegt in zwei von vier Spalten vorn, in zwei dahinter.
• 90 bis 99 Prozent weniger abgeschöpfte Daten sind eine Eigenschätzung. Die Messung dahinter stammt von Anthropics eigener Plattform. Ob insgesamt weniger destilliert wird, sagt die Zahl nicht.