Small Language Models

Bei manchen Sprachmodellen steht die Größe im Namen. Gemma 3 gibt es in fünf Fassungen, und die Bezugsseite (externe Seite, ollama.com) zählt sie auf: 270 Millionen, 1, 4, 12 und 27 Milliarden Parameter.

270 Millionen bis 27 Milliarden Parameter, dieselbe Familie, ein Faktor 100 dazwischen. Bei ChatGPT, Claude und Gemini findet sich keine solche Zahl. Deren Stufen sind Preis- und Leistungsklassen, wie Grundkurs, Kapitel 10 beschreibt, und wie viele Parameter darin stecken, veröffentlicht keiner der drei Anbieter.

Dieses Kapitel handelt von der anderen Hälfte des Feldes: von den Modellen, bei denen die Zahl dasteht, und zwar von den kleinen darunter.

Ab wann ein Modell klein ist

Eine allgemein anerkannte Grenze in Parametern gibt es nicht, und die Quellen setzen sie verschieden an. Eine reine Parameterzahl lässt außerdem offen, was ein Gerät davon wirklich ausführen kann, und genau das verschiebt sich mit der Hardware. Belcak und sieben Mitautoren bei NVIDIA haben die Frage deshalb vom Modell auf das Gerät verlegt. Nach ihrer Arbeitsdefinition (externe Seite, arxiv.org) ist ein Modell klein, wenn es auf ein gewöhnliches Endgerät der Unter­hal­tungs­elek­tronik passt und dort so schnell rechnet, dass es die Anfragen eines einzelnen Nutzers an seinen Agenten praktisch brauchbar beantwortet.

Diese Bestimmung wandert mit der Hardware: Was 2023 einen Server verlangte, läuft heute auf einem Laptop.

Eine Hausnummer (externe Seite, arxiv.org) nennen die Verfasser trotzdem: Stand 2025 würden sie die meisten Modelle unter 10 Milliarden Parametern ohne Bedenken als klein einordnen.

Dazu gehören zwei Hinweise. Die Arbeit ist ein Positionspapier von NVIDIA, also aus dem Haus, das die Rechenkarten für beide Größenklassen verkauft. Und die Verfasser führen ihre Bestimmung ausdrücklich als Arbeitsdefinition, mit dem eigenen Hinweis, ihre Wortwahl habe wenig Gewicht für den Kern ihrer Position.

Warum die Parameterzahl wenig über das Können sagt

2023 zeigte Metas Llama-Arbeit (externe Seite, arxiv.org), was ein Größenunterschied wert sein kann: Das Modell mit 13 Milliarden Parametern schlug GPT-3 mit 175 Milliarden, gemessen an den meisten der untersuchten Auswertungen.

Ein halbes Jahr später wiederholte sich das eine Nummer kleiner. Mistral veröffentlichte am 27.09.2023 ein Modell mit 7,3 Milliarden Parametern. Laut der Ankündigung (externe Seite, mistral.ai) übertrifft es Llama 2 13B deutlich in allen Messgrößen und liegt gleichauf mit Llama 34B. Weil Meta Llama 2 in der Größe 34B nie veröffentlicht hat, stammen diese Vergleichswerte vom Llama der ersten Reihe.

Der Gegner, mit dem Mistral 7B gleichauf liegt, stammt damit aus der älteren Reihe, die Meta im Februar 2023 vorgestellt hat.

Der Grund dafür liegt im Training und steht ausführlich in Beurteilen und Einordnen, Kapitel 05. In Kürze: Bis 2022 galt die Empfehlung, große Modelle zu bauen und das Training früh zu beenden. Die Chinchilla-Arbeit hat sie umgedreht: Bei festem Rechenbudget gehört zu doppelter Modellgröße die doppelte Datenmenge. Viele große Modelle jener Zeit hatten daran gemessen zu wenig Daten gesehen, und ein kleineres, dafür länger trainiertes Modell kann ein solches größeres schlagen.

Was die Parameterzahl weiterhin verlässlich sagt: wie viel Speicher die Gewichte des Modells belegen. Wie viel davon gleichzeitig im Arbeitsspeicher liegen muss, hängt an der Bauform, dazu der Abschnitt über Apple weiter unten. Diese Rechnung führt Beurteilen und Einordnen, Kapitel 01 vor. Im Betrieb kommt der Speicher für den Kontext dazu, und der wächst mit dessen Länge. Wie groß er wird, rechnet Nutzung und Anpassung von LLMs, Kapitel 04 vor.

Zwei Wege führen zu einem kleinen Modell

Der eine leitet ab. Aus einem großen Modell entsteht ein kleineres, über Destillation oder als kleinere Fassung derselben Familie. So sind die kleinen Modelle von Gemma 2 (externe Seite, arxiv.org) und Gemma 3 und von Llama 3.2 (externe Seite, github.com) entstanden. Wer durch Beschneiden und Destillation ableitet, braucht in NVIDIAs Messung je Modell bis zu vierzigmal weniger Trainingsmaterial (externe Seite, arxiv.org). Auch das kleinste Gemma-Modell gehört dazu, es erbt Bauform und Vortraining der Familie (externe Seite, developers.googleblog.com).

Der andere baut von Grund auf, für ein Fachgebiet oder für die Sprachen, die gebraucht werden. Ein Modell mit 88 Millionen Parametern für das indische Rechtswesen schlägt bei seiner Aufgabe Modelle bis zum Achtzigfachen seiner Größe (externe Seite, arxiv.org). Eine Modellfamilie für das Kasachische (externe Seite, arxiv.org) entstand, weil mehrsprachige Modelle dieser Sprache wenig Kapazität einräumen und ihre Zerlegung schlecht zu deren Bau passt.

Beide haben dasselbe Bauteil eigens angefertigt, und es ist das Vokabular. Darin liegt der Hebel: Bei jenem kleinen Gemma-Modell entfallen 170 von 270 Millionen Parametern allein darauf, viele Sprachen und seltene Zeichenfolgen darstellen zu können. Wer zwei Sprachen braucht, verteilt dieselbe Zahl anders. Die Rechnung steht in Tiefe 2.

Wofür ein kleines Modell reicht

Der Abstand zur Spitze hängt an der Art der Aufgabe. Bei allem, was hauptsächlich Umformung ist, fällt er kaum ins Gewicht: zusammenfassen, umformulieren, sortieren, aus einem Text ein Feld herausziehen. Bei Aufgaben über viele Schritte, in denen ein früher Fehler alles Spätere verdirbt, wird er groß. Woran das liegt, steht in Beurteilen und Einordnen, Kapitel 01 unter der Frage, ob ein Modell läuft oder taugt.

Die Arbeit von NVIDIA setzt genau hier an. Ihre Beobachtung zu Agenten (externe Seite, arxiv.org) ist, dass mit ihnen eine Menge von Anwendungen entsteht, in denen Sprachmodelle wenige spezialisierte Aufgaben immer wieder und mit wenig Abwechslung erledigen. Das breite Können, für das große Modelle gebaut sind, verlangen solche Aufgaben selten.

Ein Agent, der hundertmal am Tag dieselbe Zuordnung trifft, braucht ein Modell, das diese eine Zuordnung beherrscht. Was ein solches Modell zusätzlich an Weltwissen mitbringt, bleibt in diesem Ablauf ungenutzt und wird trotzdem bezahlt.

Ein Modell im Telefon

Wie weit das inzwischen reicht, zeigt Apple. Die dritte Fassung der hauseigenen Modellreihe, vorgestellt am 08.06.2026, rechnet laut Vorstellung (externe Seite, machinelearning.apple.com) ausschließlich auf dem Gerät und in Apples eigener Serverumgebung Private Cloud Compute.

Interessant daran ist die Bauform des stärkeren der beiden Gerätemodelle: Es hat 20 Milliarden Parameter in einer dünn besetzten Bauform (externe Seite, machinelearning.apple.com) und rechnet je nach Anfrage mit nur 1 bis 4 Milliarden davon.

Wo diese 20 Milliarden liegen, ist der eigentliche Punkt. Apple grenzt sich im selben Absatz von der üblichen Bauform ab, bei der alle Gewichte im Arbeitsspeicher stehen müssen: Das vollständige Modell liegt nach der Beschreibung der Speicherung (externe Seite, machinelearning.apple.com) im Flash-Speicher (NAND) statt im Arbeitsspeicher (DRAM).

In den Arbeitsspeicher wandert je Anfrage nur, was gebraucht wird. Aus einer Zahl werden damit drei: wie viel gespeichert ist, wie viel geladen wird und wie viel je Anfrage rechnet. Wie das technisch geht, steht in Tiefe 2. Die Angaben stammen vom Hersteller, eine unabhängige Messung dazu liegt nicht vor.

Wer selbst ausprobieren will, findet die verfügbaren Größen je Modell im Katalog von Ollama (externe Seite, ollama.com). Welche davon auf ein bestimmtes Gerät passen, rechnet Beurteilen und Einordnen, Kapitel 01 aus.

Woran Sie die Wahl festmachen

Fangen Sie bei der Aufgabe an, nicht bei der Größe. Eine enge, oft wiederholte Aufgabe ist der Fall, in dem ein kleines Modell mithält. Eine offene Frage mit vielen Schritten ist es nicht.

Fragen Sie nach mehr als einer Zahl. Die Gesamtgröße sagt, wie viel gespeichert werden muss. Wie viel davon gleichzeitig im Arbeitsspeicher liegen muss, hängt an der Bauform. Die aktive Größe sagt, wie viel je Token gerechnet wird.

Messen Sie am eigenen Fall. Eine Benchmarkzahl beschreibt eine fremde Aufgabe. Was das bedeutet, steht in Beurteilen und Einordnen, Kapitel 04.

Halten Sie die Kette offen. Das kleine Modell zuerst, das große für die Fälle, an denen es scheitert. Diese Stufung ist der Regelfall im Betrieb, und was sie kostet, rechnet Tiefe 3 vor.

Ein Modell mit 7 Milliarden Parametern von 2026 kann mehr als eines mit 175 Milliarden von 2020. Diese Beobachtung wirft eine Frage auf, die sich beziffern lässt: Woher kommt der Zuwachs, wenn die Gewichte weniger geworden sind?

Es sind drei Entwicklungen, und sie wirken unabhängig voneinander.

Erstens, mehr Daten je Parameter

Bis 2022 galt die Empfehlung, das Rechenbudget vor allem in die Modellgröße zu stecken. Die Chinchilla-Arbeit hat sie umgedreht, und die Faustregel daraus gilt bei festem Rechenbudget: Zu doppelter Modellgröße gehört die doppelte Datenmenge. Die Messung und ihre Folgen stehen in Beurteilen und Einordnen, Kapitel 05.

Für kleine Modelle folgt daraus etwas Praktisches. Ein Modell mit 7 Milliarden Parametern, das nach der alten Regel trainiert worden wäre, hätte einen Bruchteil der Daten gesehen, die es heute bekommt. Der Zuwachs steckt also im Training, während die Datei gleich groß bleibt.

Zweitens, bessere Daten

Der zweite Weg setzt an der Auswahl an. Gunasekar und Mitautoren bei Microsoft haben 2023 gezeigt, wie weit sortierte Trainingsdaten reichen. Ihr Modell phi-1 (externe Seite, arxiv.org) ist ein Transformer mit 1,3 Milliarden Parametern, trainiert vier Tage lang auf acht Rechenkarten vom Typ A100.

Vier Tage auf acht Rechenkarten, das ist die Größenordnung eines Uni­ver­si­täts­in­sti­tuts. Das Ergebnis (externe Seite, arxiv.org) trotz dieser geringen Größe: 50,6 Prozent gelöste Aufgaben im ersten Versuch (pass@1) bei HumanEval und 55,5 Prozent bei MBPP.

Zwei Einschränkungen gehören dazu. Die Arbeit misst Code, also eine eng umrissene Aufgabe mit einem klaren Maßstab; eine Übertragung auf offene Fragen folgt daraus nicht. Und ein Teil der Trainingsdaten stammt aus einem größeren Modell, womit das kleine Modell einen Teil seines Könnens von dort bezieht.

Drittens, Destillation

Damit ist der dritte Weg schon benannt. Ein großes Modell erzeugt die Antworten, ein kleines wird darauf abgestimmt. Was das kostet, steht in Beurteilen und Einordnen, Kapitel 02, samt der Messung zu DistilBERT: 40 Prozent weniger Größe bei 97 Prozent des Sprach­ver­ständ­nisses, gemittelt über neun Aufgaben. Wie das Verfahren arbeitet und was dabei mitkommt, zeigt Nutzung und Anpassung von LLMs, Kapitel 03.

Für dieses Kapitel zählt die Richtung: Ein Teil dessen, was kleine Modelle können, ist aus großen Modellen übertragen worden. Der Abstand zwischen den Klassen schrumpft damit von oben.

Zwei Herkünfte eines kleinen Modells

Die drei Gründe oben nennen Verfahren. Darunter liegen zwei verschiedene Herkünfte, und bei der Auswahl ist der Unterschied wichtiger, als er klingt.

Der eine Weg leitet ab. Ein großes Modell ist da, und daraus entsteht ein kleineres: über Destillation, über das Beschneiden von Teilen, über eine kleinere Fassung derselben Familie. Was das spart, hat NVIDIA in der Minitron-Arbeit (externe Seite, arxiv.org) beziffert: Wer Modelle mit 8 und 4 Milliarden Parametern aus einem schon vortrainierten Modell mit 15 Milliarden ableitet, braucht mit diesem Verfahren je Modell bis zu vierzigmal weniger Trainings-Token als beim Training von Grund auf. Für die ganze Familie aus drei Modellen sinkt der Rechenaufwand um den Faktor 1,8.

So entstanden die kleinen Modelle von Gemma 2 (externe Seite, arxiv.org) und Llama 3.2 (externe Seite, github.com): Beide lernten beim Vortraining an einem größeren Modell. So entstand auch das kleinste Gemma-Modell: Gemma 3 270M übernimmt Bauform und Vortraining (externe Seite, developers.googleblog.com) der übrigen Gemma-3-Modelle.

Es ist damit ein Ableger und ein Ausgangspunkt zugleich, gedacht zum Feinjustieren auf die eigene Aufgabe. Was Dritte aus solchen Ausgangspunkten machen und wie sich das im Model tree von Hugging Face zeigt, steht in Nutzung und Anpassung von LLMs, Kapitel 02. Das große Vokabular von 256.000 Einträgen hält es dafür offen, statt es auf ein Fach festzulegen.

Der andere Weg baut von Grund auf. Das Modell entsteht für ein Fachgebiet oder für eine Sprache, mit einem eigens dafür gebauten Vokabular, und die geringe Größe ist eine Folge dieses Zuschnitts. Ein Beispiel aus dem Rechtswesen (externe Seite, arxiv.org) ist ein kleines Modell mit 88 Millionen Parametern, von Grund auf vortrainiert in 185 Stunden auf Rechenkarten vom Typ A100, für ein einziges Fachgebiet und mit einem eigens dafür gebauten Tokenizer.

Bei der Aufgabe, für die es gebaut wurde, der Vorhersage von Gerichtsurteilen, kann es laut derselben Arbeit (externe Seite, arxiv.org) große Sprachmodelle bis zum Achtzigfachen seiner Größe übertreffen.

Derselbe Zuschnitt geht über Sprachen. Eine Modellfamilie von 50 bis 600 Millionen Parametern für das Kasachische nennt ihren Anlass (externe Seite, arxiv.org) im ersten Satz: Mehrsprachige Modelle räumen Sprachen mit wenig Trainingsmaterial nur minimale Kapazität ein, und ihre Tokenizer passen schlecht zu einer agglutinierenden Formenbildung, bei der Wörter durch angehängte Endungen wachsen.

Das Ergebnis ist von Grund auf trainiert, auf 9 Milliarden Zeichenketten kasachischen Textes, mit einem eigenen Vokabular aus 50.000 Einträgen (externe Seite, arxiv.org).

Beide Arbeiten haben dasselbe Bauteil eigens angefertigt, und das führt zur nächsten Rechnung.

Wie viel ein Vokabular kostet

Wie groß dieses Bauteil ist, rechnet der Hersteller des kleinsten Gemma-Modells in der Vorstellung (externe Seite, developers.googleblog.com) selbst vor: Von 270 Millionen Parametern insgesamt sind 170 Millionen Embedding-Parameter, wegen des großen Vokabulars, und 100 Millionen gehören zu den Transformer-Blöcken.

Knapp zwei Drittel der Parameter stecken also im Vokabular, 100 Millionen in den Rechenschichten. Ein Fachmodell mit eigenem, kleinerem Vokabular kann dieselbe Parameterzahl anders verteilen. Und eine Parameterzahl allein sagt noch nicht, wie viel Rechenwerk dahintersteht.

Wann sich der Zuschnitt lohnt

Die Wahl zwischen den beiden Wegen ist gemessen worden, und zwar früh. Eine Arbeit bei Microsoft prüfte 2020 die damals verbreitete Erwartung (externe Seite, arxiv.org), auch ein Vortraining für ein Fachgebiet profitiere davon, bei einem allgemeinen Sprachmodell anzusetzen.

Das Ergebnis (externe Seite, arxiv.org) fiel anders aus, und seine Bedingung ist der eigentliche Befund: In Fachgebieten mit reichlich unmarkiertem Text, etwa der Biomedizin, bringt ein Vortraining von Grund auf deutliche Gewinne gegenüber dem Weitertrainieren eines allgemeinen Sprachmodells.

Das gilt für Gebiete mit reichlich unmarkiertem Text. Wo dieser Text fehlt, bleibt der Weg über ein vorhandenes Modell der bessere, und das ist die Mehrzahl der Fälle. Zwei Einschränkungen gehören dazu: Die Arbeit stammt aus der Zeit vor den heutigen erzeugenden Modellen und misst eine ältere Bauform, und sie misst ein einziges Fachgebiet. Das Beispiel aus dem Rechtswesen oben zeigt denselben Befund bei einem erzeugenden Modell; eine Regel für jedes Fach folgt aus zwei Arbeiten nicht.

Der Kniff, der die Rechnung verschiebt

Neben dem Training hat sich die Bauform geändert. In einem Mixture-of-Experts-Modell liegen alle Gewichte auf dem Gerät, gerechnet wird je Token aber nur mit einem Teil davon. Aus einer Zahl werden dadurch zwei. Wie ein solches Modell je Token rechnet und was daraus folgt, erklärt der Beitrag Wie ein Mixture-of-Experts-Modell rechnet.

Zwei Beispiele aus dem Jahr 2026 zeigen die Spanne. NVIDIAs Nemotron 3.5 Lightning (externe Seite, huggingface.co) führt in seiner Modellkarte 30 Milliarden Parameter insgesamt und 3 Milliarden aktive, abgerufen am 04.09.2026.

Bei dieser Bauform beantworten die zwei Zahlen verschiedene Fragen. Die Gesamtzahl sagt, wie viel Arbeitsspeicher belegt wird, also ob das Modell auf das Gerät passt; diese Rechnung führt Beurteilen und Einordnen, Kapitel 01 vor. Die aktive Zahl sagt, wie viel je Token gelesen und gerechnet wird, also wie schnell die Antwort kommt. Ein Modell mit 30 Milliarden gesamt und 3 aktiven verhält sich damit beim Platzbedarf wie ein großes und bei der Antwortzeit wie ein kleines.

Apples Bauform bricht auch mit dieser Rechnung

Das stärkere der beiden Apple-Gerätemodelle sieht auf den ersten Blick genauso aus: Laut Vorstellung (externe Seite, machinelearning.apple.com) hat es 20 Milliarden Parameter in einer dünn besetzten Bauform und rechnet je nach Anfrage mit nur 1 bis 4 Milliarden davon.

Der Absatz darüber grenzt sich allerdings ausdrücklich von der eben beschriebenen Bauform ab. Bei den üblichen Modellen müssen alle Gewichte im Arbeitsspeicher stehen, und Apple geht einen anderen Weg: Das vollständige Modell liegt im Flash-Speicher (externe Seite, machinelearning.apple.com) (NAND), statt ganz in den Arbeitsspeicher (DRAM) gezwängt zu werden.

Der Grund dafür ist eine Eigenschaft der Hardware, und er erklärt zugleich, warum die Wahl der Experten je Anfrage fällt statt je Token: Die Bandbreite zwischen Flash und Arbeitsspeicher (externe Seite, machinelearning.apple.com) reicht nicht, um Gewichte Token für Token auszutauschen, wie es übliche MoE-Modelle verlangen. AFM 3 Core Advanced trifft die Routing-Entscheidung deshalb je Prompt.

Damit zerfällt die Parameterzahl in drei Größen statt zwei. Gespeichert sind 20 Milliarden, und zwar im Flash-Speicher. Geladen wird je Anfrage nur der Teil, den die gewählten Experten brauchen. Gerechnet wird mit 1 bis 4 Milliarden. Apple nennt als Zweck (externe Seite, machinelearning.apple.com) ausdrücklich, damit über die Grenze des Arbeitsspeichers hinauszukommen: Die Gewichte werden über Anfragen unterschiedlicher Schwierigkeit hinweg schrittweise geladen, das Modell kann so weit größer werden, als der Arbeitsspeicher üblicherweise zulässt, und die Wartezeit soll dabei möglichst gering bleiben.

Wer zwei Modelle vergleicht, muss deshalb zweierlei wissen: welche der Zahlen angegeben ist, und welche Bauform dahintersteht. Der Satz, die Gesamtzahl sage den Bedarf an Arbeitsspeicher, gilt für Nemotron und für die üblichen offenen Modelle. Für dieses Apple-Modell gilt er nicht.

Wo die Bezeichnung Werbung wird

Genau hier wird der Begriff dehnbar. Kimi K3 rechnet nach seiner Modellkarte (externe Seite, huggingface.co) mit 104 Milliarden aktiven Parametern von 2,8 Billionen insgesamt. Nach dem Verhältnis sieht das sparsam aus. Die Gewichte wiegen zusammen 1,56 Terabyte, und was das für den Betrieb bedeutet, rechnet der Beitrag Was offene Gewichte wert sind, wenn sie 1,56 Terabyte wiegen vor. Ein Anteil allein sagt also nichts über die Klasse.

Die Bestimmung aus Tiefe 1 hält dem stand, weil sie am Gerät ansetzt statt an einem Verhältnis. Gewichte im Umfang von 1,56 Terabyte passen auf kein Gerät im Haushalt, weder in den Arbeitsspeicher noch in den Flash-Speicher, und daran ändert der Anteil der aktiven Parameter nichts.

Spezialisiert statt allgemein

Der Zuschnitt beim Bauen hat ein Gegenstück beim Einsatz. Wenn ein Ablauf immer dieselbe enge Aufgabe stellt, ist das breite Wissen eines großen Modells totes Gewicht. Genau das ist das Hauptargument der NVIDIA-Arbeit über Agenten (externe Seite, arxiv.org), und der Zuschnitt ist an den Modellnamen ablesbar: Nemotron 3.5 Lightning ist ausdrücklich für lang laufende Agenten gebaut. Die Wahl eines kleineren Modells ist einer von sieben Wegen, ein Modell an eine Aufgabe anzupassen, und Nutzung und Anpassung von LLMs, Kapitel 08 stellt sie nebeneinander.

Dieselbe Überlegung steckt an mehreren Stellen der Seite, ohne dort so zu heißen. Ein Wächtermodell vor dem eigentlichen Modell ist ein spezialisiertes kleines Modell, siehe Conversational AI, Kapitel 07. Ein Embedding-Modell ist eines, und ein Erkennungsmodell für gesprochene Sprache ebenfalls, siehe Conversational AI, Kapitel 02. Kleine Modelle sind im Betrieb seit Jahren üblich, unter anderen Namen.

Was der Katalog hergibt

Wer Größen vergleichen will, findet sie im Modellkatalog von Ollama (externe Seite, ollama.com). Je Eintrag stehen die verfügbaren Parametergrößen, das Datum der letzten Fassung und Merkmale wie Vision oder Werkzeugaufrufe. Das ist die schnellste Antwort auf die Frage, welche Größen es zu einem Modellnamen überhaupt gibt.

Zwei Auskünfte fehlen dort. Erstens sagt der Katalog nichts über die Güte, dazu braucht es eine Messung am eigenen Fall, siehe Beurteilen und Einordnen, Kapitel 04. Zweitens führt er allein Modelle mit offenen Gewichten; die Größen der geschlossenen Spitzenmodelle bleiben unveröffentlicht, was Grundkurs, Kapitel 10 beschreibt.

Was daraus für die Praxis folgt

Der Abstand zwischen klein und groß ist über die Zeit kleiner geworden, und zwar bei einer bestimmten Sorte von Aufgabe. Mistral hat das 2023 für die eigene Klasse beziffert: Mistral 7B übertrifft laut Ankündigung (externe Seite, mistral.ai) Llama 1 34B in vielen Benchmarks.

Die Angabe beschreibt eine Auswertung gegen ein Modell der älteren Reihe, die Meta im Februar 2023 vorgestellt hat, und sagt nichts über den Abstand zur jeweils aktuellen Spitze. Dieser Abstand besteht weiter, er verläuft nur woanders: bei Aufgaben über viele Schritte, bei breitem Weltwissen und bei sehr langen Eingaben. Wo genau er kippt, misst Tiefe 3.

Die Zahl, die in dieser Diskussion am häufigsten fällt, stammt aus der NVIDIA-Arbeit: Ein Modell mit 7 Milliarden Parametern sei im Betrieb 10- bis 30-mal günstiger als eines mit 70 bis 175 Milliarden, gemessen in Antwortzeit, Energieverbrauch und Rechenoperationen (Abschnitt 3.2 (externe Seite, arxiv.org), abgerufen am 04.09.2026).

Diese Zahl verlangt eine Nebenrechnung, bevor man mit ihr arbeitet. Die verglichenen Größen liegen um den Faktor 10 bis 25 auseinander. Der genannte Vorteil von 10 bis 30 entspricht also ungefähr dem Größenverhältnis selbst. Die Angabe belegt damit, dass die Kosten ungefähr mit der Größe fallen. Das ist alles, was sie belegt. Dazu kommt die Herkunft: Die Arbeit ist ein Positionspapier eines Herstellers von Rechenkarten, und eine unabhängige Nachmessung dieser Spanne liegt nicht vor.

Die Bauform schlägt die Größe, gemessen

Belastbarer ist eine Messung am eigenen Gerät, weil dort alle Größen bekannt sind. Am 17.08.2026 sind zwei Modelle mit praktisch gleicher Dateigröße gegeneinander gelaufen: eines mit 27,78 Milliarden Parametern, die bei jedem Token alle rechnen, gegen ein Mixture-of-Experts-Modell mit rund vier Milliarden aktiven. Faktor 6,4 in der Antwortzeit, zugunsten des zweiten. Der Aufbau, die Streuung und die übrigen Zahlen stehen im Bericht Elf Wege, ein lokales Modell schneller zu machen.

Daraus folgt eine Faustregel für die Auswahl. Bei zwei Modellen gleicher Dateigröße, die beide vollständig im Arbeitsspeicher liegen, entscheidet bei kurzem Kontext die aktive Parameterzahl über die Antwortzeit, und der Abstand kann eine Größenordnung betragen. Wer allein auf die Dateigröße sieht, wählt an der Kennzahl vorbei, die er eigentlich meint. Bei langem Kontext liest das Modell je Token zusätzlich die Schlüssel und Werte aller Token davor, und diese Menge kann die aktiven Gewichte übersteigen. Rechnung und Messung dazu stehen in Nutzung und Anpassung von LLMs, Kapitel 04.

Auf die Bedingung im Nebensatz kommt es an: Apples Gerätemodell lädt seine Gewichte aus dem Flash-Speicher nach, und dort verläuft der Engpass zwischen Flash und Arbeitsspeicher statt innerhalb des Arbeitsspeichers. Die Rechnung dazu steht in Tiefe 2.

Eine Einschränkung gehört dazu, und sie ist im Bericht beziffert: Die Geschwindigkeit schwankt auf einem Arbeitsrechner im Mittel um 22 Prozent. Ein gemessener Unterschied ist erst ab einer Schwelle eine Aussage, und diese Schwelle misst man an der eigenen Streuung, bevor man Modelle vergleicht.

Die Kette, und was sie wirklich spart

Der übliche Bau im Betrieb ist eine Stufung: Das kleine Modell nimmt jede Anfrage entgegen, das große übernimmt die Fälle, an denen es scheitert. Zwei Ausprägungen davon stehen an anderer Stelle, ein Wächtermodell vor dem eigentlichen Modell in Conversational AI, Kapitel 07 und die Ausweichkette vom Anbieter zum lokalen Modell in Beurteilen und Einordnen, Kapitel 01.

Was eine solche Kette einspart, hängt an einer einzigen Größe, die selten gemessen wird: dem Anteil der Anfragen, den die erste Stufe abschließt. Bei 90 Prozent übernimmt die zweite Stufe ein Zehntel der Last, bei 50 Prozent die Hälfte. Und die Kette kostet auch dort, wo sie nichts einspart, denn eine weitergereichte Anfrage ist zweimal bezahlt worden.

Daraus folgt die Reihenfolge beim Bauen. Zuerst wird der Anteil gemessen, dann gerechnet, ob sich die Stufung lohnt. Eine Kette, deren erste Stufe 40 Prozent schafft, kostet mehr als der direkte Weg zum großen Modell.

Wo der Abstand bleibt

Die Arbeit, die für kleine Modelle argumentiert, führt die Gegenposition (externe Seite, arxiv.org) selbst auf und benennt sie ohne Abschwächung: Es gibt einen nicht zu ver­nach­läs­si­genden Bestand empirischer Belege, dass große Sprachmodelle beim allgemeinen Sprachverständnis kleinen Sprachmodellen derselben Generation überlegen sind.

Der entscheidende Zusatz steht im Satz: derselben Generation. Genau daran hängt der Unterschied zwischen den beiden Aussagen dieses Kapitels. Ein kleines Modell von heute schlägt ein großes von vorgestern, und das ist gemessen. Ein kleines Modell schlägt ein großes desselben Jahrgangs bei allgemeiner Sprache nicht, und das ist ebenfalls gemessen. Beide Sätze stehen nebeneinander, ohne sich zu widersprechen.

Praktisch heißt das: Der Vergleich, der zählt, ist der gegen die heutige Spitze. Ein Modell von 2020 als Maßstab sagt über eine Wahl von heute wenig. Wer eine Ankündigung liest, sieht zuerst nach, gegen welchen Jahrgang gemessen wurde.

Drei Stellen, an denen es kippt

Bei Aufgaben über viele Schritte. Ein Fehler am Anfang verdirbt alles Spätere, und die Fehlerquote je Schritt multipliziert sich. Die Rechnung dazu steht in Grundkurs, Kapitel 10.

Bei breitem Weltwissen. Was ein Modell aus dem Training weiß, hängt an seiner Größe, und ein kleines Modell hat weniger davon. Der übliche Ausweg ist, das Wissen zur Laufzeit danebenzustellen, siehe Agenten und Harness, Kapitel 03. Das verschiebt die Anforderung vom Wissen zum Verstehen der mitgelieferten Belege.

Bei der Nutzung langer Eingaben. Die nominelle Kontextlänge ist dabei die falsche Kennzahl: Nemotron 3.5 Lightning nennt in seiner Modellkarte (externe Seite, huggingface.co) bis zu einer Million Token, abgerufen am 04.09.2026. Wie gut ein Modell die Mitte einer langen Eingabe verwertet, ist eine andere Frage, und die Arbeiten dazu stehen in Grundkurs, Kapitel 05. Ob der Abstand dabei an der Modellgröße hängt, sagt keine der hier geführten Arbeiten.

Was daraus nicht folgt

Dass ein kleines Modell billiger ist. Es ist billiger je Aufruf. Wer deshalb mehr Aufrufe macht oder Fälle weiterreicht, kann teurer herauskommen. Die Rechnung steht oben.

Dass die Parameterzahl gar nichts sagt. Sie sagt weiterhin, wie viel Speicher die Gewichte belegen, und in der aktiven Variante, wie viel je Token gerechnet wird. Ob dieser Speicher der Arbeitsspeicher sein muss, hängt an der Bauform, siehe Tiefe 2. Was die Zahl nicht mehr sagt, ist die Güte.

Dass ein kleines Modell die geschrumpfte Fassung eines großen ist. Das gilt für den einen der beiden Wege. Google und Meta haben ihre jüngeren kleinen Modelle so gebaut, Gemma 2 und 3 und Llama 3.2. Mit Beschneiden und Destillation braucht ein Modell in NVIDIAs Messung bis zu vierzigmal weniger Trainingsmaterial (externe Seite, arxiv.org). Der andere baut von Grund auf für ein Fachgebiet und für bestimmte Sprachen, und dort ist die geringe Größe eine Folge des Zuschnitts. Für die Auswahl heißt das: Vor dem Vergleich zweier kleiner Modelle gehört die Frage, wofür sie gebaut wurden. Ein zugeschnittenes Modell schlägt in seinem Fach ein allgemeines derselben Größe, und außerhalb davon verliert es deutlicher.

Dass sortierte Trainingsdaten die Größe ersetzen. Die Phi-Arbeit misst Code, also eine eng umrissene Aufgabe mit einem klaren Maßstab (Nachweis (externe Seite, arxiv.org)). Eine Übertragung auf offene Fragen folgt daraus nicht.

Dass ein Modell auf dem Gerät ein Daten­schutz­ver­spre­chen ist. Es ist eines, solange nichts das Gerät verlässt. Apple beschreibt für die eigene Reihe ausdrücklich zwei Orte (externe Seite, machinelearning.apple.com): Die Modelle laufen ausschließlich auf dem Gerät und in Apples Serverumgebung Private Cloud Compute.

Welcher der beiden Orte greift, entscheidet das System. Was ein Betreiber zusagt und woran man das festmacht, steht in Beurteilen und Einordnen, Kapitel 01.

Dass die Klasse stabil ist. Die Bestimmung aus Tiefe 1 hängt am Gerät, und Geräte werden größer. Was heute ein kleines Modell heißt, ist in zwei Jahren eine andere Größe.