Wie ein Modell innen gebaut ist

In Grundkurs, Kapitel 01 steht, was zu einem Sprachmodell gehört: die Architektur, die Gewichte, das Vokabular und der Tokenizer. Bei einem Modell mit offenen Gewichten lässt sich jedes dieser vier Dinge als Datei aufschlagen. Dieses Kapitel tut das an einem Beispiel und beantwortet die Frage, wo in einem Modell gerechnet wird. Was sich beim Training in den Gewichten gebildet hat, ist Thema von Beurteilen und Einordnen, Kapitel 06.

Ein Modell ist ein Ordner

Das Beispiel ist Qwen3-4B-Instruct-2507 von Alibaba. Die Modellkarte (externe Seite, huggingface.co) stellt es als überarbeitete Fassung von Qwen3-4B vor, die ohne Denkmodus antwortet. Die Gewichte stehen unter der Lizenz Apache 2.0 bei Hugging Face. Die Diktier-App aus einem Beitrag nutzt es als lokales Modell für Geräte ohne Apple Intelligence.

Wer den Ordner herunterlädt, bekommt drei Arten von Dateien:

• Eine Kon­fi­gu­ra­ti­ons­datei, config.json, 727 Byte groß. Sie nennt die Zahl der Schichten, ihre Breite, die Zahl der Köpfe und die Größe des Vokabulars. Das ist der Bauplan.
• Drei Gewichtsdateien im Format safetensors, zusammen rund 8 Gigabyte. Darin stehen gut vier Milliarden Zahlen, eine für jeden Parameter. Das ist das Gelernte.
• Die Dateien des Tokenizers mit dem Vokabular. Sie legen fest, in welche Stücke ein Text zerfällt.

Die Kon­fi­gu­ra­ti­ons­datei (externe Seite, huggingface.co) von Qwen3-4B-Instruct-2507 nennt unter anderem 36 Schichten, eine Breite von 2.560 Zahlen je Token und eine Tabelle für das Vokabular mit 151.936 Zeilen. Auch die Gewichtsdateien beginnen mit einem lesbaren Teil. Das Format safetensors (externe Seite, github.com) stellt den Zahlen einen Kopf voran, geschrieben als JSON. Er nennt für jede Zahlentabelle in der Datei den Namen, den Datentyp und die Form. Wer ihn liest, muss die 8 Gigabyte dahinter nicht laden.

Sechsunddreißig Blöcke gleicher Bauart

Der Bauplan hat drei Abschnitte. Vorn steht der Eingang: Jedes Token wird zu einer Reihe von 2.560 Zahlen, nachgeschlagen in einer Tabelle mit einer Zeile je Eintrag des Vokabulars. Wie diese Tabelle arbeitet, steht in Grundkurs, Kapitel 04.

Dann folgen 36 Blöcke, alle nach demselben Plan gebaut. Am Ende steht der Ausgang. Er macht aus der letzten Zahlenreihe eine Bewertung für jede der 151.936 Zeilen dieser Tabelle, und daraus wird das nächste Token gezogen, wie Grundkurs, Kapitel 02 beschreibt.

Jeder der 36 Blöcke hat eigene Gewichte. Das lässt sich an den Dateien abzählen. Ein Block besteht aus 11 benannten Tensoren, also Zahlentabellen, und 36 mal 11 ergibt 396. Dazu kommen die Tabelle am Eingang und eine letzte Normalisierung vor dem Ausgang, zusammen 398. Genau so viele Tensoren nennen die Köpfe der drei Gewichtsdateien. Für den Ausgang benutzt Qwen3-4B-Instruct-2507 dieselbe Tabelle wie für den Eingang, deshalb hat er keinen eigenen Tensor.

Das Gegenstück beschreibt der Beitrag über den Looped Transformer. Dort durchläuft jedes Token mehrfach denselben Block mit denselben Gewichten, und das Modell speichert nur diesen einen.

Die For­mat­be­schrei­bung von GGUF (externe Seite, github.com), einem zweiten verbreiteten Dateiformat für Modelle, nennt die Blöcke beim Namen ihrer Teile: Blöcke aus Aufmerksamkeit und Feed-Forward-Schichten, der Hauptteil eines Sprachmodells.

Zwei Teile mit zwei Aufgaben

Jeder Block besteht aus zwei Teilen. Schon im Kodierer der Transformer-Arbeit (externe Seite, arxiv.org), mit der die Bauform 2017 begann, hat jede Schicht diese zwei Teile.

Die Aufmerksamkeit holt Information von anderen Stellen des Textes. Für jedes Token prüft sie, welche der vorangehenden Token gerade zählen, und übernimmt einen gewichteten Anteil von deren Zahlenreihen. Warum ein Token nur die vorangehenden sieht, steht in Grundkurs, Kapitel 04. Wie Anfrage, Schlüssel und Wert zusammenwirken, erklärt die zweite Ebene.

Der Feed-Forward-Teil rechnet danach an jeder Stelle für sich. Die Transformer-Arbeit beschreibt ihn als Netz, das auf jede Position getrennt und auf dieselbe Weise angewandt wird (Abschnitt 3.3 (externe Seite, arxiv.org)). Er formt um, was an seiner Stelle schon angekommen ist.

Beide Teile schreiben ihr Ergebnis in dieselbe Zahlenreihe zurück: Sie addieren es auf. Diese Reihe läuft vom Eingang durch alle 36 Blöcke bis zum Ausgang und heißt Residualstrom. Eine Arbeit von Anthropic (externe Seite, transformer-circuits.pub) über die Mechanik von Transformern beschreibt ihn als Summe aus den Ausgaben aller vorigen Schichten und der Zahlenreihe vom Eingang. Dieselbe Arbeit fasst die Aufgabe der Aufmerksamkeit in einem Satz: Die Köpfe der Aufmerksamkeit bewegen Information vom Residualstrom eines Tokens in den eines anderen.

Dass eine Schicht ihr Ergebnis auf die eigene Eingabe aufschlägt, ist der Kniff aus der ResNet-Arbeit, den KI jenseits der Sprachmodelle, Kapitel 03 erzählt. Er hält ein Netz mit vielen Schichten trainierbar.

Wo die vier Milliarden sitzen

Aus der Kon­fi­gu­ra­ti­ons­datei lässt sich ausrechnen, wie viele Parameter auf jeden Teil entfallen. Die Rechnung steht in der dritten Ebene, und sie stimmt mit den Köpfen der Gewichtsdateien auf den Parameter genau überein: 4.022.468.096.

Der Rechner zeigt für vier offene Modelle die Anteile von Ein- und Ausgang, Aufmerksamkeit, Feed-Forward-Teil und Normalisierung, jeweils aus Kon­fi­gu­ra­ti­ons­datei und Dateiköpfen.

Bei Qwen3-4B-Instruct-2507 entfallen 66,9 Prozent auf die Feed-Forward-Teile der 36 Blöcke. Auf die Aufmerksamkeit kommen 23,5 Prozent, auf die Tabelle für Ein- und Ausgang 9,7 Prozent. Die Normalisierung bleibt unter 0,01 Prozent. Zwei Drittel im Feed-Forward-Teil, das ist auch die Faustzahl einer Arbeit von 2020 (externe Seite, arxiv.org) über genau diesen Teil.

Die Faustzahl gilt in einem Bereich. Bei den beiden anderen dicht gebauten Modellen im Rechner, Mistral-7B-v0.3 (externe Seite, huggingface.co) und SmolLM3-3B (externe Seite, huggingface.co), sind es 77,8 und 79,2 Prozent. Bei gpt-oss-20b (externe Seite, huggingface.co) sind es 91,4 Prozent. Beim größeren gpt-oss-120b sind es nach Tabelle 1 im Bericht zu gpt-oss (externe Seite, arxiv.org) 98,2 Prozent, 114,71 von 116,83 Milliarden. OpenAI fasst es so: Auf die MoE-Gewichte entfallen über 90 Prozent aller Parameter.

Die beiden gpt-oss-Modelle sind Mixture-of-Experts-Modelle. Bei ihnen ist der Feed-Forward-Teil in viele kleine Netze geteilt, von denen je Token nur wenige rechnen. Wie das geht, erklärt der Beitrag Wie ein Mixture-of-Experts-Modell rechnet.

Am anderen Ende steht ein sehr kleines Modell mit großem Vokabular. Bei Gemma 3 270M (externe Seite, developers.googleblog.com) liegen 170 der 270 Millionen Parameter in der Tabelle für das Vokabular. Für den Feed-Forward-Teil bleiben damit höchstens 37 Prozent, und KI jenseits der Sprachmodelle, Kapitel 10 rechnet nach, was das für ein kleines Modell heißt.

Ein Bauplan sagt, wo gerechnet wird

Der Bauplan nennt die Teile, ihre Größe und ihre Reihenfolge. Was sich beim Training in den Gewichten gebildet hat, steht in keinem Feld der Kon­fi­gu­ra­ti­ons­datei. Davon handelt Beurteilen und Einordnen, Kapitel 06.

Auch beim Fine-Tuning bleibt der Bauplan gleich. Ein Fine-Tuning ändert die Zahlen in den Gewichtsdateien. Schichten, Namen und Formen der Tensoren bleiben dieselben. Wie das Verfahren arbeitet, steht in Beurteilen und Einordnen, Kapitel 02.

Einen Bauplan zum Nachlesen gibt es nur, wo der Hersteller ihn herausgibt. Zu GPT-4 schreibt OpenAI im technischen Bericht (externe Seite, arxiv.org), er enthalte keine weiteren Angaben zur Architektur, auch keine zur Modellgröße. Eine Zahl der Schichten oder Parameter, die für GPT-4 kursiert, stammt deshalb aus einer anderen Quelle als diesem Bericht.

Drei Felder sagen mehr als die Parameterzahl

Eine Modellkarte nennt zuerst die Parameterzahl. Drei weitere Angaben sagen mehr über den Betrieb, und alle drei stehen in der Kon­fi­gu­ra­ti­ons­datei.

Die Zahl der Schichten. Sie sagt, wie viele Blöcke jedes Token nacheinander durchläuft. Bei Qwen3-4B-Instruct-2507 sind es 36.

Die Zahl der Schlüssel-Wert-Köpfe. Zusammen mit der Zahl der Schichten und der Breite eines Kopfes bestimmt sie, wie viel Speicher beim Antworten für jedes Token des Gesprächs belegt bleibt. Bei Qwen3-4B-Instruct-2507 sind das 36 × 8 × 128 Zahlen für die Schlüssel und noch einmal so viele für die Werte. Qwen3-4B-Instruct-2507 rechnet die Aufmerksamkeit in 32 Köpfen und hält dafür 8 Schlüssel-Wert-Köpfe vor. Der Bericht zu Llama 3 (externe Seite, arxiv.org) begründet Grouped-Query Attention mit 8 Schlüssel-Wert-Köpfen mit schnellerer Ausgabe und einem kleineren Zwischenspeicher. Die zweite Ebene erklärt das Verfahren.

Die Kontextlänge. Laut Modellkarte (externe Seite, huggingface.co) verarbeitet das Modell von Haus aus 262.144 Token. Je länger der Text, desto mehr belegt der Zwischenspeicher.

Die Rechnung hinter der Dateigröße steht in Beurteilen und Einordnen, Kapitel 01. Was diese drei Angaben zusammen an Speicher verlangen, rechnet Kapitel 04 vor.

Die erste Ebene hat den Bauplan von Qwen3-4B-Instruct-2507 aufgeschlagen: 36 Blöcke aus Aufmerksamkeit und Feed-Forward-Teil auf einem Residualstrom. Diese Ebene fragt, woher die Bauteile kommen. Die Antwort hat zwei Teile. Der Grundriss stammt von 2017. Die Bauteile darin sind zum großen Teil jünger, und drei davon stehen in einem einzigen Absatz von 2023.

Vom Transformer von 2017 ist der Grundriss geblieben

Die Transformer-Arbeit (externe Seite, arxiv.org) beschreibt in Abschnitt 3.1 einen Kodierer aus sechs gleich gebauten Schichten. Jede Schicht hat zwei Unterschichten, eine Aufmerksamkeit und ein Feed-Forward-Netz. Um jede führt eine Resi­du­al­ver­bin­dung, dahinter steht eine Normalisierung. Alle Unterschichten liefern Zahlenreihen derselben Breite, damals 512 Zahlen. Der Feed-Forward-Teil rechnet intern mit 2.048, dem Vierfachen.

Schichten, Unterschichten und Resi­du­al­ver­bin­dungen sind der Grundriss, den Qwen3-4B-Instruct-2507 bis heute hat. Gewachsen sind die Zahlen: 36 statt 6 Schichten, 2.560 statt 512 Zahlen je Token, 9.728 im Feed-Forward-Teil.

Die Arbeit von 2017 beschreibt ein Über­set­zungs­mo­dell. Neben dem Kodierer, der den Ausgangssatz liest, hat es einen Dekodierer, der die Übersetzung schreibt. Dessen Schichten haben eine dritte Unterschicht, eine Aufmerksamkeit auf das Ergebnis des Kodierers (Abschnitt 3.1). Ein heutiges Sprachmodell wie Qwen3-4B-Instruct-2507 besteht nur aus dem Dekodierer, ohne diese dritte Unterschicht.

Das zeigt die Tensorliste von Qwen3-4B-Instruct-2507: Sie führt je Block genau eine Aufmerksamkeit. Aus demselben Dekodierer stammt die Maske, mit der jedes Token nur die vorangehenden sieht, beschrieben in Grundkurs, Kapitel 04. Wie aus demselben Baustein ein Leser und ein Schreiber wurden, steht in KI jenseits der Sprachmodelle, Kapitel 03.

Auch eine Positionsangabe ist seit 2017 dabei. Das Modell von 2017 enthält weder Rekurrenz noch Faltung. Die Reihenfolge der Token muss es deshalb eigens mitgeteilt bekommen, so begründet es Abschnitt 3.5. Die Arbeit addiert dafür feste Wellenmuster auf die Zahlenreihen am Eingang.

Drei Bauteile hat LLaMA 2023 ausgetauscht

Was seit 2017 anders ist, hat Meta 2023 in einem Absatz zusammengestellt. Abschnitt 2.2 der Arbeit zu LLaMA (externe Seite, arxiv.org) nennt drei Änderungen gegenüber dem ursprünglichen Transformer. Zu jeder steht dort das Modell, aus dem sie übernommen wurde.

Die Normalisierung rückt vor den Unterblock

LLaMA normalisiert die Eingabe jeder Unterschicht. Im Transformer von 2017 stand die Normalisierung hinter der Unterschicht, auf ihrer Ausgabe. Die Idee stammt nach dem Absatz aus GPT-3, das Verfahren heißt RMSNorm.

Warum die Stelle zählt, hat eine Arbeit von 2020 zur Lage der Normalisierung (externe Seite, arxiv.org) untersucht. Sie zeigt zuerst, dass es auf die Lage ankommt. Steht die Normalisierung zwischen den Residualblöcken wie 2017, sind die Gradienten nahe der Ausgabe zu Beginn des Trainings groß. Eine hohe Lernrate macht das Training dann instabil. Steht sie innerhalb der Residualblöcke, verhalten sich die Gradienten von Anfang an gut.

RMSNorm selbst ist eine vereinfachte Normalisierung von 2019. Sie teilt nur durch den quadratischen Mittelwert der Zahlenreihe. Ihre Autoren (externe Seite, arxiv.org) nennen sie einfacher zu rechnen und deshalb effizienter als die ältere LayerNorm. Die Zeitersparnis, die die Arbeit misst, gilt für die Modelle ihrer Versuche von 2019.

SwiGLU ersetzt die Aktivierung im Feed-Forward-Teil

LLaMA ersetzt die Aktivierung ReLU durch SwiGLU, nach dem Vorbild von PaLM. Ein Feed-Forward-Teil mit SwiGLU hat drei Matrizen. Zwei davon rechnen nebeneinander, und das Ergebnis der einen regelt wie ein Tor, wie viel vom Ergebnis der anderen durchkommt. Die dritte führt zurück auf die Breite des Residualstroms. LLaMA setzt die innere Breite dafür auf zwei Drittel des Vierfachen der Modellbreite (Abschnitt 2.2).

Qwen3-4B-Instruct-2507 rechnet im Feed-Forward-Teil mit dem 3,8-Fachen seiner Breite, 9.728 zu 2.560. Das Verhältnis ist also eine Entscheidung je Modell.

Den Baustein hat Noam Shazeer 2020 in einer Arbeit über GLU-Varianten (externe Seite, arxiv.org) vorgeschlagen. Nach ihrem Schluss scheinen die neuen Varianten in ihrem Versuchsaufbau bessere Werte zu ergeben im Vortraining und in vielen Aufgaben zum Sprachverständnis. Eine Erklärung dafür bietet die Arbeit ausdrücklich nicht an. Den Erfolg schreibt sie, wie alles andere, göttlichem Wohlwollen zu.

Der Satz ist augenzwinkernd formuliert, die Auskunft darin ist genau. Der Baustein steckt in LLaMA und seinen Nachfolgern und nach dem Bericht des Herstellers auch in Qwen3. Eine Begründung, warum er wirkt, liefert seine Quelle selbst keine.

Die Position kommt als Drehung in jede Schicht

LLaMA entfernt die absoluten Positionsangaben am Eingang. Stattdessen kommen in jeder Schicht Rotary Positional Embeddings hinzu, kurz RoPE. Das Verfahren aus der RoFormer-Arbeit (externe Seite, arxiv.org) von 2021 kodiert die Position eines Tokens als Drehung seiner Anfrage und seines Schlüssels. Nach dem Abstract fließt damit zugleich der Abstand zwischen zwei Token in die Aufmerksamkeit ein. Die Drehung ist eine feste Rechenvorschrift, deshalb hat RoPE keine eigenen Gewichte.

Alle drei Bauteile stecken auch in Qwen3. Der technische Bericht (externe Seite, arxiv.org) beschreibt die dichten Modelle der Reihe in Abschnitt 2 als ähnlich zu Qwen2.5. Er zählt dazu auf: Grouped-Query Attention, SwiGLU, RoPE und RMSNorm vor dem Unterblock.

Köpfe teilen sich ihre Schlüssel

Die Aufmerksamkeit eines Blocks rechnet in mehreren Köpfen nebeneinander. Jeder Kopf bildet aus der Zahlenreihe eines Tokens drei kürzere Reihen: eine Anfrage, einen Schlüssel und einen Wert. Die Anfrage eines Tokens wird mit den Schlüsseln aller vorangehenden Token verglichen. Je nach Übereinstimmung übernimmt es einen Anteil ihrer Werte.

Beim Antworten wird daraus eine Frage des Speichers. Jedes neue Token braucht die Schlüssel und Werte aller vorangehenden. Damit sie nicht für jedes Token neu gerechnet werden, hält das Modell sie in einem Zwischenspeicher, dem KV-Cache. Bei jedem Schritt muss es diesen Speicher lesen.

Noam Shazeer schlug 2019 vor, dass sich alle Köpfe einen einzigen Satz von Schlüsseln und Werten teilen. Er nannte das Multi-Query Attention (externe Seite, arxiv.org). Die Tabellen für Schlüssel und Werte schrumpfen damit stark, und mit ihnen die Datenmenge, die beim schrittweisen Erzeugen aus dem Speicher kommen muss.

Ein einziger Schlüssel-Wert-Kopf kann die Qualität mindern. Diesen Nachteil nennt das Abstract der Arbeit, mit der Joshua Ainslie und Mitautoren 2023 die Grouped-Query Attention (externe Seite, arxiv.org) einführten. Sie liegt dazwischen: mehr als ein Schlüssel-Wert-Kopf und weniger, als es Köpfe für Anfragen gibt. Die Arbeit hat vorhandene Modelle auf diese Bauform nachtrainiert. Ein so nachtrainiertes Modell erreicht nach ihrer Messung fast die Qualität der vollen Aufmerksamkeit, bei einem Tempo nahe an Multi-Query Attention.

Qwen3-4B-Instruct-2507 hat 32 Köpfe für Anfragen und 8 Schlüssel-Wert-Köpfe. Je vier Köpfe teilen sich also einen Schlüssel und einen Wert. Der KV-Cache ist damit ein Viertel so groß wie bei 32 eigenen Schlüssel-Wert-Köpfen, gerechnet aus der Kon­fi­gu­ra­ti­ons­datei. Llama 3 hat in allen drei Größen ebenfalls 8 Schlüssel-Wert-Köpfe. Wie viele Gigabyte der Zwischenspeicher bei langem Text belegt, ist Thema des Kapitels „Was ein Modell an Hardware braucht“.

Seit LLaMA wachsen vor allem Breite und Tiefe

Der Bericht zu Llama 3 (externe Seite, arxiv.org) beginnt seinen Abschnitt 3.2 zur Bauform mit dem Satz, Llama 3 nutze einen gewöhnlichen, dichten Transformer. Von Llama und Llama 2 weiche die Bauform kaum ab. Die Gewinne führt Meta vor allem auf bessere und vielfältigere Daten und auf ein größeres Training zurück.

Als erste der kleinen Änderungen gegenüber Llama 2 nennt der Bericht die Grouped-Query Attention mit 8 Schlüssel-Wert-Köpfen. Tabelle 3 desselben Berichts zeigt, was sich beim Wachsen ändert:

Zwischen 8 und 405 Milliarden Parametern ändern sich Tiefe und Breite. Die Bauart des Blocks bleibt gleich, die Zahl der Schlüssel-Wert-Köpfe ebenso. Jeder Kopf rechnet in allen drei Größen mit 128 Zahlen, die Breite geteilt durch die Zahl der Köpfe. Auch Qwen3-4B-Instruct-2507 hat Köpfe mit 128 Zahlen. Dort ist es keine Teilung: 2.560 geteilt durch 32 ergäbe 80. Die Kon­fi­gu­ra­ti­ons­datei setzt die Kopfbreite eigens, im Feld head_dim.

Für die Stabilität der Bauform ergibt sich daraus ein genaueres Bild. Seit 2017 gleich ist der Grundriss: Blöcke aus Aufmerksamkeit und Feed-Forward-Teil auf einem Residualstrom. Die Bauteile darin haben sich bis LLaMA an drei Stellen geändert, bei Normalisierung, Aktivierung und Positionsangabe. Von LLaMA zu Llama 3 kam nach dem Bericht wenig hinzu.

Bei Mixture of Experts teilt sich der Feed-Forward-Teil

Die bisher genannten Modelle sind dicht gebaut: Jedes Token rechnet in jedem Block mit allen Gewichten. Mixture of Experts ändert genau einen Teil des Blocks. Der Feed-Forward-Teil wird in viele kleinere Netze aufgeteilt, die Experten, und ein Router wählt je Token wenige davon aus. Aufmerksamkeit, Normalisierung und Residualstrom bleiben, wie sie sind.

Die beiden Modelle von gpt-oss zeigen das an ihren Zahlen. Der Bericht zu gpt-oss (externe Seite, arxiv.org) beschreibt in Abschnitt 2.2 beide Modelle mit einem Residualstrom von 2.880 Zahlen. Normalisiert wird mit RMSNorm vor jedem Unterblock, die Aufmerksamkeit nutzt Grouped-Query Attention mit 8 Schlüssel-Wert-Köpfen. Das größere Modell hat 116,8 Milliarden Parameter insgesamt und 5,1 Milliarden aktive je Token.

Tabelle 1 des Berichts teilt die Parameter auf:

Die Aufmerksamkeit ist hier ein kleiner Posten, unter einem Prozent beim größeren Modell. Bei Qwen3-4B-Instruct-2507 macht sie fast ein Viertel aus.

Eine Einschränkung macht der Bericht selbst. In Fußnote 1 zu Abschnitt 2.2 nennt er sein SwiGLU unüblich. Es begrenzt die Werte und hat eine zusätzliche Resi­du­al­ver­bin­dung. Die Modelle benutzen also eine Variante von SwiGLU. Router, Wahl der Experten und die Folgen für Speicher und Tempo erklärt der Beitrag Wie ein Mixture-of-Experts-Modell rechnet.

Dieselbe Größe lässt sich verschieden verteilen

Eine Parameterzahl sagt, wie viele Zahlen in den Gewichtsdateien stehen. Wo sie stehen, sagt erst der Bauplan. Google rechnet es für sein kleinstes Gemma-Modell vor. Von den 270 Millionen Parametern von Gemma 3 270M (externe Seite, developers.googleblog.com) gehören 170 Millionen zum Embedding, wegen des großen Vokabulars. 100 Millionen gehören zu den Transformer-Blöcken.

Bei Qwen3-4B-Instruct-2507 liegt knapp ein Zehntel im Vokabular, 9,7 Prozent. Mistral-7B-v0.3 (externe Seite, huggingface.co) speichert Ein- und Ausgang in zwei getrennten Tabellen und kommt trotzdem nur auf 3,7 Prozent. Sein Vokabular hat 32.768 Einträge, das von Qwen3-4B-Instruct-2507 fast fünfmal so viele.

Zwei Modelle ähnlicher Größe können deshalb verschieden viel Rechenwerk haben, verschieden viele Schichten und verschieden viel Speicherbedarf beim Antworten. Welcher Fall vorliegt, steht in der Kon­fi­gu­ra­ti­ons­datei. Wie sich die Zahl bei kleinen Modellen verschiebt, steht in KI jenseits der Sprachmodelle, Kapitel 10. Die dritte Ebene rechnet die Verteilung für Qwen3-4B-Instruct-2507 auf den letzten Parameter nach.

Der Parameterrechner im Überblick zeigt Anteile. Diese Ebene rechnet sie für Qwen3-4B-Instruct-2507 von Hand nach, aus der Kon­fi­gu­ra­ti­ons­datei, und hält das Ergebnis gegen die Gewichtsdateien. Mit derselben Rechnung lässt sich die Parameterzahl jedes offenen Modells prüfen, dessen Konfiguration vorliegt.

Die Rechnung aus der Konfiguration

Die Kon­fi­gu­ra­ti­ons­datei (externe Seite, huggingface.co) beim Commit cdbee75 nennt die Felder, auf die es ankommt:

"hidden_size": 2560, "intermediate_size": 9728,
"num_hidden_layers": 36, "num_attention_heads": 32,
"num_key_value_heads": 8, "head_dim": 128,
"vocab_size": 151936, "tie_word_embeddings": true,
"attention_bias": false, "torch_dtype": "bfloat16"

Vier Annahmen gehen in die Rechnung ein:

• Die Projektionen der Aufmerksamkeit haben keinen Bias, so steht es in attention_bias.
• Der Feed-Forward-Teil ist ein SwiGLU mit drei Matrizen.
• Je Block gibt es zwei Normalisierungen über die volle Breite und zwei über die Breite eines Kopfes, dazu eine am Ende aller Blöcke.
• Ein- und Ausgang teilen sich eine Matrix, so steht es in tie_word_embeddings.

Die Aufmerksamkeit hat vier Projektionen. Die Anfragen gehen von 2.560 auf 4.096 Zahlen, 32 Köpfe zu je 128. Schlüssel und Werte gehen auf je 1.024, 8 Köpfe zu je 128. Die Ausgabe führt von 4.096 zurück auf 2.560. Zusammen sind die Köpfe der Anfragen also breiter als der Residualstrom.

Ohne die Matrix für Ein- und Ausgang bleiben 3.633.511.936 Parameter. Die Modellkarte (externe Seite, huggingface.co) nennt gerundet 4,0 Milliarden insgesamt und 3,6 Milliarden ohne Embedding. Beides passt zur Rechnung.

Die Gegenprobe an den Dateiköpfen

Eine Datei im Format safetensors (externe Seite, github.com) beginnt mit 8 Byte. Sie enthalten eine vorzeichenlose 64-Bit-Zahl in Little-Endian, die Länge des Kopfes. Danach folgt der Kopf als JSON, dahinter liegen die Zahlen. Zwei Range-Requests je Datei genügen also, um den Kopf zu lesen: erst 8 Byte, dann genau so viele, wie diese 8 Byte angeben.

Bei Qwen3-4B-Instruct-2507 sind die drei Köpfe 20.000, 25.232 und 552 Byte lang. Zusammen nennen sie 398 Tensoren, alle im Datentyp BF16 mit zwei Byte je Zahl. Die Produkte ihrer Formen ergeben 4.022.468.096, gemessen am 19.10.2026. Das ist auf den Parameter genau die Zahl aus der Rechnung. Die Gewichte belegen damit 8.044.936.192 Byte.

Bei gpt-oss-20b gelingt dieselbe Zählung erst mit einer Korrektur. Die Gewichte der Experten liegen dort im Format MXFP4, so nennt es die Kon­fi­gu­ra­ti­ons­datei (externe Seite, huggingface.co) im Feld quantization_config. Im Kopf stehen sie als Tensoren vom Typ U8 mit der Endung _blocks, und jedes Byte enthält zwei Werte zu je 4 Bit. Daneben stehen Tensoren mit der Endung _scales, ein Byte Skalierung je 32 Werte.

Wer alle Formen einfach multipliziert, kommt auf 11.956.805.184 und liegt 43 Prozent unter der Angabe des Herstellers. Richtig gezählt werden die _blocks doppelt, und die _scales fallen weg, weil sie keine Parameter sind. Das ergibt 20.914.757.184. Die Aufteilung stimmt dann mit Tabelle 1 im Bericht zu gpt-oss (externe Seite, arxiv.org) überein: 19,12 Milliarden im Feed-Forward-Teil, 0,64 in der Aufmerksamkeit, 1,16 an Ein- und Ausgang.

Jeder Tensorname hat eine Angabe beim Hersteller

Ein Block von Qwen3-4B-Instruct-2507 besteht aus 11 Tensoren. Ihre Namen in Block 0:

model.layers.0.input_layernorm.weight
model.layers.0.self_attn.q_proj.weight
model.layers.0.self_attn.k_proj.weight
model.layers.0.self_attn.v_proj.weight
model.layers.0.self_attn.o_proj.weight
model.layers.0.self_attn.q_norm.weight
model.layers.0.self_attn.k_norm.weight
model.layers.0.post_attention_layernorm.weight
model.layers.0.mlp.gate_proj.weight
model.layers.0.mlp.up_proj.weight
model.layers.0.mlp.down_proj.weight

Davor steht model.embed_tokens.weight, die Matrix am Eingang. Nach Block 35 folgt model.norm.weight, die letzte Normalisierung.

Der technische Bericht zu Qwen3 (externe Seite, arxiv.org) beschreibt die dichten Modelle der Reihe in Abschnitt 2. Er nennt Grouped-Query Attention, SwiGLU, RoPE und RMSNorm vor dem Unterblock. Dazu entfernt er den Bias der Projektionen für Anfrage, Schlüssel und Wert, den Qwen2 noch hatte. Neu kommt QK-Norm hinzu, eine Normalisierung von Anfragen und Schlüsseln, die das Training stabil halten soll. Jede Zeile der Liste lässt sich einer dieser Angaben zuordnen:

Zwei Zeilen haben keinen Tensor. Was der Hersteller entfernt hat, fehlt in der Liste. RoPE ist eine feste Drehung ohne Gewichte und steht nur als Zahl in der Kon­fi­gu­ra­ti­ons­datei: rope_theta mit dem Wert 5.000.000. Damit ist jedes Bauteil aus dem Bericht im Ordner auffindbar, als Tensor oder als Feld.

Ein- und Ausgang teilen sich eine Matrix, manchmal

Am Ausgang wird die Zahlenreihe des letzten Tokens mit einer Matrix multipliziert. Sie liefert für jeden Eintrag des Vokabulars eine Zahl und hat dieselbe Form wie die Matrix am Eingang. Schon die Transformer-Arbeit (externe Seite, arxiv.org) benutzt für beides dieselbe Matrix, so steht es in Abschnitt 3.4.

Qwen3-4B-Instruct-2507 macht es genauso, tie_word_embeddings steht auf true. Deshalb fehlt in der Tensorliste ein eigener Ausgang, und die 398 Tensoren gehen auf. SmolLM3-3B teilt die Matrix ebenfalls. Mistral-7B-v0.3 und gpt-oss-20b speichern zwei getrennte Matrizen.

Daraus folgt eine Falle beim Zählen „ohne Embedding“. Bei geteilter Matrix nimmt die Angabe die eine Matrix heraus und damit auch den Ausgang, der mit ihr rechnet. Der Bericht zu gpt-oss zählt die Parameter des Ausgangs zu den aktiven. Die des Eingangs gehen nur in die Gesamtzahl ein. Die 3,61 Milliarden aktiven Parameter von gpt-oss-20b enthalten also eine Ausgangsmatrix von rund 0,58 Milliarden, der Hälfte von 1,16 Milliarden.

Wer zwei Modelle „ohne Embedding“ vergleicht, prüft deshalb zuerst, ob Ein- und Ausgang geteilt sind und wie der Hersteller zählt.

Was beim Abstimmen gleich bleibt

Ein Fine-Tuning rechnet mit denselben 398 Tensoren weiter. Danach stehen andere Werte darin. Namen und Formen bleiben gleich, die Kon­fi­gu­ra­ti­ons­datei ebenso. Wie das Verfahren arbeitet und was es kostet, steht in Beurteilen und Einordnen, Kapitel 02.

Ein LoRA-Adapter setzt an einzelnen Tensoren an. Die LoRA-Arbeit (externe Seite, arxiv.org) zählt in Abschnitt 4.2 vier Matrizen in der Aufmerksamkeit eines Transformers, für Anfrage, Schlüssel, Wert und Ausgabe. Im Feed-Forward-Teil zählt sie zwei, wie im Transformer von 2017. Ein SwiGLU wie bei Qwen3 hat drei. Die Arbeit passt nur die Gewichte der Aufmerksamkeit an und friert den Feed-Forward-Teil ein.

Welche Matrizen der Aufmerksamkeit sich lohnen, misst Tabelle 5 in Abschnitt 7.1 an GPT-3 bei gleichem Budget an trainierbaren Parametern. Die Bildunterschrift nennt Anfrage und Wert zusammen insgesamt am besten. In derselben Tabelle erreichen alle vier Matrizen mit kleinerem Rang auf WikiSQL denselben Wert, 73,7 Prozent, und auf MultiNLI 91,7 statt 91,3 Prozent.

In der Bibliothek PEFT von Hugging Face heißt der Parameter dafür target_modules. Die Referenz zu LoraConfig (externe Seite, huggingface.co) beschreibt ihn als die Namen der Module, an die der Adapter kommt. Fehlt die Angabe, wählt die Bibliothek die Module nach der Bauart des Modells.

Die Tabelle dafür steht im Quelltext von PEFT (externe Seite, github.com). Für Qwen3 nennt sie q_proj und v_proj, für Llama, Mistral und Qwen2 dieselben zwei Namen. Die Voreinstellung setzt den Adapter also an 2 der 11 Tensoren jedes Blocks und deckt sich mit der Empfehlung der LoRA-Arbeit von 2021. Was Anwender tatsächlich einstellen, sagt sie nicht. Die Referenz kennt daneben den Wert all-linear, der alle linearen Schichten außer der Ausgangsschicht wählt.

Zwei Dateiformate, ein Bauplan

Dieselben Gewichte gibt es oft in einem zweiten Format. GGUF (externe Seite, github.com) ist nach seiner Spezifikation ein Format für Modelle, die mit GGML und darauf aufbauenden Programmen laufen, darunter llama.cpp. Eine eigene Kon­fi­gu­ra­ti­ons­datei hat es nicht. Die Felder des Bauplans stehen im Kopf der Datei, als Liste aus Schlüsseln und Werten.

Die Felder heißen dort anders und meinen dasselbe:

• block_count ist die Zahl der Blöcke aus Aufmerksamkeit und Feed-Forward-Teil, ohne die Schicht am Eingang. Bei Qwen3-4B-Instruct-2507 sind es 36.
• attention.head_count_kv gehört zur Grouped-Query Attention. Fehlt das Feld oder ist es gleich der Zahl der Köpfe, nutzt das Modell nach der Spezifikation keine Grouped-Query Attention.

In GGUF sind die Gewichte oft quantisiert, also mit weniger Bit je Zahl gespeichert. Schichten, Köpfe und Tensoren bleiben dabei, wie sie sind. Es sinkt die Zahl der Byte je Parameter. Was das für die Dateigröße heißt, steht in Beurteilen und Einordnen, Kapitel 01.

Vom Bauplan zum Können führt keine Rechnung

Der Bauplan erlaubt genaue Rechnungen über Speicher und Rechenaufwand. Für drei naheliegende Schlüsse reicht er trotzdem nicht.

Vom Bauplan auf das Können. Llama 3 und seine Vorgänger haben fast dieselbe Bauart des Blocks. Die Gewinne führt Meta im Bericht zu Llama 3 (externe Seite, arxiv.org) vor allem auf Daten und Größe des Trainings zurück. Zwei Modelle mit gleicher Konfiguration können nach verschiedenem Training sehr verschieden antworten. Was ein Modell kann, zeigt eine Messung an der eigenen Aufgabe.

Vom Anteil auf das Wissen. Zwei Drittel der Parameter im Feed-Forward-Teil legen den Schluss nahe, dort sitze das Wissen. Die Arbeit von Geva und Mitautoren (externe Seite, arxiv.org), aus der die Faustzahl stammt, deutet die Feed-Forward-Schichten tatsächlich als Speicher aus Schlüsseln und Werten. Das ist eine Deutung dessen, was gerechnet wird, und gehört zu den Fragen von Beurteilen und Einordnen, Kapitel 06.

Der Anteil selbst schwankt mit der Bauform. An den Dateiköpfen gemessen liegt er bei den dicht gebauten Modellen im Rechner zwischen 67 und 79 Prozent und bei gpt-oss-20b bei 91 Prozent. Für gpt-oss-120b ergibt Tabelle 1 im Bericht 98 Prozent, für Gemma 3 270M sind es höchstens 37 Prozent.

Vom offenen auf das geschlossene Modell. Alles in diesem Kapitel gilt für Modelle, deren Hersteller Konfiguration und Gewichte herausgeben. Zu GPT-4 enthält der technische Bericht keine weiteren Angaben zur Architektur, wie der Überblick zeigt. Wie ein geschlossenes Modell innen gebaut ist, lässt sich aus einem offenen deshalb nur vermuten.