Kimi K3, die Gewichte sind draußen

Am 27. Juli 2026 hat Moonshot AI die Gewichte von Kimi K3 zum Herunterladen gestellt. Angekündigt war das Modell am 17. Juli, die Dateien kamen zehn Tage später. Es ist nach Angabe des Herstellers „the world’s first open 3T-class model“, also das erste frei verfügbare Modell in der Größenklasse von drei Billionen Parametern.

Die Zahlen aus der Modellkarte, abgerufen am 28.07.2026:

Angabe	Wert
Parameter gesamt	2,8 Billionen
Davon aktiv je Token	104 Milliarden
Experten	896, davon 16 je Token
Kontextfenster	1.048.576 Token
Dateien der Gewichte	96, zusammen 1,56 Terabyte
Lizenz	Kimi K3 License

Der Aufbau heißt Mixture of Experts: Das Modell ist in viele Teilnetze zerlegt, und für jedes Token wird nur ein kleiner Teil davon gerechnet. Von 2,8 Billionen Parametern arbeiten also 104 Milliarden, das sind 3,7 Prozent. Die Größe steckt im Speicher, nicht in der Rechenzeit je Wort.

Neu am Aufbau sind zwei Dinge, die Moonshot Kimi Delta Attention und Attention Residuals nennt. Die Ankündigung beziffert den Gewinn mit dem Faktor 2,5 an Skalierungseffizienz gegenüber dem Vorgänger K2. Was das im Betrieb bedeutet, steht dort nicht.

Was sich aus der Meldung nicht ableiten lässt. Die Auswertungstabelle in der Modellkarte stammt vom Hersteller. Sie zeigt Kimi K3 gleichauf mit den geschlossenen Spitzenmodellen, in einzelnen Maßen davor, in anderen dahinter. Unabhängig nachgemessen ist davon nichts, und die Abstände sind so klein, dass sie innerhalb der Streuung solcher Verfahren liegen dürften.

Ebenfalls nicht ableitbar: dass man das Modell selbst betreiben könnte. 1,56 Terabyte sind kein Laptop und kein Bürorechner. Was daran trotzdem zählt, steht im Fachartikel Was offene Gewichte wert sind, wenn sie 1,56 Terabyte wiegen.