Wie ein Mixture-of-Experts-Modell rechnet

Auf der Karte von gpt-oss-120b stehen zwei Zahlen: 116,8 Milliarden Parameter insgesamt und 5,1 Milliarden aktive je Token. Bei Kimi K3 sind es 2,8 Billionen und 104 Milliarden. Die erste Zahl entscheidet, ob ein Modell auf einen Rechner passt. Die zweite sagt, wie viel davon für ein einzelnes Token rechnet.

Dazwischen liegt eine Bauform namens Mixture of Experts, kurz MoE. So gebaut sind DeepSeek-V3, Llama 4, gpt-oss, die Kimi-Modelle und die großen Modelle der Qwen3-Reihe. Google beschreibt Gemini 1.5 Pro und die Familie Gemini 2.5 ebenso. Dieser Beitrag zeigt, was in einem solchen Modell bei jedem Token passiert. Danach geht es um die Folgen:

• für den Speicher und das Tempo auf dem eigenen Rechner,
• für den Betrieb im Rechenzentrum,
• für die Wiederholbarkeit von Antworten,
• für den Vergleich zweier Modelle.

Die Experten sitzen im Feed-Forward-Teil

Ein Transformer besteht aus vielen gleich gebauten Schichten, und jede hat zwei Teile. Die Attention verrechnet jedes Token mit den Token davor. Der Feed-Forward-Teil bearbeitet danach jedes Token für sich, mit einem kleinen Netz aus wenigen großen Matrizen. Wie ein solches Netz grundsätzlich rechnet, erklärt KI jenseits der Sprachmodelle, Kapitel 03. Wo in einem dichten Modell die Parameter dieser zwei Teile sitzen, rechnet Nutzung und Anpassung von LLMs, Kapitel 01 nach.

Der Feed-Forward-Teil ist der größere. Im Bericht zu gpt-oss steht die Aufteilung als Tabelle, und auf die Feed-Forward-Blöcke entfallen beim großen Modell 114,71 von 116,8 Milliarden Parametern. OpenAI fasst es in einem Satz: Auf die MoE-Gewichte (externe Seite, arxiv.org) entfallen über 90 Prozent aller Parameter.

Genau diesen Teil teilt ein MoE-Modell auf. Statt eines Feed-Forward-Netzes je Schicht gibt es viele davon nebeneinander, die Experten. Die Attention bleibt unverändert und rechnet für jedes Token vollständig. Die Arbeit zu Mixtral (externe Seite, arxiv.org) beschreibt den Aufbau so: Für jedes Token wählt in jeder Schicht ein Router-Netz zwei Experten aus, die den aktuellen Zustand verarbeiten und deren Ergebnisse zusammengeführt werden.

Nicht jedes Modell macht jede Schicht zur MoE-Schicht. GShard tauschte 2020 nur jeden zweiten Feed-Forward-Teil aus. Llama 4 Maverick wechselt ebenfalls zwischen dichten und MoE-Schichten ab, und DeepSeek-V3 lässt die ersten drei Schichten dicht. Mixtral teilt alle.

Was bei jedem Token passiert

Der Ablauf ist in allen genannten Modellen derselbe, die Zahlen unterscheiden sich. Er läuft in jeder Schicht einmal ab, für jedes Token.

1. Der Zustand kommt an. Das Token liegt als Zahlenreihe vor, bei Mixtral als 4096 Zahlen. Sie ist das Ergebnis der Attention derselben Schicht.
2. Der Router bewertet. Er ist eine einzige Matrix. Multipliziert mit der Zahlenreihe, liefert sie eine Zahl je Experte, bei acht Experten also acht Zahlen.
3. Die besten k bleiben. Alle übrigen Bewertungen werden auf null gesetzt. Mixtral behält 2, gpt-oss 4, Qwen3-30B-A3B 8, Llama 4 Maverick einen.
4. Die Gewichte werden verteilt. Ein Softmax über die verbliebenen Werte macht daraus Anteile, die zusammen eins ergeben, etwa 0,62 und 0,38. DeepSeek-V3 kommt mit einer anderen Formel zum selben Ergebnis.
5. Die Gewählten rechnen. Jeder gewählte Experte ist ein vollständiges kleines Feed-Forward-Netz und bekommt dieselbe Zahlenreihe.
6. Die Ergebnisse werden zusammengeführt. Jedes Ergebnis wird mit seinem Anteil multipliziert, alles wird addiert und auf den ursprünglichen Zustand aufgeschlagen. Dann folgt die nächste Schicht, und ihr Router wählt neu.

Der Bericht zu gpt-oss (externe Seite, arxiv.org) beschreibt die Schritte zwei bis vier in zwei Sätzen. Dort heißt der Router eine gewöhnliche lineare Projektion, die die Aktivierungen im Residualstrom auf eine Punktzahl je Experte abbildet. Gewichtet wird das Ergebnis jedes Experten mit dem Softmax der Router-Werte, gerechnet allein über die ausgewählten Experten.

Die Ersparnis entsteht in Schritt drei. Ein Experte mit dem Gewicht null liefert zur Summe nichts und muss deshalb gar nicht erst rechnen. Das stand schon 2017 als Gleichung in der Arbeit von Noam Shazeer und Kollegen, die die Bauform für große Sprachmodelle eingeführt hat: Wo die Auswahl null ergibt, entfällt die Rechnung (externe Seite, arxiv.org).

Die zwei Zahlen lassen sich nachrechnen

Mixtral veröffentlicht seine Bauzeichnung als Tabelle: 32 Schichten, eine Zahlenreihe mit 4096 Werten, Experten mit 14.336 Zwischenwerten, 8 Experten, 2 davon aktiv. Daraus lassen sich beide Zahlen der Modellkarte herleiten. Die Rechnung ist eine eigene, und sie macht zwei Annahmen. Jeder Experte besteht aus drei Matrizen, so ist der dort verwendete SwiGLU-Block gebaut. Ein- und Ausgabe haben getrennte Einbettungen. Kleinteile wie Normierungen und der Router selbst fallen unter die Rundung.

Die Arbeit nennt 47 Milliarden und 13 Milliarden aktive Parameter (externe Seite, arxiv.org). Der Unterschied zwischen beiden Zahlen besteht also aus den sechs Experten je Schicht, die für ein Token ruhen.

Feinkörnige und geteilte Experten

Neuere Modelle nehmen mehr und kleinere Experten. Qwen3-30B-A3B hat in jeder seiner 48 Schichten 128 Experten und wählt 8, Kimi K3 hat 896 und wählt 16. Den Grund hat DeepSeek 2024 vorgerechnet: Bei 16 Experten mit zwei aktiven gibt es 120 mögliche Paare, bei 64 kleineren mit acht aktiven über 4,4 Milliarden Kombinationen (externe Seite, arxiv.org). Der Router kann damit feiner zuteilen, bei gleichem Rechenaufwand je Token.

Dieselbe Arbeit führt geteilte Experten ein, die jedes Token durchläuft, ganz ohne Router. Sie sollen das Wissen aufnehmen, das alle brauchen, damit die gerouteten Experten es nicht jeder für sich lernen. DeepSeek-V3 hat je Schicht einen geteilten und 256 geroutete Experten, von denen 8 rechnen. Llama 4 Maverick geht genauso vor: Jedes Token geht an den geteilten Experten und zusätzlich an einen der 128 gerouteten, so die Ankündigung (externe Seite, ai.meta.com).

Eine einheitliche Lehre gibt es hier nicht. Qwen3 hat die geteilten Experten seines Vorgängers wieder abgeschafft, so steht es im technischen Bericht (externe Seite, arxiv.org).

Eine Ausnahme im Bestand dieser Seite wählt die Experten je Anfrage statt je Token: Apples Gerätemodell AFM 3, weil es seine Gewichte aus dem Flash-Speicher nachlädt. Warum das so ist, steht in KI jenseits der Sprachmodelle, Kapitel 10.

Damit die Last verteilt bleibt

Ein Router lernt im Training mit, und er hat eine Neigung, die das Verfahren zerstören kann. Bevorzugt er früh ein paar Experten, werden genau diese besser, bekommen noch mehr Token, und der Rest verkümmert. Der Bericht zu DeepSeek-V3 nennt das Routing-Kollaps. Gegen ihn gibt es vier Mittel.

Ein Strafterm im Training. Seit der Arbeit von 2017 kommt zum eigentlichen Lernziel ein Zusatz, der eine ungleiche Verteilung bestraft. Der Switch Transformer hat ihn 2021 auf eine einfache Form gebracht: Er multipliziert je Experte den Anteil der Token, die er bekommt, mit dem Anteil, den der Router ihm zuteilen wollte. Der Nachteil steht im Bericht zu DeepSeek-V3 (externe Seite, arxiv.org): Ist der Zusatz zu groß, leidet die Leistung des Modells.

Eine feste Kapazität. Jeder Experte nimmt je Rechenschritt nur eine bestimmte Zahl von Token an. GShard (externe Seite, arxiv.org) legte 2020 fest, was mit dem Rest geschieht: Er gilt als übergelaufen.

Ein solches Token übergeht den Experten und wird über die Umgehung unverändert an die nächste Schicht weitergereicht. Der Switch Transformer nennt das dropped tokens (externe Seite, arxiv.org) und gibt den Anteil in seinen Versuchen mit meist unter einem Prozent an.

Ein Ausgleich ohne Strafterm. DeepSeek-V3 addiert für die Auswahl eine Korrekturzahl je Experte. Ist ein Experte überlastet, sinkt sie, ist er unterbeschäftigt, steigt sie. Die Gewichtung der Ergebnisse bleibt davon unberührt, die Korrekturzahl dient allein der Auswahl (externe Seite, arxiv.org).

Eine umgekehrte Wahl. Bei Expert Choice wählen die Experten ihre Token, und jeder bekommt gleich viele. Die Autoren schränken selbst ein, dass das für die Erzeugung Token für Token nicht ohne Weiteres passt (externe Seite, arxiv.org), weil die Auswahl dafür auch spätere Token sehen müsste.

Mit dem Ausgleich über Korrekturzahlen wirft DeepSeek-V3 nach eigener Angabe kein Token mehr weg (externe Seite, arxiv.org), weder im Training noch im Betrieb. Das wird weiter unten bei der Wiederholbarkeit wichtig.

Was die Experten lernen

Der Name legt ein Bild nahe: ein Experte für Medizin, einer für Recht, einer für Programmcode. Die Arbeit zu Mixtral (externe Seite, arxiv.org) hat genau das geprüft, mit Texten aus Biologie, Philosophie, Mathematik und LaTeX-Papieren von arXiv. Zur eigenen Überraschung fanden die Autoren kein deutliches Muster, nach dem die Experten je Thema zugeteilt würden.

Gefunden haben die Autoren Muster in der Form. Einrückungen im Programmcode landen immer bei denselben Experten, und auf­ein­an­der­fol­gende Token bekommen oft dieselben. Die Bildunterschrift zur Auswertung (externe Seite, arxiv.org) fasst es zusammen: Die Auswahl der Experten folgt eher dem Satzbau als dem Fachgebiet, besonders in den ersten und den letzten Schichten.

Die Arbeit zu ST-MoE fand 2022 Experten, die sich vor allem um Satzzeichen, Verben oder Eigennamen kümmern, und zwar im ersten Teil ihres Modells, der den Eingabetext liest. Diese Beispiele haben die Autoren nach eigener Angabe aus vielen Experten ohne erkennbares Muster (externe Seite, arxiv.org) herausgesucht. Für den zweiten Teil, der den Text erzeugt, fanden sie keine nennenswerte Spezialisierung, weder nach Bedeutung noch nach Satzbau.

Mehr Spezialisierung zeigt OLMoE, ein vollständig offengelegtes Modell von 2024. Dort kümmert sich in der ersten Schicht ein Experte fast ausschließlich um Texte von arXiv. Ein anderer bekommt vor allem Zeichen außerhalb des lateinischen Alphabets, etwa kyrillische Buchstaben. Die Autoren vermuten, dass Mixtral weniger spezialisiert ist, weil es aus einem fertigen dichten Modell hochgezogen wurde. Das ist ausdrücklich eine Vermutung (externe Seite, arxiv.org).

Belegt ist damit eine Arbeitsteilung, die das Training nach eigenen Maßstäben findet. Sie richtet sich nach Schrift, Satzbau, Datenquelle und Wortschatz. Wer ein MoE-Modell nutzt, kann daraus nichts ableiten, etwa dass eine medizinische Frage einen medizinischen Experten weckt.

Der Speicher richtet sich nach der Gesamtzahl

Welche Experten ein Token braucht, steht erst fest, wenn der Router der jeweiligen Schicht gerechnet hat. Also müssen alle bereitliegen, und der Arbeitsspeicher muss das ganze Modell fassen. Die Arbeit zu Mixtral (externe Seite, arxiv.org) sagt es direkt: Der Speicherbedarf im Betrieb wächst mit der Gesamtzahl der Parameter, einschließlich aller Experten.

OLMoE beschreibt dieselbe Lage für ein kleineres Modell: rechnen wie ein dichtes Modell mit einer Milliarde Parameter, und dabei Speicher für alle sieben Milliarden (externe Seite, arxiv.org). Was das bei Kimi K3 mit 1,56 Terabyte heißt, rechnet der Beitrag Was offene Gewichte wert sind, wenn sie 1,56 Terabyte wiegen vor.

Den Speicher drückt vor allem die Quantisierung, und bei MoE lohnt sie doppelt, weil fast alle Gewichte in den Experten stecken. OpenAI speichert bei gpt-oss genau diesen Teil mit 4,25 Bit je Parameter. Damit passt das größere Modell nach dem Bericht (externe Seite, arxiv.org) auf eine einzelne Grafikkarte mit 80 Gigabyte, und das kleinere läuft schon auf Systemen mit 16 Gigabyte Speicher.

Das Tempo richtet sich nach der aktiven Zahl

Beim Erzeugen einer Antwort entsteht ein Token nach dem anderen, und für jedes müssen die beteiligten Gewichte einmal durch den Arbeitsspeicher. Apple (externe Seite, machinelearning.apple.com) beschreibt das für seine Rechner so: Wie schnell die Folgetoken entstehen, begrenzt die Spei­cher­band­breite.

Daraus folgt eine einfache Rechnung, und sie ist eine eigene. Ein dichtes Modell mit 30 Milliarden Parametern in vier Bit liest je Token rund 15 Gigabyte. Qwen3-30B-A3B ist gleich groß und rechnet je Token mit 3,3 Milliarden aktiven Parametern (externe Seite, huggingface.co). In vier Bit sind das rund 1,7 Gigabyte, also etwa ein Neuntel. Bei gleicher Spei­cher­band­breite lässt das grob die neunfache Zahl an Token je Sekunde erwarten. Die Rechnung lässt den Speicher für den Gesprächsverlauf, die Attention-Rechnung und die Verwaltung weg. Wie groß der Speicher für den Gesprächsverlauf wird und wie viel davon je Token gelesen wird, rechnet Nutzung und Anpassung von LLMs, Kapitel 04 vor und misst ihn.

Gemessen wurde auf einem eigenen Rechner am 17.08.2026 ein Faktor 6,4 in der Antwortzeit. Verglichen wurden ein dichtes Modell mit 27,78 Milliarden Parametern und Gemma 4 26B-A4B mit 3,8 Milliarden aktiven (externe Seite, ai.google.dev), bei praktisch gleicher Dateigröße. Aufbau und Streuung stehen im Bericht Elf Wege, ein lokales Modell schneller zu machen, die Gründe für den Engpass in Beurteilen und Einordnen, Kapitel 05. Apple nennt als Beispiel ein MacBook Pro mit 24 Gigabyte, das ein MoE-Modell mit 30 Milliarden Parametern in vier Bit (externe Seite, machinelearning.apple.com) aufnimmt.

Die Bedingung dafür ist, dass das ganze Modell im schnellen Speicher liegt. Auf einem Mac mit gemeinsamem Arbeitsspeicher für Prozessor und Grafikeinheit ist das der Normalfall, solange das Modell hineinpasst.

Experten auf den Prozessor auslagern

Auf einem PC mit eigener Grafikkarte ist der schnelle Speicher knapp. Dort hilft eine zweite Folge der Bauform: Die Experten sind groß, rechnen aber je Token wenig. Seit April 2025 kann llama.cpp einzelne Gewichtsgruppen an einen anderen Speicherort legen, und die Beschreibung der Änderung (externe Seite, github.com) nennt als Beispiel genau diesen Fall: die Experten eines MoE-Modells im Hauptspeicher beim Prozessor halten und den Rest auf die Grafikkarte legen.

Seit August 2025 gibt es dafür zwei eigene Schalter. --cpu-moe legt alle Experten in den Hauptspeicher, --n-cpu-moe N nur die der ersten N Schichten (externe Seite, github.com). Attention und Gesprächsspeicher bleiben auf der Grafikkarte. LM Studio bietet dasselbe als Häkchen an und schreibt den Vorbehalt (externe Seite, lmstudio.ai) gleich dazu: Besser fährt, wer auch die Experten auf der Grafikkarte lässt.

Das gilt, wenn das ganze Modell auf die Grafikkarte passt. Auslagern ist der Ausweg für ein Modell, das sonst gar nicht liefe.

Im Rechenzentrum reist jedes Token

Ein großes MoE-Modell passt auf keine einzelne Karte. Im Betrieb liegen die Experten deshalb auf viele Grafikkarten verteilt. Jedes Token wird nach dem Router an die Karten seiner Experten geschickt und danach zurück. Das heißt Expert Parallelism. GShard hat den Aufwand dafür 2020 gemessen: Bei 2048 statt 128 Experten stieg der Anteil dieses Verkehrs an der Rechenzeit von 16 auf 36 Prozent (externe Seite, arxiv.org).

DeepSeek-V3 hält den Verkehr klein, indem jedes Token höchstens vier Rechner erreicht. Für das Erzeugen von Antworten beschreibt der Bericht (externe Seite, arxiv.org) als kleinste Einheit 40 Rechner mit zusammen 320 Grafikkarten.

Jede Karte hält dort einen Experten. Manche Experten sind mehr gefragt als andere, deshalb laufen die meistgefragten in Kopien auf weiteren Karten. Welche das sind, wird aus der Betriebsstatistik regelmäßig neu bestimmt, im Bericht als Beispiel alle zehn Minuten. Die Dokumentation des verbreiteten Inferenzservers vLLM nennt den Grund: In der Praxis kann die Verteilung der Token (externe Seite, docs.vllm.ai) auf die Experten stark ungleich ausfallen.

Zwei Folgen ergeben sich daraus. Ein Anbieter mit vielen gleichzeitigen Anfragen lastet jeden Experten aus, und je Token rechnet nur der aktive Teil. Die Arbeit zu Mixtral nennt die Bauform deshalb besser geeignet für gebündelte Anfragen (externe Seite, arxiv.org). Wer ein solches Modell dagegen selbst betreiben will, braucht die ganze Einheit, und DeepSeek schreibt selbst, das könne für kleine Teams eine Last sein (externe Seite, arxiv.org).

Für das Training von V3 gibt DeepSeek 2,788 Millionen Stunden auf Grafikkarten an, gemeint ist der Hauptlauf. Ausdrücklich nicht enthalten sind die Vorarbeiten und Versuche davor (externe Seite, arxiv.org).

Wiederholbarkeit hängt am Verfahren

Wer dieselbe Frage zweimal stellt, bekommt bei vielen Diensten auch bei Temperatur null nicht zweimal dieselbe Antwort. Für MoE gibt es dafür einen eigenen, belegten Mechanismus, und er hängt an der festen Kapazität aus dem Abschnitt oben. Teilen sich Token verschiedener Anfragen einen Rechenschritt, konkurrieren sie um die Plätze bei den Experten. Die Arbeit zu Soft MoE (externe Seite, arxiv.org) zieht 2023 daraus den Schluss: Das Modell ist dann für eine einzelne Folge nicht mehr deterministisch, nur noch für den ganzen Stapel.

Die eigene Antwort hängt dann also davon ab, wer gleichzeitig fragt. Bei Verfahren ohne Kapazitätsgrenze, wie dem von DeepSeek-V3, entfällt dieser Weg.

Für die Abweichungen, die man bei Diensten heute beobachtet, gibt es eine zweite Erklärung, und sie gilt für jedes Modell. Thinking Machines hat 2025 gezeigt, dass schon die Rechenreihenfolge der Grafikkarte von der Größe des Stapels abhängt, in dem eine Anfrage mitläuft. Das Testmodell war ein MoE-Modell, der Befund betrifft aber die Rechenroutinen darunter, und die Untersuchung (externe Seite, thinkingmachines.ai) erwähnt MoE kein einziges Mal. Was Temperatur null zusichert, steht in Grundkurs, Kapitel 12.

Training und Feinabstimmung sind heikler

Der Switch Transformer (externe Seite, arxiv.org) hat 2021 aufgezählt, warum sich die Bauform lange nicht durchgesetzt hat: Komplexität, Kom­mu­ni­ka­ti­ons­kosten und ein instabiles Training.

Die Instabilität ist seither mit kleinen Zusätzen beherrschbar geworden, etwa mit dem Router-z-Loss (externe Seite, arxiv.org) von 2022. Beim Nachtrainieren auf kleinen Datensätzen bleibt ein Hang zur Überanpassung, und die Autoren von ST-MoE belegen ihn mit Versuchen (externe Seite, arxiv.org): Dünn besetzte Modelle neigen zur Überanpassung.

Ein Ausweg beim Bau ist das sogenannte Upcycling. Ein fertiges dichtes Modell wird kopiert, sein Feed-Forward-Teil wird zu mehreren Experten vervielfältigt, und das Training läuft von dort weiter. In der Arbeit von 2022 (externe Seite, arxiv.org) kostete das zusätzlich rund die Hälfte dessen, was das dichte Ausgangsmodell gekostet hatte, und das Ergebnis war besser als das Ausgangsmodell. OLMoE hat 2024 dagegengehalten: Ab etwa 600 Milliarden Trainingstoken überholt ein von Grund auf trainiertes MoE das hochgezogene (externe Seite, arxiv.org).

Die Parameterzahl taugt nicht mehr zum Vergleich

Zwei Modelle mit 30 Milliarden Parametern können sich um eine Größenordnung im Tempo unterscheiden, und ein MoE-Modell mit großer Gesamtzahl kann einem kleineren dichten unterliegen. Mixtral wurde 2024 gegen das dichte Llama 2 mit 70 Milliarden Parametern gemessen. Nach der Arbeit zu Mixtral (externe Seite, arxiv.org), dem Bericht des Herstellers Mistral AI, gewinnt Mixtral alle Tests außer denen zum Leseverständnis, mit einem Fünftel der aktiven Parameter. OLMoE mit sieben Milliarden Parametern gesamt schlägt Llama2-7B und liegt hinter Llama3.1-8B (externe Seite, arxiv.org), bei einem Sechstel bis Siebtel des Rechenaufwands je Token. Beide Vergleiche hängen an Trainingsdaten und Aufbau, und die Autoren von OLMoE schreiben ihren Vorsprung zum Teil genau diesen zu.

Ob sich die Bauform mit wachsender Größe weiter lohnt, war lange offen. Eine Arbeit von DeepMind sagte 2022 abnehmenden Nutzen (externe Seite, arxiv.org) voraus, bei fester Trainingsdauer. Eine Arbeit von 2024 hob diese Annahme auf und fand das Gegenteil, eine wachsende Lücke zugunsten von MoE (externe Seite, arxiv.org). 2025 folgte eine Rechnung, nach der MoE auch dann die bessere Wahl sein kann, wenn der Speicher der Engpass ist (externe Seite, arxiv.org). Gemessen ist das allerdings an Modellen bis 2,7 Milliarden aktiver Parameter.

Für die Auswahl heißt das: Eine Parameterzahl beantwortet bei MoE-Modellen nur die Frage nach dem Speicher. Über die Qualität entscheiden Messungen an der eigenen Aufgabe, und darum geht es in Grundkurs, Kapitel 10.

Woher die Idee kommt

Die Grundform ist alt. 1991 beschrieben Robert Jacobs, Michael Jordan, Steven Nowlan und Geoffrey Hinton mehrere Netze mit einem vorgeschalteten Auswahlnetz (externe Seite, cs.toronto.edu), das für jeden Trainingsfall entscheidet, welches Netz zuständig ist.

Der Schritt zu großen Modellen kam 2017. Shazeer und Kollegen setzten Tausende Experten zwischen die Schichten eines Sprachmodells, das noch kein Transformer war. Die Arbeit (externe Seite, arxiv.org) meldet eine mehr als tausendfache Kapazität bei nur geringen Einbußen in der Recheneffizienz.

Danach folgten 2020 GShard mit über 600 Milliarden Parametern für die Übersetzung und 2021 der Switch Transformer, der mit nur einem Experten je Token auskam. Er erreichte die Qualität eines dichten Vergleichsmodells in einem Siebtel der Trainingszeit (externe Seite, arxiv.org). Die Arbeit zu Mixtral erschien im Januar 2024. Sie beschreibt ein Modell dieser Bauform, dessen Gewichte unter der Apache-2.0-Lizenz frei herunterzuladen sind.

Bei den geschlossenen Modellen ist die Lage gemischt. Google beschreibt Gemini 1.5 Pro im technischen Bericht (externe Seite, arxiv.org) als MoE-Modell, ebenso die Familie Gemini 2.5 (externe Seite, arxiv.org). OpenAI hat zu GPT-4 im eigenen Bericht keine Angaben zur Architektur (externe Seite, arxiv.org) gemacht. Belegt ist die Bauform bei OpenAI für gpt-oss.

Die Modelle im Überblick

Alle Angaben stammen aus der Karte oder dem Bericht des Herstellers. „Geteilt“ zählt die Experten, die jedes Token ohne Router durchläuft.

Der aktive Anteil reicht in dieser Tabelle von gut einem Viertel bei Mixtral bis zu rund drei Prozent bei Kimi K2. Seit Mixtral sind die Experten zahlreicher und kleiner geworden. Gewählt werden zwischen einem und 16 Experten, in sieben von acht Zeilen aus 128 oder mehr.