Ankündigung des Herstellerserreichbar

Meta: The Llama 4 herd

Metas Ankündigung von Llama 4 vom 05.04.2025. Für Llama 4 Maverick nennt sie 400 Milliarden Parameter gesamt und 17 Milliarden aktive, 128 geroutete Experten und einen geteilten, dazu den Wechsel zwischen dichten und MoE-Schichten. Für Llama 4 Scout nennt sie 16 Experten und 109 Milliarden Parameter gesamt.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 03.10.2026:

17B active parameters and 400B total parametersbestätigt 10.11.2026
We use alternating dense and mixture-of-experts (MoE) layers for inference efficiency.bestätigt 10.11.2026
Each token is sent to the shared expert and also to one of the 128 routed experts.bestätigt 10.11.2026
17 billion active parameters, 16 experts, and 109 billion total parametersbestätigt 10.11.2026

Wie ein Mixture-of-Experts-Modell rechnet

Alle Quellen