Originalarbeiterreichbar

DeepSeek-V3 Technical Report

Der technische Bericht zu DeepSeek-V3 vom 27.12.2024, hier in der Fassung vom 18.02.2025. Er beschreibt ein MoE-Modell mit 671 Milliarden Parametern, davon 37 Milliarden je Token aktiv, mit 256 gerouteten und einem geteilten Experten je Schicht und einem Lastausgleich ohne Strafterm. Dazu kommen der Betrieb auf Einheiten von 32 und 320 Grafikkarten und die Vorhersage mehrerer Token über eigene Ausgabeköpfe (MTP-Module), die sich bei der Inferenz für das Speculative Decoding wiederverwenden lassen.

geprüft 10.11.2026Archivfassung (externe Seite, web.archive.org)

Worauf sich diese Seite beruft, wörtlich, abgerufen am 03.10.2026:

671B total parameters with 37B activated for each tokenbestätigt 10.11.2026
Each MoE layer consists of 1 shared expert and 256 routed expertsbestätigt 10.11.2026
too large an auxiliary loss will impair the model performancebestätigt 10.11.2026
Note that the bias term is only used for routing.bestätigt 10.11.2026
DeepSeek-V3 does not drop any tokens during trainingbestätigt 10.11.2026
each token will be ensured to be sent to at most 4 nodesbestätigt 10.11.2026
The minimum deployment unit of the decoding stage consists of 40 nodes with 320 GPUs.bestätigt 10.11.2026
duplicates high-load experts and deploys them redundantlybestätigt 10.11.2026
might pose a burden for small-sized teamsbestätigt 10.11.2026
2.788M GPU hours for its full trainingbestätigt 10.11.2026
excluding the costs associated with prior research and ablation experimentsbestätigt 10.11.2026

Elf Wege, ein lokales Modell schneller zu machen Wie ein Mixture-of-Experts-Modell rechnet Multi-Token Prediction im Glossar

Alle Quellen