NachschlagenQuellenregister

Originalarbeiterreichbar

OpenAI: gpt-oss-120b & gpt-oss-20b Model Card

arxiv.org (externe Seite)

Die Modellkarte zu gpt-oss in der Fassung auf arXiv vom 08.08.2025, datiert auf den 05.08.2025. Sie beschreibt den Aufbau: 128 beziehungsweise 32 Experten je Schicht, vier davon je Token, und die Speicherung der Expertengewichte mit 4,25 Bit. Tabelle 1 zerlegt die Parameter nach Bauteilen.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 03.10.2026:

  • 116.8B total parameters and 5.1Bbestätigt 10.11.2026
  • a standard linear router projection which maps residual activations to scores for each expertbestätigt 10.11.2026
  • weight the output of each expert by the softmax of the router projection over only the selected expertsbestätigt 10.11.2026
  • The MoE weights are responsible for 90+% of the total parameter countbestätigt 10.11.2026
  • enables the larger model to fit on a single 80GB GPU and the smaller model to run on systems with as little as 16GB memorybestätigt 10.11.2026
  • Unembedding parameters are counted towards active, but not embeddingsbestätigt 10.11.2026
  • Both models have a residual stream dimension of 2880bestätigt 10.11.2026

Wie ein Mixture-of-Experts-Modell rechnet01 Wie ein Modell innen gebaut ist04 Was ein Modell an Hardware braucht05 Womit ein Modell läuft

Alle Quellen

↑↓ auswählenEnter öffnenDie Suche läuft im Browser. Nichts wird übertragen.