Originalarbeiterreichbar
The Llama 3 Herd of Models
Der technische Bericht von Meta zu Llama 3, Fassung vom 23.11.2024. Abschnitt 3.2 beschreibt die Bauform und sagt, woher die Gewinne gegenüber den Vorgängern kommen. Tabelle 3 nennt Schichten, Breite, Köpfe und Schlüssel-Wert-Köpfe der drei Größen 8B, 70B und 405B.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 19.10.2026:
Llama 3 uses a standard, dense Transformer architecture
bestätigt 10.11.2026our performance gains are primarily driven by improvements in data quality and diversity as well as by increased training scale
bestätigt 10.11.2026with 8 key-value heads to improve inference speed and to reduce the size of key-value caches during decoding
bestätigt 10.11.2026It does not deviate significantly from Llama and Llama 2
bestätigt 10.11.2026
01 Wie ein Modell innen gebaut ist02 Was ein Sprachmodell tut