Dokumentationerreichbar
Llama 3.2 Model Card, beim Commit 0e0b8c5
Metas Modellkarte zu Llama 3.2 im Stand des Commits 0e0b8c5 vom 10.10.2025; als Model Release Date nennt sie den 24.10.2024. Laut Abschnitt Training Data bekamen die Modelle mit 1 und 3 Milliarden Parametern im Vortraining die Logits von Llama 3.1 8B und 70B als Zielwerte je Token. Nach dem Beschneiden holte Destillation die Leistung zurück. Die Tabelle zum Rechenaufwand nennt 833.000 GPU-Stunden Training und 86.000 GPU-Stunden für das Erzeugen der Logits. Es sind Angaben des Herstellers.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 19.10.2026:
For the 1B and 3B Llama 3.2 models, we incorporated logits from the Llama 3.1 8B and 70B models into the pretraining stage of the model development, where outputs (logits) from these larger models were used as token-level targets.
bestätigt 10.11.2026Knowledge distillation was used after pruning to recover performance.
bestätigt 10.11.2026Logit Generation Time (GPU Hours)
bestätigt 10.11.2026Training utilized a cumulative of 916k GPU hours of computation on H100-80GB (TDP of 700W) type hardware
bestätigt 10.11.2026
03 Wie ein Modell von einem anderen lernt10 Small Language Models