Dokumentationerreichbar
Llama 3.1 Model Card, beim Commit 0e0b8c5
Die Modellkarte von Meta zu Llama 3.1: drei Größen, je als pretrained und als Instruct-Fassung, Erscheinungstag 23.07.2024. Sie erlaubt ausdrücklich, Ausgaben der Modelle für synthetische Daten und Destillation zu nutzen. Zu den Trainingsdaten sagt sie, es seien rund 15 Billionen Token aus öffentlich verfügbaren Quellen. Der Permalink zeigt auf einen festen Stand.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 19.10.2026:
The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/
bestätigt 10.11.2026text out). The Llama 3.1 model collection also supports the ability to leverage the outputs of its models to improve other models including synthetic data generation and distillation.
bestätigt 10.11.2026Llama 3.1 was pretrained on ~15 trillion tokens of data from publicly available sources.
bestätigt 10.11.2026The pretraining data has a cutoff of December 2023.
bestätigt 10.11.2026as well as over 25M synthetically generated examples
bestätigt 10.11.2026
Synthetische Daten im Glossar02 Woher Modelle kommen03 Wie ein Modell von einem anderen lernt