Originalarbeiterreichbar
Compact Language Models via Pruning and Knowledge Distillation
Muralidharan und Mitautoren bei NVIDIA leiten am 19.07.2024 aus einem vortrainierten 15-Milliarden-Modell kleinere Modelle ab, durch Beschneiden und anschließende Destillation. Der erste Satz des Abstracts beschreibt den Stand von 2024: Varianten einer Modellfamilie würden derzeit jeweils von Grund auf trainiert. Ein 8- und ein 4-Milliarden-Modell so abzuleiten kostet je Modell bis zu vierzigmal weniger Trainingstoken. Für die ganze Familie aus 15, 8 und 4 Milliarden Parametern nennt derselbe Satz eine Ersparnis an Rechenaufwand um den Faktor 1,8. Gegenüber dem Training von Grund auf melden die Autoren bis zu 16 Prozent bessere MMLU-Werte. Alle Zahlen beziehen sich auf NVIDIAs eigene Modelle.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 04.09.2026:
Deriving 8B and 4B models from an already pretrained 15B model using our approach requires up to 40x fewer training tokens per model compared to training from scratch
bestätigt 10.11.2026Large language models (LLMs) targeting different deployment scales and sizes are currently produced by training each variant from scratch
bestätigt 10.11.2026this results in compute cost savings of 1.8x for training the full model family (15B, 8B, and 4B)
bestätigt 10.11.2026Minitron models exhibit up to a 16% improvement in MMLU scores compared to training from scratch
bestätigt 10.11.2026
03 Wie ein Modell von einem anderen lernt10 Small Language Models