Originalarbeiterreichbar
DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter
Sanh und Mitautoren destillieren am 02.10.2019 das Sprachmodell BERT in ein kleineres und beziffern Größe, erhaltenes Können und Tempo: 66 gegen 110 Millionen Parameter, 410 gegen 668 Sekunden für einen Durchlauf, 97 Prozent der Punktzahl. Die 97 Prozent sind ein Mittel über neun GLUE-Aufgaben. Je Aufgabe reicht der Anteil von 86 bis 105 Prozent (Tabelle 1, eigene Rechnung). Der Schüler lernt an den weichen Zielwerten des Lehrers und wird aus dessen Schichten initialisiert. Gemessen ist der Median aus fünf Läufen auf den Entwicklungsdaten.
geprüft 10.11.2026Archivfassung (externe Seite, web.archive.org)
Worauf sich diese Seite beruft, wörtlich, abgerufen am 06.08.2026:
reduce the size of a BERT model by 40%
bestätigt 10.11.2026retaining 97% of its language understanding capabilities
bestätigt 10.11.2026being 60% faster
bestätigt 10.11.2026Knowledge distillation (Bucila et al., 2006; Hinton et al., 2015) is a compression technique in which a compact model - the student - is trained to reproduce the behaviour of a larger model - the teacher - or an ensemble of models.
bestätigt 10.11.2026we initialize the student from the teacher by taking one layer out of two
bestätigt 10.11.2026BERT and Distil
bestätigt 10.11.2026BERT results are the medians of 5 runs with different seeds. Distil
bestätigt 10.11.2026BERT has 40% fewer parameters than BERT and is 60% faster than BERT. we leverage knowledge distillation during the pre-training phase
bestätigt 10.11.2026
Distillation im Glossar02 Ein Modell auf eigene Daten abstimmen03 Wie ein Modell von einem anderen lernt