SchlüsselarbeitOriginalarbeiterreichbar
Model Compression
cs.cornell.edu (externe Seite)
Buciluă, Caruana und Niculescu-Mizil zeigen auf der KDD 2006 (20. bis 23.08.2006), wie ein großes Ensemble einen großen Bestand unbeschrifteter Daten beschriftet und ein kleines neuronales Netz an diesen Daten lernt. Fehlen solche Daten, erzeugt ihr Verfahren MUNGE künstliche Beispiele. Laut Abschnitt 1 sind die so trainierten Netze tausendmal kleiner und schneller als die Ensembles und erreichen nahezu deren Leistung. Gemessen wurde an Klassifizierern, Sprachmodelle kommen in der Arbeit nicht vor. Den Namen Distillation bekam das Verfahren erst 2015.
geprüft 10.11.2026
Distillation im Glossar02 Ein Modell auf eigene Daten abstimmen03 Wie ein Modell von einem anderen lernt