SchlüsselarbeitOriginalarbeiterreichbar
Distilling the Knowledge in a Neural Network
Hinton, Vinyals und Dean geben dem Verfahren am 09.03.2015 seinen Namen, Distillation. Den Gedanken, das Können eines Ensembles in ein einzelnes kleines Modell zu übertragen, schreiben sie selbst Caruana und Mitautoren zu (Buciluă u. a. 2006). Von 2015 stammt der Mechanismus: Der Schüler lernt an den Wahrscheinlichkeiten des Lehrers über alle Antworten, bei erhöhter Temperatur. Auch die Wahrscheinlichkeiten falscher Antworten enthalten Wissen darüber, wie das große Modell verallgemeinert. Gemessen wurde an Ziffernerkennung, Spracherkennung und Googles Bilddatensatz JFT. Sprachmodelle kommen in der Arbeit nicht vor.
geprüft 10.11.2026Archivfassung (externe Seite, web.archive.org)
Worauf sich diese Seite beruft, wörtlich, abgerufen am 06.08.2026:
it is possible to compress the knowledge in an ensemble into a single model which is much easier to deploy
bestätigt 10.11.2026Caruana and his collaborators [1] have shown that it is possible to compress the knowledge in an ensemble into a single model
bestätigt 10.11.2026A version of this strategy has already been pioneered by Rich Caruana and his collaborators
bestätigt 10.11.2026The relative probabilities of incorrect answers tell us a lot about how the cumbersome model tends to generalize.
bestätigt 10.11.2026An image of a BMW, for example, may only have a very small chance of being mistaken for a garbage truck, but that mistake is still many times more probable than mistaking it for a carrot.
bestätigt 10.11.2026We then use the same high temperature when training the small model to match these soft targets.
bestätigt 10.11.2026We show later that matching the logits of the cumbersome model is actually a special case of distillation.
bestätigt 10.11.2026This net achieved 67 test errors
bestätigt 10.11.2026achieved 146 errors
bestätigt 10.11.2026it achieved 74 test errors
bestätigt 10.11.2026So from the perspective of the distilled model, 3 is a mythical digit that it has never seen.
bestätigt 10.11.2026Despite this, the distilled model only makes 206 test errors of which 133 are on the 1010 threes in the test set.
bestätigt 10.11.2026If this bias is increased by 3.5 (which optimizes overall performance on the test set)
bestätigt 10.11.2026the distilled model gets 98.6% of the test 3s correct despite never having seen a 3 during training
bestätigt 10.11.2026
Distillation im Glossar02 Ein Modell auf eigene Daten abstimmen03 Wie ein Modell von einem anderen lernt