Originalarbeiterreichbar
Sequence-Level Knowledge Distillation
Kim und Rush übertragen am 25.06.2016 die Destillation auf maschinelle Übersetzung, veröffentlicht auf der EMNLP 2016. Neben dem Abgleich je Wort führen sie zwei Formen auf der Ebene ganzer Sätze ein, bei denen der Schüler an den fertigen Übersetzungen des Lehrers lernt. Damit wird der ausgegebene Text eines Modells selbst zum Lernziel. Ihr bester Schüler übersetzt zehnmal schneller als der Lehrer, bei geringem Qualitätsverlust. Die Arbeit nennt Buciluă 2006 und Hinton 2015 als Vorläufer. Gemessen wurde Übersetzung, heutige Chatmodelle kommen nicht vor.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 19.10.2026:
In this paper we consider applying knowledge distillation approaches (Bucila et al., 2006; Hinton et al., 2015) that have proven successful for reducing the size of neural models in other domains to the problem of NMT.
bestätigt 10.11.2026introduce two novel sequence-level versions of knowledge distillation that further improve performance
bestätigt 10.11.2026Our best student model runs 10 times faster than its state-of-the-art teacher with little loss in performance.
bestätigt 10.11.2026