Originalarbeiterreichbar
Neural Machine Translation of Rare Words with Subword Units
Sennrich, Haddow und Birch übertragen 2015 das Byte Pair Encoding aus der Datenkompression auf Sprache. Damit war das Problem seltener Wörter gelöst, und damit stand die Form fest, in der heutige Modelle Text zerlegen: in Stücke unterhalb der Wortgrenze. Der Algorithmus selbst hat Konkurrenz bekommen, das Prinzip ist geblieben.
geprüft 10.11.2026Archivfassung (externe Seite, web.archive.org)
Worauf sich diese Seite beruft, wörtlich, abgerufen am 06.08.2026:
translation is an open-vocabulary problem
bestätigt 10.11.2026encoding rare and unknown words as sequences of subword units
bestätigt 10.11.2026compounds (via compositional translation)
bestätigt 10.11.2026
KI-GeschichteByte Pair Encoding im GlossarToken im Glossar03 Token, die Bausteine der Sprache