Originalarbeiterreichbar
Universal Transformers
Die Arbeit von Mostafa Dehghani und vier Mitautoren, eingereicht am 10.07.2018, dritte Fassung vom 05.03.2019, angenommen für die ICLR 2019. Sie lässt einen Transformer denselben Block mehrfach durchlaufen und ergänzt einen Haltemechanismus, der je Position entscheidet, wann die Rechnung endet. Das Abstract der ersten Fassung weicht im Wortlaut ab, zitiert wird die dritte.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 15.10.2026:
We propose the Universal Transformer (UT), a parallel-in-time self-attentive recurrent sequence model which can be cast as a generalization of the Transformer model and which addresses these issues.
bestätigt 10.11.2026We also add a dynamic per-position halting mechanism and find that it improves accuracy on several tasks.
bestätigt 10.11.2026In contrast to the standard Transformer, under certain assumptions, UTs can be shown to be Turing-complete.
bestätigt 10.11.2026
Die Denkspur als Fenster ins Modell, und was GPT-6 Astra daran ändertLooped Transformer: Ein Modell, das denselben Block mehrfach durchläuftLooped Transformer im Glossar