Originalarbeiterreichbar
Looped Transformers are Better at Learning Learning Algorithms
Die Arbeit von Liu Yang und drei Mitautoren, eingereicht am 21.11.2023, dritte Fassung vom 16.03.2024, angenommen für die ICLR 2024. Gemessen ist das Lösen von Anpassungsaufgaben an Daten aus dem Kontext, eine eng umrissene Art von Aufgaben ohne Sprachmodell.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 15.10.2026:
Experimental results suggest that the looped transformer achieves performance comparable to the standard transformer in solving various data-fitting problems, while utilizing less than 10% of the parameter count.
bestätigt 10.11.2026
Looped Transformer: Ein Modell, das denselben Block mehrfach durchläuft