Originalarbeiterreichbar
Training Large Language Models to Reason in a Continuous Latent Space
Die Arbeit zu Coconut von Shibo Hao und sechs Mitautoren, eingereicht am 09.12.2024, vierte Fassung vom 23.08.2026, angenommen für die COLM 2025. Das Modell denkt ohne Text, indem es seinen letzten inneren Zustand als nächste Eingabe zurückgibt. Es wiederholt dabei keine Schichten, die zusätzliche Rechnung liegt in zusätzlichen Schritten der Folge.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 15.10.2026:
Instead of decoding this state into words, we feed it back to the model as the next input embedding directly in the continuous space.
bestätigt 10.11.2026
Looped Transformer: Ein Modell, das denselben Block mehrfach durchläuft