Originalarbeiterreichbar
A Mathematical Framework for Transformer Circuits
transformer-circuits.pub (externe Seite)
Elhage und Mitautoren beschreiben 2021 bei Anthropic den Transformer als Folge von Schichten, die alle in einen gemeinsamen Residualstrom lesen und schreiben. Der Text gehört zur Interpretierbarkeitsforschung des Herstellers und hat keinen Versionsvermerk.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 19.10.2026:
The residual stream is simply the sum of the output of all the previous layers and the original embedding.
bestätigt 10.11.2026Attention heads move information from the residual stream of one token to another.
bestätigt 10.11.2026