Originalarbeiterreichbar
Found in the Middle: Calibrating Positional Attention Bias Improves Long Context Utilization
aclanthology.org (externe Seite)
Cheng-Yu Hsieh und zehn weitere liefern die Erklärung hinter dem Befund: Die Aufmerksamkeit verteilt sich U-förmig über die Eingabe, Anfang und Ende bekommen mehr davon, und zwar unabhängig davon, wie wichtig die Stelle ist. Damit hängt der Effekt an der Position statt am Inhalt. Erschienen in den Findings of the ACL 2024.
geprüft 24.09.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 31.07.2026:
LLMs exhibit an U-shaped attention bias where the tokens at the beginning and at the end of its input receive higher attention, regardless of their relevance
bestätigt 24.09.2026