Nachschlagen·Quellenregister

Originalarbeiterreichbar

RoFormer: Enhanced Transformer with Rotary Position Embedding

arxiv.org (externe Seite)

Su und Mitautoren stellen 2021 die Rotary Position Embedding vor, kurz RoPE. Die Position eines Tokens wird dabei als Drehung in die Vektoren der Aufmerksamkeit eingerechnet, statt als eigener Vektor zur Eingabe addiert zu werden. Damit hängt das Ergebnis vom Abstand zweier Tokens ab.

geprüft 10.11.2026

01 Wie ein Modell innen gebaut ist

Alle Quellen