SchlüsselarbeitOriginalarbeiterreichbar
LoRA: Low-Rank Adaptation of Large Language Models
Hu und sieben Mitautoren stellen am 17.06.2021 das Verfahren vor, mit dem sich ein Modell anpassen lässt, ohne seine Gewichte anzufassen. Trainiert werden kleine Zusatzmatrizen, das Modell selbst bleibt eingefroren. Das ist der Grund, warum die Anpassung großer Modelle heute auf gewöhnlicher Hardware stattfindet, und die Grundlage aller sparsamen Verfahren, die seither dazugekommen sind.
geprüft 10.11.2026Archivfassung (externe Seite, web.archive.org)
Worauf sich diese Seite beruft, wörtlich, abgerufen am 06.08.2026:
reduce the number of trainable parameters by 10,000 times
bestätigt 10.11.2026the GPU memory requirement by 3 times
bestätigt 10.11.2026no additional inference latency
bestätigt 10.11.2026We limit our study to only adapting the attention weights for downstream tasks and freeze the MLP modules
bestätigt 10.11.2026
KI-GeschichteLow-Rank Adaptation im Glossar01 Wie ein Modell innen gebaut ist02 Ein Modell auf eigene Daten abstimmen