Originalarbeiterreichbar

LoRA Learns Less and Forgets Less

Biderman, Portes, Gonzalez Ortiz und neun Mitautoren (Columbia, Databricks) vergleichen LoRA mit vollem Training an Llama-2-7B, für Code und Mathematik. Hier die arXiv-Fassung v2 vom 20.09.2024, nach Kopf der Arbeit begutachtet und in Transactions on Machine Learning Research erschienen. Untersucht sind zwei Arten: Weitertrainieren auf rund 20 Milliarden Token Rohtext und Instruktionstraining auf rund 100.000 Frage-Antwort-Paaren. LoRA erreicht in den üblichen niedrigen Rängen weniger als volles Training und behält dafür mehr von dem, was das Modell außerhalb des Zielgebiets konnte. Beim Weitertrainieren schließt auch ein hoher Rang den Abstand nicht, beim Instruktionstraining können hohe Ränge gleichziehen.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 21.10.2026:

Our results show that, in the standard low-rank settings, LoRA substantially underperforms full finetuning.bestätigt 10.11.2026
Nevertheless, LoRA better maintains the base model’s performance on tasks outside the target domain.bestätigt 10.11.2026
In continued pretraining, the performance gap between full finetuning and LoRA is not closed even with high ranks.bestätigt 10.11.2026
In instruction finetuning, on the other hand, high ranks can match full finetuning performance.bestätigt 10.11.2026
In this study, we compare LoRA and full finetuning for Llama-2-7B models across two challenging target domains, code and mathematics.bestätigt 10.11.2026

02 Ein Modell auf eigene Daten abstimmen 08 Woran es fehlt, entscheidet den Weg

Alle Quellen