Originalarbeiterreichbar
Direct Preference Optimization: Your Language Model is Secretly a Reward Model
Rafailov, Sharma, Mitchell, Ermon, Manning und Finn (Stanford) stellen am 29.05.2023 das Verfahren DPO vor, hier in Fassung v3 vom 29.07.2024. Es lernt aus Paaren von bevorzugter und abgelehnter Antwort zur selben Eingabe und kommt dafür ohne eigenes Belohnungsmodell und ohne bestärkendes Lernen aus. Laut Abstract genügt eine einfache Klassifikationsverlustfunktion. Die Vergleiche der Arbeit betreffen die Steuerung der Stimmung eines Textes, Zusammenfassungen und Dialoge mit einer Runde.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 21.10.2026:
allowing us to solve the standard RLHF problem with only a simple classification loss
bestätigt 10.11.2026The resulting algorithm, which we call Direct Preference Optimization (DPO), is stable, performant, and computationally lightweight
bestätigt 10.11.2026
Direct Preference Optimization im Glossar08 Woran es fehlt, entscheidet den Weg