Originalarbeiterreichbar

Alpaca: A Strong, Replicable Instruction-Following Model

Stanford CRFM stellt am 13.03.2023 Alpaca 7B vor, ein LLaMA 7B, abgestimmt auf 52.000 Beispiele, die das OpenAI-Modell text-davinci-003 erzeugt hat. Die Daten kosteten laut Seite unter 500 Dollar, das Training unter 100 Dollar. Als einen Grund gegen kommerzielle Nutzung nennt die Seite die Nutzungsbedingungen von OpenAI, die das Entwickeln konkurrierender Modelle untersagen. Halluzination beschreibt sie als häufigen Fehler, auch im Vergleich zum Lehrer. Ein späterer Vermerk auf derselben Seite meldet die öffentliche Vorführung als abgeschaltet, unter anderem wegen unzureichender Inhaltsfilter. Die Bewertung stammt von den fünf studentischen Autoren selbst.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 19.10.2026:

Our data generation process results in 52K unique instructions and the corresponding outputs, which costed less than $500 using the OpenAI API.bestätigt 10.11.2026
fine-tuning a 7B LLaMA model took 3 hours on 8 80GB A100s, which costs less than $100 on most cloud compute providersbestätigt 10.11.2026
whose terms of use prohibit developing models that compete with OpenAI.bestätigt 10.11.2026
Hallucination in particular seems to be a common failure mode for Alpaca, even compared to text-davinci-003.bestätigt 10.11.2026
Update: The public demo is now disabled.bestätigt 10.11.2026
given the hosting costs and the inadequacies of our content filters, we decided to bring down the demobestätigt 10.11.2026
Alpaca wins 90 versus 89 comparisons against text-davinci-003.bestätigt 10.11.2026

Synthetische Daten im Glossar 03 Wie ein Modell von einem anderen lernt

Alle Quellen