Originalarbeiterreichbar

The False Promise of Imitating Proprietary LLMs

Gudibande und Mitautoren an der UC Berkeley stimmen am 25.05.2023 offene Basismodelle mit 1,5 bis 13 Milliarden Parametern auf 0,3 bis 150 Millionen Token an Antworten von ChatGPT ab. Menschliche Bewerter halten die Nachahmer für konkurrenzfähig. Gezielte automatische Messungen zeigen dagegen, dass sie bei Aufgaben, die in den Nachahmungsdaten selten vorkommen, kaum Abstand zu ChatGPT aufholen. Die Autoren erklären die Lücke damit, dass die Nachahmer den Stil von ChatGPT treffen und seine Faktentreue verfehlen. Vorabdruck auf arXiv, gemessen an Basismodellen von 2023.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 19.10.2026:

We first finetune a series of LMs that imitate ChatGPT using varying base model sizes (1.5B--13B), data sources, and imitation data amounts (0.3M--150M tokens).bestätigt 10.11.2026
crowd workers rate their outputs as competitive with ChatGPTbestätigt 10.11.2026
we find that imitation models close little to none of the gap from the base LM to ChatGPT on tasks that are not heavily supported in the imitation databestätigt 10.11.2026
We show that these performance discrepancies may slip past human raters because imitation models are adept at mimicking ChatGPTbestätigt 10.11.2026

03 Wie ein Modell von einem anderen lernt

Alle Quellen