Dokumentationerreichbar

OpenAI, Optimizing LLM Accuracy

OpenAIs Leitfaden zur Genauigkeit von Sprachmodellen. Die Seite nennt kein Datum und nennt in der Einleitung gpt-4-turbo, ihr gemessener Fall rechnet mit gpt-4 und gpt-3.5-turbo, also mit Modellen von 2023. Sie ordnet die Verfahren an zwei Achsen: Fehlt dem Modell Wissen, hilft Kontext, etwa über RAG. Stimmen Format, Ton oder Vorgehen nicht, hilft Training. Im Beispiel zur isländischen Satzkorrektur misst sie den BLEU-Wert in fünf Läufen: 62 ohne Beispiel, 70 mit drei Beispielen im Prompt, 78 für ein abgestimmtes gpt-3.5-turbo, 87 für ein abgestimmtes gpt-4 und 83, als zu diesem Modell eine Suche über 1.000 weitere Beispiele in einem Vektorindex hinzukam. Den Schritt von 62 auf 70 beziffert die Seite mit plus 8 Prozent, gemeint sind 8 Punkte. Das ist ein einzelner Herstellerfall ohne Streuung und ohne veröffentlichte Prüfdaten.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 21.10.2026:

these are all levers that solve different things, and to optimize in the right direction you need to pull the right leverbestätigt 10.11.2026
the model lacks contextual knowledge because it wasn’t in its training setbestätigt 10.11.2026
This axis maximizes response accuracybestätigt 10.11.2026
the model is producing inconsistent results with incorrect formattingbestätigt 10.11.2026
This axis maximizes consistency of behaviorbestätigt 10.11.2026
Prompt engineering is typically the best place to startbestätigt 10.11.2026
with even the 3.5 model outperforming few-shot gpt-4 by 8 pointsbestätigt 10.11.2026
RAG actually decreased accuracy, dropping four points from our GPT-4 fine-tuned model to 83.bestätigt 10.11.2026
many of our largest customer deployments at OpenAI were done using only prompt engineering and RAGbestätigt 10.11.2026
Start with 50+ examplesbestätigt 10.11.2026
fine-tune the model with RAG examples in it so it isn’t learning how to use the context zero-shotbestätigt 10.11.2026
With fine-tuning you need to rerun the fine-tuning process and manage your training and validation sets when you do additional tuning.bestätigt 10.11.2026
squeeze as much accuracy out of basic methods as you can before reaching for more complex RAG or fine-tuningbestätigt 10.11.2026
If we have a set of 20+ questions and answersbestätigt 10.11.2026
We assume this happens in 5% of cases.bestätigt 10.11.2026
adds 1000 examples from outside of the training and validation sets which are embedded and placed in a vector databasebestätigt 10.11.2026

08 Woran es fehlt, entscheidet den Weg

Alle Quellen