Woran es fehlt, ent­scheidet den Weg

Ein Modell beantwortet eine Frage falsch, im falschen Ton oder gar nicht. Für jeden dieser Fälle gibt es einen Weg, das Modell an die Aufgabe anzupassen. Zur Wahl stehen Anweisung und Beispiele, ein stehender Kontext, Unterlagen und Suche, Werkzeuge, ein Training, eine Destillation oder ein anderes Modell. Dieses Kapitel stellt die Wege nebeneinander. Es fragt zuerst, woran es fehlt, und wählt danach den Weg.

Wie ein Training im Einzelnen abläuft und was es kostet, steht in Beurteilen und Einordnen, Kapitel 02. Wie Neues über den Kontext zum Modell kommt, zeigt Grundkurs, Kapitel 08. Hier geht es um die Wahl zwischen allen Wegen.

Ein erfundener Abfall-Chat stellt fünf Aufgaben

Das Beispiel dieses Kapitels ist erfunden. Die Stadt heißt hier Musterstadt, und auch ihre Satzung, ihre Sortierliste und ihr Abfuhrkalender sind erfunden. Musterstadt bietet auf ihrer Seite einen Chat zur Abfallberatung an. Darin kommen fünf Arten von Anliegen vor:

1. „Wohin gehört ein Pizzakarton?“ Die Antwort steht in der Sortierliste der Stadt, und die ändert sich zum Jahreswechsel.
2. „Wann wird in meiner Straße die Biotonne geleert?“ Die Antwort hängt an der Adresse und steht im Abfuhrkalender.
3. „Ich möchte Sperrmüll anmelden.“ Das ist ein Auftrag. Am Ende soll ein Termin feststehen.
4. Ein freundlicher Ton. Ein Leser wünscht sich die Antworten außerdem in Leichter Sprache.
5. Eine Kategorie je Anfrage. Die Stadt möchte jede Anfrage einer festen Kategorie zuordnen, für ihre Statistik.

Ob der Pizzakarton ins Altpapier gehört, hängt am Ort und am Zustand des Kartons. In Musterstadt regelt es die erfundene Satzung. Für dieses Kapitel zählt allein, woher der Chat die Antwort bekommt.

Fünf Stellen, an denen sich ein Modell anpassen lässt

Jeder Weg setzt an einer bestimmten Stelle an. Von innen nach außen sind es fünf:

• Die Gewichte. Ein Training ändert die Zahlen in der Modelldatei oder legt eine kleine Zusatzdatei dazu, die sie verschiebt. Eine Destillation erzeugt ein neues, kleineres Modell.
• Der stehende Kontext. Eine Systemanweisung, eine Projektanweisung oder ein Skill steht vor jeder Anfrage, ohne dass jemand ihn neu tippt.
• Die Eingabe. Anweisung und Beispiele in der einzelnen Anfrage.
• Der Kontext zur Laufzeit. Unterlagen oder eine Suche legen zu jeder Frage die passenden Abschnitte dazu.
• Die Umgebung. Werkzeuge, die das Modell aufrufen kann, und die Regler der Schnittstelle, etwa ein Schema für die Antwort.

Daneben steht ein Weg, der das Modell selbst austauscht: die Wahl eines anderen. Auf die Stellen verteilt ergeben sich sieben Wege:

1. Anweisung und Beispiele in der Eingabe,
2. der stehende Kontext,
3. Unterlagen und Suche als Kontext zur Laufzeit,
4. Werkzeuge in der Umgebung,
5. ein Training der Gewichte,
6. eine Destillation in ein kleineres Modell,
7. die Wahl eines anderen Modells.

Die Regler der Schnittstelle stehen in der Umgebung neben den Werkzeugen. Sie engen die Ausgabe ein und zählen deshalb als Regler neben den sieben Wegen. Ebene 2 stellt alles in einer Tabelle nebeneinander.

Nur Training und Destillation erreichen Gewichte. Anweisung, Kontext, Suche, Werkzeuge und Regler lassen das Modell, wie es ist, und ändern, was es zu sehen bekommt oder was es tun kann.

Am Anfang steht ein Satz von Prüffragen

Bevor ein Weg gewählt wird, braucht es eine Messung. Für den Abfall-Chat heißt das: zwanzig typische Fragen, je mit der Antwort, die richtig wäre. OpenAI nennt in seinem Leitfaden zur Genauigkeit (externe Seite, developers.openai.com) einen Satz von 20 und mehr Fragen mit Antworten als Grundlage, bevor man weiter verbessert. Wichtig ist auch die Streuung, also kurze und lange Fragen, unklare und solche, bei denen eine falsche Antwort wirklich schadet. Warum es einen festen Satz von Testfällen braucht, steht in Grundkurs, Kapitel 06.

Mit diesem Satz wird zuerst der einfachste Prompt geprüft. Den Prompt nennt OpenAI im selben Leitfaden den üblichen Startpunkt. Google rät in seiner Einführung in die Abstimmung (externe Seite, docs.cloud.google.com) ebenso, mit dem Prompt zu beginnen.

Was danach kommt, hängt an der Art des Fehlers. Der Leitfaden von OpenAI trennt zwei Fälle. Fehlt dem Modell Wissen, etwa weil es nicht in seinen Trainingsdaten stand, hilft Kontext, und das Ziel ist eine richtige Auskunft. Liefert es uneinheitliche Ergebnisse im falschen Format, hilft eine Anpassung des Modells, und das Ziel ist gleichbleibendes Verhalten. Die Verfahren lösen verschiedene Probleme, und wer verbessern will, muss den passenden Hebel wählen.

Im Abfall-Chat kommt ein dritter Fall dazu: Manchmal fehlt eine Handlung. OpenAI ordnet Werkzeuge der Achse des Kontexts zu. Dieses Kapitel führt die Handlung als eigenen Fall, weil sie einen eigenen Weg verlangt. Damit gibt es drei Fragen an jede falsche Antwort. Fehlt Wissen, fehlt eine Form, oder fehlt eine Handlung?

Fehlt Wissen, gehört es in den Kontext

Sortierliste, Gebührensatzung, Öffnungszeiten der Wertstoffhöfe: Das ist Wissen, und es ändert sich. Ein Modell kennt es aus seinem Training nicht, und wenn doch, dann in einer alten Fassung.

Der Weg dafür ist der Kontext. Passt der Bestand ins Fenster, legt die Anwendung ihn ganz zur Frage. Anthropic zog die Grenze dafür 2024 bei 200.000 Token, etwa 500 Seiten Material (Beitrag zur Suche (externe Seite, anthropic.com)). Ist der Bestand größer, sucht ein Programm die passenden Abschnitte heraus und legt nur sie dazu. Wie das gebaut wird, steht in Agenten und Harness, Kapitel 03.

Ein Training wäre für Wissen der schlechtere Weg, und dazu gibt es eine Messung. Ovadia und Mitautoren von Microsoft verglichen beide Wege an Faktenfragen (Arbeit (externe Seite, arxiv.org), erschienen auf der EMNLP 2024). Die Suche schnitt fast durchgehend besser ab, bei Wissen, das die Modelle schon kannten, und bei neuem. Gemessen sind drei Modelle mit 7 Milliarden Parametern an Fragen mit vier Ant­wort­mög­lich­keiten, die Quellen stammten aus Wikipedia, und trainiert wurde auf Rohtext ohne Frage-Antwort-Paare. Die Zahlen stehen in Ebene 2.

Für Musterstadt kommt ein zweiter Grund dazu. Am Neujahrstag gilt eine neue Sortierliste. Im Kontext ist sie mit einer neuen Datei getauscht. Ein trainiertes Modell müsste dafür neu trainiert werden.

Fehlen Ton oder Form, helfen zuerst Beispiele

Der Chat soll freundlich antworten, und auf Wunsch eines Lesers in Leichter Sprache. Welche Regeln für Leichte Sprache gelten, ist eine eigene Frage. Für die Wahl des Wegs genügt, dass es eine gewünschte Form ist.

Für Ton und Form sind Beispiele der erste Weg. Ein paar Musterantworten in der Anweisung zeigen dem Modell, wie es antworten soll. Dass das ohne Training geht, war 2020 der Befund zu GPT-3: Das Modell löste Aufgaben allein über Beispiele im Text, ohne Änderung seiner Gewichte (Arbeit zu GPT-3 (externe Seite, arxiv.org)).

Damit niemand die Beispiele in jede Frage tippt, stehen sie in der Systemanweisung des Chats, im stehenden Kontext. In Werkzeugen wie Claude Code heißt dieselbe Stelle Projektanweisung oder Skill. Ein Skill kostet dabei wenig Platz, denn beim Start lädt der Agent nur Name und Kurzbeschreibung jedes Skills (Beitrag zu Agent Skills (externe Seite, anthropic.com)). Wann sich ein Skill lohnt, steht in Claude Code, Kapitel 17.

Die Kategorie für die Statistik ist eine feste Form. Hier hilft ein Regler der Schnittstelle. Die Schnittstelle von Anthropic nimmt ein Schema an und hält die Antwort beim Erzeugen daran fest, laut Doku zur strukturierten Ausgabe (externe Seite, platform.claude.com) in den meisten Fällen. Eine dieser Ausnahmen betrifft genau die feste Kategorie: Ihr Wert kann in der Groß- und Kleinschreibung vom Schema abweichen. Die Doku rät deshalb, die Werte ohne Rücksicht auf die Schreibung zu vergleichen. Das Schema sichert die Form. Ob die gewählte Kategorie stimmt, sagt es nicht, und Grundkurs, Kapitel 15 beschreibt diese Grenze.

Reichen Beispiele nicht, oder werden es so viele, dass sie jede Anfrage verlängern, kommt ein Training in Frage. Für Format, Ton und gleichbleibendes Vorgehen ist es der Weg, den OpenAIs Leitfaden für die Anpassung des Modells vorsieht.

Fehlt eine Handlung, braucht es ein Werkzeug

Die Frage nach dem Abfuhrtermin verlangt eine genaue Abfrage: Straße hinein, Termine heraus. Eine Suche nach ähnlichen Textstücken passt dafür schlecht, denn sie findet womöglich die Nachbarstraße. Der Weg ist ein Werkzeug, das den Abfuhrkalender abfragt. Das Modell formuliert den Aufruf, und ein Programm führt ihn aus. Die Mechanik dahinter zeigt Grundkurs, Kapitel 09.

Die Sperr­müll­an­mel­dung geht einen Schritt weiter. Hier ändert das Werkzeug etwas, es legt einen Termin an. Dafür braucht es Rechte, und bevor etwas abgeschickt wird, bestätigt der Bürger den Termin. Diese Fähigkeit gibt allein die Umgebung. Prompt und Training ändern nur, was das Modell schreibt.

Einen offenen Standard für solche Anschlüsse hat Anthropic 2024 mit MCP vorgestellt (Ankündigung (externe Seite, anthropic.com)). Wie er aufgebaut ist, steht in Agenten und Harness, Kapitel 02.

Ein Training lohnt sich an der Menge

Ein Training spart Prompt. Wer dem Modell die Beispiele einmal beibringt, muss sie nicht mehr in jede Anfrage legen. OpenAI nennt genau das als Vorteil: kürzere Prompts mit weniger Beispielen, was bei großer Menge Token und Wartezeit spart (Seite zur Modelloptimierung (externe Seite, developers.openai.com)).

Dem steht ein Posten gegenüber, der jede Stunde läuft. Microsoft berechnet für die Bereitstellung eines abgestimmten GPT-Modells 1,70 Dollar je Stunde (externe Seite, azure.microsoft.com), abgerufen am 09.10.2026. In 30 Tagen sind das 1.224 Dollar, auch an Tagen ohne eine einzige Frage. Google verlangt keinen Stundensatz. Ab Gemini 3 schlägt es auf jede Anfrage an ein abgestimmtes Modell die Hälfte des Anfragepreises auf (externe Seite, cloud.google.com), wenn das Modell an einem regionalen Endpunkt läuft. Am globalen Endpunkt kostet die Anfrage so viel wie beim Grundmodell.

Ab welcher Menge sich das rechnet, steht als Rechnung in Ebene 3. Ob ein Chat diese Menge erreicht, sagt nur sein eigenes Aufkommen. Ein Portal für viele Städte kommt ihr näher als der Chat einer einzelnen.

Dazu kommt, dass sich ein Training nicht mehr überall selbst buchen lässt. OpenAI wickelt seine Plattform dafür ab (Seite zur Modelloptimierung (externe Seite, developers.openai.com)). In Googles Gemini API gibt es seit Mai 2025 kein Modell mehr, das sich abstimmen lässt (Seite zum Fine-Tuning (externe Seite, ai.google.dev), Stand 28.04.2026). Auf Googles Unter­neh­mens­platt­form bleibt es buchbar. Ebene 2 nennt die Einzelheiten.

Manchmal ist der Weg ein anderes Modell

Für die Kategorie der Statistik genügt womöglich ein kleines, billiges Modell, und ob es reicht, zeigt der Prüfsatz. Ein größeres beantwortet die freien Fragen. Anthropic nennt die Wahl eines anderen Modells ausdrücklich als Weg, mit dem sich Wartezeit und Kosten manchmal leichter senken lassen (Übersicht zum Prompt Engineering (externe Seite, platform.claude.com)).

Woran man die Wahl festmacht, steht in Grundkurs, Kapitel 10, was kleine Modelle können, in KI jenseits der Sprachmodelle, Kapitel 10. Ein kleines Modell lässt sich auch eigens für eine Aufgabe erzeugen, durch Destillation aus einem großen. Wie das geht, zeigt Kapitel 03.

Der Abfall-Chat kommt mit fünf Wegen und einem Regler aus

Gezählt nach den sieben Wegen sind das Anweisung, stehender Kontext, Suche, Werkzeug und ein anderes Modell, dazu das Schema als Regler. Training und Destillation braucht der Chat am Anfang nicht. Ein Agent mit vielen Schritten ebenso wenig: Für viele Anwendungen reicht laut Anthropic ein einzelner, gut gebauter Aufruf mit Suche und Beispielen (Beitrag über Agenten (externe Seite, anthropic.com)).

Ebene 1 hat die Frage gestellt, woran es fehlt: an Wissen, an einer Form oder an einer Handlung. Diese Ebene legt die Belege dazu vor. Sie beginnt mit dem Leitfaden, aus dem die Trennung stammt, zeigt zwei Messungen zu Wissen im Training und eine zu vielen Beispielen im Prompt. In der Mitte steht die Tabelle aller Wege, am Ende der Stand der Anbieter.

Zwei Achsen ersetzen die Leiter

Viele Anleitungen ordnen die Wege als Leiter: erst der Prompt, dann die Suche, dann ein Training. OpenAIs Leitfaden zur Genauigkeit (externe Seite, developers.openai.com) hält diese Reihenfolge für oft unzutreffend. Die Verfahren lösen nach dem Leitfaden verschiedene Probleme, und wer in die richtige Richtung verbessern will, muss den passenden Hebel ziehen.

Der Leitfaden ordnet sie deshalb an zwei Achsen. Auf der einen steht der Kontext. Ihn braucht es, wenn dem Modell Wissen fehlt, das nicht in seinen Trainingsdaten stand, das veraltet ist oder das nur intern vorliegt. Diese Achse verbessert die Richtigkeit der Auskunft. Auf der anderen steht das Modell selbst. Es anzupassen lohnt sich, wenn die Ergebnisse uneinheitlich sind, das Format nicht stimmt, der Ton falsch ist oder ein vorgegebenes Vorgehen nicht eingehalten wird. Diese Achse verbessert, wie gleichmäßig sich das Modell verhält.

Die beiden Wege addieren sich, sagt der Leitfaden, und lassen sich zusammen einsetzen. Fest bleibt nur der Anfang: Der Prompt ist der übliche erste Schritt. Wie weit Prompt und Suche zusammen reichen, beschreibt OpenAI mit einem Satz über die eigenen Kunden: Viele der größten Einsätze kamen allein mit Prompt und Suche aus. Auch Beurteilen und Einordnen, Kapitel 02 beginnt beim Prompt. Danach entscheidet die Diagnose, welcher Weg folgt.

Die Seite nennt kein Datum. Ihre Einleitung nennt gpt-4-turbo, ihr gemessener Fall rechnet mit gpt-4 und gpt-3.5-turbo, also mit Modellen, die heute mehrere Generationen zurückliegen. Alle drei hat OpenAI laut Abkündigungsliste (externe Seite, developers.openai.com) am 23.10.2026 abgeschaltet. Die Zahlen des Leitfadens gelten für diese Modelle. Die Trennung in zwei Achsen beschreibt Arten von Fehlern und gilt deshalb auch für neuere. Ebene 3 zeigt den gemessenen Fall des Leitfadens.

Fakten kommen über ein Training schlecht hinein

Die erste Achse hat eine Messung hinter sich. Ovadia, Brief, Mishaeli und Elisha von Microsoft haben verglichen, wie ein Modell neues Faktenwissen aufnimmt (Arbeit (externe Seite, arxiv.org), EMNLP 2024). Der eine Weg ist ein Weitertrainieren auf Rohtext, der andere eine Suche, die passende Abschnitte in den Prompt legt. Für die Messung hier stellten die Autoren Fragen zu Ereignissen von August bis November 2023, also nach dem Stichtag der Modelle. Jede Frage hatte vier Ant­wort­mög­lich­keiten, Raten ergibt also 0,25.

Anteil richtiger Antworten, Tabelle 2 der Arbeit von Ovadia und Mitautoren, gegen die Druckfassung der EMNLP 2024 gehalten, abgerufen am 21.10.2026.

Die Suche schnitt in jeder Zeile am besten ab. Nach den Autoren gilt das für Wissen, das die Modelle aus dem Training schon kannten, und für völlig neues. Das Training allein hob Mistral und Orca um wenige Hundertstel. Bei Llama2 verschlechterte es das Ergebnis deutlich, von 0,353 auf 0,219. Wer Training und Suche verband, lag unter der Suche allein.

Eine Spalte zeigt, was beim Training half: Umschreibungen. Wurde jede Tatsache in mehreren Fassungen trainiert, stieg Mistral von 0,504 auf 0,588. Die Autoren folgern, dass ein Modell neues Wissen nur aufnimmt, wenn es auf viele Arten wiederholt wird. Ihr Schluss lautet, ein Training könne für vieles nützlich sein, für das Einbringen von Wissen sei die Suche verlässlicher.

Die Messung hat Grenzen, die die Arbeit selbst nennt. Trainiert wurde unüberwacht auf Rohtext, ohne Paare aus Frage und Antwort. Die Fragen sind Mehrfachauswahl, und alle Quellen stammten aus Wikipedia. Gemessen sind drei Modelle mit 7 Milliarden Parametern aus dem Jahr 2023, und nach den Autoren können andere Einstellungen des Trainings andere Ergebnisse bringen.

Die zweite Messung schließt die erste Lücke. Gekhman und Mitautoren von Google und dem Technion trainierten ein Modell mit Paaren aus Frage und Antwort (Arbeit (externe Seite, arxiv.org), angenommen für die EMNLP 2024). Ein Teil der Antworten war dem Modell schon bekannt, ein Teil neu. Die neuen lernte es deutlich langsamer. Und sobald es sie gelernt hatte, erfand es häufiger Antworten, und zwar umso häufiger, je mehr der neuen Beispiele es gelernt hatte.

Die Autoren deuten das so: Ein Modell erwirbt Faktenwissen vor allem im Vortraining, und ein späteres Training lehrt es, dieses Wissen besser zu nutzen. Laut der Einleitung senken zwei Maßnahmen das Risiko: das Training früh abbrechen und Beispiele mit unbekannten Antworten aussortieren.

Gemessen ist ein einziges Modell, PaLM 2-S als Grundmodell, an geschlossenen Fragen ohne Kontext, die auf Wikidata beruhen. Für lange Texte sind die Folgerungen nach der Arbeit noch zu prüfen. Woran man erfundene Antworten erkennt, steht in Grundkurs, Kapitel 07.

Beide Arbeiten zeigen in dieselbe Richtung, mit verschiedenem Aufbau. Für den Abfall-Chat aus Ebene 1 heißt das: Die Sortierliste gehört in den Kontext. Ein Training mit der Liste könnte das Modell zudem dazu bringen, bei anderen Fragen öfter etwas zu erfinden.

Hunderte Beispiele im Prompt kommen an ein Training heran

Zwischen drei Beispielen im Prompt und einem Training liegt eine Stufe, die erst die großen Kontextfenster möglich gemacht haben. Agarwal und Mitautoren von Google DeepMind legten einem Modell Hunderte bis Tausende Beispiele in den Prompt (Arbeit (externe Seite, arxiv.org), NeurIPS 2024). Es lernt dabei aus dem Kontext, ohne dass sich seine Gewichte ändern.

An Übersetzungen in zwei Sprachen mit wenig Material, Bemba und Kurdisch, verglichen die Autoren das mit einem Training. Bei Bemba lagen beide Wege nah beieinander, bei Kurdisch lag das Training leicht vorn. Für manche Aufgaben sehen die Autoren in vielen Beispielen deshalb einen Ersatz für ein Training.

Bezahlt wird diese Stufe bei jeder Anfrage. Ein Training entfällt, dafür kostet jede Antwort mehr Rechenzeit. Im Über­set­zungs­ver­such entsprachen 997 Beispiele rund 85.000 Token. Mit Zwischenspeicher wächst die Laufzeit linear mit der Zahl der Beispiele.

Dazu kommt ein Befund, der die Autoren selbst überraschte: Auch die Reihenfolge der Beispiele beeinflusst das Ergebnis. Was ein Token ist und wie sich ein Fenster füllt, steht in Grundkurs, Kapitel 03.

Gemessen ist vor allem Gemini 1.5 Pro. Bei GPT-4-Turbo und Claude 3 Opus wuchs die Leistung mit mehr Beispielen beim Bemba, beim Kurdischen kaum. Ob ein anderes Modell so weit mitgeht, zeigt also erst der eigene Prüfsatz.

Sieben Wege und die Regler nebeneinander

Die Tabelle stellt die sieben Wege aus Ebene 1 nebeneinander. Darunter stehen in einer eigenen Zeile die Regler der Schnittstelle. Sie engen eine Ausgabe ein und bringen selbst keinen Inhalt mit, deshalb zählen sie nicht als achter Weg.

Die Einträge sind eine Einordnung nach den Quellen dieses Kapitels. Aufwand und Stärken sind Größenordnungen. Gemessen ist in dieser Tabelle nichts.

Drei Zeilen brauchen einen Satz mehr.

Stehender Kontext kostet je nach Bauform verschieden viel. Eine Systemanweisung steht vollständig in jeder Anfrage. Ein Skill steht beim Start nur mit Name und Beschreibung da und lädt seinen Inhalt, wenn er gebraucht wird (Beitrag zu Agent Skills (externe Seite, anthropic.com)). Wie Projektanweisung und Skill in Claude Code zusammenspielen, steht in Vibe-Coding / Agentic Engineering, Kapitel 03 und Claude Code, Kapitel 17.

Werkzeuge sind der einzige Weg für eine Handlung, und sie sind oft auch der bessere für genaue Daten. Eine Suche nach Ähnlichkeit findet Textstücke, die einer Frage ähneln. Eine Abfrage im Abfuhrkalender liefert den Termin genau dieser Straße. Die Mechanik steht in Grundkurs, Kapitel 09, der Standard für die Anschlüsse in Agenten und Harness, Kapitel 02.

Die Regler sichern eine Form. Bei Anthropic hält ein Schema die Antwort beim Erzeugen fest, laut Doku zur strukturierten Ausgabe (externe Seite, platform.claude.com) in den meisten Fällen. Gesichert ist damit die formale Gültigkeit. Welche Inhalte in den Feldern stehen, entscheidet weiter das Modell. Den Aufwandsregler und seine Namen bei den Anbietern beschreibt Grundkurs, Kapitel 10.

Ton und Stil lassen sich auch über Vergleiche lernen

Ein Training muss nicht aus Musterantworten bestehen. Rafailov und Mitautoren von der Universität Stanford stellten 2023 das Verfahren DPO vor (Arbeit zu DPO (externe Seite, arxiv.org)). Es lernt aus Paaren, je einer bevorzugten und einer abgelehnten Antwort zur selben Eingabe. Es kommt ohne eigenes Bewertungsmodell aus, eine einfache Verlustfunktion für eine Einordnung genügt. Die Autoren nennen es stabil, leistungsfähig und sparsam in der Rechnung. Ihre Vergleiche betreffen die Stimmung eines Textes, Zusammenfassungen und Dialoge mit einer Runde.

Für den Abfall-Chat hieße das: eine freundliche und eine schroffe Antwort auf dieselbe Frage, viele Male. OpenAI verlangt für diese Art des Trainings je ein richtiges und ein falsches Beispiel zur selben Eingabe (Seite zur Modelloptimierung (externe Seite, developers.openai.com)). Wie eine solche Trainingsdatei aussieht, steht in Beurteilen und Einordnen, Kapitel 02, Ebene 2.

OpenAI und Mistral steigen aus, Google in seiner Gemini API

OpenAI wickelt seine Plattform für das Fine-Tuning ab (Seite zur Modelloptimierung (externe Seite, developers.openai.com)). Abgestimmte Modelle laufen dort so lange, wie ihr Grundmodell läuft (Abkündigungsliste (externe Seite, developers.openai.com)). Mistral hat die Funktion bereits abgekündigt (Anleitung (externe Seite, docs.mistral.ai)).

Google hat in seiner Ent­wick­ler­schnitt­stelle aufgehört. Im Mai 2025 kündigte Google das Modell Gemini 1.5 Flash-001 ab. Seither gibt es in der Gemini API und in AI Studio kein Modell mehr, das sich abstimmen lässt (Seite zum Fine-Tuning (externe Seite, ai.google.dev)). Die Seite hat den Stand vom 28.04.2026, und Pläne für eine Rückkehr nennt sie keine. Auf Googles Unter­neh­mens­platt­form bleibt das Verfahren buchbar, ebenso bei Microsoft und AWS. Die Angebote im Einzelnen vergleicht Beurteilen und Einordnen, Kapitel 02 in Ebene 2.

Gründe nennen OpenAI und Mistral nicht, Google verweist auf die Abkündigung seines letzten abstimmbaren Modells. Für die Wahl des Wegs zählt die Folge: Wer ein Training plant, plant auch den Anbieter, bei dem es läuft.

Ein Training beginnt bei 50 bis 100 Beispielen

Die Hersteller nennen Startwerte für die Menge. OpenAI rät im Leitfaden zur Genauigkeit, mit 50 Beispielen oder mehr zu beginnen. Google spricht von einem ansehnlichen Datensatz und denkt dabei an 100 Beispiele oder mehr (Einführung in die Abstimmung (externe Seite, docs.cloud.google.com)). Beides sind Ratschläge für den Anfang. Gemessen ist damit nichts.

Was in die Beispiele gehört, folgt aus den Messungen oben. Sie sollen die Form zeigen, die das Modell treffen soll. Fakten, die das Modell nicht kennt, bringen nach Gekhman und Mitautoren das Risiko erfundener Antworten mit. Neben den Trai­nings­bei­spielen braucht es außerdem den Prüfsatz aus Ebene 1, der im Training nicht vorkommt. Wie man damit misst, steht in Ebene 3.

Ebene 2 hat die Belege zur Diagnose gezeigt und die Wege in eine Tabelle gestellt. Diese Ebene rechnet. Sie beginnt mit einem gemessenen Fall aus der Doku eines Herstellers, der mehrere Wege an derselben Aufgabe vergleicht. Danach folgt die Rechnung über die Lebensdauer eines Trainings, und am Ende stehen die Messungen, mit denen sich jeder Weg prüfen lässt.

Ein Hersteller hat die Wege an einer Aufgabe gemessen

OpenAIs Leitfaden zur Genauigkeit (externe Seite, developers.openai.com) führt einen Fall vor: Ein Modell soll isländische Sätze korrigieren. Gemessen ist der BLEU-Wert, ein Maß dafür, wie nah eine Ausgabe an einer Referenz liegt. Die ersten vier Läufe stehen auf der Seite in einer Tabelle:

OpenAI, Leitfaden zur Genauigkeit, undatiert, abgerufen am 21.10.2026.

Drei Beispiele im Prompt hoben gpt-4 von 62 auf 70. Die Seite nennt das ein Plus von 8 Prozent. Gemeint sind 8 Punkte, relativ sind es knapp 13 Prozent (eigene Rechnung: 70 / 62 = 1,129). Das abgestimmte gpt-3.5-turbo kam auf 78 und lag damit 8 Punkte vor gpt-4 mit drei Beispielen. Das abgestimmte gpt-4 erreichte 87.

Für einen fünften Lauf kamen 1.000 weitere Beispiele in einen Suchindex, und die Suche legte dem abgestimmten gpt-4 die passenden davon dazu. Der Wert sank um vier Punkte auf 83.

Die Aufgabe verlangt eine bestimmte Form, den korrigierten Satz. Hier half ein Training mehr als Beispiele, und zusätzlicher Kontext schadete. Das ist ein einzelner Fall des Herstellers, mit Modellen, die heute mehrere Generationen zurückliegen, ohne Angabe einer Streuung und ohne veröffentlichte Prüfdaten der Läufe. Eine allgemeine Regel lässt sich daraus deshalb nicht ableiten.

Bei Microsoft holt ein Training die Bereitstellung erst ab rund 10.000 Anfragen am Tag herein

Ein Training spart Prompt-Token, und die Bereitstellung kostet je Stunde. Die Frage für Entscheider lautet, ab welcher Menge sich beides ausgleicht. Die folgende Rechnung ist eine eigene, mit Microsofts Listenpreisen für GPT-4.1-mini im globalen Tarif (Preisliste (externe Seite, azure.microsoft.com), abgerufen am 21.10.2026). Das Modell bietet Microsoft für überwachtes Fine-Tuning an, also für das Training mit Musterantworten, um das es beim Abfall-Chat geht. o4-mini führt die Preisliste nur mit bestärkendem Lernen.

GPT-4.1-mini ist bei Microsoft abgekündigt. Der Zeitplan (externe Seite, learn.microsoft.com) nennt für das Grundmodell den 14.04.2027, abgestimmte Bereitstellungen laufen bis zum 14.10.2027. Bestandskunden legen bis dahin weiter Bereitstellungen an, für neue Kunden ist das Modell schon jetzt gesperrt (externe Seite, learn.microsoft.com). Die Rechnung zeigt deshalb das Verhältnis von Bereitstellung und Ersparnis. Wer neu anfängt, setzt ein anderes Modell und dessen Preise ein.

• Die Bereitstellung des abgestimmten Modells kostet 1,70 Dollar je Stunde.
• Eine Million Eingabe-Token kostet am Grundmodell 0,40 Dollar, an der abgestimmten Fassung ebenso.
• Spart das Training je Anfrage S Eingabe-Token, spart jede Anfrage S × 0,40 / 1.000.000 Dollar.

Bereitstellung im Monat   1,70 × 24 × 30                       =  1.224 Dollar
Ersparnis je Anfrage      S × 0,40 / 1.000.000                    Dollar
Schwelle im Monat         N = 1.224 / (S × 0,40 / 1.000.000)      Anfragen

Eigene Rechnung mit den Listenpreisen für GPT-4.1-mini, abgerufen am 21.10.2026.

Die Rechnung macht vier Annahmen, und jede verschiebt die Schwelle:

1. Gleich lange Antworten. Je Token kosten Grundmodell und abgestimmte Fassung laut Preisliste gleich viel. Angenommen ist, dass die Antwort in beiden Fällen gleich lang ist.
2. Ohne Training. Die Trainingskosten fehlen in der Rechnung. Sie fallen einmal an und bei jedem Modellwechsel erneut.
3. Ohne Zwischenspeicher. Wird der lange Prompt des Grundmodells zwi­schen­ge­spei­chert, kostet er weniger. Die Ersparnis sinkt dann, und die Schwelle steigt.
4. Globaler Tarif. Mit Bindung an eine Region oder Datenzone liegen die Preise bei Microsoft höher. Die Aufschläge stehen in Kapitel 06, Ebene 2.

Für den Abfall-Chat aus Ebene 1 sei angenommen, dass die Beispiele für Ton und Form 2.000 Token füllen. Dann bräuchte der Chat 51.000 Anfragen am Tag, bis das Training allein die Bereitstellung hereingeholt hat. Ob er sie erreicht, sagt nur sein eigenes Aufkommen. Die Monatsrechnung eines abgestimmten Modells bei geringer Last steht in Beurteilen und Einordnen, Kapitel 02, Ebene 3.

Bei Google hängt die Schwelle am Endpunkt

Google rechnet ohne Stundensatz. Ab Gemini 3 kostet eine Anfrage an ein abgestimmtes Modell an einem regionalen Endpunkt das 1,5-Fache des Grundmodells. Am globalen Endpunkt kostet sie so viel wie beim Grundmodell (Preisverzeichnis (externe Seite, cloud.google.com)). Über den globalen Endpunkt kann Google eine Anfrage an jedem seiner Standorte verarbeiten, das steht in Beurteilen und Einordnen, Kapitel 08. Wer die Verarbeitung in Europa braucht, zahlt deshalb den Aufschlag. Für diesen Fall gilt die folgende Rechnung.

Sei C der Preis einer Anfrage mit langem Prompt am Grundmodell und s der Teil davon, den das Training einspart. Am abgestimmten Modell kostet dieselbe Anfrage dann 1,5 × (C − s). Das Training lohnt sich, wenn dieser Betrag unter C liegt:

1,5 × (C − s) < C
1,5 C − 1,5 s < C
0,5 C < 1,5 s
s > C / 3

An einem regionalen Endpunkt lohnt sich ein Training bei Google also nur, wenn es mehr als ein Drittel des Anfragepreises einspart. Die Gegenprobe: Bei s = 0,4 C kostet die Anfrage 1,5 × 0,6 C = 0,9 C, das Training lohnt sich. Bei s = 0,3 C kostet sie 1,5 × 0,7 C = 1,05 C, es lohnt sich nicht. Am globalen Endpunkt reicht jede Ersparnis. Die Trainingskosten sind auch hier nicht eingerechnet.

Die Schwelle hängt bei Google am Anteil, bei Microsoft an der Menge. Ein Chat mit wenigen Anfragen und sehr langem Prompt kann bei Google über die Schwelle kommen und bei Microsoft weit darunter bleiben.

Beim Modellwechsel verhält sich jeder Weg anders

Ein neues Grundmodell trifft jeden Weg an einer anderen Stelle. OpenAI hält fest, dass sich das Verhalten zwischen Modellständen und Modellfamilien ändert (Seite zur Modelloptimierung (externe Seite, developers.openai.com)).

• Prompt und stehender Kontext laufen meist weiter. Ob sie danach noch die besten sind, zeigt erst der Prüfsatz. OpenAI rät im Leitfaden zu GPT-5.6, Beispiele zu behalten, wenn sie eine Pro­dukt­an­for­de­rung festhalten oder eine gemessene Lücke schließen (Leitfaden (externe Seite, developers.openai.com)). Das Vorgehen steht in Grundkurs, Kapitel 06, ein Werkstattbericht dazu unter Neues Modell, alte Anweisungen.
• Unterlagen und Suche behalten ihren Index, solange das Embedding-Modell bleibt. Wer es wechselt, bettet den ganzen Bestand neu ein, beschrieben in Grundkurs, Kapitel 04, Ebene 3.
• Werkzeuge bleiben, wie sie sind. Ob das neue Modell sie richtig aufruft, zeigt ein Test mit denselben Aufrufen.
• Ein Training gilt für das Grundmodell, an dem es gemacht wurde. OpenAI verlangt für jede weitere Abstimmung einen neuen Lauf samt Pflege der Trainings- und Prüfdaten. Bei OpenAI enden abgestimmte Fassungen mit ihrem Grundmodell (Abkündigungsliste (externe Seite, developers.openai.com)). Für die abgestimmten Fassungen von o4-mini und gpt-4.1-nano sind so am 23.10.2026 abgeschaltet worden. Die von gpt-4o, gpt-4o-mini, gpt-4.1 und gpt-4.1-mini enden am 14.01.2027.
• Offene Gewichte ändern die Lage. Ein selbst abgestimmtes Modell mit offenen Gewichten bleibt nutzbar, solange man es selbst betreibt. Die Lizenz des Ausgangsmodells geht dabei mit, wie Kapitel 02 zeigt.
• Eine Destillation braucht bei einem neuen Lehrer einen neuen Schüler, wenn der Schüler mit dem Lehrer mithalten soll.
• Ein anderes Modell ist selbst ein Wechsel. Gemessen wird es mit demselben Prüfsatz wie das bisherige.

Auch eine Ent­schei­dungs­hilfe des Herstellers hat ein Datum. In der Fassung vom 04.03.2025 (externe Seite, web.archive.org) nannte Anthropics Übersicht zum Prompt Engineering zehn Gründe, die beim Steuern eines Verhaltens für den Prompt und gegen ein Training sprachen. Einer davon war der Modellwechsel: Nach einem Update müsse eine abgestimmte Fassung womöglich neu trainiert werden, ein Prompt laufe meist unverändert weiter.

Der Abschnitt stand nach den Abbildern des Internet Archive bis zum 23.02.2026 auf der Seite und fehlt seit demselben Tag ersatzlos. Der Satz davor steht auf der heutigen Seite (externe Seite, platform.claude.com) weiter: Wartezeit und Kosten ließen sich manchmal leichter über ein anderes Modell senken. Einen Grund für die Streichung nennt Anthropic nicht. Wie oft sich die Empfehlungen für Prompts in kurzer Zeit geändert haben, zeigt Grundkurs, Kapitel 06 in Ebene 1.

Das sparsame Training lernt weniger und vergisst weniger

LoRA trainiert eine kleine Zusatzdatei und lässt die Gewichte stehen, wie Beurteilen und Einordnen, Kapitel 02 beschreibt. Biderman und Mitautoren von der Columbia University und Databricks haben gemessen, was das kostet (Arbeit (externe Seite, arxiv.org), begutachtet und erschienen in Transactions on Machine Learning Research). Sie verglichen LoRA mit vollem Training an Llama-2-7B, für Code und Mathematik.

In den üblichen niedrigen Rängen blieb LoRA deutlich hinter dem vollen Training zurück. Dafür behielt das Modell besser, was es außerhalb des Zielgebiets konnte.

Der Abstand hing an der Art des Trainings. Beim Weitertrainieren auf rund 20 Milliarden Token Rohtext schloss auch ein hoher Rang ihn nicht. Beim Instruk­ti­ons­trai­ning auf rund 100.000 Paaren aus Frage und Antwort konnten hohe Ränge gleichziehen. Die Autoren empfehlen LoRA deshalb für das Instruk­ti­ons­trai­ning. Beim Weitertrainieren bleibt nach ihren Zahlen das volle Training stärker.

Eine zweite Messung betrifft ein anderes Verfahren, das bestärkende Lernen. Schulman und Mitautoren bei Thinking Machines fanden LoRA dort schon bei Rang 1 gleichwertig (Beitrag (externe Seite, thinkingmachines.ai), September 2025). Der Beitrag stammt von einem Anbieter, der Fine-Tuning als Dienst verkauft.

Wie gut das sparsame Verfahren mithält, hängt also am Verfahren und an der Menge. Beim Instruk­ti­ons­trai­ning auf Paaren aus Frage und Antwort genügt es oft. Für Fachwissen in großer Menge ist es der schwächere Weg, und Wissen gehört nach Ebene 2 ohnehin zuerst in den Kontext.

Training und Suche lassen sich verbinden

Ein Training kann dem Modell den Umgang mit dem Kontext beibringen. Wer beides verbindet, soll laut OpenAIs Leitfaden mit Beispielen trainieren, in denen Suchergebnisse stehen. So lernt das Modell schon im Training, mit dem Kontext umzugehen.

Zhang, Patil und Mitautoren von der UC Berkeley bauen das zu einem Verfahren aus (Arbeit zu RAFT (externe Seite, arxiv.org)). Das Modell bekommt im Training Fragen mit beigelegten Dokumenten und lernt, die unpassenden zu übergehen. Mit einer Suche davor verbesserte das die Ergebnisse auf PubMed, HotpotQA und den drei Gorilla-Datensätzen für Pro­gram­mier­schnitt­stellen. Die Autoren ordnen das als Suche in einem Fachgebiet ein. PubMed und Gorilla sind solche Fachgebiete, HotpotQA zählen sie selbst zu den eher allgemeinen. Gemessen ist ein Modell, Llama2-7B. Bei HotpotQA blieb es mit RAFT unter GPT-3.5 mit Suche. Die beste Art, Wissen einzubringen, halten die Autoren dabei für eine offene Frage. Schon die erste Arbeit zu RAG stimmte Sucher und Erzeuger aufeinander ab, wie Agenten und Harness, Kapitel 03 in Ebene 3 zeigt.

Ovadia und Mitautoren fanden in der Messung aus Ebene 2 das Gegenteil: Training und Suche zusammen lagen unter der Suche allein. Ihr Training war ein Weitertrainieren auf Rohtext, ohne Fragen und ohne Fundstellen. RAFT trainiert genau den Umgang mit Fundstellen. Beide Befunde gelten in ihrem Aufbau.

Jeder Weg hat seine eigene Messung

Der Prüfsatz aus Ebene 1 ist der gemeinsame Anfang. Was er misst, hängt am Weg:

• Prompt und stehender Kontext: derselbe Satz Fälle nach jeder Änderung, wie in Grundkurs, Kapitel 06 beschrieben.
• Unterlagen und Suche: zuerst, ob die richtige Stelle gefunden wurde, dann, ob das Modell sie richtig gelesen hat. Die beiden Fragen trennt Agenten und Harness, Kapitel 03.
• Werkzeuge: ob das Modell das richtige Werkzeug mit den richtigen Angaben aufruft, und bei einer Handlung, was bei einem Fehler geschieht.
• Training: ein Prüfsatz, der im Training nicht vorkam, und derselbe Satz am Grundmodell mit demselben Prompt. Die vier Bedingungen dafür stehen in Beurteilen und Einordnen, Kapitel 02, Ebene 3.
• Regler: nur die formale Gültigkeit der Ausgabe. Ob der Inhalt stimmt, misst ein eigener Fall.
• Ein anderes Modell: derselbe Prüfsatz an beiden Modellen.

Für Entscheider rechnet OpenAIs Leitfaden einen Kundendienst durch. Ein richtig gelöster Fall bringt dort angenommene 20 Dollar. Ein Fehler kostet je nach Art 40 oder 1.000 Dollar, der hohe Betrag für einen verlorenen Kunden, angenommen bei 5 Prozent der Fehler. In der Tabelle des Leitfadens gleichen sich Ertrag und Kosten bei 81,5 Prozent richtiger Fälle aus. Die Beträge sind Annahmen des Herstellers. Übertragbar ist der Rechenweg: ein Wert je Ereignis, seine Häufigkeit, und daraus die Quote, ab der sich ein Weg rechnet.

Der Leitfaden gibt dazu einen Rat in derselben Richtung. Aus den einfachen Verfahren soll so viel Genauigkeit wie möglich herausgeholt werden, bevor aufwendigere Suche oder ein Training dazukommen.

Die Suche gewinnt bei Fakten, viele Beispiele holen ein Training ein, Empfehlungen veralten

Der Vorsprung der Suche gilt für Faktenwissen. Ovadia und Mitautoren haben ihn an Faktenfragen gemessen. Für eine Form wie die isländische Satzkorrektur zeigt OpenAIs Fall die umgekehrte Reihenfolge: Dort half das Training mehr als Beispiele, und zusätzlicher Kontext senkte den Wert.

Ein Prompt mit Hunderten Beispielen kann mit einem Training gleichziehen. Seine Kosten fallen dann bei jeder Anfrage an, im Über­set­zungs­ver­such der Arbeit zu Many-Shot rund 85.000 Token für 997 Beispiele. Ob das billiger ist als ein Training, entscheidet die Menge, wie in der Rechnung oben.

Eine Empfehlung des Herstellers gilt für ihren Stand. Anthropics zehn Gründe für den Prompt standen am 04.03.2025 auf der Seite und fehlen dort seit dem 23.02.2026. Wer einen Weg mit einer Herstellerseite begründet, notiert das Datum des Abrufs dazu.