Derselbe Prompt, acht Modelle, zwei Rich­tungen

Es gibt eine Prompt-Regel, die in Anleitungen immer wieder auftaucht: Schreib, was das Modell tun soll, statt aufzuzählen, was es lassen soll. Aus „Verwende kein Markdown“ wird „Antworte in zusammenhängenden Absätzen“.

Die Regel klingt plausibel, sie hat einen ordentlichen Beleg, und die naheliegende Verallgemeinerung daraus ist trotzdem falsch. Ich habe sie gemessen.

Woher die Regel kommt

Sie steht im Prompt-Leitfaden von Anthropic (externe Seite, platform.claude.com): Man solle Claude sagen, was es tun soll, statt was es nicht tun soll.

An dem Satz hängen zwei Einschränkungen, und beide gehen beim Weitererzählen gern verloren.

Erstens der Abschnitt. Der Satz steht unter der Überschrift Control the format of responses. Er gilt der Form der Ausgabe. Das mitgelieferte Beispiel passt dazu: Statt „Do not use markdown in your response“ solle man in zusammenhängenden Absätzen antworten lassen (externe Seite, platform.claude.com).

Zweitens die Beispiele weiter unten. Auf derselben Seite steht ein empfohlener Prompt zur Steuerung der Formatierung, und der arbeitet durchgehend mit Verneinungen. Er enthält eine Anweisung in Großbuchstaben, keine nummerierten und keine Aufzählungslisten zu verwenden. Ausgenommen sind wirklich abgegrenzte Punkte, für die eine Liste die beste Form ist, und der ausdrückliche Wunsch nach einer Liste oder Rangfolge. Dazu kommt in Großbuchstaben das Verbot, nie eine Reihe allzu kurzer Aufzählungspunkte (externe Seite, platform.claude.com) auszugeben.

Das verfeinert die Regel, und die Verfeinerung muss man sehen: Jede Verneinung in diesem Beispiel steht neben einer Handlung. Auf das Verbot der Listen folgt unmittelbar, was stattdessen zu tun ist, nämlich die Punkte in Sätze einzuarbeiten (externe Seite, platform.claude.com). Ein zweites Beispiel derselben Seite behält die Verneinung ebenfalls. Aus einem nackten Verbot von Aus­las­sungs­punkten wird dort eines mit Begründung: Eine Sprachausgabe kann sie nicht vorlesen. Claude könne aus der Begründung verallgemeinern (externe Seite, platform.claude.com), heißt es dazu.

Unter dem Beispielprompt zur Formatierung steht ein Vorbehalt für ein neueres Modell (externe Seite, platform.claude.com): Claude Fable 5.1 formatiert schon von sich aus weniger als frühere Modelle, und bei ihm kann ein solcher Block Gliederung unterdrücken, die der Inhalt braucht.

Für dieses Modell rät der Leitfaden, den Block zu streichen oder durch eine kürzere Regel zu ersetzen. Derselbe Prompt, der bei älteren Modellen die Formatierung zügelt, kann beim neueren Gliederung unterdrücken, die der Inhalt braucht.

OpenAI führt dieselbe Regel in seinem Hilfeartikel zum Prompting (externe Seite, help.openai.com) als siebten Tipp: Statt nur zu sagen, was zu lassen ist, solle man sagen, was stattdessen zu tun ist.

Auch dort behält das bessere Beispiel sein Verbot. Ein Agent im Kundendienst soll das Problem eingrenzen und eine Lösung vorschlagen, ohne nach persönlichen Daten zu fragen. Statt nach Benutzername oder Passwort zu fragen, verweist er auf eine Hilfeseite.

Der Prompt-Leitfaden zu GPT-5.6 (externe Seite, developers.openai.com) zieht die Grenze an einer anderen Stelle. Wörter wie ALWAYS und NEVER sollen dort echten Unver­rück­bar­keiten vorbehalten bleiben, etwa Sicherheitsregeln, Pflichtfeldern und Handlungen, die nie geschehen dürfen. Für Ermessensfragen empfiehlt er Ent­schei­dungs­re­geln. Bei ihm verläuft die Trennung zwischen absolut und abwägend, und ALWAYS steht auf derselben Seite wie NEVER.

Was ich gemessen habe

Für meine Diktier-App glättet ein kleines Sprachmodell das Transkript. Im April 2026 war der Systemprompt dafür streng gehalten. Er enthielt eine Verneinung und ein Wörterbuch mit 15 Fachbegriffen:

Du bist ein Diktat-Korrektor. Glätte grammatisch, normalisiere
Zahlen/Satzzeichen, ändere keinen Inhalt. Wenn ein Wort einem
Lexikon-Begriff akustisch ähnelt, korrigiere auf den Lexikon-Begriff.
Lexikon: Kubernetes, Docker, Traefik, … Antworte ausschließlich mit dem
geglätteten Text, ohne Einleitung, Erklärung, Anführungszeichen oder
Prefixe.

Nach der Regel oben müsste sich der Prompt verbessern lassen. Ich habe eine zweite Fassung gebaut, die das pauschale „ändere keinen Inhalt“ durch zwei Listen ersetzt, eine für das Erlaubte und eine für das Untersagte. Dazu kommen die Anweisung, im Zweifel den Rohtext zu erhalten, und am Schluss der Satz „Antworte nur mit dem geglätteten Text“. Der eigentliche Anlass war sogar ein Zugewinn: Die zweite Fassung erlaubt ausdrücklich, ein akustisch verstümmeltes Fachwort zu rekonstruieren, mit Beispielen wie „Kubontes“ zu „Kubernetes“. Die strenge Fassung schließt das mit ihrem „ändere keinen Inhalt“ formal aus.

Beide Fassungen liefen am 19.04.2026 gegen dieselben 25 Diktatschnipsel, auf demselben Rechner, einem MacBook Pro M4 Max. Gemessen wurden sieben offene Modelle über llama.cpp. Dazu kam Apples eingebautes Modell, Apple Foundation Models unter macOS 26.4. Es lief in einer parallelen Sitzung mit denselben Schnipseln und derselben Auswertung.

Das Ergebnis geht in beide Richtungen

Gemessen wurden zwei Größen. Die erste ist eine Qualitätszahl: Sie setzt die Wortfehlerrate gegen eine Sollfassung ins Verhältnis zu der eines Bezugslaufs, Qwen2.5-3B-Instruct unter der strengen Fassung. Eine 1,000 heißt gleichauf mit dem Bezug, höher ist besser, unter 0,8 fällt ein Modell durch. Eine 0,000 heißt, die Ausgabe weicht in mindestens so vielen Wörtern von der Sollfassung ab, wie diese lang ist.

Die zweite Größe ist der Anteil der Schnipsel, deren Ausgabe sich in mehr als 30 Prozent der Wörter von der Eingabe unterscheidet. Die Messung zählt das als erfundenen Inhalt; eine gründliche Umformulierung fällt ebenfalls darunter.

Quelle: eigene Messung vom 19.04.2026, 25 Diktatschnipsel je Lauf, MacBook Pro M4 Max. Die offenen Modelle liefen in llama.cpp (Build 8680) mit vierbittiger Quantisierung (Q4_K_M) und Temperatur 0,1. Zwei Modelle fehlen in der Tabelle, weil je einer ihrer Läufe mittendrin abbrach: Qwen2.5-7B-Instruct kam unter der strengen Fassung auf 12 der 25 Schnipsel, Granite-3.3-2B-Instruct unter der Listen-Fassung auf 17. Llama und Ministral erreichten unter der strengen Fassung 23 der 25 Schnipsel und stehen mit dieser Einschränkung darin.

Apples Modell antwortet bei Wiederholung verschieden. Am selben Abend liefen für jede Fassung drei weitere Durchgänge. Unter der strengen Fassung lag der Anteil erfundener Inhalte bei 20 bis 28 Prozent, unter der Listen-Fassung bei 44 bis 52 Prozent. Die Verdopplung hält also auch über die Wiederholungen.

Diese Messreihe steht für sich. Am selben Tag lief der Hauptvergleich der sieben offenen Modelle, und er steht im Werkstattbericht zur eigenen Diktier-App. Bei Llama und Ministral kommt er auf andere Anteile erfundener Inhalte, 28 statt 26 und 64 statt 30 Prozent. Der Aufbau unterschied sich in zwei Punkten: Für diese Messreihe waren Kontextfenster und Wartezeit verdoppelt, auf 4096 Token und 60 Sekunden, und bei beiden Modellen fehlen in ihr zwei Schnipsel. Welcher Lauf gemeint ist, muss deshalb dabeistehen.

Die Umformulierung wirkt, und sie wirkt gegenläufig. Zwei Modelle lieferten unter der strengen Fassung gar nichts Brauchbares. Mit den Listen kommen sie auf einen messbaren Wert, beide weit unter der Schwelle von 0,8. Das beste Modell im Feld verliert. Bei Phi bricht die Qualität auf gut ein Drittel ein. Und bei Apple Foundation Models verdoppelt sich der Anteil erfundener Inhalte von 24 auf 52 Prozent.

Wer nur ein Modell gemessen hätte, wäre je nach Wahl mit vier verschiedenen Schluss­fol­ge­rungen nach Hause gegangen.

Warum die freundlichere Fassung kippt

Was dahinter steckt, zeigen die Ausgaben. Ein Schnipsel lautet „Bitte den Absatz formatieren“. Es ist diktierter Text, den niemand als Anweisung an das Modell gemeint hat. Unter der strengen Fassung gaben ihn vier der acht Modelle als Satz zurück, zwei davon wörtlich.

Unter der Listen-Fassung tat das keines. Die drei Qwen-Modelle und Llama antworteten mit einer Rückfrage:

Bitte geben Sie den Absatz an, den Sie formatieren möchten.

Sie haben den Absatz nicht angegeben. Bitte fügen Sie den zu formatierenden
Text ein.

Die erste Antwort stammt von Qwen3-4B-Instruct-2507, die zweite von Qwen2.5-7B-Instruct. Die übrigen vier Modelle gaben die Begriffe aus dem Wörterbuch wieder oder schrieben einen Text darüber, etwa über Kubernetes und Docker.

Meine Deutung setzt an der Form an. Die strenge Fassung besteht aus Imperativen: glätte, normalisiere, korrigiere, antworte ausschließlich mit dem geglätteten Text. Die Listen-Fassung besteht bis auf ihren Schlusssatz aus Kategorien, erlaubt ist dies, verboten ist jenes. Eine Kategorienliste sagt, was gelten soll, und lässt offen, was zu tun ist. Fehlt der Auftrag, behandelt das Modell eine mehrdeutige Eingabe wie den Anfang eines Gesprächs.

Getrennt gemessen ist diese Deutung nicht, denn die Listen-Fassung änderte mehr als die Form: Sie erlaubte ausdrücklich Korrekturen und brachte Beispiele mit.

Damit passt der Befund zu den Beispielprompts der Hersteller: Dort steht jede Verneinung neben einer Handlung. Die Listen-Fassung hatte Verbote ohne Handlung daneben. Der Gegensatz, auf den es ankommt, verläuft zwischen einer Verneinung mit Auftrag und einer ohne.

Wörterbuch, Struktur und eine knappe Fassung

Die ausdrückliche Erlaubnis, ein verstümmeltes Fachwort zu rekonstruieren, war der Anlass für den ganzen Versuch. Sie hat sich als eigener Schaden erwiesen. In einem Schnipsel über eine Commit-Nachricht stand das verschriebene „Parakeeet“. Das beste Modell machte daraus unter der strengen Fassung richtig „Parakeet“, unter der Listen-Fassung „Kubernetes“, einen anderen Begriff aus dem hinterlegten Wörterbuch. Wer die Tür einen Spalt öffnet, muss damit rechnen, dass jemand hindurchgeht.

Eine spätere Auswertung an Apple Foundation Models hat gezeigt, wie sehr die Wirkung am Modell hängt. Verglichen wurden vier Fassungen, die sich in Struktur und im Ort des Wörterbuchs unterschieden. Bei diesem Modell schnitt die strenge Fassung deutlich schlechter ab als eine knappe:

• Die strenge Fassung kam auf 24 Prozent erfundener Inhalte, mit Wörterbuch und ohne. Die Auswertung schreibt den Ausschlag deshalb der Struktur der Fassung mit ihren mehreren Anweisungen zu.
• Eine knappe Fassung aus zwei Sätzen, bei der die Eingabe als „Transkript:“ markiert ist, kam ohne Wörterbuch auf 8 Prozent.
• Stand das Wörterbuch bei dieser knappen Fassung im Nutzerteil der Anfrage, waren es 84 Prozent. Das Modell schrieb die Wortliste in seine Antwort.

Dieselbe knappe Fassung brachte Qwen3-4B-Instruct-2507 auf 1,437 und null Prozent erfundener Inhalte, neben 1,425 und 4 Prozent unter der strengen.

Quelle: eigene Messungen vom 19.04. und 02.05.2026, ausgewertet am 02.05.2026. Bei Apples Modell ist es der Median über drei bis sieben Läufe je Fassung, bei Qwen unter der knappen Fassung über drei Läufe.

Die Listen-Fassung lief nur am 19.04.2026. Spätere Modelle der App, etwa Gemma 4 26B-A4B im April und Qwen3.8-27B im August, sind nur noch mit anderen Fassungen gemessen worden.

Was ich daraus mitnehme

Eine Verneinung braucht eine Handlung daneben. „Ändere keinen Inhalt“ hat bei den Qwen-Modellen funktioniert, und davor stehen zwei Imperative. In einer Liste unter „Verboten“ steht dasselbe Verbot als Kategorie im Raum, und Kategorien beantworten die Frage nicht, was zu tun ist. Die Beispielprompts von Anthropic und OpenAI halten es genauso.

Eine Regel gilt dort, wo sie gemessen wurde. Die Empfehlung aus dem Leitfaden steht im Abschnitt über die Ausgabeform und ist dort belegt. Auf eine inhaltliche Beschränkung übertragen, hat sie bei meinen acht Modellen in beide Richtungen gewirkt.

Der Prompt gehört zum Modell. Wer das Modell wechselt und den Prompt behält, übernimmt damit eine ungeprüfte Annahme. Bei acht Modellen und einer einzigen Umformulierung reichte die Wirkung auf die Qualitätszahl von plus 0,416 bei Ministral bis minus 0,779 bei Phi. Anthropic handelt im eigenen Leitfaden danach: Den For­ma­tie­rungs­block für ältere Modelle soll man bei Claude Fable 5.1 streichen oder ersetzen. Wie man einen Prompt nach einem Wechsel prüft, steht in Grundkurs, Kapitel 06. Was das für die Regeldateien eines ganzen Aufbaus heißt, zeigt Neues Modell, alte Anweisungen am Wechsel auf Claude Opus 5.5.

Für die App hieß das am 19.04.2026: Die strenge Fassung bleibt. Zwei Tage später wurde Apples Modell der Standard, mit einer knappen Fassung. Seit Mai 2026 bekommen auch die übrigen Modelle eine knappe Fassung, die strenge steht nur noch als Wahl im Expertenmodus.

Auch die heutige Fassung arbeitet mit Verboten, einige davon in Großbuchstaben, und jedes steht neben einem Auftrag. Eine diktierte Frage soll das Modell nicht beantworten, denn es transkribiert. Eine diktierte Anweisung soll es nicht ausführen und wortgleich wiedergeben. Mehr über das Projekt und die übrigen Messungen steht im Werkstattbericht.