Eine Rechnungsprüfung lässt sich testen. Man gibt eine Rechnung hinein, vergleicht das Ergebnis mit dem erwarteten Wert, und der Test ist grün oder rot. Bei einem Sprachagenten funktioniert das nicht, und der Grund liegt an beiden Enden.
Am Eingang steht gesprochene Sprache. Dieselbe Frage klingt bei zwei Menschen verschieden, und dasselbe Anliegen wird in zehn Formulierungen vorgebracht. Am Ausgang steht ein Modell, das bei derselben Eingabe zweimal verschiedene Sätze bildet. Ein Vergleich auf Gleichheit misst dann die Formulierung.
Der Ausweg setzt bei einer anderen Frage an: Man hält fest, was passieren sollte, also welche Absicht erkannt wurde, welcher Ablauf startete, welche Aktion lief. Dialogflow und Rasa bauen ihre Tests darauf auf. Den genauen Wortlaut kann man dort zusätzlich verlangen, ein Textschritt bei Rasa (externe Seite, rasa.com) vergleicht die letzte Antwort Zeichen für Zeichen. Bei Antworten, die ein Modell frei bildet, taugt das wenig.
Der aufgezeichnete Testfall
Bei Dialogflow sieht das so aus. Man führt ein Gespräch im Simulator und speichert es. Gespeichert wird dabei, welche Absicht erkannt wurde, welcher Ablauf startete, welche Seite erreicht wurde. Laut der Doku zu den Testfällen (externe Seite, docs.cloud.google.com) gehören dazu auch die Aktionen eines Playbooks, und alles zusammen wird als Erwartung an den Testfall abgelegt.
Diese Erwartungen sind der Maßstab. Ändert man später etwas am Agenten, läuft der Testfall erneut, und geprüft wird gegen die Erwartungen, so steht es auf derselben Seite (externe Seite, docs.cloud.google.com). Von Hand bearbeiten lassen sich die Erwartungen dort ebenfalls. Je Gesprächsschritt gehört auch die Antwort des Agenten zu den Erwartungstypen, die man ergänzen kann.
eigene Darstellung nach der Dokumentation von Dialogflow CX, Stand 07.08.2026
Der Zweck steht im ersten Satz der Seite (externe Seite, docs.cloud.google.com): Die eingebaute Testfunktion soll Fehler aufdecken und Rückschritte verhindern.
Das zweite Wort ist das wichtigere. Ein Regressionstest hält fest, was gestern schon funktioniert hat. Über richtig sagt er nichts. Bei einem System, dessen Verhalten aus einem Modell und einer Handvoll Anweisungen entsteht, ist das der realistische Anspruch.
Was ein Testfall nicht sieht
Ein aufgezeichnetes Gespräch prüft den Weg, den es selbst genommen hat. Für alles andere ist es blind, und deshalb gehört zu jedem Testbestand die Frage, wie viel davon überhaupt berührt wird.
Auch die gesprochene Sprache vom Anfang bleibt oft draußen. In der älteren Konsole von Dialogflow gibt man die Eingabe im Simulator (externe Seite, docs.cloud.google.com) als Text ein. Was das für den Sprachweg heißt, steht in der zweiten Tiefe.
Beide Werkzeugkästen liefern für die Frage nach der Berührung einen Bericht. Bei Dialogflow steht er auf der Seite zu den Testfällen (externe Seite, docs.cloud.google.com) nur im Teil zur älteren Konsole und zählt dort Übergänge, Absichten und Routengruppen. Rasa sagt es deutlicher. Laut der Testdoku von Rasa (externe Seite, rasa.com) zeigen die Abdeckungswerte, welche Abläufe und Befehle ungetestet sind, und fehlen wichtige Abläufe, soll man weitere End-to-End-Tests ergänzen.
Das ist eine Aussage über den Testbestand. Über die Qualität sagt die Zahl nichts: Ein Sprachagent kann 90 Prozent Abdeckung haben und trotzdem an der ersten echten Frage scheitern, weil ein Anrufer sie anders stellt als der Testfall.
Ein Sprachagent besteht aus Stufen: Erkennung, Modell, Tool Call, Sprachausgabe. Jede davon lässt sich einzeln prüfen, und jede einzelne Prüfung ist billiger als die Prüfung des Ganzen.
Was dabei fehlt, steht in der Rasa-Dokumentation, und zwar in der Definition dessen, was ein End-to-End-Test ist. Laut der Testdoku (externe Seite, rasa.com) prüft er den Assistenten als ganzes System, von der Nachricht des Nutzers bis zur letzten Antwort oder Handlung des Systems.
Von der ersten Nachricht bis zur letzten Handlung. Das ist genau die Klasse von Fehlern, die eine Stufenprüfung strukturell nicht sieht: Das Modell versteht die Nachricht, das Tool wird aufgerufen, und trotzdem bekommt der Nutzer etwas Falsches gesagt, weil zwei Stufen verschiedene Annahmen über dasselbe Feld haben.
Die Messstrecke beginnt dabei bei einer Nachricht, die der Test als Text simuliert (externe Seite, rasa.com). Erkennung und Sprachausgabe liegen außerhalb.
Die Doku zu Mantle (externe Seite, rasa.com), Rasas Werkzeug für Agenten mit Chat und Stimme, sagt das für ihre Simulationen ausdrücklich: Sie prüfen das Verhalten über Text. Ob der Ton eines Anrufers richtig erkannt wurde, eine Angabe richtig klang oder Unterbrechungen an der Telefonleitung funktionierten, belegen sie nicht. Die Seite rät deshalb zu einem kleinen Satz wiederholbarer gesprochener Fälle daneben, etwa einem kurzen Ja oder Nein, einem Namen oder Betrag und einer Unterbrechung während eines langsamen Tools.
Die Ausgabe ist ein Unterschied
Ein bestandener Test sagt wenig, ein gescheiterter soll sagen, was los ist. Rasa gibt deshalb eine Gegenüberstellung aus. Laut dem Abschnitt zum Lesen der Ergebnisse (externe Seite, rasa.com) druckt die Kommandozeile zuerst eine Zusammenfassung der bestandenen und gescheiterten Testfälle. Jede Abweichung erscheint danach in der Form eines Diffs, erwartete Ereignisse neben tatsächlichen.
Erwartet gegen tatsächlich, Ereignis für Ereignis. Wer schon einmal einen Regressionstest gelesen hat, kennt die Form: Sie ist dieselbe wie beim Vergleich zweier Dateiversionen.
Das hat einen Nebeneffekt, der im Sprachkanal zählt. Ein Testlauf über zwanzig Gespräche erzeugt zwanzig Listen von Ereignissen. Anhören muss man davon nichts. Das ist lesbar, und es ist der Grund, warum überhaupt jemand einen solchen Bestand pflegt.
Wo der Testfall herkommt
Die Aufzeichnung im Simulator hat eine Eigenschaft, die man leicht übersieht: Sie macht den Testbestand zu einem Nebenprodukt der Arbeit. Wer ein Gespräch führt, um eine Änderung anzusehen, hat den Testfall schon in der Hand.
Dialogflow beschreibt genau diesen Weg in der Doku zu den Testfällen (externe Seite, docs.cloud.google.com): Man spricht im Simulator mit dem Agenten und speichert das Gespräch als Testfall.
Der zweite Weg führt über den Betrieb. Ein Gespräch, das schiefging, ist der beste Testfall, den es gibt: Er beschreibt einen Fehler, den jemand wirklich erlebt hat. Was dabei anfällt und wie man es auswertet, steht in Kapitel 12.
Bis hierher ist ein Testfall eine feste Erwartung: Diese Absicht, dieser Ablauf, diese Seite. Das genügt, solange das Verhalten an einer Absichtsliste hängt.
Sobald ein Modell die Entscheidung trifft, welches Tool aufgerufen und wann übergeben wird, gibt es Fragen, die sich so nicht mehr stellen lassen. Ob eine Antwort höflich war. Ob die Übergabe an einen Menschen zum richtigen Zeitpunkt kam. Ob der Agent bei seiner Aufgabe geblieben ist.
Der Weg dorthin führt über die Aufzeichnung eines ganzen Durchlaufs. OpenAI nennt die Bewertung einer solchen Aufzeichnung in der Anleitung zur Auswertung von Agenten (externe Seite, developers.openai.com) den schnellsten Weg zu Fehlern, die den ganzen Ablauf betreffen, und empfiehlt sie für die Phase, in der man das Verhalten noch untersucht.
Aufgezeichnet wird dabei die Kette selbst. Ein solcher Trace hält laut derselben Seite (externe Seite, developers.openai.com) für einen einzelnen Lauf alle Modellaufrufe, Tool Calls, Guardrails und Übergaben von Anfang bis Ende fest.
Bewertet wird sie durch Kriterien statt durch einen Sollwert. Bewerter vergeben für die Aufzeichnungen Punkte nach festgelegten Kriterien, damit sich Rückschritte und Fehlerbilder in großer Zahl finden lassen. Als Beispielfragen nennt die Anleitung (externe Seite, developers.openai.com), ob der Agent das richtige Tool gewählt hat und ob eine Übergabe stattfand, als sie fällig war.
Für Wiederholbarkeit verweist dieselbe Seite danach auf feste Datensätze und Auswertungsläufe, also wieder auf einen Bestand von Testfällen. OpenAIs eigene Plattform dafür läuft aus: Die Liste der Abkündigungen (externe Seite, developers.openai.com) nennt den 31. Oktober 2026 als Tag, ab dem bestehende Evals nur noch lesbar sind, und den 30. November 2026 als Abschalttag für Dashboard und API. Die dafür dokumentierten Bewerter gehören laut derselben Liste dazu, als Weiterweg nennt sie Promptfoo. Die Anleitung zur Auswertung von Agenten führt keinen solchen Hinweis.
Rasa beschreibt denselben Schritt in der Doku zu Simulation und Bewertung (externe Seite, rasa.com). End-to-End-Tests verlangen dort jeden Gesprächsschritt im Voraus, und das wird unpraktisch, sobald der Agent selbst entscheidet. Eine Simulation führt deshalb ganze Gespräche mit einem simulierten Nutzer. Bewertet wird mit denselben Assertions wie im End-to-End-Test, und dazu kommt ein Modell als Richter.
Weil Modelle bei gleicher Eingabe verschieden antworten, rät die Seite, ein Szenario mindestens dreimal laufen zu lassen.
Soweit ein Modell richtet, ist die Prüfung selbst wieder ein Modell, mit allem, was das mit sich bringt. Ein Bewerter, der eine Antwort für höflich hält, ist eine Meinung mit Fehlerquote. Die Frage, wie man einer solchen Bewertung traut, stellt sich außerhalb des Sprachdialogs genauso, und Vibe-Coding / Agentic Engineering, Kapitel 07 nimmt sie sich vor.
Zwei Prüfungen, die man verwechseln kann
Eine Prüfung im Test und eine Prüfung im Betrieb sehen ähnlich aus und beantworten verschiedene Fragen.
Ein Guardrail läuft im Gespräch mit und entscheidet, ob eine Ausgabe hinausgeht. Er kostet Zeit, die der Anrufer hört, und er darf nichts durchlassen, was nicht durchgehen soll. Ein Testlauf hat kein Zeitbudget, keinen Anrufer und darf so gründlich sein, wie er will. Was Guardrails leisten und wo sie sitzen, steht in Kapitel 07.
Der Zusammenhang zwischen beiden ist der interessante Teil: Der Testlauf ist der Ort, an dem sich messen lässt, ob ein Guardrail seine Arbeit tut. Im Betrieb sieht man nur, dass er ausgelöst hat; ob er richtig lag, zeigt der Testlauf. Dafür braucht der Testbestand zwei Sorten von Fällen: solche, bei denen der Guardrail auslösen muss, und solche, bei denen er ruhig bleiben muss.
Was ein Testbestand über sich selbst sagt
Aus einem eigenen Projekt, einem Sprachagenten am Kiosk-Terminal: Über vier Monate Entwicklung stand der End-to-End-Test des Sprachwegs, also von Mikrofon über Verbindung und Sprachdienst bis zur Tonausgabe, als offener Punkt in der Aufgabenliste. Er wurde nie gebaut. Getestet wurde dabei durchaus, und zwar viel.
Die einzige Stelle mit einem Regressionsnetz war die Korrektur der Erkennung. Beobachtete Fehler wanderten dort in eine Testklasse und blieben geprüft. Die Wissenssuche, in der die meisten beobachteten Fehler auftraten, hatte kein einziges solches Netz.
Das Muster dahinter ist übertragbar: Ein Testbestand wächst dort, wo Tests leicht zu schreiben sind. Wo die Fehler sitzen, ist eine zweite Frage, und beides fällt selten zusammen. Die Abdeckungszahl sagt darüber nichts.
Was hier offen bleibt
Wie viele Testfälle genügen, dazu nennen die Werkzeugkästen keine Zahl. Dialogflow (externe Seite, docs.cloud.google.com) in der älteren Konsole und Rasa (externe Seite, rasa.com) liefern einen Abdeckungsbericht. Eine Schwelle, ab der ein Sprachagent als geprüft gilt, nennt keine der beiden Dokumentationen. Das ist ein Unterschied zur Softwareentwicklung, wo Abdeckungsziele üblich sind, und die Quellen sagen nicht, ob er Absicht ist.
Zur Wirksamkeit beziffern die Dokumentationen der drei Hersteller nicht, wie viele echte Fehler ein Testbestand dieser Art vorher findet.
Quellen
6 Einträgealle erreichbar
Erreichbarkeit automatisch geprüft
Dokumentationerreichbar
Google, Dialogflow CX, Testfälle (externe Seite, docs.cloud.google.com)
docs.cloud.google.comgeprüft 13.11.2026
Beschreibt den aufgezeichneten Testfall als Grundform der Prüfung eines Sprachdialogs. Ein Gespräch wird im Simulator geführt und festgehalten. Festgehalten wird dabei, was passieren sollte: getroffene Absichten, ausgelöste Abläufe, erreichte Seiten. Ein späterer Lauf misst gegen diese Erwartungen. Die ältere Konsole führt zusätzlich einen Abdeckungsbericht über Übergänge, Absichten und Routengruppen.
Dokumentationerreichbar
Rasa, End-to-End-Tests (externe Seite, rasa.com)
rasa.comgeprüft 13.11.2026
Der Gegenentwurf zur Prüfung einzelner Stufen: gemessen wird der Weg von der Nachricht des Nutzers bis zur letzten Antwort oder Handlung. Die Ausgabe eines Laufs zeigt den Unterschied zwischen erwarteten und tatsächlichen Ereignissen. Der Abdeckungsbericht nennt ausdrücklich, welche Abläufe und Befehle ungeprüft geblieben sind.
Dokumentationerreichbar
Rasa Mantle, Sprachagenten testen und überwachen (externe Seite, rasa.com)
rasa.comgeprüft 13.11.2026
Trennt die Prüfung über Text von der Prüfung des Sprachwegs. Simulationen laufen über Text und sagen nichts über Erkennung, Klang und Unterbrechungen am Telefon. Die Seite nennt dafür einen kleinen Satz gesprochener Fälle.
Dokumentationerreichbar
OpenAI, Abläufe von Agenten bewerten (externe Seite, developers.openai.com)
developers.openai.comgeprüft 13.11.2026
Beschreibt die Bewertung eines aufgezeichneten Durchlaufs als schnellsten Weg zu Fehlern auf Ablaufebene. Der Durchlauf hält Modellaufrufe, Tool Calls, Prüfungen und Übergaben eines einzelnen Laufs fest, und Bewerter vergeben dafür Punkte nach festgelegten Kriterien. Die Fragen dahinter richten sich an das Verhalten: ob das richtige Tool gewählt wurde, ob eine Übergabe stattfand, als sie fällig war.
Dokumentationerreichbar
Rasa, Simulation und Bewertung (externe Seite, rasa.com)
rasa.comgeprüft 13.11.2026
Beschreibt simulierte Gespräche für Agenten, deren Gesprächsweg sich nicht vorab festlegen lässt. Ein Szenario nennt Nutzer, Ziel und Erfolg, und die Bewertung verbindet feste Prüfungen mit einem Modell als Richter. Die Seite rät, ein Szenario mehrfach laufen zu lassen.
Dokumentationerreichbar
OpenAI, Deprecations (externe Seite, developers.openai.com)
developers.openai.comgeprüft 13.11.2026
Die Liste, in der OpenAI seine Abkündigungen datiert. Der Eintrag vom 07.05.2026 wickelt das Fine-Tuning in drei Schritten ab und nennt für jeden das Datum. Er regelt außerdem, was mit bereits abgestimmten Modellen geschieht, und knüpft deren Ende an das Ende ihres Grundmodells. Für die Sprachdialogmodelle nennt sie den 20.01.2027, für die vier bisherigen Erkenner den 26.02.2027, für die Modelle der Sprachausgabe den 06.01.2027. Als Abschalttag nennt sie den 23.10.2026 unter anderem für gpt-4, gpt-4-turbo und gpt-3.5-turbo, dazu für die abgestimmten Fassungen mehrerer Grundmodelle, darunter gpt-4, gpt-4.1-nano und o4-mini. Als Ersatz empfiehlt sie Grundmodelle, die sich bei OpenAI nicht mehr abstimmen lassen. Der Eintrag vom 14.10.2026 kündigt gpt-4o, gpt-4o-mini, gpt-4.1 und gpt-4.1-mini zum 14.01.2027 ab, ihre abgestimmten Fassungen mit ihnen.