Was nach dem Gespräch übrig bleibt

Ein Anrufer legt auf. Was bleibt, ist ein Transkript, und das ist weniger, als man denkt.

Im Chatfenster sieht der Nutzer, was passiert. Ein Tool wird aufgerufen und zeigt sich als Kästchen, eine Suche läuft und nennt ihre Treffer, eine Prüfung schlägt an und schreibt es hin. Am Telefon sieht der Anrufer nichts. Zwischen seiner Frage und der Antwort liegen Sekunden, in denen mehrere Systeme miteinander gesprochen haben, und davon ist im Transkript keine Spur.

Deshalb zeichnen die Werkzeugkästen mehr auf als den Text. Der Begriff dafür ist der Trace, auf Deutsch Ablaufspur. OpenAI beschreibt ihn in der Anleitung zur Bewertung von Agenten (externe Seite, developers.openai.com) als vollständige Aufzeichnung eines einzelnen Durchlaufs, vom ersten bis zum letzten Schritt: Modellaufrufe, Tool Calls, Prüfungen und Übergaben.

Sie besteht aus Abschnitten, und jeder davon steht laut Tracing-Doku des Agents SDK (externe Seite, openai.github.io) für einen Vorgang mit Anfangs- und Endzeit.

Damit hat man, was ein Transkript nicht hergibt: eine Reihenfolge mit Uhrzeiten.

Warum die Reihenfolge zählt

Ein Beispiel aus einem eigenen Projekt, einem Sprachagenten am Kiosk-Terminal. Ein Besucher fragte nach einer Person, das System antwortete, es habe dazu nichts gefunden. Im Transkript sah das aus wie eine Wissenslücke: Frage gestellt, Antwort negativ, Datenbestand offenbar unvollständig.

Der Trace zeigte etwas anderes. Die Suchanfrage, die die Antwort geliefert hätte, lief nach der Absage. Das System hatte geantwortet, bevor es nachgesehen hatte.

Ein solcher Befund lässt sich aus einem Transkript nicht gewinnen, und aus einer Fehlerquote erst recht nicht. Er hängt an zwei Uhrzeiten.

Was von selbst mitläuft

Bei mindestens einem Werkzeugkasten ist die Aufzeichnung der Ausgangszustand: Im Agents SDK von OpenAI ist das Tracing laut Doku (externe Seite, openai.github.io) ab Werk eingeschaltet.

Das ist bequem, und es hat eine Kehrseite, die in der Tiefe dieses Kapitels steht.

Ein einzelner Trace erklärt ein Gespräch. Für die Frage, ob ein Sprachagent seine Arbeit tut, braucht es viele, und dafür müssen die Daten irgendwo hin.

Rasa beschreibt den Weg und liefert die Auswertung ausdrücklich nicht mit: Die Analytics-Pipeline (externe Seite, rasa.com) leitet die Gesprächsdaten des laufenden Assistenten fortlaufend in ein Data Warehouse, das der Betreiber selbst wählt.

Erfasst werden dabei Ereignisse: die Äußerungen des Nutzers, die Befehle, die das Modell daraus gebildet hat, der Zustand der Abläufe, die ausgelösten Handlungen. Aus diesen Ereignissen lassen sich Kennzahlen bilden, und der Hersteller ordnet sie in vier Gruppen, von der Nutzung bis zum geschäftlichen Ergebnis.

Was die Containment Rate zählt

In der Gruppe mit dem geschäftlichen Bezug steht die Größe, die eine Automatisierung am direktesten misst. Der Hersteller definiert die Containment Rate (externe Seite, rasa.com) als Verhältnis der vollständig automatisierten Gespräche zu denen, die an einen Menschen übergeben wurden. Gemeint ist der Anteil der Gespräche, die ohne einen Menschen zu Ende gingen. Wer eine Hotline automatisiert, hat damit eine Zahl, die sich in Kosten umrechnen lässt.

Sie hat einen blinden Fleck, und der ist groß. Ein Gespräch ohne Übergabe kann gelöst oder abgebrochen sein. Der Anrufer, der eine Auskunft bekam und zufrieden auflegte, zählt genauso wie der, der aufgab und es später auf einem anderen Weg versuchte. Beide erscheinen als Erfolg.

Die Zahl misst also, was der Agent nicht abgegeben hat, und das ist etwas anderes als das, was er geleistet hat. Wann eine Übergabe überhaupt fällig ist und wer sie auslöst, steht in Kapitel 08.

Das ist ein Sonderfall einer allgemeineren Regel: Aus dem Ausbleiben einer Reaktion lässt sich nichts über ihre Qualität schließen. Wer nicht nachfragt, kann zufrieden oder gleichgültig sein, und die Daten unterscheiden das nicht.

Rasa rechnet auf derselben Seite eine zweite Größe vor, die diese Lücke verkleinert: die Resolution Rate (externe Seite, rasa.com), also die Zahl der Gespräche, die der Assistent ohne Eingreifen eines Menschen lösen kann.

Gelöst heißt dort: Der Ablauf, den das Gespräch gestartet hat, wurde abgeschlossen. Das Gegenstück, die Gespräche ohne abgeschlossenen Ablauf, führt die Seite als eigene Abfrage. Damit trennen sich gelöst und abgebrochen, soweit ein Ablauf sein Ende meldet. Ob der Anrufer mit dem Ergebnis etwas anfangen konnte, steht auch in dieser Zahl nicht.

Eine Auswertung sieht, was aufgezeichnet wurde

Aus demselben Projekt zwei Beobachtungen, die zusammengehören.

Erstens erschienen in der Gesprächs­über­sicht Einträge mit null Zügen. Jemand hatte begonnen und nichts gesagt, oder etwas war schiefgegangen, bevor das erste Wort ankam. Die Kategorie war sichtbar. Gezählt wurde sie nie.

Zweitens war in der Aus­wer­tungs­an­sicht der Tool Call sichtbar und die Tool-Antwort nicht. An einer anderen Stelle fehlten die Tool-Protokolle ganz, woraus der Verdacht entstand, das Tool sei überhaupt nicht aufgerufen worden.

Beide Fälle zeigen dasselbe: Eine Auswertung ist eine Aussage über das, was aufgezeichnet wurde. Wo die Aufzeichnung eine Lücke hat, entsteht in der Auswertung eine plausible Zahl. Ein Loch wäre das bessere Ergebnis.

Bis hierher liest sich Aufzeichnung wie ein Gewinn. Sie ist auch eine Sammlung.

Was in einem Trace landet, sind die Ein- und Ausgaben der Modellaufrufe und der Tool Calls, also das, was der Anrufer gesagt hat, und das, was das System damit gemacht hat. Die Voreinstellung ist eindeutig: Der Schalter trace_include_sensitive_data steht laut Tracing-Doku (externe Seite, openai.github.io) ab Werk auf True, die Inhalte werden also mitgeschrieben.

Für einen Sprachagenten kommt eine zweite Ebene dazu, und die ist der eigentliche Punkt: Die Audio-Abschnitte der Spur enthalten laut derselben Doku (externe Seite, openai.github.io) ab Werk die Tondaten als Base64-kodiertes PCM, und zwar für das, was hereinkam, wie für das, was hinausging.

Aufgezeichnet wird dabei der Ton selbst, die Aufnahme der Stimme, ab Werk, ohne dass jemand eine Einstellung vorgenommen hätte. Abschalten lässt sich beides, und zwar getrennt: eine Einstellung für die Textinhalte, eine zweite eigens für das Audio.

seitlich verschiebbar

eigene Darstellung nach der Tracing-Dokumentation des OpenAI Agents SDK, Stand 07.08.2026

Wohin die Aufzeichnung geht, steht im Aufbau der Spur. Ab Werk reicht das SDK sie gesammelt an einen Exporter weiter, und der schickt Abschnitte und Spuren laut Tracing-Doku (externe Seite, openai.github.io) stapelweise an das Backend von OpenAI.

Wer die Spur im eigenen Haus behalten will, ersetzt diesen Weg. Eine zusätzliche eigene Verarbeitung lässt ihn bestehen, so steht es auf derselben Seite. Zwei Bedingungen kommen hinzu. Mit einer Vereinbarung ohne Datenaufbewahrung steht das Tracing laut derselben Doku (externe Seite, openai.github.io) gar nicht zur Verfügung. Und für die Sprach­schnitt­stelle in Echtzeit fällt es laut OpenAI derzeit nicht unter die EU-Datenresidenz (externe Seite, developers.openai.com) (Stand 09.10.2026).

Wer den Ton nicht abschaltet, legt also eine Stimmsammlung an, ab Werk beim Anbieter. Wozu sich eine Stimme nachbilden lässt und was sie danach noch als Ausweis taugt, steht in Kapitel 09.

Zwei Fragen vor der ersten Aufzeichnung

Wozu. Ein Trace, der einen Fehler erklären soll, braucht Zeitstempel, Reihenfolge und die Namen der beteiligten Schritte. Er braucht dafür nicht den Ton. Der Unterschied zwischen „ich will wissen, was schiefging“ und „ich hebe alles auf“ ist eine Einstellung, und sie steht standardmäßig auf der zweiten Variante.

Wie lange. Eine Aufzeichnung, die niemand ansieht, ist ein Bestand, der altert. Für Textinhalte ist das eine Auf­be­wah­rungs­frage, für Stimmaufnahmen eine andere Größenordnung.

Der Kreis schließt sich

Ein Gespräch, das schiefging, ist der wertvollste Testfall, den ein Sprachagent haben kann. Er beschreibt einen Fehler, den jemand wirklich erlebt hat.

Der Weg dorthin führt über den Trace: Er zeigt, an welcher Stelle es schiefging, und daraus wird eine Erwartung, die ein Testlauf künftig prüft. Wie ein solcher Testfall aussieht und was er festhält, steht in Kapitel 10.

Damit ist der Bogen zu: prüfen, betreiben, auswerten, und aus dem Ausgewerteten entsteht die nächste Prüfung.

Aus dem eigenen Projekt lässt sich dazu sagen, wo dieser Kreis reißt. Die beobachteten Fehler der Erkennung wanderten dort in eine Testklasse und blieben geprüft. Die Fehler der Wissenssuche, die häufiger auftraten, wanderten in Notizen. Den Unterschied machte, wie leicht sich ein Testfall dafür schreiben ließ.

Was hier offen bleibt

Zur Wirksamkeit dieser Rückkopplung nennt keiner der Hersteller eine Zahl, etwa wie viele Fehler ein solcher Kreislauf in welcher Zeit beseitigt.

Zur Aufbewahrung der Traces nennt OpenAI keine Frist, weder in der Tracing-Doku des SDK noch auf der Seite mit den Datenkontrollen der Schnittstelle (Stand 09.10.2026). Die Seite führt eine Frist je Endpunkt, und Traces stehen dort nicht.

Eine Frist nennt OpenAI für etwas Benachbartes, die Aufnahme einer ganzen GPT-Live-Sitzung. Das Speichern der Sitzung ist laut der Seite zu den Datenkontrollen (externe Seite, developers.openai.com) ab Werk ausgeschaltet.

Schaltet ein Projekt sie ein, liegt die fertige Aufnahme 30 Tage zum Herunterladen bereit und verfällt danach. Eine Schnittstelle zum vorzeitigen Löschen gibt es laut derselben Seite nicht (Stand 09.10.2026).