Über das Telefon

Ein Sprachagent, den man anrufen kann, braucht keine App, keine Anmeldung und keine Webseite. Er braucht eine Rufnummer. Das ist der Zugang, den auch die haben, die mit alldem sonst nichts zu tun haben wollen.

Der Anruf kommt als Ereignis an

Zwischen dem Telefonnetz und einem Sprachmodell steht ein Protokoll, das älter ist als alles andere in diesem Pfad: SIP (externe Seite, developers.openai.com), ein Protokoll für Telefonate über das Internet.

Was danach passiert, sieht aus wie ein Klingeln und ist eine Nachricht. Der Anbieter meldet den eingehenden Anruf an eine Adresse, die man ihm vorher genannt hat, und wartet. Mit der Kennung des Anrufs aus dieser Meldung lässt sich der Anruf dann annehmen oder ablehnen (externe Seite, developers.openai.com).

Annehmen und Ablehnen sind zwei getrennte Aufrufe. Die Dokumentation nennt beim Ablehnen sogar ein Beispiel dafür, wann man es tut: bei einer Länderkennzahl, die man nicht bedienen möchte. Das Telefon bringt also eine Entscheidung mit, die es im Chatfenster gar nicht gibt. Dort betritt niemand den Raum, den man nicht hereingelassen hätte.

Was die Leitung wegnimmt

Ton im Telefonnetz ist meistens grob. Das verbreitete Format misst achttausend Mal in der Sekunde, mit acht Bit je Messung; es geht auf eine Empfehlung aus der Zeit vor dem Internet zurück, und vieles, was daran hängt, richtet sich weiter danach.

Festgelegt ist das allerdings nur für dieses eine Format. Derselbe Standard führt daneben eines mit der doppelten Auflösung, und er sagt das ausdrücklich: G.722 tastet in Wahrheit 16.000 Mal in der Sekunde ab. Als Takt steht für dieses Format trotzdem 8.000 in der Liste des Standards (externe Seite, rfc-editor.org), weil ein Vorgänger den Wert irrtümlich so vergeben hat und er wegen der Verträglichkeit mit älteren Geräten bleiben muss.

Welche der beiden Auflösungen an einem Gespräch ankommt, handeln die Endpunkte beim Verbindungsaufbau aus. Die Einzelheiten stehen in Tiefe 2.

Die Spracherkennung richtet sich nach einer anderen Zahl. Whisper rechnet auf 16.000 Messungen je Sekunde (externe Seite, arxiv.org) und bringt jede Aufnahme vorher auf diesen Wert. Über die schmale Leitung bekommt es die Hälfte davon, über die breite genau so viel.

Was das für die Erken­nungs­qua­lität bedeutet, steht hier bewusst nicht. Es gibt dazu keine Erhebung, die man ohne eigene Messung übernehmen könnte, und eine Vermutung mit einer Prozentzahl wäre schlechter als gar keine Zahl. Sicher ist die Richtung: Weniger Signal bleibt weniger Signal.

Und was er sonst noch wegnimmt

Das Zweite fällt erst auf, wenn man danach sucht. Am Telefon gibt es keinen Bildschirm.

Damit fällt eine ganze Klasse von Bedienelementen weg, die man beim Bauen einer Sprachanwendung im Browser unbewusst voraussetzt. Keine Liste zum Auswählen, keine Fußnote unter einer Auskunft, kein Bestä­ti­gungs­dialog vor einer Buchung. Was in Agenten und Harness, Kapitel 02 ein Klick auf „Ja, ausführen“ ist, muss hier ein Satz werden, den jemand versteht und beantwortet.

Der Auskunft aus eigenen Unterlagen ist Kapitel 05 gewidmet, dem Tool Call Kapitel 06.

Drei Dinge unterscheiden einen Anruf von einer Verbindung aus dem Browser: wie er zustande kommt, in welcher Form der Ton ankommt, und was er zur Wartezeit beiträgt.

Wie ein Anruf zustande kommt

Der Ablauf hat zwei Schichten, und sie laufen über verschiedene Wege. Die Signalisierung, also das Klingeln, das Annehmen und das Auflegen, geht über SIP. Der Ton selbst geht daneben.

Für das eigene Netz heißt das zwei Freigaben. Die eine für die Signalisierung: Das Netz muss ausgehenden Verkehr über TCP mit TLS auf Port 5061 (externe Seite, developers.openai.com) zulassen, zu den Adressen, die der DNS-Eintrag des Anbieters liefert.

Die andere für den Ton, der über SRTP läuft, also über UDP mit Verschlüsselung. Wer schon einmal eine Telefonanlage hinter einer Firewall aufgesetzt hat, kennt beide Freigaben.

Der eingehende Anruf selbst ist ein Ereignis: Kommt bei OpenAI SIP-Verkehr für das eigene Projekt an, wird die hinterlegte Webhook-Adresse (externe Seite, developers.openai.com) aufgerufen.

Daran hängt, was dabei noch offen ist. Die Sitzung wird erst beim Annehmen eingerichtet, mit Anweisung, Stimme und Tools. Wer je nach Rufnummer verschieden antworten will, entscheidet das also in dem Moment, in dem er abnimmt. Und wer gar nicht antworten will, hat den zweiten Aufruf, den Endpunkt zum Ablehnen (externe Seite, developers.openai.com). Die Doku nennt als Beispiel einen Anruf aus einer Länderkennzahl, die man nicht bedient.

Acht Bit, achttausend Mal in der Sekunde

Der Ton kommt meistens in einem der beiden Formate an, die das Telefonnetz am längsten kennt. PCMA und PCMU sind nach dem Standard (externe Seite, rfc-editor.org) in der ITU-Empfehlung G.711 festgelegt; jede Abtastung wird mit acht Bit gespeichert, nachdem sie logarithmisch skaliert wurde.

Die logarithmische Skalierung ist der Kniff, mit dem acht Bit für Sprache ausreichen: Leise Abstufungen bekommen mehr Auflösung als laute. Welche der beiden Rechenarten benutzt wird, ist eine geografische Frage. PCMU steht für die Skalierung nach mu-law (externe Seite, rfc-editor.org), PCMA für A-law. In Nordamerika und Japan mu-law, in Europa A-law. Die Taktrate steht in derselben Tabelle und ist für beide gleich, achttausend Messungen in der Sekunde.

Die Zeile darüber, und warum ihre Zahl in die Irre führt

Tiefe 1 nennt sie: G.722 tastet mit 16.000 ab. In der Liste der Payload-Typen steht daneben trotzdem 8.000, und der Standard nennt das selbst einen alten Fehler, der aus Ver­träg­lich­keits­gründen stehen bleibt. Wer die Auflösung eines Gesprächs aus dieser Liste abliest, bekommt für diese eine Zeile die halbe Zahl angezeigt.

Deshalb gehört eine Angabe zur Auflösung immer an das Format, auf das sich die beiden Endpunkte geeinigt haben. Für PCMA und PCMU sind es achttausend Messungen, für G.722 sind es sechzehntausend.

Daneben die Zahl, mit der die Erkennung rechnet: Whisper bringt jede Aufnahme auf 16.000 Messungen je Sekunde (externe Seite, arxiv.org), bevor es sie überhaupt ansieht. Die Aufnahme aus dem Browser liefert das von sich aus, die schmale Leitung liefert die Hälfte. Was von dort ankommt, wird also hochgerechnet, und Hochrechnen erzeugt keine Information, die vorher gefehlt hat.

Was das kostet, ist an einem älteren Erkennertyp gemessen, mit denselben Aufnahmen in beiden Raten. Heymans und Kollegen haben vorgelesenes Englisch aus LibriSpeech auf 8.000 Messungen heruntergerechnet und je Rate einen eigenen Erkenner trainiert (Tabelle 4 (externe Seite, arxiv.org)). Mit 16.000 lag die Wortfehlerrate bei 8,88 Prozent, mit 8.000 bei 10,29. Teurer war die Fehlpaarung: Das 16-kHz-Modell kam auf Ton, der wie im Callcenter kodiert und wieder hochgerechnet war, auf 19,32 Prozent, ein auf 8.000 trainiertes Modell auf 11,44. Die Autoren schreiben den größten Teil dieses Abstands der Abtastrate zu und den kleineren der Kodierung. Ob ein heutiges Modell wie Whisper sich genauso verhält, sagt diese Messung nicht.

seitlich verschiebbar

eigene Darstellung nach RFC 3551 (Tabelle 4) und Whisper 2022 (Abschnitt 2.2), Stand 07.08.2026

Die Leitung im Latenzbudget

Die sechs Posten der Wartezeit stehen in Kapitel 03. Am Telefon kommt ein siebter dazu, die Strecke selbst: vom Endgerät zum Netzbetreiber, von dort zum Anbieter, und derselbe Weg zurück.

Auch dieser Posten steht hier ohne Zahl, aus demselben Grund wie fünf der sechs anderen. Es gibt keine Herstellerangabe dafür, weil es keine allgemeine geben kann: Die Strecke hängt am Netz, am Land und an der Zahl der Vermittlungen dazwischen. Wer sie kennen will, misst sie im eigenen Aufbau.

Was sich dagegen sagen lässt: Der Posten ist da, er ist spürbar, und er hängt als einziger an der Wahl des Netzwegs statt an der Wahl des Modells.

Zwei Eigenheiten des Telefons haben kein Gegenstück in der Anwendung im Browser: ein zweiter Eingabekanal, der an der Stimme vorbeiläuft, und eine Sitzung, die kürzer sein kann als das Gespräch darüber.

Der Kanal, der keine Sprache ist

„Drücken Sie die Eins“ ist älter als jedes Sprachsystem und funktioniert noch immer. Interessant daran ist, wie der Tastendruck übertragen wird.

Als Ton nämlich nur scheinbar. Die Spezifikation (externe Seite, rfc-editor.org) dafür hält den Grund in ihrer Einleitung fest: Für Signaltöne der Telefonie lohnen sich eigene Über­tra­gungs­for­mate, weil Sprachcodecs mit niedriger Datenrate nicht zusichern können, diese Töne genau genug für eine automatische Erkennung wiederzugeben.

Ein Sprachcodec ist auf Sprache abgestimmt. Was er wegwerfen darf, richtet sich danach, was ein Mensch hört, und ein Doppelton aus zwei festen Frequenzen fällt aus diesem Muster heraus. Er kommt an, klingt für ein Ohr richtig, und hat trotzdem nicht mehr die Genauigkeit, die eine Maschine braucht. Bei einem anderen Signal der Telefonie geht noch mehr verloren: Eigenschaften wie die Phasenumkehr im ANSam-Ton (externe Seite, rfc-editor.org) überstehen die Sprachkodierung gar nicht.

Die Lösung ist, den Tastendruck als benanntes Ereignis zu übertragen. Die Eins fährt als Eins über die Leitung. Der Fachbegriff für die Tastenwahl ist DTMF, kurz für Dual-Tone Multi-Frequency, und er benennt das Tonpaar, das eine Taste im alten Netz erzeugte. Und die Empfehlung an die Ver­mitt­lungs­stelle geht einen Schritt weiter. Die Spezifikation (externe Seite, rfc-editor.org) empfiehlt den Ver­mitt­lungs­stellen ausdrücklich, nur noch das Ereignis wiederzugeben, sobald es eingetroffen ist, weil der Ton Störtöne enthalten kann, die erst die Kompression erzeugt hat.

Das ist die eigentliche Pointe. Die Kompression erzeugt Töne, die niemand gedrückt hat. Wer beide Kanäle auswertet, den Ton und das Ereignis, holt sich Eingaben ins System, die nie stattgefunden haben.

Das Muster kehrt in diesem Pfad wieder. Der Kanal liefert etwas, das aussieht wie eine Eingabe, und die Anwendung muss entscheiden, welchem der beiden Wege sie glaubt. Bei der Voice Activity Detection in Kapitel 03 war es die eigene Ausgabe im Mikrofon, hier ist es ein Rechenartefakt.

Eine Sitzung endet, ein Gespräch vielleicht nicht

Die Sprachsitzung hat eine Obergrenze: Eine Sitzung der Realtime-Schnittstelle dauert höchstens 60 Minuten (externe Seite, developers.openai.com).

Im Browser ist das eine Randbedingung. Am Telefon ist es eine Ansage, denn ein Anrufer legt nicht auf, weil im Hintergrund eine Sitzung abläuft. Wer einen Sprachagenten für längere Gespräche baut, braucht also einen Übergang, und der ist eine Entscheidung über den Gesprächszustand: Was nimmt die neue Sitzung mit, was bleibt liegen.

Woraus dieser Zustand besteht und warum er beim Sprachmodell an einer anderen Stelle liegt als beim klassischen Aufbau, steht in Kapitel 01.

Was dieses Kapitel offen lässt

Zwei Fragen bleiben hier zum Teil offen.

Die Erken­nungs­qua­lität in Zahlen. Dass am Telefon weniger Signal ankommt, ist belegt. Tiefe 2 nennt dazu eine Messung an denselben Aufnahmen in beiden Raten, gemacht mit einem älteren Erkennertyp. Für die heutigen Modelle steht eine solche Messung in keiner Quelle dieses Kapitels.

Der ausgehende Anruf. Dieses Kapitel beschreibt, was passiert, wenn jemand anruft. Der umgekehrte Fall, ein System, das selbst wählt, wirft Fragen auf, die über die Technik hinausgehen: wer angerufen werden darf, was zu Beginn gesagt werden muss, und wer dafür geradesteht. Für die erste gibt es in den USA eine Antwort. Die Tele­kom­mu­ni­ka­ti­ons­be­hörde FCC hat am 08.02.2024 festgestellt, dass KI-erzeugte Stimmen unter die bestehenden Regeln für künstliche und vorab aufgenommene Stimmen fallen (FCC 24-17, Absatz 5 (externe Seite, docs.fcc.gov)). Wer so anruft, braucht deshalb vorher die ausdrückliche Zustimmung des Angerufenen. Was zu Beginn gesagt werden muss, regelt in Europa Artikel 50 der KI-Verordnung, und davon handelt Kapitel 09. Wer geradesteht, bleibt hier offen.