Ein Sprachagent, den man anrufen kann, braucht keine App, keine Anmeldung und keine Webseite. Er braucht eine Rufnummer. Das ist der Zugang, den auch die haben, die mit alldem sonst nichts zu tun haben wollen.
Der Anruf kommt als Ereignis an
Zwischen dem Telefonnetz und einem Sprachmodell steht SIP (externe Seite, developers.openai.com), ein Protokoll für Telefonate über das Internet.
Was danach passiert, sieht aus wie ein Klingeln und ist eine Nachricht. Der Anbieter meldet den eingehenden Anruf an eine Adresse, die man ihm vorher genannt hat, und wartet. Mit der Kennung des Anrufs aus dieser Meldung lässt sich der Anruf dann annehmen oder ablehnen (externe Seite, developers.openai.com).
Annehmen und Ablehnen sind zwei getrennte Aufrufe. Die Dokumentation nennt beim Ablehnen sogar ein Beispiel dafür, wann man es tut: bei einer Länderkennzahl, die man nicht bedienen möchte. Das Telefon bringt also eine Entscheidung mit, die es im Chatfenster gar nicht gibt. Dort betritt niemand den Raum, den man nicht hereingelassen hätte.
Was die Leitung wegnimmt
Ton im Telefonnetz ist meistens grob. Das verbreitete Format misst achttausend Mal in der Sekunde, mit acht Bit je Messung; es geht auf eine Empfehlung aus der Zeit vor dem Internet zurück, und vieles, was daran hängt, richtet sich weiter danach.
Festgelegt ist das allerdings nur für dieses eine Format. Derselbe Standard führt daneben eines mit der doppelten Auflösung, und er sagt das ausdrücklich: G.722 tastet in Wahrheit 16.000 Mal in der Sekunde ab. Als Takt steht für dieses Format trotzdem 8.000 in der Liste des Standards (externe Seite, rfc-editor.org), weil ein Vorgänger den Wert irrtümlich so vergeben hat und er wegen der Verträglichkeit mit älteren Geräten bleiben muss.
Welche der beiden Auflösungen an einem Gespräch ankommt, handeln die Endpunkte (externe Seite, developers.openai.com) beim Verbindungsaufbau aus. Die Einzelheiten stehen in Tiefe 2.
Die Spracherkennung richtet sich nach einer anderen Zahl. Whisper rechnet auf 16.000 Messungen je Sekunde (externe Seite, arxiv.org) und bringt jede Aufnahme vorher auf diesen Wert. Über die schmale Leitung bekommt es die Hälfte davon, über die breite genau so viel.
Was das die Erkennung kostet, ist an einem älteren Erkennertyp gemessen, die Zahlen stehen in Tiefe 2. Für heutige Modelle steht eine solche Messung in keiner Quelle dieses Kapitels. Sicher ist die Richtung: Weniger Signal bleibt weniger Signal.
Und was er sonst noch wegnimmt
Das Zweite fällt erst auf, wenn man danach sucht. Am Telefon gibt es keinen Bildschirm.
Damit fällt eine ganze Klasse von Bedienelementen weg, die man beim Bauen einer Sprachanwendung im Browser unbewusst voraussetzt. Keine Liste zum Auswählen, keine Fußnote unter einer Auskunft, kein Bestätigungsdialog vor einer Buchung. Was in Agenten und Harness, Kapitel 02 ein Klick auf „Ja, ausführen“ ist, muss hier ein Satz werden, den jemand versteht und beantwortet.
Der Auskunft aus eigenen Unterlagen ist Kapitel 05 gewidmet, dem Tool Call Kapitel 06.
Drei Dinge unterscheiden einen Anruf von einer Verbindung aus dem Browser: wie er zustande kommt, in welcher Form der Ton ankommt, und was er zur Wartezeit beiträgt.
Wie ein Anruf zustande kommt
Der Ablauf hat zwei Schichten, und sie laufen über verschiedene Wege. Die Signalisierung, also das Klingeln, das Annehmen und das Auflegen, geht über SIP. Der Ton selbst geht daneben.
Für das eigene Netz heißt das zwei Freigaben. Die eine für die Signalisierung: Das Netz muss ausgehenden Verkehr über TCP mit TLS auf Port 5061 (externe Seite, developers.openai.com) zulassen, zu den Adressen, die der DNS-Eintrag des Anbieters liefert.
Die andere für den Ton, der über SRTP läuft, also über UDP mit Verschlüsselung. Wer schon einmal eine Telefonanlage hinter einer Firewall aufgesetzt hat, kennt beide Freigaben.
Der eingehende Anruf selbst ist ein Ereignis: Kommt bei OpenAI SIP-Verkehr für das eigene Projekt an, wird die hinterlegte Webhook-Adresse (externe Seite, developers.openai.com) aufgerufen.
Daran hängt, was dabei noch offen ist. Die Sitzung wird erst beim Annehmen eingerichtet, mit Anweisung, Stimme und Tools. Wer je nach Rufnummer verschieden antworten will, entscheidet das also in dem Moment, in dem er abnimmt. Und wer gar nicht antworten will, hat den zweiten Aufruf, den Endpunkt zum Ablehnen (externe Seite, developers.openai.com). Die Doku nennt als Beispiel einen Anruf aus einer Länderkennzahl, die man nicht bedient.
Acht Bit, achttausend Mal in der Sekunde
Der Ton kommt meistens in einem der beiden Formate an, die das Telefonnetz am längsten kennt. PCMA und PCMU sind nach dem Standard (externe Seite, rfc-editor.org) in der ITU-Empfehlung G.711 festgelegt; jede Abtastung wird mit acht Bit gespeichert, nachdem sie logarithmisch skaliert wurde.
Die logarithmische Skalierung ist der Kniff, mit dem acht Bit für Sprache ausreichen: Leise Abstufungen bekommen mehr Auflösung als laute. Welche der beiden Rechenarten benutzt wird, ist eine geografische Frage. PCMU steht für die Skalierung nach mu-law (externe Seite, rfc-editor.org), PCMA für A-law. In Nordamerika und Japan (externe Seite, loc.gov) gilt mu-law, in Europa und im Rest der Welt A-law. Die Taktrate steht in derselben Tabelle und ist für beide gleich, achttausend Messungen in der Sekunde.
Die Zeile darüber, und warum ihre Zahl in die Irre führt
Tiefe 1 nennt sie: G.722 tastet mit 16.000 ab. In der Liste der Payload-Typen steht daneben trotzdem 8.000, und der Standard nennt das selbst einen alten Fehler, der aus Verträglichkeitsgründen stehen bleibt. Wer die Auflösung eines Gesprächs aus dieser Liste abliest, bekommt für diese eine Zeile die halbe Zahl angezeigt.
Deshalb gehört eine Angabe zur Auflösung immer an das Format, auf das sich die beiden Endpunkte geeinigt haben. Für PCMA und PCMU sind es achttausend Messungen, für G.722 sind es sechzehntausend.
Daneben die Zahl, mit der die Erkennung rechnet: Whisper bringt jede Aufnahme auf 16.000 Messungen je Sekunde (externe Seite, arxiv.org), bevor es sie überhaupt ansieht. Die schmale Leitung liefert die Hälfte. Was von dort ankommt, wird also hochgerechnet, und Hochrechnen erzeugt keine Information, die vorher gefehlt hat.
Was das kostet, ist an einem älteren Erkennertyp gemessen, mit denselben Aufnahmen in beiden Raten. Heymans und Kollegen haben vorgelesenes Englisch aus LibriSpeech auf 8.000 Messungen heruntergerechnet und je Rate einen eigenen Erkenner trainiert (Tabelle 4 (externe Seite, arxiv.org)). Mit 16.000 lag die Wortfehlerrate bei 8,88 Prozent, mit 8.000 bei 10,29. Teurer war die Fehlpaarung: Das 16-kHz-Modell kam auf Ton, der wie im untersuchten Callcenter mit WAV49 kodiert und wieder hochgerechnet war, auf 19,32 Prozent, ein auf 8.000 trainiertes Modell auf 11,44. Die Autoren schreiben den größten Teil dieses Abstands der Abtastrate zu und den kleineren der Kodierung. Ob ein heutiges Modell wie Whisper sich genauso verhält, sagt diese Messung nicht.
eigene Darstellung nach RFC 3551 (Tabelle 4) und Whisper 2022 (Abschnitt 2.2), Stand 07.08.2026
Die Leitung im Latenzbudget
Die sechs Posten der Wartezeit stehen in Kapitel 03. Am Telefon kommt ein siebter dazu, die Strecke selbst: vom Endgerät zum Netzbetreiber, von dort zum Anbieter, und derselbe Weg zurück.
Auch dieser Posten steht hier ohne Zahl, aus demselben Grund wie fünf der sechs anderen. Es gibt keine Herstellerangabe dafür, weil es keine allgemeine geben kann: Die Strecke hängt am Netz, am Land und an der Zahl der Vermittlungen dazwischen. Wer sie kennen will, misst sie im eigenen Aufbau.
Was sich dagegen sagen lässt: Der Posten ist da, und an ihm ändert die Wahl des Modells nichts. Er hängt am Netzweg.
Zwei Eigenheiten des Telefons haben kein Gegenstück in der Anwendung im Browser: ein zweiter Eingabekanal, der an der Stimme vorbeiläuft, und eine Sitzung, die kürzer sein kann als das Gespräch darüber.
Der Kanal, der keine Sprache ist
„Drücken Sie die Eins“ ist älter als jedes Sprachsystem und funktioniert noch immer. Interessant daran ist, wie der Tastendruck übertragen wird.
Als Ton nämlich nur scheinbar. Die Spezifikation (externe Seite, rfc-editor.org) dafür hält den Grund in ihrer Einleitung fest: Für Signaltöne der Telefonie lohnen sich eigene Übertragungsformate, weil Sprachcodecs mit niedriger Datenrate nicht zusichern können, diese Töne genau genug für eine automatische Erkennung wiederzugeben.
Ein solcher Codec ist auf Sprache abgestimmt. Was er wegwerfen darf, richtet sich danach, was ein Mensch hört, und ein Doppelton aus zwei festen Frequenzen fällt aus diesem Muster heraus. Er kann ankommen, für ein Ohr richtig klingen und trotzdem nicht mehr die Genauigkeit haben, die eine Maschine braucht. Bei einem anderen Signal der Telefonie geht noch mehr verloren: Eigenschaften wie die Phasenumkehr im ANSam-Ton (externe Seite, rfc-editor.org) überstehen die Sprachkodierung gar nicht.
Die Lösung ist, den Tastendruck als benanntes Ereignis zu übertragen. Die Eins fährt als Eins über die Leitung. Der Fachbegriff für die Tastenwahl ist DTMF, kurz für Dual-Tone Multi-Frequency, und er benennt das Tonpaar, das eine Taste im alten Netz erzeugte.
Beim Sprachagenten kommt das als eigene Nachricht an. Die Realtime-Schnittstelle (externe Seite, developers.openai.com) meldet einen Tastendruck bei einem Anruf über SIP als eigenes Ereignis, mit der gedrückten Taste und dem Zeitpunkt. GPT-Live meldet ihn über die Sideband-Verbindung (externe Seite, developers.openai.com). Der Weg führt auch in die andere Richtung: Über dieselbe Verbindung kann die Anwendung selbst einen Tastenton (externe Seite, developers.openai.com) an den SIP-Anbieter schicken.
Ton und Ereignis können dabei gleichzeitig unterwegs sein, denn manche Implementierungen (externe Seite, rfc-editor.org) schicken für denselben Zeitpunkt beides. Die Spezifikation empfiehlt dem Gateway, also dem Übergang zwischen Paketnetz und Telefonnetz, nur noch das Ereignis wiederzugeben, sobald es eingetroffen ist, weil der Ton Störtöne enthalten kann, die erst die Kompression erzeugt hat. Im selben Absatz gibt sie Entwarnung: Im Allgemeinen sollen diese zusätzlichen Töne die Erkennung am anderen Ende nicht stören (externe Seite, rfc-editor.org).
Die Gefahr für die Eingabe liegt in der Zeit. Eine Ziffer zu erkennen dauert einige zehn Millisekunden, die ersten Millisekunden einer Taste kommen also als gewöhnlicher Ton durch. Ton und Ereignis müssen deshalb in Zeit und Lautstärke sorgfältig aufeinander abgestimmt sein, sonst entstehen beim Empfänger falsche Ziffern (externe Seite, rfc-editor.org). Für die Anwendung folgt daraus eine einfache Regel: Sie wertet für die Tastenwahl das Ereignis aus und lässt den Ton dafür beiseite.
Das Muster kehrt in diesem Pfad wieder. Der Kanal liefert etwas, das aussieht wie eine Eingabe, und die Anwendung muss entscheiden, welchem der beiden Wege sie glaubt. Bei der Voice Activity Detection in Kapitel 03 war es die eigene Ausgabe im Mikrofon, hier ist es der Anfang eines Tons, der vor dem Ereignis durchkommt.
Eine Sitzung endet, ein Gespräch vielleicht nicht
Die Sprachsitzung hat eine Obergrenze: Eine Sitzung der Realtime-Schnittstelle dauert höchstens 60 Minuten (externe Seite, developers.openai.com). Für einen ausgehenden Anruf über GPT-Live nennt die Doku zur Telefonie (externe Seite, developers.openai.com) drei Minuten Klingeln und zwei Stunden Verbindung.
Im Browser ist das eine Randbedingung. Am Telefon ist es eine Ansage, denn ein Anrufer legt nicht auf, weil im Hintergrund eine Sitzung abläuft. Wer einen Sprachagenten für längere Gespräche baut, braucht also einen Übergang, und der ist eine Entscheidung über den Gesprächszustand: Was nimmt die neue Sitzung mit, was bleibt liegen.
Woraus dieser Zustand besteht und warum er beim Sprachmodell an einer anderen Stelle liegt als beim klassischen Aufbau, steht in Kapitel 01.
Was dieses Kapitel offen lässt
Zwei Fragen bleiben hier zum Teil offen.
Die Erkennungsqualität in Zahlen. Dass am Telefon weniger Signal ankommt, ist belegt. Tiefe 2 nennt dazu eine Messung an denselben Aufnahmen in beiden Raten, gemacht mit einem älteren Erkennertyp. Für die heutigen Modelle steht eine solche Messung in keiner Quelle dieses Kapitels.
Der ausgehende Anruf. Dieses Kapitel beschreibt, was passiert, wenn jemand anruft. Den umgekehrten Fall, ein System, das selbst wählt, bietet OpenAI über die Live API (externe Seite, developers.openai.com) an. Der Aufruf der Realtime-Schnittstelle zum Anlegen eines Anrufs steht dafür nicht bereit. Das eigene Backend legt dort die Sitzung an und wählt über den SIP-Anbieter, Webhook und Annehmen entfallen. Dieser Fall wirft Fragen auf, die über die Technik hinausgehen: wer angerufen werden darf, was zu Beginn gesagt werden muss, und wer dafür geradesteht. Für die erste gibt es in den USA eine Antwort. Die Telekommunikationsbehörde FCC hat am 02.02.2024 beschlossen und am 08.02.2024 veröffentlicht, dass KI-erzeugte Stimmen unter die bestehenden Regeln für künstliche und vorab aufgenommene Stimmen fallen (FCC 24-17, Absätze 2 und 5 (externe Seite, docs.fcc.gov)). Wer so anruft, braucht deshalb vorher die ausdrückliche Zustimmung des Angerufenen, von Notfällen und Freistellungen abgesehen. Was zu Beginn gesagt werden muss, regelt in Europa Artikel 50 der KI-Verordnung, und davon handelt Kapitel 09. Wer geradesteht, bleibt hier offen.
Quellen
9 Einträge, davon 1 Schlüsselarbeitalle erreichbar
Erreichbarkeit automatisch geprüft
SchlüsselarbeitOriginalarbeiterreichbar
Robust Speech Recognition via Large-Scale Weak Supervision (externe Seite, arxiv.org)
arxiv.orggeprüft 13.11.2026
Radford und Mitautoren stellen am 06.12.2022 das Modell vor, mit dem die Spracherkennung ohne Nachschulung für den eigenen Fall auskommt. Der Weg dahin war Menge, allerdings sortierte Menge: 680.000 Stunden Ton aus dem Netz mit den zugehörigen Abschriften, dazu ein Apparat (Abschnitt 2.1), der maschinell erzeugte Abschriften wieder aussortiert, die gesprochene Sprache gegen die geschriebene prüft und Dubletten entfernt. Eingetauscht wurden geprüfte Abschriften gegen mehr Material. Das Ergebnis wurde samt Gewichten und Ableitungscode veröffentlicht und ist damit ohne eigenes Training benutzbar.
Dokumentationerreichbar
OpenAI, Realtime API with SIP (externe Seite, developers.openai.com)
developers.openai.comgeprüft 13.11.2026
Der Weg, auf dem ein Sprachagent ans öffentliche Telefonnetz kommt. Der eingehende Anruf ist dort ein Ereignis: Der Anbieter meldet ihn an eine hinterlegte Adresse, und die Anwendung entscheidet über zwei getrennte Endpunkte, ob sie ihn annimmt oder ablehnt. Dazu die Anforderungen an das eigene Netz, Signalisierung über TLS auf Port 5061 und der Medienpfad über SRTP. Zu Abtastraten und Tonformaten sagt die Seite nichts, dafür stehen RFC 3551 und RFC 4733.
Originalarbeiterreichbar
rfc-editor.orggeprüft 13.11.2026
Der Standard, der festlegt, wie Ton in einem Telefongespräch über das Netz übertragen wird. Die beiden verbreiteten Formate der Telefonie heißen dort PCMU und PCMA, gehen auf die Empfehlung ITU-T G.711 zurück und arbeiten mit acht Bit je Abtastung; Tabelle 4 nennt für beide eine Taktrate von 8.000. Derselbe Standard führt daneben G.722 mit einer Abtastrate von 16.000 und L16 mit 44.100. Welche Auflösung an einem Gespräch ankommt, entscheidet damit die Aushandlung zwischen den Endpunkten.
Dokumentationerreichbar
loc.govgeprüft 13.11.2026
Formatbeschreibung der Library of Congress zu mu-law aus ITU-T G.711. Sie nennt, wo mu-law und wo A-law in der Telefonie gilt: Nordamerika und Japan gegen Europa und den Rest der Welt.
Originalarbeiterreichbar
arxiv.orggeprüft 13.11.2026
Eine Arbeit von 2022 (SACAIR 2021), die dieselben vorgelesenen Aufnahmen aus LibriSpeech in 16.000 und 8.000 Messungen je Sekunde misst, mit einem DNN-HMM-Erkenner je Rate. Tabelle 4: Wortfehlerrate 8,88 Prozent bei 16 kHz, 10,29 bei 8 kHz. Das 16-kHz-Modell kommt auf Ton, der wie im Callcenter mit WAV49 kodiert und wieder auf 16 kHz hochgerechnet ist, auf 19,32 Prozent, ein auf 8 kHz trainiertes Modell auf 11,44. Abschnitt 5.1 schreibt den größten Teil dieses Abstands der Abtastrate zu und den kleineren der Kodierung.
Originalarbeiterreichbar
rfc-editor.orggeprüft 13.11.2026
Wie eine gedrückte Taste im Telefonnetz übertragen wird, nämlich als benanntes Ereignis. Der Grund steht in der Einleitung: Sprachcodecs mit niedriger Bitrate geben solche Töne nicht zuverlässig genug wieder, damit eine Maschine sie erkennt. Dem Gateway empfiehlt der Standard, nur noch das Ereignis wiederzugeben, weil die Kompression Störtöne erzeugen kann; dass sie die Erkennung stören, erwartet er im Allgemeinen nicht. Falsche Ziffern drohen dort, wo Ton und Ereignis zeitlich nicht abgestimmt sind.
Dokumentationerreichbar
OpenAI, Realtime server events (externe Seite, developers.openai.com)
developers.openai.comgeprüft 13.11.2026
Die Liste der Ereignisse, die der Server einer Realtime-Sitzung schickt. Bei einem Anruf über SIP steht dort auch der Tastendruck als eigenes Ereignis, mit der gedrückten Taste und dem Zeitpunkt.
Dokumentationerreichbar
OpenAI, Realtime conversations (externe Seite, developers.openai.com)
developers.openai.comgeprüft 13.11.2026
Die Beschreibung dessen, was in einer laufenden Sprachsitzung passiert, und der Ort, an dem der Anbieter den Preis einer Prüfung vor der Antwort selbst benennt: Wer die automatische Antwort abschaltet, um Eingaben zu moderieren, zu prüfen oder erst etwas nachzuschlagen, bezahlt das mit Wartezeit. Dieselbe Seite nennt die Obergrenze einer Sitzung und beschreibt den Ablauf eines Tool Calls.
Originalarbeiterreichbar
FCC, Declaratory Ruling FCC 24-17 zu KI-Stimmen in Robocalls (externe Seite, docs.fcc.gov)
docs.fcc.govgeprüft 13.11.2026
Die Entscheidung der US-Telekommunikationsbehörde im Verfahren CG Docket No. 23-362, beschlossen am 02.02.2024 und veröffentlicht am 08.02.2024. Absatz 5 stellt fest, dass die Regeln des Telephone Consumer Protection Act für künstliche und vorab aufgenommene Stimmen auch KI-Technik erfassen, die menschliche Stimmen nachahmt, ausdrücklich auch geklonte Stimmen. Wer so anruft, braucht deshalb vorher die ausdrückliche Zustimmung des Angerufenen. Sie gilt für Anrufe in den USA.