OpenAIs neues Sprach­system hört und spricht gleich­zeitig, der Run­de­n­er­kenner entfällt

OpenAI hat mit GPT-Live ein neues Sprachsystem vorgestellt, nach eigener Zählung das dritte in der Reihe, und in einem technischen Bericht beschrieben, was sich dabei grundlegend ändert: Ein Bauteil, das bisher vor jedem Modellaufruf stand, fällt weg. Das Sprachmodell arbeitet laut Bericht im Vollduplex, es kann also zugleich zuhören und sprechen, und genau diese Eigenschaft macht den bisherigen Zwischenschritt überflüssig.

Warum ein Rundenerkenner nötig war

In den beiden vorigen Generationen musste vor jeder Antwort erst ein kleines, separates Modell entscheiden, ob der Mensch fertig gesprochen hat. Der Bericht nennt die Aufgabe undankbar: Entscheidet der Detektor zu früh, wird der Mensch mitten im Satz unterbrochen, entscheidet er zu spät, wirkt die Antwort träge. Erst nachdem dieser Detektor sein Urteil gefällt hatte, kam das eigentliche Sprachmodell zum Zug. Bei kaskadierten Systemen lag davor zusätzlich eine dreiteilige Kette: Spracherkennung, Sprachmodell und Sprachsynthese liefen nacheinander statt gleichzeitig.

Was GPT-Live stattdessen tut

GPT-Live hört und spricht laut Bericht gleichzeitig, wodurch der separate Erkennungsschritt entfällt und die Antwort unmittelbarer wirkt. Für tiefere Überlegungen oder Tool-Nutzung zieht das System bei Bedarf ein größeres Modell wie GPT-5.5 hinzu, ohne dass das laufende Gespräch dafür unterbrochen wird. Die Umstellung reicht bis in die technische Basis: Der Bericht nennt den Wechsel von einer bisherigen Python-Implementierung auf eine neue Fassung in Go sowie ein eigens entwickeltes Protokoll namens WARP, das den Verbindungsaufbau über WebRTC von sechs Netzwerk-Umläufen auf einen einzigen reduziert. Vor der Auslieferung an Nutzer lief das System zudem im Schattenbetrieb mit echtem Datenverkehr aus laufenden Sitzungen mit, ohne dass davon etwas hörbar wurde.

Aus der Kette wird ein Prozess

Bisher ließ sich ein Sprachassistent als Kette beschreiben: Eingabe wird zu Text, Text geht an ein Sprachmodell, die Antwort wird wieder zu Sprache, und ein separates Bauteil regelt den Sprecherwechsel. Auf den Audiopfad von GPT-Live trifft diese Beschreibung nicht mehr zu: Dort steht weder die Kette noch ein Bauteil für den Sprecherwechsel. Einzelne Runden leitet der Anwendungsserver trotzdem ab, nachträglich aus dem laufenden Ton, weil die Gesprächsansicht in ChatGPT, die Auswertung und Teile der Sicher­heits­prü­fung mit einzelnen Nachrichten arbeiten. Ein einziger Prozess, der in beide Richtungen zugleich läuft und dem bei Bedarf ein zweites, langsameres Modell im Hintergrund zuarbeitet, ersetzt die Vorstellung auf­ein­an­der­fol­gender Stationen, die durchlaufen werden.

Kein Vergleich, kein Termin für die API

Der Bericht stammt von OpenAI selbst und enthält keinen Vergleich mit den Sprachsystemen anderer Anbieter. Eine Zahl zur Antwortzeit von GPT-Live im Vergleich zum vorigen Advanced Voice Mode nennt der Text nicht. Gemessen ist eine Stufe darunter: Seit dem Wechsel der Medi­en­ver­ar­bei­tung auf Go liefert das neue System die Tonpakete im 95. Perzentil so gleichmäßig wie das alte im Median. Zur für Entwickler angekündigten GPT-Live-API liefert der Bericht ebenfalls keine Angaben zu Verfügbarkeit oder Zeitpunkt, dort heißt es lediglich, das System werde sie künftig unterstützen. Was im Alltag mit echten Nutzern jenseits der ChatGPT-Sprachfunktion passiert, bleibt damit offen.

Einordnung

Wer einen Sprachassistenten baut oder einkauft, findet bei diesem Aufbau kein eigenes Bauteil mehr, das den Sprecherwechsel regelt und sich getrennt prüfen lässt. Protokolle und Auswertungen beruhen dann auf Runden, die der Server erst nachträglich aus dem Ton ableitet, und sind entsprechend vorsichtig zu lesen. Welche drei Bauarten es für den Sprecherwechsel gibt, beschreibt Conversational AI, Kapitel 03; wie die Abrechnung je Minute entsteht, erklärt Conversational AI, Kapitel 11.