GrundlagenConversational AIKapitel 03 von 12

Wenn das Gespräch nicht in Runden läuft

Gleiches Kapitel, drei Tiefen. Die Wahl gilt überall und bleibt gespeichert.

Tiefe 1: Überblick · Lesezeit 8 Min. · Stand

Ein Chatfenster arbeitet in Runden. Sie tippen, drücken Enter, das Modell antwortet, Sie sind wieder dran. Enter ist dabei mehr als eine Taste: Es ist das Zeichen, dass Sie fertig sind.

Im Gespräch gibt es diese Taste nicht. Jemand muss also entscheiden, wann ein Beitrag zu Ende ist, und dieser Jemand ist ein Programm.

Der Schalter davor

Bei OpenAIs Realtime-Schnittstelle und bei Gemini Live heißt das Bauteil Voice Activity Detection, abgekürzt VAD, auf Deutsch Sprach­ak­ti­vi­täts­er­ken­nung. Es sitzt vor dem Modell, hört das Mikrofon ab und schneidet den laufenden Ton in Stücke, die an das Modell gehen. Die einfache Bauart nimmt dafür die Stille: Nach der Doku zur Sprach­ak­ti­vi­täts­er­ken­nung (externe Seite, developers.openai.com) zerlegt sie den Ton selbsttätig an den Pausen.

Das klingt naheliegend und geht oft schief. Menschen machen Pausen mitten im Satz, wenn sie nachdenken, eine Nummer vorlesen oder nach dem richtigen Wort suchen. Für ein Programm, das auf Stille wartet, sieht jede Denkpause aus wie ein Satzende.

Die zweite Bauart hört auf die Wörter

Deshalb gibt es inzwischen eine andere, die den Inhalt heranzieht. OpenAI führt sie als neuen Modus namens Semantic VAD (externe Seite, developers.openai.com): Ein Klassifikator entscheidet anhand der bisher gesprochenen Wörter, ob jemand fertig ist.

Der Maßstab ist damit der angefangene Satz und seine Vollständigkeit. Den Gewinn beschreibt der Anbieter in der Sprache der Vorsicht: Mit diesem Modus fällt das Modell im Gespräch von Stimme zu Stimme seltener ins Wort (externe Seite, developers.openai.com), und es schneidet eine Abschrift seltener ab, bevor jemand ausgeredet hat.

Seltener, das ist das ganze Versprechen. Eine Garantie steht da nicht: Ob jemand fertig geredet hat, weiß im Zweifel nur er selbst.

Beide Bauarten sind Einstellungssache

Die Dokumentation führt für die erste Bauart drei Stellschrauben auf: wie laut es sein muss, wie viel Ton vor dem erkannten Beginn mitgeschickt wird und wie lange die Stille dauern soll. Bei beiden Bauarten kommen zwei Schalter dazu: ob nach dem Ende von selbst geantwortet wird und ob neues Sprechen eine laufende Antwort abbricht. Die zweite Bauart kennt statt der Stellschrauben drei Stufen von zurückhaltend bis vorschnell, die Voreinstellung entspricht der mittleren.

Bei beiden ist die Grenze eine Einstellung, getroffen von jemandem, der die Sprecher nie gehört hat. Wer sie zu eng wählt, baut ein System, das ins Wort fällt; wer sie zu weit wählt, eines, das nach jedem Satz schweigt.

Die dritte Bauart: das Modell hört durchgehend

OpenAI hat mit GPT-Live eine Bauform vorgestellt, in der es dieses Bauteil nicht mehr gibt. Das Modell hört und spricht zugleich, was die Doku zu Sprachagenten (externe Seite, developers.openai.com) Vollduplex nennt.

Die Anwendung schneidet den Ton dann nicht mehr in Beiträge. Die Migra­ti­ons­an­lei­tung (externe Seite, developers.openai.com) für Entwickler, die von der Realtime-Schnittstelle umsteigen, sagt es als Arbeitsanweisung: Den Ton ohne Unterbrechung schicken, GPT-Live entscheidet selbst, wann es spricht, und die bisherigen Aufrufe, mit denen die Anwendung einen Beitrag abschloss oder eine Antwort auslöste, fallen weg.

Die Entscheidung, wann jemand fertig ist, liegt jetzt im Modell, das den Strom zu Ende hört. Ein Programm davor gibt es dort nicht. Die Seiten zu GPT-Live nennen deshalb weder eine Laut­stär­ke­schwelle noch eine Stilledauer noch einen Vorlauf. Wer die Grenze verschieben will, hat dafür eine Anweisung im Prompt, die Doku zum Prompting (externe Seite, developers.openai.com) schlägt etwa vor, das Modell weiter zuhören zu lassen, während jemand nachdenkt.

Die zugehörige Meldung hält zudem fest, dass OpenAIs Bericht keine Zahlen zur Antwortzeit gegenüber der Vorgängerfassung nennt.

Die erste und die zweite Bauart gelten damit nicht überall. Die erste beschreibt die Realtime-Schnittstelle von OpenAI und Gemini Live, die zweite steht nur in OpenAIs Doku. Bei GPT-Live gilt keine von beiden.

Die offene Verbindung

Der Gegensatz zum Chatfenster liegt in der Verbindung. Statt einer Anfrage mit einer Antwort läuft ein Strom, der offen bleibt, und in dem beide Seiten jederzeit etwas beitragen können. Bei Gemini Live (externe Seite, aistudio.google.com) läuft die Erkennung in der Voreinstellung selbsttätig auf einem ununterbrochenen Tonstrom.

Genau deshalb steht dieses Thema in einem eigenen Kapitel, getrennt von der Erkennung in Kapitel 02. Eine offene Verbindung mit beidseitigem Zugriff gibt es auch dort, wo getippt wird, und alle Fragen dieses Kapitels stellen sich dann genauso.

Quellen

11 Einträgealle erreichbar

Erreichbarkeit automatisch geprüft

  • Dokumentationerreichbar

    OpenAI, Voice activity detection (VAD) (externe Seite, developers.openai.com)

    developers.openai.comgeprüft 13.11.2026

    Die Seite hinter dem Schalter, der entscheidet, ob eine Aufnahme überhaupt beim Modell ankommt. Zwei Betriebsarten stehen dort nebeneinander: eine Lautstärkeschwelle, die lauteren Ton verlangt und in lauter Umgebung besser fährt, und eine zweite, die stattdessen anhand der gesprochenen Wörter entscheidet, ob jemand zu Ende geredet hat. Beleg dafür, dass die Lautstärkeprüfung vor der Erkennung ein dokumentierter Griff der Anbieter ist, und dafür, wo sie aufhört.

  • Dokumentationerreichbar

    Google, Live API capabilities guide (externe Seite, aistudio.google.com)

    aistudio.google.comgeprüft 13.11.2026

    Die Beschreibung zweier Einstellungen, die es nur beim durchgehenden Modell gibt: Das Modell darf entscheiden, ob es überhaupt antwortet, und es richtet seinen Ton nach dem des Gegenübers. Beides setzt voraus, dass mehr ankommt als der Wortlaut. Beide laufen nur über eine Vorabfassung der Schnittstelle. Die Seite vermerkt zu beiden, dass Gemini 3.1 Flash Live Preview sie nicht unterstützt. Zu Gemini 3.8 Live sagt sie inzwischen Genaueres, und es ist nicht dasselbe: Das Schweigen ist dort dauerhaft eingeschaltet, der Wert falsch führt zu einem Fehler; die Anpassung an den Ton gibt es nur noch bei Gemini 2.5 Flash Live und ist in Gemini 3.8 Live und Gemini 3.8 Live Extended Thinking entfernt. Dieselbe Seite vergleicht vier Modelle in einer Tabelle und beschreibt den Umstieg von Gemini 3.1 Flash Live Preview auf Gemini 3.8 Live. Beim Tool Call läuft Gemini 3.8 Live ohne Warten als Voreinstellung, und die Anwendung wählt, wann ein Ergebnis ins Gespräch kommt; die Fassung mit ausgedehntem Denken kennt nur den Weg ohne Warten, ohne Wahl des Zeitpunkts, 3.1 Flash Live nur den Aufruf der Reihe nach. Beim Denken gilt: Das aktuelle Live-Modell führt Denken fest verdrahtet ohne wählbare Stufe, die Fassung mit ausgedehntem Denken erlaubt niedrig, mittel und hoch, und nur bei Gemini 3.1 Flash Live Preview gibt es zusätzlich die niedrigste Stufe als Voreinstellung, mit der Antwortzeit begründet. Sie beschreibt außerdem das Hineinreden: Das Modell verwirft seine laufende Erzeugung, und im Kommentar des Codebeispiels zum Feld interrupted steht, dass die Anwendung den schon gesendeten Ton selbst aus ihrem Puffer räumen muss. Die Erkennung der Sprechpausen lässt sich abschalten und an den Client übergeben. Was das kostet, steht daneben: Die Pufferung auf der Gegenseite entfällt, und die Seite nennt 500 Millisekunden Stille als Untergrenze für die eigene Erkennung. Die Seite nennt außerdem die Betriebsgrenzen einer Sprachsitzung in Zahlen: eine Viertelstunde für reinen Ton, zwei Minuten sobald Video dazukommt, dazu ein Kontextfenster von 128k oder 32k Token je nach Modellart. Im selben Absatz steht, dass sich die Dauer über eine andere Sitzungsführung beliebig verlängern lässt. Die Zahl ist damit eine Voreinstellung.

  • Dokumentationerreichbar

    OpenAI, Voice agents (externe Seite, developers.openai.com)

    developers.openai.comgeprüft 13.11.2026

    Die Seite, auf der ein Anbieter die Bauformen für Sprache nebeneinanderstellt und sagt, wofür jede taugt: eine Sitzung, in der ein Modell den Ton direkt entgegennimmt und erzeugt, eine Kette aus Erkennung, Textmodell und Sprachausgabe, oder seit einer Überarbeitung im September 2026 zusätzlich GPT-Live, das die Sprachebene von einem eigenen Backend trennt. Sie nennt außerdem die Reihenfolge der Entscheidung, nämlich zuerst die Bauform und danach alles andere.

  • Dokumentationerreichbar

    OpenAI, Migrate to GPT-Live (externe Seite, developers.openai.com)

    developers.openai.comgeprüft 13.11.2026

    Die Migrationsseite für GPT-Live, auf der OpenAI den Wechsel von einer Realtime-Sitzung beschreibt: Wo eine Realtime-Sitzung bei manueller Steuerung Beiträge abschließt und Antworten auslöst, sendet die Anwendung bei GPT-Live den Ton durchgehend, und das Modell entscheidet selbst, wann es spricht. Belegt außerdem, dass der Abspielpuffer bei der Anwendung bleibt: Der Server kann mit der Erzeugung fertig sein, während im Player noch Ton wartet.

  • Dokumentationerreichbar

    OpenAI, Prompting GPT-Live (externe Seite, developers.openai.com)

    developers.openai.comgeprüft 13.11.2026

    Die Prompting-Seite zu GPT-Live. Sprechweise, Geduld und das Verhalten beim Unterbrechen stehen dort als Anweisungen in Prosa, und die Seite sagt, wie weit das reicht: Eine Anweisung ermutigt das Modell zum Nachgeben, den genauen Zeitpunkt des Aufhörens legt sie nicht fest, und das Modell kann nach einer Unterbrechung kurz weitersprechen.

  • Originalarbeiterreichbar

    W3C, Media Capture and Streams (externe Seite, w3.org)

    w3.orggeprüft 13.11.2026

    Die Spezifikation der Aufnahme im Browser, und der einzige Ort, an dem die Echo-Unterdrückung als eigene Einstellung beschrieben wird. Sie steht dort neben der Pegelregelung und der Rauschunterdrückung, mit zwei Betriebsarten für die Frage, ob nur die Gegenseite oder auch der eigene Ton aus dem Mikrofonsignal gerechnet wird. Auf den Doku-Seiten von OpenAI und Google zur Sprachschnittstelle kommt Echo nicht vor, bei Google steht der Hinweis nur im Kopf eines Beispielskripts: Der Griff sitzt vor der Schnittstelle, im Browser oder im Gerät.

  • Dokumentationerreichbar

    OpenAI, Realtime conversations (externe Seite, developers.openai.com)

    developers.openai.comgeprüft 13.11.2026

    Die Beschreibung dessen, was in einer laufenden Sprachsitzung passiert, und der Ort, an dem der Anbieter den Preis einer Prüfung vor der Antwort selbst benennt: Wer die automatische Antwort abschaltet, um Eingaben zu moderieren, zu prüfen oder erst etwas nachzuschlagen, bezahlt das mit Wartezeit. Dieselbe Seite nennt die Obergrenze einer Sitzung und beschreibt den Ablauf eines Tool Calls.

  • Dokumentationerreichbar

    Google, Gemini Cookbook, Get_started_LiveAPI.py (externe Seite, raw.githubusercontent.com)

    raw.githubusercontent.comgeprüft 13.11.2026

    Ein Beispielskript aus Googles Cookbook für die Live-Schnittstelle. In seinem Kopf steht die Warnung, dass die Standardausgabe des Systems oft keine Echo-Unterdrückung mitbringt und das Modell sich ohne Kopfhörer selbst unterbricht.

  • Dokumentationerreichbar

    OpenAI, Realtime client events (externe Seite, developers.openai.com)

    developers.openai.comgeprüft 13.11.2026

    Die Stelle, an der der Hersteller selbst schreibt, dass die Abschrift einer Sprachsitzung nicht dasselbe ist wie das, worauf das Modell geantwortet hat. Sie nennt beides beim Namen: einen eigenen Weg für die Abschrift und einen Hinweischarakter statt eines Protokolls.

  • Dokumentationerreichbar

    OpenAI, Text to speech (externe Seite, developers.openai.com)

    developers.openai.comgeprüft 13.11.2026

    Die Seite zur Sprachausgabe, mit zwei Angaben, die für ein Gespräch zählen. Der Ton kommt stückweise und lässt sich abspielen, bevor die Datei fertig ist; ohne das käme die Antwort erst nach der letzten Silbe. Und die Stimme wird über eine Anweisung in Prosa geführt, mit einer Liste dessen, was sich damit erreichen lässt: Akzent, Gefühlsspanne, Betonung, Nachahmung, Tempo, Klangfarbe, Flüstern. Daneben steht, dass OpenAI für jede dieser Stimmen einen klaren Hinweis an die Hörer verlangt, dass sie KI-erzeugt ist. Seit Oktober 2026 nennt die Seite die drei Modelle dieser Schnittstelle abgekündigt, sie verschwinden am 06.01.2027.

  • Dokumentationerreichbar

    OpenAI, Managing GPT-Live sessions (externe Seite, developers.openai.com)

    developers.openai.comgeprüft 13.11.2026

    Die Seite zum Betrieb einer GPT-Live-Sitzung. Die Abschrift kommt als Textstücke mit ungefähren Zeitangaben, ein Ereignis für das Ende eines Beitrags gibt es nicht, die Anwendung gruppiert selbst. Die Eingabe lässt sich stummschalten, während das Modell weitersprechen kann.

In den Meldungen

neueste zuerst

↑↓ auswählenEnter öffnenDie Suche läuft im Browser. Nichts wird übertragen.