Sprach­syn­these

Der Weg von Text zu Schall ist der umgekehrte zu dem aus Kapitel 07, und er ist schwerer. Bei der Erkennung gibt es eine richtige Antwort, nämlich das gesprochene Wort. Bei der Erzeugung gibt es unendlich viele: Jeder Satz lässt sich in tausend Tonlagen, Tempi und Betonungen sagen, und alle sind richtig.

Conversational AI, Kapitel 01 führt den Begriff ein und nennt die Abkürzung TTS. Dieses Kapitel beschreibt, wie das Bauteil dahinter arbeitet.

Zwei Wege, aus Text Ton zu machen

Bis 2016 gab es zwei Bauformen, und der Hersteller, der beide ablöste, hat sie in seiner Ankündigung neben­ein­an­der­ge­stellt.

Der erste Weg setzt aufgenommene Sprache neu zusammen. Eine Person spricht eine sehr große Sammlung kurzer Sprachschnipsel ein, und das System fügt sie zu ganzen Äußerungen zusammen, so beschreibt es die WaveNet-Ankündigung (externe Seite, deepmind.google).

Der zweite Weg speichert stattdessen Kennwerte und rechnet daraus. Alles, was zum Erzeugen nötig ist, steckt in den Parametern des Modells, und Inhalt wie Eigenart der Sprache werden über die Eingaben gesteuert.

Beide haben je eine Schwäche, und beide Schwächen sind gut belegt.

Das Zusammensetzen aus Schnipseln

Wer Sprachschnipsel zusammensetzt, hört echte menschliche Laute, und das klingt in guten Fällen sehr natürlich. Was das kostet, steht in derselben Ankündigung (externe Seite, deepmind.google) direkt daneben: Die Stimme lässt sich kaum verändern, weder ein anderer Sprecher noch eine andere Betonung oder ein anderes Gefühl, ohne die ganze Sammlung neu aufzunehmen.

Eine neue Stimme heißt also: neue Aufnahmen, tagelang, mit derselben Person. Eine andere Betonung heißt dasselbe. Solche Systeme waren an ihre Sprecherin gebunden, und die Übergänge zwischen zwei Schnipseln waren der Ort, an dem man die Naht hörte.

Der Bruch, das Netz erzeugt die Welle selbst

Der parametrische Weg war beweglich und klang schlechter, weil am Ende ein Bauteil stand, das aus Kennwerten Schall macht. Die parametrischen Modelle schicken ihre Ausgabe in der Regel durch ein Programm der Signal­ver­ar­bei­tung, den Vocoder (externe Seite, deepmind.google).

2016 wurde dieses Bauteil durch ein neuronales Netz ersetzt, das die Schallwelle direkt erzeugt: Die WaveNet-Arbeit (externe Seite, arxiv.org) stellt ein tiefes Netz vor, das die rohe Wellenform selbst berechnet.

Die Autoren beziffern den Abstand zu beiden alten Bauformen über einen Hörtest. Menschliche Zuhörer bewerteten das neue Verfahren als deutlich natürlicher als die besten parametrischen und zusammensetzenden Systeme, und zwar im Englischen wie im Mandarin.

Damit war die Frage entschieden. Was heute in einem Sprachagenten spricht, steht in dieser Linie.

Was eine Stimme ausmacht

Der Text sagt, welche Wörter fallen. Alles andere muss das System erfinden, und es ist mehr, als man beim Zuhören merkt.

Die Tonhöhe und ihr Verlauf über den Satz. Eine Frage endet oben, eine Feststellung unten.

Die Länge jedes Lautes. Wer betont, dehnt.

Die Pausen, und zwar an Stellen, an denen kein Satzzeichen steht.

Die Klangfarbe, an der wir eine Person wiedererkennen.

Die ersten drei zusammen heißen Prosodie, und die Bedeutung hängt an ihnen mit. „Das hast du gut gemacht“ ist je nach Betonung ein Lob oder das Gegenteil, und im Text steht beides gleich.

Was das Gesetz an dieser Stelle verlangt

Seit dem 02.08.2026 gilt Artikel 50 der KI-Verordnung (externe Seite, eur-lex.europa.eu). Wer ein KI-System anbietet, das Ton, Bild, Video oder Text erzeugt, muss dafür sorgen, dass jede Ausgabe eine maschinenlesbare Markierung bekommt und als künstlich hergestellt oder verändert zu erkennen ist. Das gilt ausdrücklich auch für Systeme mit allgemeinem Verwendungszweck.

Was daraus für eine Sprachanwendung folgt, welche Ausnahmen es gibt und wie die Kennzeichnung technisch aussieht, steht in Conversational AI, Kapitel 09. Dort geht es um die Pflichten, hier um das Verfahren.

Woran Sie eine erzeugte Stimme festmachen

Hören Sie auf die Pausen. Ein System, das nach Satzzeichen atmet, klingt regelmäßiger als ein Mensch.

Achten Sie auf seltene Wörter. Namen, Fachbegriffe und Abkürzungen sind die Stelle, an der die Aussprache geraten wird.

Fragen Sie, wo die Stimme herkommt. Eine nachgebildete Stimme braucht die Zustimmung der Person, der sie gehört, und beide großen Anbieter verlangen dafür einen Nachweis.

Verwechseln Sie Natürlichkeit nicht mit Richtigkeit. Eine Stimme, die gut klingt, kann einen falschen Satz sprechen. Was vor ihr steht, entscheidet darüber.

Vom Text zur Lautfolge

Bevor irgendetwas klingt, muss aus Schrift eine Aussprache werden, und das ist keine Übersetzung Zeichen für Zeichen. „Sie“ und „sie“ klingen gleich, „umfahren“ und „umfahren“ nicht. Eine Zahl wie 1994 kann Jahreszahl, Hausnummer oder Betrag sein, und jede Lesart klingt anders.

Diese Stufe heißt Textaufbereitung und war im klassischen Aufbau ein eigenes Bauteil mit Regeln, Abkürzungslisten und einem Aus­spra­che­wör­ter­buch. Sie entscheidet über Dinge, die kein Netz danach mehr korrigieren kann: Wer 1994 als Zahl vorliest statt als Jahr, hat den Satz falsch gesagt, obwohl jeder Laut sauber klingt.

Das Mel-Spektrogramm als Zwischenschritt

Die Bauform, die bis heute unter den meisten Systemen steht, wurde 2017 beschrieben, und der Kurztext der Tacotron-2-Arbeit (externe Seite, arxiv.org) nennt beide Hälften in einem Satz. Ein rekurrentes Netz bildet die eingebetteten Zeichen auf Mel-Spektrogramme ab, und ein abgewandeltes WaveNet macht als Vocoder aus diesen Spektrogrammen die Schallwelle im Zeitbereich.

Vorn steht ein Netz, das aus Zeichen ein Mel-Spektrogramm vorhersagt, also genau die Darstellung, die in Kapitel 07 am Anfang der Erkennung steht. Der Weg läuft hier rückwärts durch dieselbe Repräsentation.

Warum steht dort eine Zwischenstufe? Weil sie klein ist. Ein Mel-Spektrogramm hat 80 Werte je Zeitschritt und einen Zeitschritt je 10 Millisekunden, das sind 8.000 Zahlen für eine Sekunde. Die Schallwelle hat für dieselbe Sekunde 16.000 oder 24.000. Den Gewinn benennen die Autoren (externe Seite, arxiv.org) am Vocoder: Mit der kompakten akustischen Zwi­schen­dar­stel­lung lässt sich der Aufbau von WaveNet deutlich vereinfachen.

Der Vocoder macht daraus Schall

Ein Mel-Spektrogramm sagt, welche Frequenzen wann wie laut sind. Es sagt nicht, wie die Schwingungen zueinander stehen, denn die Phase geht bei der Umrechnung verloren. Genau deshalb braucht es hinten ein zweites Bauteil.

Der Begriff Vocoder ist älter als die neuronalen Verfahren und bezeichnete zunächst ein Signal­ver­ar­bei­tungs­pro­gramm. Durch ein solches schickten die parametrischen Modelle in der Regel ihre Ausgabe, so steht es in der WaveNet-Ankündigung (externe Seite, deepmind.google).

Seit 2016 sitzt an dieser Stelle ein Netz. Es erzeugt die Welle Wert für Wert: Die WaveNet-Arbeit (externe Seite, arxiv.org) beschreibt ein vollständig probabilistisches, autoregressives Modell, bei dem die Vorhersage für jeden Abtastwert von allen vorherigen abhängt.

Daraus folgt die Rechenlast, die diese Bauform in den ersten Jahren unbrauchbar für Gespräche machte. Die Menge steht in der Ankündigung (externe Seite, deepmind.google): Rohes Audio meiden Forschende gewöhnlich, weil es so schnell taktet, meist mit 16.000 Abtastwerten je Sekunde oder mehr, und weil wichtige Struktur auf vielen Zeitskalen zugleich liegt.

16.000 Vorhersagen für eine Sekunde Ton, jede abhängig von allen vorherigen. Die späteren Vocoder haben genau daran gearbeitet, und heute läuft die Erzeugung schneller als in Echtzeit.

Wie eine Stimme nachgebildet wird

Dass ein Modell mehrere Stimmen führen kann, stand schon 2016 im Kurztext der WaveNet-Arbeit (externe Seite, arxiv.org). Ein einziges Netz erfasst die Eigenart vieler Sprecher gleich getreu und wechselt zwischen ihnen, wenn man ihm die Sprecherkennung als Bedingung mitgibt.

Die Stimme ist also eine zusätzliche Eingabe in dasselbe Modell. Heute genügen wenige Minuten Material, um eine neue hinzuzufügen. Beide großen Anbieter haben dafür eine Sperre eingebaut, jeder eine eigene. ElevenLabs erlaubt im gründlichen Verfahren (externe Seite, elevenlabs.io) vorerst nur die eigene Stimme, und bevor der Auftrag zum Feinabstimmen abgeschickt wird, steht eine Prüfung, ob sie einem gehört.

Für den schnellen Klon genügt dort eine Bestätigung im Formular (externe Seite, elevenlabs.io).

OpenAI verlangt einen gesprochenen Satz, wortwörtlich. Laut der Doku zu eigenen Stimmen (externe Seite, developers.openai.com) darf die Aufnahme der Zustimmung nur eine der vorgegebenen Phrasen enthalten, und jede Abweichung vom Wortlaut lässt den Schritt scheitern.

Was daraus rechtlich folgt und warum eine Stimme mehr ist als ein Klang, steht in Conversational AI, Kapitel 09.

Die Betonung steuern

Die Prosodie ist die offene Flanke. Ein Netz, das nur den Text sieht, muss raten, wo betont wird, und es rät den Durchschnitt seines Trai­nings­ma­te­rials.

Der jüngere Weg dafür ist eine Anweisung in Prosa: Laut der Doku zur Sprachausgabe (externe Seite, developers.openai.com) lassen sich bei gpt-4o-mini-tts Eigenschaften des Sprechens per Anweisung an das Modell steuern. Die Doku nennt das nur noch für bestehende Anbindungen, denn das Modell ist abgekündigt (siehe unten).

Das ist bequem und ungenau. Man beschreibt eine Stimmung, und das Modell setzt sie um oder auch nicht. Der ältere Weg waren Aus­zeich­nungs­spra­chen, in denen Pausenlängen und Tonhöhen im Text stehen: genauer, aufwendiger und für lange Texte unpraktisch.

Ein Punkt fällt in Gesprächen besonders auf. Die Ausgabe kommt stückweise, sonst käme die Antwort erst nach der letzten Silbe. Die Schnittstelle (externe Seite, developers.openai.com) liefert den Ton deshalb in Stücken aus, über Chunked Transfer Encoding, und er lässt sich abspielen, bevor die ganze Datei erzeugt und abrufbar ist.

Wer stückweise ausgibt, hat allerdings die Betonung des Satzendes noch nicht berechnet, als er den Satzanfang schon spricht. Das ist der Grund, warum gesprochene Fragen manchmal wie Feststellungen klingen.

Warum die Aussprache das schwerste Stück bleibt

Fehler in der Prosodie hört man und versteht den Satz trotzdem. Fehler in der Aussprache eines Namens sind etwas anderes: Der Zuhörer weiß nicht, wer gemeint ist.

Die schwierigen Fälle sind an drei Stellen dieselben wie bei der Erkennung. Eigennamen folgen keiner Regel. Abkürzungen können Wort oder Buchstabenfolge sein. Und Fremdwörter bringen die Ausspracheregeln ihrer Herkunftssprache mit, sofern der Sprecher sie kennt.

Ein Aus­spra­che­wör­ter­buch löst das, und deshalb führen die Anbieter eines, auch wenn die Bauform davor kein eigenes Bauteil mehr dafür hat.

Was daraus für die Praxis folgt

Prüfen Sie an Ihren eigenen Namen. Firmenname, Produktname, Ortsname: Wenn die falsch klingen, ist das im Betrieb der teuerste Fehler.

Rechnen Sie das Vorlesen von Zahlen gesondert nach. Beträge, Uhrzeiten, Aktenzeichen und Telefonnummern haben je eigene Leseregeln.

Die Stimme wählt man vor der Anwendung. Ein Wechsel mitten im Betrieb irritiert Zuhörer stärker, als es sich beim Bauen anfühlt.

Ein Modell der Sprachausgabe hat ein Ablaufdatum. OpenAI hat seine eigenen am 01.10.2026 abgekündigt (externe Seite, developers.openai.com): Sie gelten als veraltet und verschwinden am 06.01.2027 aus der Schnittstelle.

Als Nachfolger nennt die Liste gpt-realtime-2.1-mini, ein Modell für den ganzen Sprachdialog. Die Wahl der Stimme steht dann ein zweites Mal an, zu einem Termin, den der Anbieter setzt.

Und die Erzeugung ist die letzte Stufe. Was falsch ankam, spricht auch die beste Stimme falsch aus. Das steht in Conversational AI, Kapitel 02 mit einer eigenen Messung.

Die Zwischenstufe ist wieder das Nadelöhr

Die zweistufige Bauform hat dieselbe Eigenschaft wie die Ketten aus Kapitel 06: Zwischen den Stufen steht eine feste Darstellung, und was dort nicht hineinpasst, ist danach nicht mehr da.

Ein Mel-Spektrogramm hält Frequenz und Lautstärke über die Zeit fest. Die Phase fehlt darin, also entscheidet der Vocoder selbst, wie die Schwingungen zueinander stehen. Bei einer Stimme fällt das kaum auf. Bei Geräuschen, Hall und mehreren Sprechern gleichzeitig fällt es auf.

Die Autoren von 2017 (externe Seite, arxiv.org) haben die Zwischenstufe ausdrücklich als Vorteil geführt, und sie hatten recht: Die kompakte akustische Zwi­schen­dar­stel­lung erlaubt einen deutlich einfacheren Aufbau des WaveNet-Vocoders.

Der Preis daran ist derselbe wie überall bei diesem Muster. Eine Stufe legt sich fest, die nächste kann die Festlegung nicht mehr aufheben. Sagt das Vorhersagenetz die Betonung falsch voraus, erzeugt der Vocoder eine einwandfreie Welle mit falscher Betonung.

Die jüngeren Systeme umgehen das, indem sie beide Stufen zusammen trainieren oder ganz ohne Zwischenstufe arbeiten. Damit ist der Fehler nicht weg, aber er ist nicht mehr an einer Stelle festgeschrieben.

Was eine Bewertung von Stimmqualität misst

Die übliche Kennzahl heißt Mean Opinion Score, und der Herstellerbeitrag von 2016 (externe Seite, deepmind.google) sagt sauber, was dahintersteht. Sie ist ein übliches Maß für Hörtests zur empfundenen Klangqualität, und die Werte dort stammen aus Blindtests mit Versuchspersonen, aus über 500 Bewertungen zu 100 Testsätzen.

Fünfhundert Bewertungen zu hundert Sätzen. Menschen hören und vergeben eine Note von eins bis fünf. Das ist eine Befragung. Am Signal gemessen wird dabei nichts, und daraus folgen drei Einschränkungen.

Der Wert hängt an den Sätzen. Hundert Testsätze sind hundert Testsätze. Namen, Zahlenkolonnen und Fachbegriffe sind darin selten, und genau dort scheitern die Systeme.

Der Wert hängt an den Hörenden. Wer Deutsch als Muttersprache spricht, bewertet eine deutsche Stimme anders als jemand, der die Sprache gelernt hat.

Und der Abstand zur Aufnahme ist klein geworden. Tacotron 2 gibt 4,53 an gegen 4,58 für professionell aufgenommene Sprache. Der Kurztext nennt diese Zahlen in For­mel­schreib­weise, deshalb stehen sie hier ohne Zitat (Beleg (externe Seite, arxiv.org)). Wenn zwei Werte so nah beieinanderliegen, misst die Skala kaum noch etwas: Sie hat oben kein Papier mehr.

Für die eigene Auswahl folgt daraus dasselbe wie in Beurteilen und Einordnen, Kapitel 04. Eine fremde Note sagt, dass ein System im Durchschnitt gut klingt. Ob es Ihre Texte richtig spricht, sagt nur ein Versuch mit Ihren Texten.

Die Stimme als Merkmal einer Person

Ab dem Moment, in dem eine Stimme aus Material nachgebildet werden kann, verlässt das Thema die Technik. Die Anbieter haben das früh gesehen und in ihre Bedingungen geschrieben. Der eine verlangt einen gesprochenen Satz mit festem Wortlaut, der andere für den gründlichen Klon eine Prüfung vor der Freischaltung.

Beide Sperren stehen in den Bedingungen der Anbieter. Ein Modell, dessen Gewichte offen liegen, hat sie nicht, und der Aufwand für eine nachgebildete Stimme ist inzwischen Minuten.

OpenAI deckelt außerdem die Zahl: Aus Aufnahmen lassen sich je Organisation laut Doku (externe Seite, developers.openai.com) höchstens 20 Stimmen anlegen. Stimmen, die nur aus einer Beschreibung entstehen, brauchen weder Aufnahme noch Zustimmung und haben eine eigene Grenze von 100. Sie laufen allein in GPT-Live. Die Schnittstellen für Sprachausgabe, Realtime und Chat Completions unterstützen sie nicht.

Beide Zahlen sind Betriebsgrenzen. Als Schutz taugen sie nicht. Was rechtlich gilt und was Artikel 50 dazu verlangt, steht in Conversational AI, Kapitel 09.

Was daraus nicht folgt

Aus natürlichem Klang folgt keine natürliche Sprechweise. Die Laute können einwandfrei sein und der Satz trotzdem falsch betont. Das eine misst der Vocoder, das andere die Stufe davor.

Die alten Bauformen sind nicht wertlos. Wer zehn feste Ansagen braucht, nimmt zehn Aufnahmen. Das klingt besser als jedes erzeugte Verfahren und kostet einen Nachmittag.

Eine hohe Bewertung sagt nichts über seltene Wörter. Die Testsätze enthalten sie nicht, und genau sie entscheiden im Betrieb.

Und die Kenn­zeich­nungs­pflicht ist keine Frage der Qualität. Sie hängt allein daran, dass der Inhalt erzeugt wurde.