Video, Musik und 3D

Grundkurs, Kapitel 14 endet beim Einzelbild. Kapitel 09 nimmt das Video dort auf, wo es zum Übungsplatz für einen Agenten wird. Dazwischen liegt der Fall, um den es hier geht: Video, Ton und Raum als Ergebnis, das jemand ansehen oder anhören will.

Vorweg eine Auskunft über dieses Kapitel: Es empfiehlt kein Werkzeug. Die genannten Angaben stammen von den Herstellern, unabhängige Messungen dazu liegen nicht vor, und eine Empfehlung ohne eigene Erfahrung wäre auf dieser Seite fehl am Platz.

Die Zeitachse ist das Neue

Ein Bild hat keine Reihenfolge. Ein Video hat eine, und daraus folgt die Anforderung, die es beim Einzelbild nicht gibt: Was im ersten Bild zu sehen ist, muss im dreißigsten noch dasselbe sein.

Wie ein Videomodell gebaut ist, sagt OpenAI in seinem technischen Bericht zu Sora (externe Seite, openai.com) mit einem Vergleich, der die Verwandtschaft zum Sprachmodell zeigt: Wo ein Sprachmodell mit Text-Token arbeitet, arbeitet Sora mit Bildstücken.

Zerlegt wird also in Stücke, so wie Text in Grundkurs, Kapitel 03 zerlegt wird. Der Unterschied liegt darin, dass ein solches Stück eine Fläche über eine Zeitspanne bezeichnet. Die Zahl dieser Stücke wächst mit der Dauer.

Auf diesen Stücken rechnet Sora mit dem Verfahren, das Grundkurs, Kapitel 14 erklärt, dem schrittweisen Entrauschen: Der Bericht nennt Sora ein Diffusionsmodell mit einem Transformer als Bauform. Googles technischer Bericht zu Veo 3 (externe Seite, storage.googleapis.com) nennt latente Diffusion: Entrauscht wird eine verdichtete Fassung, und Ton und Video entstehen dabei gemeinsam (Abschnitt „Model & Data“). Die Ankündigung von Wan3.0 nennt ihr Verfahren nicht.

Wie lang ein Clip ist, und warum das die wichtigste Angabe ist

Beim Bildmodell war die Auflösung der Maßstab. Hier ist es die Dauer.

Ein offenes Modell von Ende 2023 erschien laut seiner Ankündigung (externe Seite, stability.ai) in zwei Fassungen, die aus einem Bild ein Video machen. Sie erzeugten 14 oder 25 Bilder je Clip, bei einer wählbaren Bildrate zwischen 3 und 30 Bildern in der Sekunde, also wenige Sekunden. Derselbe Anbieter schrieb dazu, die Fassung sei in diesem Stadium weder für den Einsatz in der Praxis noch für kommerzielle Zwecke gedacht.

Im Februar 2024 nannte OpenAI im Bericht zu Sora (externe Seite, openai.com) eine Minute für sein größtes Modell, als For­schungs­er­gebnis. 2026 nennt Alibaba für Wan3.0 bis zu dreißig Sekunden aus einem Lauf, als buchbares Angebot (Ankündigung (externe Seite, alibabacloud.com)). Wer den Fortschritt an der Dauer misst, vergleicht deshalb Forschung mit Forschung und Angebot mit Angebot.

Der Ton kommt jetzt mit

Bis vor kurzem waren Bild und Ton getrennte Läufe. Inzwischen entsteht beides im selben Vorgang: Nach der Modellseite von Veo (externe Seite, deepmind.google) legt die dritte Fassung Geräusche, Umgebungsklang und sogar Dialog zum erzeugten Bild dazu.

Damit fällt an dieser Stelle die Grenze zu Kapitel 08 weg. Eine Stimme im Video kommt aus demselben Modell wie das Bild dazu, und die Kenn­zeich­nungs­frage aus Conversational AI, Kapitel 09 trifft sie genauso.

Musik hat zwei Bauformen

Die MusicGen-Arbeit (externe Seite, arxiv.org) beschreibt ein einzelnes Sprachmodell, das über mehrere parallele Ströme verdichteter, in Einzelstücke zerlegter Musik läuft, also über Token.

Ein Sprachmodell also, nur dass seine Token verdichtete Musik bezeichnen statt Wortteile. Der zweite Punkt jener Arbeit ist die Vereinfachung: Mehrere hin­ter­ein­an­der­ge­schal­tete Modelle braucht das Verfahren nicht mehr.

Andere Arbeiten derselben Zeit erzeugen Musik über Diffusion, also auf dem Weg der Bildmodelle. Die MusicGen-Arbeit führt diesen Ansatz selbst als zweiten Weg an (Abschnitt 5).

3D hat kein Netz voller 3D-Daten

Bei Bildern gab es Milliarden Beispiele mit Beschriftung. Für den Raum fehlt dieses Material, und die DreamFusion-Arbeit (externe Seite, arxiv.org) sagt es in ihrem Kurztext: Das Verfahren der Bilderzeugung auf den Raum zu übertragen, setzte große Datensätze mit beschrifteten 3D-Daten voraus und dazu Bauformen, die 3D-Daten effizient entrauschen.

Beides fehlte. Der Ausweg war ein Umweg über das, was es gab: Ein vorab trainiertes Diffusionsmodell, das aus Text zweidimensionale Bilder erzeugt, übernimmt die Erzeugung des Raums aus Text.

Ein Bildmodell beurteilt also Ansichten eines räumlichen Modells, bis sie von allen Seiten überzeugen. Das ist der eine Weg. Der andere geht von Fotos aus und rechnet daraus eine Szene, und beide führen zu Ergebnissen, die gleich aussehen.

Woran Sie ein bewegtes Ergebnis festmachen

Fragen Sie nach der Dauer, bevor Sie nach der Auflösung fragen. Die Sekundenzahl entscheidet, wofür ein Modell reicht.

Rechnen Sie mit Anläufen. Ein Clip braucht nach Runway Sekunden bis Minuten (externe Seite, runway.com), und jeder Fehlversuch kostet Geld, bei Wan3.0 je Sekunde Video.

Prüfen Sie, ob der Ton dazugehört. Eine erzeugte Stimme im Video fällt unter dieselben Kenn­zeich­nungs­pflichten wie eine einzeln erzeugte.

Klären Sie die Rechte vor dem ersten Einsatz. Wem ein Ergebnis gehört und ob es überhaupt geschützt ist, sind zwei getrennte Fragen.

Der Überblick nennt die Zeitachse als das Unterscheidende. Diese Ebene sagt, was daran hängt: an Aufwand, an Material und an den Verfahren für den Raum.

Raum-Zeit-Stücke statt Bildpunkte

Ein Videomodell zerlegt seinen Gegenstand in Stücke, die eine Fläche über eine Zeitspanne bezeichnen. Bei Sora läuft das Entrauschen darauf wie beim Einzelbild, und wie es funktioniert, steht in Grundkurs, Kapitel 14. Runway beschreibt für sein Modell Solaris einen Umbau (externe Seite, runway.com) dieses Verfahrens: Es erzeugt Bild für Bild, jedes nur aus den vorherigen, und braucht dafür wenige Ent­rau­schungs­schritte.

Die Folge dieser Bauform ist eine Rechnung. Die Zahl der Stücke wächst mit der Fläche und mit der Dauer, also mit zwei Größen gleichzeitig. Ein doppelt so langer Clip mit doppelter Bildfläche hat viermal so viele Stücke, mit doppelter Breite und doppelter Höhe sind es achtmal so viele. Der Rechenaufwand steigt darüber hinaus, weil jedes Stück mit den anderen verrechnet wird.

Daran hängt eine Eigenschaft, die im Umgang zählt: Wie lang ein Clip höchstens wird, legt das Modell fest. Innerhalb dieser Grenze ist die Dauer eine Einstellung. Sora steuert sie nach dem Bericht (externe Seite, openai.com) über die Zahl der Stücke, mit denen ein Lauf beginnt. Wan3.0 schlägt nach seiner Ankündigung (externe Seite, alibabacloud.com) je Auftrag eine passende Länge vor. Wer mehr will, verlängert einen vorhandenen Clip. Bei Veo (externe Seite, deepmind.google) setzt der zweite Lauf an der letzten Sekunde des ersten an. Die Beständigkeit über die Naht hinweg ist genau die Schwäche aus dem nächsten Abschnitt.

Was zeitliche Beständigkeit kostet

Die Anforderung, dass ein Gegenstand über hundert Bilder derselbe bleibt, ist das eigentliche Problem dieses Gebiets. Sichtbar wird sie an vier Stellen: Gesichter wandern, Gegenstände verschwinden und tauchen wieder auf, Hände verändern ihre Zahl, und Schrift zerfällt.

Der letzte Punkt ist der am besten dokumentierte, und ein Hersteller sagt ihn über die eigene Arbeit: Im Forschungsbeitrag zu Solaris (externe Seite, runway.com) zählt Runway beständige, lesbare Schrift weiterhin zu den schwierigsten Aufgaben der Videoerzeugung.

Grundkurs, Kapitel 14 nennt Schrift im Bild bereits als Schwäche. Bei bewegten Bildern kommt hinzu, dass sie in jedem Einzelbild dieselbe sein muss.

Rechenzeit wächst mit der Zeitachse

Ein Clip braucht nach Runway Sekunden bis Minuten (externe Seite, runway.com). Für die Arbeitsweise folgt daraus eine Verschiebung: Beim Bild bessert man nach, beim Video formuliert man vorher genauer, weil jeder Anlauf teurer ist.

Am anderen Ende steht die Frage, ab wann eine Reaktion noch als Reaktion durchgeht. Runway setzt die Grenze im selben Beitrag (externe Seite, runway.com) ungefähr bei einer halben Sekunde Verzögerung an, darüber fühle sich ein Austausch nicht mehr wie einer an.

Woher das Material kommt

Grundkurs, Kapitel 14 lässt die Frage offen, woher die Trainingsbilder stammen. Bei Video gibt es dazu inzwischen eine offene Zahl: Für einen offenen Videodatensatz (externe Seite, arxiv.org) wurden 80 Millionen Videos mit zusammen zehn Millionen Stunden Laufzeit heruntergeladen.

Zehn Millionen Stunden sind gut elfhundert Jahre Material. Der Datensatz ist für die Forschung freigegeben, und schon diese Einschränkung sagt etwas: Was für ein Produkt benutzt werden darf, ist damit nicht beantwortet. Geprüft haben die Verfasser das Material an Modellen, die Video, Ton und Bild einem Text zuordnen (Abschnitt 1 der Arbeit). Eine Messung an einem Videogenerator enthält die Arbeit nicht.

Musik als Tokenfolge

Der Weg über Token hat eine Folge, die man kennt, wenn man Grundkurs, Kapitel 02 gelesen hat: Das Modell setzt fort, Stück für Stück, und jede Fortsetzung hängt an einer Ziehung. Zwei Läufe mit demselben Auftrag ergeben deshalb zwei verschiedene Stücke, aus demselben Grund wie in Grundkurs, Kapitel 12.

Der Unterschied zum Sprachmodell liegt im Gegenstand der Token. Sie stammen aus einem Audio-Kompressor, der denselben Klang in mehreren Strömen ablegt: Der erste trägt das Gröbste, jeder weitere den Rest, den der vorige übrig ließ (Abschnitt 2.1 der Arbeit). Das Modell setzt alle Ströme gemeinsam fort.

Der zweite Punkt der MusicGen-Arbeit (externe Seite, arxiv.org) ist die Vereinfachung des Aufbaus. Frühere Systeme setzten mehrere Modelle hintereinander. Das neue Verfahren kommt ohne diese Kette aus.

Was daraus für den Umgang folgt, ist dieselbe Einsicht wie bei Text: Ein zweiter Lauf ergibt ein anderes Stück, und wer ein Ergebnis behalten will, speichert es. Eine Wiederholung derselben Eingabe ist keine Sicherung.

Drei Verfahren für den Raum

Zwei rekonstruieren, eines erfindet.

NeRF, seit 2020. Aus Fotos mit bekannter Kameraposition wird eine Szene, aus der sich neue Blickwinkel berechnen lassen. Für echte Szenen nahm die Arbeit 20 bis 62 Fotos je Szene. Die NeRF-Arbeit (externe Seite, arxiv.org) meldet dafür den damals besten Stand bei neuen Ansichten komplexer Szenen, erreicht über eine stetige Funktion, die den Raum als Volumen beschreibt und an wenigen Eingangsbildern angepasst wird. Abgelegt wird dabei eine Funktion in den Gewichten eines kleinen Netzes. Ein Gitternetz entsteht dabei an keiner Stelle.

Gaussian Splatting, seit 2023. Dasselbe Ziel, in Echtzeit. Die Arbeit zum Gaussian Splatting (externe Seite, repo-sam.inria.fr) nennt beide Zahlen, die den Sprung beschreiben. Vorher erreichte kein Verfahren Echtzeit, sobald es um offene, vollständige Szenen statt einzelner Gegenstände in 1080p ging. Danach sind neue Ansichten in hoher Qualität und Echtzeit möglich, mit mindestens 100 Bildern in der Sekunde bei 1080p.

DreamFusion, seit 2022. Der erfindende Weg über ein Bildmodell, weil beschriftete 3D-Daten fehlen. Das Ergebnis ist eine Szene, die es nie gab.

Für die Praxis zählt an dieser Aufzählung vor allem, was am Ende herauskommt. Alle drei liefern etwas, das sich ansehen lässt. Ein Bauteil mit Kanten und Maßen, wie es ein Kon­struk­ti­ons­pro­gramm erwartet, liefert keines davon. Wer ein erzeugtes Ergebnis in eine Fertigung geben will, hat einen weiteren Arbeitsschritt vor sich, und der ist nicht Teil dieser Verfahren.

Was daraus für die Praxis folgt

Die Dauer ist der Kostentreiber, und sie wirkt zusammen mit der Auflösung. Wan3.0 rechnet je Sekunde ab (externe Seite, alibabacloud.com), gestaffelt nach Auflösung.

Beständigkeit über die Zeit ist die Schwäche, an der sich Modelle unterscheiden. Schrift im bewegten Bild ist der härteste Fall.

Musik hat zwei Bauformen. Welche ein Werkzeug benutzt, entscheidet, ob es sich wie ein Sprachmodell verhält.

Bei 3D entscheidet die Frage nach der Herkunft. Rekonstruiert aus Fotos oder erfunden aus einem Satz sind zwei verschiedene Dinge, auch wenn die Datei dasselbe Format hat.

Ein Clip ist keine Szene

Die Grenze dieser Modelle liegt selten bei der Sekundenzahl. Sie liegt beim Schnitt.

Ein Film besteht aus Einstellungen, die aufeinander bezogen sind: dieselbe Person in zwei Kame­ra­ein­stel­lungen, dieselbe Beleuchtung nach einem Ortswechsel, ein Gegenstand, der in Bild drei liegt, wo ihn Bild eins hingelegt hat. Für einen Teil davon liefern die Hersteller Hilfen. Sora erzeugt nach dem Bericht (externe Seite, openai.com) mehrere Einstellungen derselben Figur in einem Lauf. Veo (externe Seite, deepmind.google) hält eine Figur über Szenen hinweg gleich, wenn es Referenzbilder von ihr bekommt. Was einen Film über viele Clips zusammenhält, ordnet weiter, wer die Clips zusammensetzt.

Praktisch heißt das: Ein Modell liefert Bausteine. Das meiste, was einen Film zusammenhält, passiert danach und außerhalb. Wer eine Produktionszeit schätzt, schätzt deshalb an der falschen Stelle, wenn er die Erzeugungsdauer je Clip hochrechnet.

Dasselbe gilt für die Naht zwischen zwei Läufen. Verlängern setzt am Ende des vorigen Clips an, bei Veo an dessen letzter Sekunde, und die Fehler summieren sich über die Kette.

Wem gehört, was herauskommt

Zwei Fragen, die ständig zusammenfallen und getrennt zu beantworten sind.

Die erste ist der Vertrag. Ein Anbieter für Musikerzeugung schreibt es auf seiner Hilfeseite zu den Rechten (externe Seite, help.suno.com) deutlicher als die meisten: Was im kostenlosen Basistarif entsteht, gehört Suno. Im bezahlten Tarif dreht sich das um: Wer die Stücke während eines laufenden Pro- oder Premier-Abos erzeugt, besitzt sie selbst.

Die zweite ist das Urheberrecht, und die Antwort darauf hängt an keinem Tarif. In beiden Fällen, so dieselbe Seite, kann das Ergebnis ohne urhe­ber­recht­li­chen Schutz bleiben.

Die Begründung steht einen Absatz weiter und trifft jedes Medium, um das es in diesem Kapitel geht: Musik, die vollständig maschinell entstanden ist, erhält keinen Schutz, weil kein Mensch Text oder Musik geschrieben hat.

Und für alle, die ihre Arbeit im Auftrag sehen: Wer den Auftrag formuliert, hat damit nach dieser Seite das Stück noch nicht geschaffen.

Beides zusammen ergibt eine Lage, die viele überrascht. Ein Stück kann Ihnen gehören und trotzdem ohne urhe­ber­recht­li­chen Schutz bleiben. Was daraus für Dritte folgt, lässt die Seite offen. Sie sagt nur, dass Abonnenten ihre Stücke als Einzige vermarkten sollen. Die Auskunft stammt von einem Anbieter und ist auf die Vereinigten Staaten bezogen, wo das Urheberrecht schützt, was ein Mensch geschaffen hat. Für den eigenen Fall verweist die Seite ausdrücklich auf die zuständige Stelle.

Am Eingang steht dieselbe Frage noch einmal. Der offene Videodatensatz aus der Ebene davor ist für die Forschung freigegeben, und was in einem Produkt verwendet werden darf, ist damit offen.

Rekonstruktion und Erfindung sehen gleich aus

Eine aus Fotos gerechnete NeRF-Szene und eine mit DreamFusion aus einem Satz erfundene liegen im selben Format vor. Die Datei sagt nicht, welche von beiden sie ist.

Das ist mehr als eine Feinheit. Bei der Rekonstruktion gilt, was in Kapitel 05 über Messen steht: Das Ergebnis behauptet, so ausgesehen zu haben. Bei der Erfindung behauptet es gar nichts, und beide Behauptungen stehen in derselben Datei ohne Unterschied.

Wer räumliche Ergebnisse weitergibt, vermerkt deshalb die Herkunft daneben. Aus dem Format geht sie nicht hervor, und ein späterer Betrachter kann sie nicht rekonstruieren.

Die Angaben in diesem Kapitel sind Herstellerangaben

Fast jede Zahl hier stammt von dem Haus, das das Modell verkauft. Cliplängen, Auflösungen, Bildraten und die Aussage über die Tonspur sind Ankündigungen ohne unabhängige Nachmessung.

Drei Angaben fallen aus diesem Muster, und sie sind es wert, benannt zu werden. Die Zahlen zum räumlichen Rendern stammen aus einer begutachteten Arbeit, die zum offenen Videodatensatz aus einer Forschungsarbeit. Und die deutlichste Aussage über eine Schwäche kommt vom Hersteller selbst: Runway zählt in seinem Forschungsbeitrag (externe Seite, runway.com) beständige, lesbare Schrift zu den schwierigsten Aufgaben der Videoerzeugung, und das macht die Aussage glaubwürdiger als eine Werbeaussage.

Deshalb steht in diesem Kapitel keine Empfehlung. Was hier fehlt, ist eine eigene Messung, und ohne die wäre jede Aussage über das bessere Werkzeug eine Weitergabe fremder Werbung.

Was daraus nicht folgt

Aus einer längeren Cliplänge folgt kein besseres Ergebnis. Die Dauer sagt, wie viel am Stück entsteht. Über Beständigkeit, Bildqualität und Brauchbarkeit sagt sie nichts.

Aus der Ähnlichkeit zum Sprachmodell folgt kein Verständnis von Physik. Was ein Videomodell über Bewegung gelernt hat, reicht für Ansehnlichkeit. Wo die Grenze zur Vorhersage liegt, steht in Kapitel 09.

Aus dem Eigentum folgt kein Schutz. Ein Stück kann Ihnen gehören und trotzdem ohne urhe­ber­recht­li­chen Schutz bleiben.

Aus einem räumlichen Ergebnis folgt kein Bauteil. Was diese Verfahren liefern, lässt sich ansehen. Eine Konstruktion mit Kanten und Maßen ist ein eigener Arbeitsschritt danach.

Aus dem Fehlen einer Empfehlung folgt keine Ablehnung. Diese Werkzeuge arbeiten, und dieses Kapitel hat sie nur nicht gemessen.