Welt­mo­delle

Ein Sprachmodell sagt das nächste Token voraus. Ein Weltmodell sagt die nächste Lage voraus: wie eine Umgebung aussieht, nachdem etwas darin passiert ist.

Das klingt nach einem kleinen Unterschied und ist ein großer. Wer vorhersagen kann, was auf eine Handlung folgt, kann Handlungen durchspielen, bevor er sie ausführt.

Ein Modell, das die nächste Lage vorhersagt

Die knappste Bestimmung stammt von einem Hersteller und nennt beide Hälften. In seiner Ankündigung von Genie 3 (externe Seite, deepmind.google) beschreibt er Weltmodelle als KI-Systeme, die ihr Verständnis der Welt nutzen, um Ausschnitte davon zu simulieren. Damit können Agenten vorhersagen, wie eine Umgebung sich entwickelt und wie ihre eigenen Handlungen sie verändern.

Zwei Vorhersagen also. Die eine betrifft den Lauf der Dinge ohne Zutun: Ein geworfener Ball fällt. Die andere betrifft die eigene Wirkung: Wenn ich jetzt die Hand ausstrecke, fange ich ihn.

Der Begriff in dieser Bedeutung stammt aus einer Arbeit von 2018 (externe Seite, arxiv.org). Ihr Weltmodell lässt sich schnell und unüberwacht trainieren, also ohne beschriftete Beispiele, und lernt dabei eine verdichtete Darstellung der Umgebung in Raum und Zeit.

Verdichtet werden Raum und Zeit. Das Modell merkt sich also, wie die Umgebung aussieht und wie sie sich bewegt, in einer Form, die klein genug zum Rechnen ist.

Warum Vorhersagen billiger ist als Ausprobieren

Ein Agent, der in der echten Welt lernt, zahlt für jeden Versuch. Ein Roboterarm, der greifen lernt, braucht Millionen Versuche, und jeder kostet Zeit, Verschleiß und gelegentlich ein zerbrochenes Glas.

Ein Agent, der in seinem eigenen Modell lernt, zahlt nur Rechenzeit. Er kann tausend Varianten in einer Sekunde durchspielen, und ein Fehler darin bleibt folgenlos.

Genau das war der Nachweis von 2018, und die Autoren haben ihn zugespitzt formuliert: Sie trainieren ihren Agenten sogar vollständig in einem halluzinierten Traum, den sein eigenes Weltmodell erzeugt, und übertragen das so gelernte Verhalten zurück in die echte Umgebung (Arbeit von 2018 (externe Seite, arxiv.org)).

Das Wort für die Erfindung des Modells ist dasselbe, das bei Sprachmodellen den Fehler bezeichnet. Hier ist sie der Zweck.

Der Traum als Übungsplatz

Wie weit das reicht, hat eine begutachtete Arbeit von 2025 gezeigt. Sie ist im Bestand dieser Seite die Ausnahme: begutachtet, frei zugänglich, mit einem Nachweis, den man nachrechnen kann. Die Dreamer-Arbeit (externe Seite, nature.com) stellt die dritte Generation des Verfahrens vor: ein allgemeines Verfahren, das mit einer einzigen Einstellung über mehr als 150 verschiedene Aufgaben hinweg spezialisierte Verfahren übertrifft.

Die Bauform in einem Satz: Dreamer lernt ein Modell der Umgebung (externe Seite, nature.com) und verbessert sein Verhalten, indem es sich künftige Abläufe vorstellt.

Der Nachweis, den die Arbeit selbst herausstellt, ist ein Videospiel. In Minecraft einen Diamanten zu finden, verlangt eine lange Kette von Schritten, und Belohnung gibt es erst ganz am Ende. Laut der Arbeit (externe Seite, nature.com) ist Dreamer das erste Verfahren, das alle zwölf Zwischenziele bis zum Diamanten erreicht, bei seltener Belohnung, ohne menschliche Daten und ohne vorgegebene Abfolge von Übungsaufgaben.

Zwölf Zwischenschritte ohne Anleitung und ohne menschliche Vorlagen. Das ist die Aufgabenform, an der Verfahren aus Kapitel 02 sonst scheitern.

Wo die Videomodelle hineinspielen

Ein zweiter Weg zu Weltmodellen kommt von der Bildseite. Wer ein Modell darauf trainiert, Video fortzusetzen, bringt ihm bei, wie Dinge sich bewegen, und das ist eine Form von Weltwissen.

OpenAI hat den eigenen Videogenerator ausdrücklich so eingeordnet: Nach dem Bericht zu Sora (externe Seite, openai.com) deuten die Ergebnisse darauf hin, dass größere Videogeneratoren ein viel­ver­spre­chender Weg zu allgemein einsetzbaren Simulatoren der physischen Welt sind.

Der Unterschied zum Bildmodell aus Grundkurs, Kapitel 14 liegt in der Zeitachse. Ein Bild hat keine Folge, ein Video schon, und aus der Folge ergibt sich die Frage, was als Nächstes passiert.

Ein drittes Verfahren geht noch einen Schritt weiter und lässt sich begehen: Laut der Ankündigung (externe Seite, deepmind.google) erzeugt Genie 3 aus einem Text-Prompt bewegte Welten, durch die man sich in Echtzeit mit 24 Bildern je Sekunde bewegen kann. Bei einer Auflösung von 720p bleiben sie dabei einige Minuten lang in sich stimmig.

Die Angaben stammen vom Hersteller, eine unabhängige Messung dazu liegt nicht vor.

Weltwissen aus Text

Die Frage, ob in einem Sprachmodell ein Weltmodell steckt, ist offen und wird in der Forschung ernsthaft gestritten. Sicher ist zweierlei.

Ein Sprachmodell hat Text über die Welt gesehen und daraus vieles gelernt, was sich wie Weltwissen verhält. Es weiß, dass ein losgelassenes Glas fällt, weil das in Millionen Sätzen steht.

Und es hat keine Umgebung, in der es Handlungen durchspielen könnte. Was es an Vorhersage leistet, leistet es in Sprache. Was das für Agenten bedeutet, steht in Agenten und Harness, Kapitel 01.

Woran Sie ein Weltmodell festmachen

Fragen Sie nach der Handlung. Ein Weltmodell sagt vorher, was eine Handlung bewirkt. Ein Videogenerator ohne Ein­griffs­mög­lich­keit sagt nur, wie es weitergeht.

Fragen Sie nach der Dauer. Über wie viele Sekunden bleibt die Umgebung sich treu? Das ist die Kennzahl, an der sich diese Systeme heute unterscheiden.

Achten Sie darauf, wo geübt wird. Im Modell zu lernen ist billig und richtig nur so weit, wie das Modell stimmt.

Und trennen Sie Vorhersage von Physik. Ein Modell, das gelernt hat, wie Dinge aussehen, hat keine Bewe­gungs­glei­chungen gelernt.

Sehen, Erinnern, Entscheiden

Die Arbeit von 2018 hat eine Aufteilung eingeführt, die bis heute gilt. Drei Bauteile, jedes mit einer eigenen Aufgabe.

Sehen. Ein Bild der Umgebung ist zu groß, um damit zu rechnen. Ein Autoencoder verdichtet es auf wenige hundert Zahlen, die Bauform steht in Kapitel 03. Diese Zahlen sind die Lage, in der das System denkt.

Erinnern. Ein zweites Netz sagt voraus, welche Lage als Nächstes kommt, und zwar abhängig von der Handlung. Es führt einen Zustand mit, denn was als Nächstes passiert, hängt an dem, was vorher war.

Entscheiden. Ein drittes, sehr kleines Netz wählt die Handlung. Es bekommt die verdichtete Lage und den Zustand des Vorhersagenetzes und gibt einen Zug aus.

Der Kern der Sache steckt in der Verteilung der Größen. Die beiden ersten Teile sind groß und lernen die Umgebung. Der dritte ist winzig und lernt nur, was zu tun ist. Deshalb funktioniert der Trick aus Tiefe 1: Wenn das Verhalten in einem kleinen Netz steckt, lässt es sich billig im Modell trainieren und danach in die echte Umgebung übertragen.

Die Fassung von 2025 hat daraus eine Dreiteilung mit anderen Namen gemacht. In der Dreamer-Arbeit (externe Seite, nature.com) bewertet ein Critic-Netz den Wert jedes Ergebnisses, und ein Actor-Netz wählt die Handlungen, die zu den besten Ergebnissen führen.

Ein Netz bewertet, ein Netz handelt, und das Weltmodell liefert beiden die Zukunft, über die sie reden.

Im Modell üben statt in der Welt

Wer in einem gelernten Modell übt, hat ein Problem, das die echte Welt nicht hat: Das Modell kann sich irren, und der Agent findet die Stellen, an denen es sich irrt.

Das ist die logische Folge des Verfahrens. Wer nach der besten Handlung sucht, sucht auch in den Bereichen, in denen das Modell danebenliegt. Findet es dort eine Handlung, die im Modell großartig aussieht, nimmt es sie, und in der echten Umgebung passiert etwas anderes.

Die Gegenmittel sind alle eine Form von Vorsicht. Man begrenzt, wie weit in die Zukunft geträumt wird. Man lässt das Modell seine eigene Unsicherheit mitschätzen und misstraut Vorhersagen, bei denen sie hoch ist. Und man sammelt weiter echte Erfahrung, um das Modell nachzuziehen.

Was in der begutachteten Arbeit steht

Die Dreamer-Arbeit von 2025 ist an einer Stelle besonders aufschlussreich, und es ist nicht die mit dem Diamanten. Sie misst laut Arbeit (externe Seite, nature.com) über acht Gebiete hinweg mit einer einzigen Einstellung. Die Arbeit (externe Seite, nature.com) stellt die dritte Generation von Dreamer vor, ein allgemeines Verfahren, das über mehr als 150 verschiedene Aufgaben hinweg spezialisierte Verfahren übertrifft, und zwar mit einer einzigen Konfiguration.

Entscheidend ist die eine Konfiguration. Bis dahin war es üblich, ein Verfahren für jedes Gebiet neu einzustellen, und wer das tut, misst am Ende die Einstellarbeit mit. Dieselbe Frage stellt sich bei jeder Benchmarkzahl, und sie steht ausgeführt in Beurteilen und Einordnen, Kapitel 04.

Die Autoren nennen ihren Nachweis selbst: Dreamer sei das erste Verfahren (externe Seite, nature.com), das alle zwölf Zwischenziele bis zum Diamanten erreicht, bei seltener Belohnung, ohne menschliche Daten und ohne vorgegebene Abfolge von Übungsaufgaben.

Der Kurztext derselben Arbeit spricht an dieser Stelle nur davon, in Minecraft von Grund auf Diamanten zu sammeln. Die genauere Fassung mit den zwölf Zwischenschritten steht im Fließtext, und sie ist die brauchbarere: Sie sagt, was gemessen wurde.

Die begehbare Welt

Ein anderer Weg erzeugt die Umgebung als Bild und lässt sie begehen. Das Verfahren dazu hat einen Zuschnitt, der eine ältere Annahme kippt: Nach der Ankündigung von Genie 3 (externe Seite, deepmind.google) erzeugt das Modell aus einem Text-Prompt bewegte Welten, durch die man sich in Echtzeit mit 24 Bildern je Sekunde bewegen kann. Bei einer Auflösung von 720p bleiben sie dabei einige Minuten lang in sich stimmig.

Die entscheidende Eigenschaft ist die Beständigkeit. Wer sich in einer erzeugten Welt umdreht, soll dasselbe wiedersehen, und genau das war jahrelang das Problem: Diese Systeme erfanden bei jeder Bewegung neu, was hinter dem Rücken liegt.

Wie das Zusammenspiel mit einem Agenten aussieht, beschreibt der Hersteller in einem Satz, der die Rollenverteilung klarmacht: Wie jede andere Umgebung kennt Genie 3 das Ziel des Agenten nicht und simuliert die Zukunft anhand seiner Handlungen (Ankündigung (externe Seite, deepmind.google)).

Das Modell ist die Umgebung. Den Spieler stellt jemand anders, und ein Ziel kennt das Modell nicht.

Was diese Modelle nicht können

Der Hersteller zählt seine Grenzen (externe Seite, deepmind.google) selbst auf, und zwei davon sind grundsätzlich. Die erste betrifft echte Orte: Genie 3 kann reale Orte derzeit nicht mit vollständiger geografischer Genauigkeit simulieren.

Die zweite betrifft die Dauer: Durchgehende Interaktion unterstützt das Modell derzeit über einige Minuten, für längere Zeiträume von Stunden reicht es noch nicht.

Wenige Minuten Beständigkeit sind für ein Training zu wenig, das über Stunden läuft. Und ein Ort, der nur ungefähr stimmt, taugt nicht zum Üben für einen Weg, den ein Roboter danach in echt fahren soll.

Dazu kommt die Verfügbarkeit: Der Hersteller hat Genie 3 als begrenzte For­schungs­vor­schau (externe Seite, deepmind.google) angekündigt, mit frühem Zugang für eine kleine Gruppe aus Wissenschaft und kreativen Berufen.

Der Videogenerator ist bei seinen Grenzen ähnlich deutlich: Laut dem Sora-Bericht (externe Seite, openai.com) zeigt Sora als Simulator derzeit zahlreiche Schwächen. So bildet es die Physik vieler einfacher Wechselwirkungen nicht genau ab, etwa wenn Glas zerspringt.

Der Streit um das Weltmodell im Sprachmodell

Der dritte Weg lernt aus Video, das ohnehin da ist. Die Arbeit zu V-JEPA 2 (externe Seite, arxiv.org) stellt die Frage in ihrer allgemeinsten Form: Eine große Aufgabe der heutigen KI ist es, die Welt weitgehend durch Beobachtung verstehen und darin handeln zu lernen.

Die Grö­ßen­ver­hält­nisse sind der interessante Teil. Vortrainiert wird auf einem Datensatz aus Videos und Bildern (externe Seite, arxiv.org) mit mehr als einer Million Stunden Internetvideo.

Für das Handeln kommt dann sehr wenig dazu: weniger als 62 Stunden unbeschrifteter Robotervideos aus dem Droid-Datensatz (externe Seite, arxiv.org).

Und das Ergebnis arbeitet in fremden Räumen: Im Robotikversuch der Arbeit (externe Seite, arxiv.org) setzen die Autoren die Handlungsfassung V-JEPA 2-AC zero-shot an Franka-Armen in zwei verschiedenen Laboren ein. Dort greift und platziert sie Gegenstände, indem sie anhand von Zielbildern plant.

Zwei Labore, kein Training vor Ort. Die Zahlen stammen von den Autoren und damit vom Hersteller: Fast alle arbeiten laut Volltext (externe Seite, arxiv.org) bei FAIR, dem Forschungslabor von Meta. Eine unabhängige Wiederholung liegt nicht vor.

Damit ist auch gesagt, warum der Streit um Sprachmodelle offen ist. Wer aus Beobachtung lernt, baut etwas auf, das sich wie ein Modell der Welt verhält, ohne dass jemand es so gebaut hätte.

Was daraus für die Praxis folgt

Für die meisten Anwendungen ist das noch Forschung. Es gibt heute kein Produkt, in dem ein Weltmodell die Arbeit macht, die ein Sprachmodell nicht auch täte.

Der Ort, an dem es zuerst ankommt, ist die Robotik. Dort ist echte Erfahrung teuer, und genau dafür ist das Verfahren gebaut. Was dort sonst noch dazugehört, vom Bewegungsausgang bis zur Rechtslage, steht in Kapitel 14.

Und die Videoseite ist die sichtbare. Was heute als Videogenerator verkauft wird, ist nach der Bauweise ein halbes Weltmodell: Es sagt die nächste Lage voraus, nur ohne dass jemand eingreifen kann.

Eine Vorhersage ist keine Physik

Ein Physikprogramm rechnet mit Gleichungen. Es kennt Masse, Kraft und Beschleunigung, und wenn es eine Kugel rollen lässt, folgt sie diesen Gleichungen, auch in einer Lage, die noch nie jemand gesehen hat.

Ein Weltmodell rechnet mit Beispielen. Es hat gesehen, wie Kugeln rollen, und sagt eine Fortsetzung voraus, die den gesehenen ähnelt. In vertrauten Lagen sieht das gleich aus. In unvertrauten fällt es auseinander.

Der Bericht zum Videogenerator (externe Seite, openai.com) sagt das über den eigenen Gegenstand: Sora zeigt als Simulator derzeit zahlreiche Schwächen. So bildet es die Physik vieler einfacher Wechselwirkungen nicht genau ab, etwa wenn Glas zerspringt.

Zerbrechendes Glas ist ein gutes Beispiel, weil es beides zeigt. Es kommt in Videos oft vor, sieht aber jedes Mal anders aus, und aus dem Aussehen folgen keine Bruchlinien.

Bemerkenswert ist, wie die Fähigkeiten überhaupt entstanden sind. Nach dem Bericht (externe Seite, openai.com) zeigen Videomodelle, die in großem Maßstab trainiert werden, eine Reihe interessanter emergenter Fähigkeiten. Mit ihnen kann Sora einige Aspekte von Menschen, Tieren und Umgebungen der physischen Welt simulieren.

Niemand hat ein Bauteil für Drei­di­men­sio­na­lität eingebaut. Was an räumlicher Beständigkeit da ist, hat sich aus der Menge ergeben, und was sich so ergeben hat, lässt sich auch nicht gezielt reparieren.

Für den eigenen Gebrauch heißt das: Eine erzeugte Szene ist eine Aussage darüber, wie so etwas üblicherweise aussieht. Sie ist keine Aussage darüber, was in diesem Fall passieren wird.

Was fehlt, wenn nur die Szene modelliert wird

Eine Arbeit von 2026 benennt eine Lücke, die alle heutigen Weltmodelle teilen, und sie ist keine technische. Weltmodelle liefern nach der Arbeit zum Mental World Modeling (externe Seite, arxiv.org) eine vorhersagende Grundlage für Planen und Handeln. Die bisherigen Fassungen beantworten aber nur eine physikalische Frage: was oder wo etwas ist und wie es sich entwickeln wird.

Was jemand weiß, glaubt und will, steht in der Szene nicht. Die Folge daraus formuliert die Arbeit (externe Seite, arxiv.org) scharf: Ein Modell, das die physische Szene verfolgt, dabei aber auslässt, was jeder Beteiligte über sie weiß und glaubt, sagt zu einer richtig aussehenden Szene die falsche Handlung voraus.

Das Beispiel der Arbeit ist alltäglich: Jemand sucht eine Tasse, die während seiner Abwesenheit weggeräumt wurde. Physikalisch ist die Lage eindeutig, die Tasse steht im Schrank. Verhalten wird sich die Person trotzdem so, als stünde sie noch auf dem Tisch, denn ihr Wissen ist auf dem alten Stand.

Ein Weltmodell, das nur die Szene führt, sagt hier die falsche Handlung voraus, und es tut das mit hoher Sicherheit. Für jede Anwendung, in der Menschen vorkommen, ist das die härtere Grenze als die Physik.

Warum die Messung hier besonders schwer fällt

Bei einem Sprachmodell gibt es eine richtige Antwort, an der sich messen lässt. Bei einem Weltmodell gibt es die selten, und daraus folgen drei Schwierigkeiten.

Die Zukunft ist mehrdeutig. Wenn jemand die Hand hebt, kann er winken, greifen oder sich strecken. Ein Modell, das eine dieser Fortsetzungen zeigt, liegt nicht falsch, auch wenn im Video eine andere kam.

Das Aussehen und die Richtigkeit fallen auseinander. Eine Szene kann täuschend echt aussehen und physikalisch unmöglich sein. Umgekehrt kann eine grob gezeichnete Vorhersage die richtige Bewegung enthalten.

Und der Aufbau wandert mit. Genie 3 nennt Bildrate, Auflösung und Dauer, und alle drei sind Herstellerangaben ohne unabhängige Wiederholung; der Zugang war zum Zeitpunkt der Ankündigung auf einen kleinen Kreis beschränkt (Beleg (externe Seite, deepmind.google)). Der Sora-Bericht (externe Seite, openai.com) sagt selbst, dass er die Nachrechenbarkeit nicht liefert: Einzelheiten zu Modell und Umsetzung enthält er nach eigener Angabe nicht.

Die Dreamer-Arbeit ist unter diesen Belegen die Ausnahme, und der Grund ist methodisch: Sie misst an Umgebungen mit einer eindeutigen Punktzahl. Wo es einen Zähler gibt, gibt es eine Messung, und wo es nur ein Bild gibt, gibt es einen Eindruck. Was daraus für Kennzahlen folgt, steht in Beurteilen und Einordnen, Kapitel 04.

Was daraus nicht folgt

Aus einer beeindruckenden Szene folgt kein Verständnis. Was diese Modelle gelernt haben, ist die Wahr­schein­lich­keit von Bildfolgen. Das leistet verblüffend viel, und es reicht genau so weit wie die gesehenen Beispiele.

Der Traum ersetzt die Erfahrung nicht. Ein Verhalten, das im Modell funktioniert, funktioniert in der Welt so weit, wie das Modell stimmt. Deshalb sammelt jedes ernsthafte System weiter echte Erfahrung.

Und ein Sprachmodell ist damit nicht widerlegt. Die Frage, ob in seinen Gewichten etwas steckt, das sich wie ein Modell der Welt verhält, ist offen. Wer sie beantworten will, braucht eine Messung, und die gibt es für diesen Fall bisher nicht.

Der Begriff selbst ist unscharf geworden. Er bezeichnet heute drei verschiedene Sachen: das verdichtete Umgebungsmodell eines Agenten, einen Videogenerator mit Zeitachse und eine begehbare erzeugte Umgebung. Wer über Weltmodelle redet, sagt am besten dazu, welche der drei er meint.