Was ein Modell auf einem Bild erkennt

Wer ein Foto in ein Chatfenster zieht, hat etwas anderes getan, als eine Datei anzuhängen. Das Bild geht als Bild an das Modell. Dort wird es zu Token, so wie Text zu Token wird (Kapitel 03). Gezählt wird dabei bei den meisten Anbietern die Fläche.

Ein Bild kostet Fläche

Bei Anthropic lautet die Regel so: Claude verarbeitet ein Bild laut Anleitung zum Bildverstehen (externe Seite, platform.claude.com) in Feldern statt in Bildpunkten, jedes Feld ein Block von 28 mal 28 Bildpunkten und als sichtbares Token bezeichnet.

Über das Bild wird also ein Raster gelegt, und jedes Feld darin zählt wie ein Token. Ein Feld ist 28 Bildpunkte breit und 28 hoch.

Der Rest ist Rechnen. Ein quadratisches Bild von 1000 mal 1000 Bildpunkten ergibt 36 Felder in der Breite, denn 1000 geteilt durch 28 sind 35,7, und ein angefangenes Feld zählt ganz. In der Höhe ebenso viele. 36 mal 36 sind 1296 sichtbare Token, und genau diese Zahl steht in der Beispieltabelle des Herstellers.

Nach der Faustzahl aus Kapitel 03, ein Token je vier Zeichen englischen Fließtexts, sind das gut fünftausend Zeichen. Ein Bildschirmfoto ist damit der größere Teil der Frage.

OpenAI rechnet nach demselben Muster mit Feldern von 32 Bildpunkten, Google mit mitwachsenden Kacheln. Was dasselbe Bild bei den dreien kostet, steht in Ebene 2.

Ein PDF ist Text und Bild zugleich

Die Folge daraus fällt den meisten erst an der Rechnung auf. Ein PDF wirkt wie eine Textdatei. Bei Anthropic geht jede Seite zweimal an das Modell, als ausgelesener Text und als Bild der Seite. So steht es in der Anleitung zu PDFs (externe Seite, platform.claude.com): Der Text jeder Seite wird ausgelesen und neben dem Bild dieser Seite mitgegeben.

Bezahlt wird beides. Für den Text nennt die Dokumentation 1.500 bis 3.000 Token je Seite, je nachdem, wie dicht sie beschrieben ist. Das Bild kommt nach Fläche dazu, ob dort nun ein Diagramm steht oder ein einzelner Satz. Das ist zugleich der Grund, warum es überhaupt funktioniert: Das Modell sieht zum Text auch die Tabelle, die Unterschrift und den Stempel. Fragen lässt sich laut Anleitung (externe Seite, platform.claude.com) nach jedem Text, Bild, Diagramm und jeder Tabelle im PDF.

Für die Planung heißt das: Der Platz wird knapp, bevor die Seitenzahl es tut. Dichte PDFs, also viele Seiten in kleiner Schrift, verschachtelte Tabellen oder viele Grafiken, können nach derselben Anleitung (externe Seite, platform.claude.com) das Kontextfenster füllen, bevor die Höchstzahl an Seiten erreicht ist.

Was man vorher wissen sollte

Die Her­stel­ler­do­ku­men­ta­tion führt einen eigenen Abschnitt mit Grenzen. Drei davon betreffen den Alltag sofort.

Personen werden nicht benannt. Das Modell darf laut Anleitung (externe Seite, platform.claude.com) nicht dazu benutzt werden, Personen auf Bildern mit Namen zu nennen, und es lehnt das ab. Die Grenze steht in der Nut­zungs­richt­linie des Anbieters. Sie ist damit eine Festlegung, die er jederzeit ändern könnte.

Gezählt wird ungefähr. Wer Objekte in einem Bild zählen lässt, bekommt eine Schätzung. Verfahren, die stattdessen messen, stehen in KI jenseits der Sprachmodelle, Kapitel 05. Der Hersteller schreibt in seiner Anleitung (externe Seite, platform.claude.com), das Modell nenne ungefähre Zahlen und liege nicht immer genau, vor allem bei vielen kleinen Objekten.

Ob ein Bild von einer Maschine stammt, sieht das Modell nicht. Diese Grenze ist die überraschendste, weil man das Gegenteil erwartet. Nach der Anleitung (externe Seite, platform.claude.com) kann das Modell nicht bestimmen, ob ein Bild von einer KI erzeugt wurde, und kann sich irren, wenn man es fragt. Der Hersteller rät deshalb davon ab, sich bei der Suche nach gefälschten Bildern darauf zu verlassen.

Wie ein solches Bild entsteht und woran es sich trotzdem erkennen lässt, steht in Kapitel 14.

Alle drei großen Anbieter rechnen ein Bild in Token um, und alle drei tun es verschieden. Die gemeinsame Grundlage steht bei OpenAI in einem Satz: Modelle mit Bildverstehen wandeln laut Anleitung (externe Seite, developers.openai.com) jedes eingegebene Bild in Eingabe-Token um, die abgerechnet werden.

Danach trennen sich die Wege.

Anthropic und OpenAI zählen Felder, Google zählt Kacheln

Bei Anthropic ist das Feld fest: 28 Bildpunkte, immer. Der Preis wächst deshalb mit der Fläche.

OpenAI rechnet nach demselben Muster, mit etwas größeren Feldern: Manche Modelle legen laut Anleitung (externe Seite, developers.openai.com) Felder von 32 mal 32 Bildpunkten über das Bild.

Auf die Zahl der Felder schlägt OpenAI einen Faktor je Modell auf, bei gpt-6-astra das 1,2-Fache. Ältere Modelle rechnen dort noch in Kacheln zu 512 Bildpunkten.

Bei Google hängt die Kachelgröße am Bild selbst. Kleine Bilder kosten eine Pauschale, größere werden laut Googles Anleitung (externe Seite, ai.google.dev) in Kacheln von 768 mal 768 Bildpunkten zerlegt, jede zu 258 Token.

Wie viele Kacheln entstehen, beschreibt die Dokumentation (externe Seite, ai.google.dev) als Näherung: Die Kachelgröße ist ungefähr die kürzere Bildkante geteilt durch 1,5, abgerundet, floor(min(width, height) / 1.5).

Die Kachel richtet sich also nach der kürzeren Bildkante, und dann wird jede Seite durch diese Größe geteilt. Das Beispiel der Dokumentation selbst: Ein Bild von 960 mal 540 ergibt sechs Kacheln.

Daraus folgt etwas Unerwartetes. Weil die Kachel mit dem Bild mitwächst, kostet ein quadratisches Bild nach dieser Formel immer dasselbe, sobald es die Pauschale überschreitet: vier Kacheln, also 1032 Token, bei 1000 Bildpunkten Kantenlänge wie bei 4000.

Für Gemini 3 nennt Google daneben eine zweite Rechnung. Ein Schalter namens media_resolution legt fest, wie viele Token ein Bild höchstens bekommt, in der Grundeinstellung 1120 (Stufen von 280 bis 2240 (externe Seite, ai.google.dev)). Für welche Modelle die Kachelformel noch gilt, sagt die Seite zum Bildverstehen nicht. Beide Rechnungen haben eines gemeinsam: Ein großes Bild kostet bei Google kaum mehr als ein mittleres.

Dasselbe Bild, drei Rechnungen

Gerechnet nach den Formeln der drei Anbieter, für vier Bildgrößen. Bei Anthropic gilt die hohe Stufe der Modelle ab Claude 4.7, bei OpenAI gpt-6-astra in der Grundeinstellung, bei Google die Kachelformel:

Es gibt also keine Reihenfolge. Bei kleinen Bildern rechnen Anthropic und OpenAI günstiger, bei großen Google, und der Wechsel liegt irgendwo dazwischen. Wer die Zahlen für einen Preisvergleich benutzen will, muss zweimal aufpassen: Ein Token kostet bei den Anbietern verschieden viel, und Googles Formel bezeichnet sich selbst als Näherung.

Was passiert, wenn das Bild zu groß ist

Bei Anthropic wächst die Zahl nicht ins Unendliche. Jede Modellstufe hat zwei Obergrenzen, eine für die Kantenlänge und eine für die sichtbaren Token. Die Anleitung (externe Seite, platform.claude.com) nennt das die höchste native Auflösung eines Modells, angegeben als Grenze für die lange Kante und als Grenze für die sichtbaren Token.

Auf der Standardstufe liegen beide bei 1568. Auf der hohen Stufe ab Claude 4.7 sind es 2576 Bildpunkte und 4784 Token. Darüber greift eine Verkleinerung: Ein Bild, das eine der beiden Grenzen überschreitet, wird laut Anleitung (externe Seite, platform.claude.com) vor der Verarbeitung verkleinert. Screenshots, die man an die Toolsets für Computer Use und Browser Use zurückgibt, lehnt die API dagegen mit einem Vali­die­rungs­fehler ab, wenn sie zu groß sind. Man verkleinert sie deshalb vorher selbst. Über das Feld transformations lässt sich dasselbe für jedes andere Bild einstellen. Es schrumpft dabei auf die größte Fläche, die in die Grenzen der Stufe passt, und behält sein Seitenverhältnis.

Das deckelt den Preis und kostet Auflösung. Das Bild von 2000 mal 1500 aus der Tabelle kommt auf der Standardstufe auf 1.564 Token, es schrumpft dafür auf 1269 mal 952 Bildpunkte. Bei einem Foto fällt das kaum auf, bei einem Bildschirmfoto mit kleiner Schrift schon: Was nach der Verkleinerung unleserlich ist, bleibt unleserlich.

Zwischen den beiden Stufen liegt dabei ein Vielfaches: Auf der hohen Stufe kann dasselbe Bild nach der Anleitung (externe Seite, platform.claude.com) bis zu etwa dreimal so viele sichtbare Token belegen wie auf einem Modell der Standardstufe.

Dieselbe Datei kostet also je nach Modell verschieden viel, ohne dass sich an ihr etwas geändert hat.

OpenAI geht in der Grundeinstellung von gpt-6-astra den umgekehrten Weg. Verkleinert wird erst ab 65.535 Bildpunkten Kantenlänge, ein großes Bild kostet dort also seine volle Fläche. Braucht es mehr als 30.000 Felder, lehnt die Schnittstelle die Anfrage ab. Wer die Stufe high wählt, deckelt bei 2.500 Feldern.

Wer den Preis drücken will, verkleinert das Bild vor dem Absenden und behält damit die Kontrolle darüber, was verlorengeht.

Wie viele Bilder in eine Anfrage passen

Auch hier gehen die Zahlen weit auseinander. Anthropic nennt 100 je Anfrage für Modelle mit einem Fenster von 200.000 Token und 600 für die übrigen, dazu 8000 mal 8000 Bildpunkte als Höchstmaß je Bild. Bei mehr als 20 Bildern in einer Anfrage gilt dort für jedes einzelne eine strengere Größengrenze. OpenAI nennt 1.500 Bilder je Anfrage, Google eine andere Größenordnung: Die Gemini-Modelle nehmen laut Anleitung (externe Seite, ai.google.dev) bis zu 3.600 Bilddateien in einer Anfrage an.

In der Praxis ist diese Zahl selten die bindende Grenze. Vorher stößt die Anfrage an ihre Größe in Megabyte, bei Anthropic 32 MB, oder das Kontextfenster ist voll. Das gilt für Bilder genauso wie für Text (Kapitel 03).

Die Dokumentation von Anthropic führt sieben Grenzen auf, und sie sind ungewöhnlich konkret formuliert. Drei davon stehen in Ebene 1, drei weitere hier. Die siebte ist eine Nutzungsregel: Anstößiges verarbeitet das Modell gar nicht erst. OpenAI führt elf Grenzen auf, und zwei davon nennt nur OpenAI: Schrift außerhalb des lateinischen Alphabets und Panorama- oder Fisch­au­gen­auf­nahmen.

Wo die Genauigkeit endet

Kleine, schiefe oder schlechte Bilder. Bei Bildern in schlechter Qualität, gedrehten Bildern und sehr kleinen unter 200 Bildpunkten kann das Modell laut Anleitung (externe Seite, platform.claude.com) Dinge erfinden oder sich irren.

Die Zahl ist nützlich: Unter 200 Bildpunkten Kantenlänge wird es unzuverlässig. Das betrifft ausgeschnittene Bildausschnitte häufiger als ganze Aufnahmen.

Koordinaten sind Näherungen. Was das Modell an Koordinaten und Ortsangaben ausgibt, ist laut Anthropic (externe Seite, platform.claude.com) ungefähr, und die Anleitung rät, es vor der Weiterverwendung zu prüfen.

OpenAI (externe Seite, developers.openai.com) sagt dasselbe mit anderen Worten: Das Modell tue sich schwer mit Aufgaben, die eine genaue Ortsbestimmung im Bild verlangen.

Google trainiert seine Modelle eigens auf diese Aufgabe: Sie sollen nach Googles Anleitung (externe Seite, ai.google.dev) Objekte in einem Bild finden und die Koordinaten ihres umgebenden Rahmens angeben.

Wie genau die Rahmen sitzen, beziffert Google auf dieser Seite nicht. Wer ein Modell fragt, wo in einem Bild etwas liegt, bekommt also eine Angabe, die für eine Beschreibung reicht und für eine automatische Wei­ter­ver­ar­bei­tung nachgemessen gehört. Dazu kommt ein Bezug, den man leicht übersieht: Die Werte gelten für das Bild, das das Modell nach der Verkleinerung sieht. Laut Anleitung (externe Seite, platform.claude.com) gibt Claude absolute Bildpunkte an, bezogen auf das Bild nach dem Verkleinern.

Wer sie auf das Original übertragen will, rechnet sie mit dem Verhältnis der beiden Größen zurück. Anthropic beschreibt das in einer eigenen Anleitung (externe Seite, platform.claude.com). Danach füllt Claude jedes Bild rechts und unten auf ein Vielfaches von 28 Bildpunkten auf. Der Rand enthält nichts und verschiebt keinen Punkt, gerechnet wird deshalb mit der verkleinerten Größe ohne ihn. Wer durch die aufgefüllte Größe teilt, verzerrt jede Koordinate um ein kleines Stück.

Schrift außerhalb des lateinischen Alphabets. Diese Grenze nennt nur OpenAI (externe Seite, developers.openai.com): Bei Bildern mit Text in einer nicht lateinischen Schrift arbeite das Modell womöglich nicht optimal.

Panorama und Fischauge. Auch diese Grenze steht nur bei OpenAI (externe Seite, developers.openai.com): Mit Panorama- und Fisch­au­gen­auf­nahmen tue sich das Modell schwer.

Medizinische Aufnahmen. Beide Anbieter grenzen denselben Fall aus, und Anthropic zieht die Linie genauer: Allgemeine medizinische Bilder kann das Modell laut Anleitung (externe Seite, platform.claude.com) auswerten, für verwickelte Aufnahmen zur Diagnose wie CT oder MRT ist es nicht gebaut, und seine Ausgaben ersetzen keinen ärztlichen Rat. OpenAI (externe Seite, developers.openai.com) nennt das Modell ungeeignet, um medizinische Spezialaufnahmen wie CT-Bilder zu deuten.

Ein Röntgenbild ansehen zu lassen und sich auf die Auskunft zu verlassen, sind damit zwei verschiedene Dinge.

Zwei Eigenheiten, die niemand erwartet

Eine Animation ist ein Einzelbild. Wer ein bewegtes GIF hochlädt, schickt genau ein Bild. Animationen werden laut Anleitung (externe Seite, platform.claude.com) nicht unterstützt, verwendet wird nur das erste Einzelbild.

Die Reihenfolge im Prompt zählt, und die Anbieter raten Verschiedenes. Zu den Positionseffekten aus Kapitel 05 kommt für Bilder bei Anthropic eine eigene Empfehlung (externe Seite, platform.claude.com): Das Modell arbeitet am besten, wenn die Bilder vor dem Text stehen.

Das ist derselbe Gedanke wie beim langen Dokument vor der Frage, angewendet auf ein Bild, das der Frage vorausgeht. Der Effekt ist mäßig: Im selben Hinweis steht, dass ein Bild nach dem Text oder mitten darin ebenfalls gut funktioniert. Google rät für ein einzelnes Bild zur umgekehrten Reihenfolge, die Frage zuerst und das Bild danach. Wer zwischen Anbietern wechselt, probiert beide Fassungen.

Was das Modell nicht mitbekommt

Was neben den Bildpunkten in einer Datei steht, kommt beim Modell gar nicht an. OpenAI schreibt in seine Liste der Grenzen (externe Seite, developers.openai.com), dass das Modell weder ursprüngliche Dateinamen noch Metadaten verarbeitet.

Anthropic sagt dasselbe in seinen häufigen Fragen: Die Metadaten werden weder ausgewertet noch überhaupt übergeben. Für die Praxis heißt das, dass Dateiname, Aufnahmezeit, Ort und Kameramodell dem Modell unbekannt bleiben, selbst wenn sie in der Datei stehen. Wer damit arbeiten will, liest sie vorher aus und legt sie als Text dazu. Für Kapitel 14 hat dieselbe Auskunft eine zweite Folge: Ein Herkunftsnachweis, der als Metadatum an der Datei hängt, hilft dem Modell beim Ansehen kein Stück.

Eine zweite Auskunft aus Anthropics häufigen Fragen ist die Grenze dieses Kapitels. Auf die Frage, ob Claude Bilder erzeugen oder bearbeiten kann, antwortet die Dokumentation, es sei ausschließlich ein Modell zum Verstehen von Bildern: Es könne sie deuten und auswerten, und es könne keine erzeugen, verändern oder bearbeiten.

Claude erzeugt also keine Bilder. OpenAI und Google haben dafür eigene Bildmodelle, GPT Image (externe Seite, developers.openai.com) und die Bildmodelle der Gemini-Reihe (externe Seite, ai.google.dev). Wie das Erzeugen funktioniert, steht in Kapitel 14, und wie das Feld daneben aufgeteilt ist, in KI jenseits der Sprachmodelle, Kapitel 01.