Computer Vision

Kapitel 03 endet mit einem Hinweis: Wie weit die Fähigkeit eines tiefen Netzes, seine Merkmale selbst herzustellen, in ein eigenes Fach reicht, gehört in ein Kapitel über Computer Vision. Dieses hier ist es.

Das Fach ist älter als die Sprachmodelle und arbeitet an einer anderen Frage. Es geht darum, aus Bildpunkten Aussagen zu machen, die sich nachrechnen lassen: Koordinaten, Klassen, Flächen, Zahlen.

Vier Aufgaben, und sie liefern verschiedene Antworten

Im Alltag heißt alles Bilderkennung. Im Fach sind es vier Aufgaben mit vier verschiedenen Antwortformen, und wer sie verwechselt, kauft das Falsche.

Einordnen. Die Frage lautet, was auf dem Bild zu sehen ist, die Antwort ist eine Klasse für das ganze Bild. Diese Aufgabe stand am Anfang des Fachs.

Finden. Die Frage lautet, wo etwas ist, die Antwort ist ein Rechteck mit vier Zahlen und einer Klasse daran. Für jedes Ding im Bild eines.

Zerlegen. Die Frage geht bildpunktgenau, die Antwort weist jedem einzelnen Bildpunkt eine Klasse zu. Damit lässt sich eine Fläche ausmessen statt nur umranden.

Wiedererkennen. Die Frage lautet, ob zwei Aufnahmen dasselbe zeigen, die Antwort ist ein Abstand zwischen zwei Zahlenreihen. Wie solche Reihen entstehen, steht in Grundkurs, Kapitel 04.

Ein Sprachmodell mit Bildeingang beantwortet die erste Frage in Prosa. Rechtecke um einzelne Dinge liefert es inzwischen auch, und die Anbieter nennen sie selbst Näherungen. Was es sonst kann und was es kostet, steht in Grundkurs, Kapitel 13.

Kanten, Ecken, Farbhistogramme

Vor 2012 schrieb ein Mensch auf, worauf ein Verfahren achten soll. Wie weit man damit kam, zeigt die Arbeit von Viola und Jones (externe Seite, link.springer.com), mit der Gesichter erstmals in Echtzeit gefunden wurden. Ihr Verfahren verarbeitet Bilder sehr schnell und findet dabei einen hohen Anteil der Gesichter.

Der Aufbau bestand aus Hell-Dunkel-Vergleichen zwischen benachbarten Bildbereichen. Die wenigen aussagekräftigen darunter wählte ein einfaches und sparsames einordnendes Verfahren aus, das die Beschreibung des Aufbaus (externe Seite, link.springer.com) als zweiten Baustein nennt und das mit dem Lernverfahren AdaBoost entsteht.

Das war schnell genug für die Technik seiner Zeit: Laut der Zeit­schrif­ten­fas­sung (externe Seite, link.springer.com) fand das Verfahren auf einem gewöhnlichen Schreib­tisch­rechner Gesichter in 15 Bildern je Sekunde.

Drei Angaben gehören hier aus­ein­an­der­ge­halten. Der Vortrag stammt von 2001, die belegte Zeit­schrif­ten­fas­sung von 2004, und die 15 Bilder je Sekunde beziehen sich auf einen Schreib­tisch­rechner jener Zeit. Dieses Verfahren steckte jahrelang in Digitalkameras, die beim Auslösen einen Rahmen um Gesichter legten.

Ein Kasten um ein Ding

Die zweite Aufgabe hat eine eigene Antwortform, und an ihr hängt der Umbruch von 2016. Bis dahin liefen einordnende Verfahren über viele Bildausschnitte nacheinander. Dann kam ein Aufbau, der das Bild einmal ansieht: In der YOLO-Arbeit (externe Seite, arxiv.org) sagt ein einziges neuronales Netz in einem Durchgang über das ganze Bild die Kästen und die Wahr­schein­lich­keiten der Klassen voraus.

Das Ergebnis war ein Sprung bei der Geschwindigkeit: Das Grundmodell (externe Seite, arxiv.org) verarbeitete 45 Bilder je Sekunde, also in Echtzeit.

Ein solcher Kasten behauptet zweierlei: dass dort etwas ist, und dass es zu einer bestimmten Klasse gehört. Beide Behauptungen können einzeln falsch sein, und das Verfahren gibt für beide eine Zahl aus. Welche Fragen daran hängen, steht in Kapitel 04.

Wo Gesichtserkennung anfängt und wo sie aufhört

Ein Wort deckt hier drei verschiedene Sachen ab, und die Unterschiede entscheiden über die Rechtslage.

Ist ein Gesicht im Bild? Das ist die Aufgabe von Viola und Jones, sie kommt ohne jeden Personenbezug aus, und sie steckt in jeder Kamera-App.

Zeigen diese beiden Aufnahmen dieselbe Person? Ein Vergleich von zwei Bildern gegeneinander. So entsperrt ein Telefon.

Wer ist die Person? Ein Vergleich gegen eine Datenbank mit vielen Einträgen. Die Zahl der möglichen Verwechslungen wächst hier mit der Größe der Datenbank, und nur diese dritte Form meint das Gesetz.

Was das Gesetz an dieser Stelle verbietet

Die KI-Verordnung untersagt in Artikel 5 bestimmte Verwendungen ganz. Drei davon betreffen dieses Fach.

Erstens das Sammeln von Gesichtern aus öffentlich zugänglichen Quellen. Die Verbotsliste (externe Seite, eur-lex.europa.eu) untersagt Systeme, die eine Datenbank zur Gesichtserkennung anlegen oder erweitern, indem sie Gesichtsbilder ungezielt aus dem Internet oder aus Über­wa­chungs­auf­nahmen auslesen.

Zweitens das Ableiten von Gefühlen an zwei bestimmten Orten: Am Arbeitsplatz und in Bil­dungs­ein­rich­tungen darf nach derselben Liste (externe Seite, eur-lex.europa.eu) kein KI-System erschließen, welche Emotionen ein Mensch gerade hat.

Drittens die dritte der oben genannten Formen, allerdings mit Ausnahmen. Für die Strafverfolgung ist es untersagt (externe Seite, eur-lex.europa.eu), Menschen in öffentlich zugänglichen Räumen biometrisch und in Echtzeit aus der Ferne zu identifizieren, solange das nicht für eines von mehreren aufgezählten Zielen unbedingt erforderlich ist.

Der Nachsatz zählt. Im Gesetz folgt darauf eine Liste eng gefasster Fälle, darunter die Suche nach vermissten Personen. Was das Gesetz überhaupt als KI-System bestimmt und seit wann diese Teile anwendbar sind, steht in Kapitel 01.

Woran Sie ein Bilderkennungssystem festmachen

Welche der vier Aufgaben löst es? Die Antwortform sagt es: Prosa, Klasse, Rechteck oder Abstand.

Woran wurde es gemessen? Ein Datensatz legt die Klassenliste fest, und damit auch, was das System gar nicht kennen kann. Die 91 Kategorien des gebräuchlichsten Datensatzes stammen aus einer Besprechung (Beleg (externe Seite, arxiv.org)).

Passt die Aufnahmesituation? Kamera, Auflösung und Beleuchtung wirken hier so stark wie bei einem Sprachmodell der Wortlaut der Anweisung.

Tiefe 1 hat vier Aufgaben getrennt. Hier steht, wie sie gemessen werden, woher die Aufgaben überhaupt stammen, und an welcher Stelle die Zahlen aus einer Erhebung im Betrieb ihre Gültigkeit verlieren.

Ein Bild misst sich schlecht in Prozent

Bei der Einordnung eines ganzen Bildes lässt sich abzählen, wie oft die Klasse stimmt. Beim Finden eines Dings im Bild geht das nicht mehr, denn ein Kasten kann fast richtig liegen.

Das Fach löst das über die Überlappung. Verglichen wird die gemeinsame Fläche von vorhergesagtem und hinterlegtem Rechteck, geteilt durch die Fläche, die beide zusammen bedecken. Ab einem festgelegten Anteil gilt der Fund als Treffer, darunter als Fehler.

Damit hängt jede Erkennungszahl an einer Festlegung, die außerhalb des Verfahrens getroffen wurde. Wer den geforderten Anteil senkt, bekommt bessere Zahlen und ungenauere Kästen. Dieselbe Abhängigkeit einer Kennzahl von ihrem Messprotokoll beschreibt Beurteilen und Einordnen, Kapitel 04 für Sprachmodelle.

Der Datensatz ist das Fach

Woran gemessen wird, hat für dieses Fach mehr entschieden als die Verfahren selbst. Der Datensatz von 2014, an dem die Objekterkennung bis heute gemessen wird, hat sein Messverfahren gleich mitgebracht. Im COCO-Datensatz (externe Seite, arxiv.org) ist jedes einzelne Ding flächengenau umrandet, damit sich seine Lage im Bild genau bestimmen lässt.

Das macht Kästen und Flächen zugleich messbar. Den Umfang dieser Handarbeit nennt die Beschreibung des Datensatzes (externe Seite, arxiv.org) gleich mit: zweieinhalb Millionen markierte Dinge auf 328.000 Bildern.

Wie diese Etikettierarbeit aussieht und warum sie den Engpass bildet, steht in Kapitel 02.

Ein Datensatz legt damit dreierlei fest: welche Klassen es gibt, wie genau markiert wird, und woran ein neues Verfahren gemessen werden muss, um vergleichbar zu sein. Ein Fach, das sich zehn Jahre an derselben Sammlung misst, richtet sich nach ihr aus.

Zwei Wege, ein Ding zu finden

Der ältere Weg geht in zwei Schritten. Ein erster Teil schlägt Bildbereiche vor, in denen etwas sein könnte, ein zweiter ordnet jeden Vorschlag ein. Das ist genau, weil der zweite Teil sich auf einen Ausschnitt konzentriert, und langsam, weil er oft läuft.

Der jüngere Weg macht beides in einem Durchgang, und die YOLO-Arbeit von 2016 (externe Seite, arxiv.org) benennt den Unterschied im Ergebnis. Verglichen mit den besten Erken­nungs­sys­temen ihrer Zeit setzt das Verfahren seine Kästen öfter ungenau, meldet dafür aber weit seltener einen Fund an einer Stelle, an der gar nichts ist.

Das ist eine Abwägung zwischen zwei Fehlerarten, und damit dieselbe Entscheidung, die Kapitel 04 an der Schwelle beschreibt. Ungenauere Kästen gegen weniger Fehlalarme. Für eine Sortieranlage, die auf jeden Alarm anhält, wiegt die zweite Eigenschaft schwer. Für eine Vermessung wiegt die erste schwerer.

Segmentierung, eine Klasse je Bildpunkt

Die dritte Aufgabe verlangt eine Aussage über jeden einzelnen Bildpunkt. Damit lassen sich Flächen ausmessen, Ränder verfolgen und Dinge freistellen, die kein Rechteck sauber fasst.

Wie groß der Aufwand dahinter ist, zeigt die Sammlung, die Meta 2023 dafür angelegt hat. Laut der Segment-Anything-Arbeit (externe Seite, arxiv.org) ist sie mit Abstand die größte ihrer Art bis dahin: über eine Milliarde markierter Flächen auf elf Millionen Bildern, die lizenziert sind und die Privatsphäre der Abgebildeten wahren.

Erzeugt wurden die Flächen in einer Schleife, in der das entstehende Modell den Menschen die Arbeit vorbereitete. Das Modell selbst nimmt dabei eine Angabe entgegen, wo es hinsehen soll. Die Autoren (externe Seite, arxiv.org) haben es eigens dafür gebaut und trainiert, solche Hinweise anzunehmen, und deshalb lässt es sich ohne eigenes Training auf neue Arten von Bildern und neue Aufgaben übertragen.

Ein Klick, ein Kasten oder ein grober Umriss genügen als Hinweis. Damit ist die Segmentierung von einer Aufgabe mit fester Klassenliste zu einer geworden, die im Betrieb gesteuert wird.

Die Zeichenerkennung ist ein offener Fall

Text aus einem Bild zu lesen gilt als gelöst, solange es um gedruckte Zeilen in guter Aufnahme geht. Daneben liegt der Alltag: Handschrift, Durchschläge, Formulare mit Kästchen, Tabellen ohne Linien, Stempel über Text.

Gemessen wird meistens die Zeichenfehlerrate, und die hat denselben Kon­struk­ti­ons­fehler wie die Wortfehlerrate bei der Spracherkennung. Sie mittelt über alles und verschweigt damit, wo die Fehler sitzen. Eine Rechnung, bei der neun von zehn Zeichen stimmen, klingt brauchbar und wird unbrauchbar, sobald der Fehler regelmäßig in der Kontonummer landet. Denselben Befund für gesprochene Sprache führt Conversational AI, Kapitel 02 aus.

Bei Tabellen kommt eine zweite Frage dazu, die keine Fehlerrate misst: Ob die erkannte Zelle in der richtigen Spalte gelandet ist. Ein Verfahren kann jedes Zeichen richtig lesen und die Struktur trotzdem verlieren.

Wo die Zahl aus dem Labor nicht gilt

Eine Erhebung von 2018 (externe Seite, proceedings.mlr.press) hat drei im Handel erhältliche Systeme zur Geschlechts­be­stim­mung aus Gesichtsbildern an einem eigenen Datensatz gemessen. Der Befund fiel deutlich aus: Frauen mit dunkler Haut wurden von allen Gruppen am häufigsten falsch eingeordnet, mit Fehlerquoten von bis zu 34,7 Prozent.

Den Vergleichswert nennt die Arbeit (externe Seite, proceedings.mlr.press) im nächsten Satz: Bei Männern mit heller Haut lag die höchste Fehlerquote bei 0,8 Prozent.

Zwischen 0,8 und 34,7 Prozent liegt der Faktor 43. Eine mittlere Fehlerrate über alle Gruppen hätte diesen Abstand vollständig verdeckt, und genau das ist der Punkt der Arbeit.

Die Ursache lag zu einem Teil in den Sammlungen, an denen bis dahin gemessen wurde. Die Autorinnen (externe Seite, proceedings.mlr.press) fanden darin weit überwiegend Menschen mit heller Haut, 79,6 Prozent im Datensatz IJB-A und 86,2 Prozent in Adience.

Damit schließt sich der Kreis zum Abschnitt über die Datensätze. Ein Maßstab, der eine Gruppe kaum enthält, misst für diese Gruppe nichts, und die Gesamtzahl darüber sieht trotzdem gut aus.

Wo das Sprachmodell dieselbe Frage anders beantwortet

Ein Sprachmodell mit Bildeingang beantwortet die Frage nach dem Bildinhalt in Prosa. Das ist bequem, deckt viele Fälle ab und braucht kein eigenes Training. Für die drei anderen Aufgaben liefert es wenig, das man ungeprüft weiterverarbeiten kann. Rechtecke nennt es inzwischen, und Google trainiert seine Modelle laut der Doku zum Bildverstehen (externe Seite, ai.google.dev) eigens darauf, Dinge im Bild zu finden und deren Rechteck als Koordinaten auszugeben.

Bei Anthropic heißen dieselben Werte in der Liste der Grenzen Näherungen (externe Seite, platform.claude.com). Einen Abstand, den man gegen eine Schwelle halten kann, liefert ein Sprachmodell für das Wiedererkennen nicht.

Was es stattdessen tut, wie es Bilder abrechnet und wo die Anbieter selbst Grenzen dokumentieren, steht in Grundkurs, Kapitel 13. Die Trennlinie zwischen den beiden Welten steht bereits in Kapitel 01: Ein Sprachmodell mit Bildeingang beschreibt, was zu sehen ist, und misst dabei nichts.

Für die Praxis heißt das, die Frage vor der Werkzeugwahl zu stellen. Wer eine Beschreibung braucht, nimmt das Sprachmodell. Wer eine Zahl braucht, die in eine Datenbank geht, nimmt ein Verfahren aus diesem Kapitel.

Was daraus für die Praxis folgt

Die Antwortform entscheidet über das Werkzeug, und sie steht am Anfang jeder Anforderung. Klasse, Rechteck, Fläche, Abstand oder Prosa.

Die Messzahl gehört zum Messprotokoll. Wer eine Erkennungsrate vorgelegt bekommt, fragt nach der geforderten Überlappung, nach dem Datensatz und nach der Verteilung darin.

Und die Aufnahmesituation gehört zur Anforderung. Ein System, das an gut ausgeleuchteten Bildern gemessen wurde, hat für den Nachtbetrieb an einer Werkhalle keine Aussage.

Drei Sachen entscheiden über ein Bil­der­ken­nungs­system im Betrieb, und alle drei liegen außerhalb des Modells: die Markierung, an der es gemessen wurde, die Kamera, die es füttert, und der Zweck, für den es läuft.

Was ein Kasten behauptet und was er verschweigt

Eine Markierung sieht nach einer Tatsache aus. Sie ist das Ergebnis von Entscheidungen, die jemand beim Anlegen des Datensatzes getroffen hat, und die wenigsten davon sind aufgeschrieben.

Wo endet ein Fahrrad, dessen Vorderrad hinter einem Auto steht? Bekommt es einen Kasten über die sichtbaren Teile oder über die vermutete volle Ausdehnung? Zählt eine Person auf einem Plakat als Person? Ist eine Menschenmenge ein Objekt oder sechzig? Jede dieser Fragen hat eine Antwort bekommen, und jedes daran gemessene Verfahren hat diese Antwort gelernt.

Die Klassenliste ist die sichtbarste dieser Entscheidungen. Der Maßstab, nach dem sie beim gebräuchlichsten Datensatz zusammengestellt wurde, steht in dessen Abstract (externe Seite, arxiv.org): Fotos von 91 Arten von Dingen, die ein vierjähriges Kind ohne Mühe erkennen würde.

Für die Katze und den Toaster taugt das. Für einen Betrieb, der Schweißnähte prüft, sagt es nichts, und der braucht eine eigene Sammlung samt eigener Antworten auf die Fragen oben. Was daran hängt, beschreibt Kapitel 04 an der Klassenliste allgemein.

Die flächengenaue Markierung verschiebt das Problem nur. Sie ist genauer und verlangt dieselben Entscheidungen an jedem Rand.

Warum eine Erkennungszahl selten vergleichbar ist

Wer zwei Systeme an ihren veröffentlichten Zahlen vergleicht, vergleicht in den meisten Fällen zwei Messprotokolle. Vier Festlegungen stecken in einer solchen Zahl, und keine davon steht üblicherweise daneben.

Die geforderte Überlappung. Ab welchem Anteil gilt ein Kasten als Treffer. Übliche Werte liegen bei der Hälfte oder darüber, und ein Wechsel verschiebt das Ergebnis erheblich.

Die Mittelung über die Klassen. Wird über alle Klassen gleich gewichtet oder über alle Fälle? Bei einem Datensatz mit vielen Autos und wenigen Fahrrädern liegen die beiden Rechnungen weit auseinander. Denselben Unterschied beschreibt Kapitel 04 an der ausgeglichenen Genauigkeit.

Die Größenklassen. Kleine Dinge im Bild werden schlechter gefunden als große. Ein Protokoll, das kleine ausschließt, bekommt bessere Zahlen.

Der Testteil des Datensatzes. Wer auf einer anderen Aufteilung misst, misst etwas anderes.

Eine Erkennungszahl ohne diese vier Angaben ist damit ungefähr so aussagekräftig wie eine Benchmark-Zahl ohne den Aufgabensatz dahinter, und dazu steht das Nötige in Beurteilen und Einordnen, Kapitel 04.

Die Kamera ist Teil des Modells

Kapitel 02 beschreibt die verschobene Lage als eine der drei Arten, auf die ein Modell danebenliegt: Die neuen Fälle sehen anders aus als die alten. In diesem Fach hat dieser Befund eine physikalische Ursache, und das macht ihn planbar.

Sensor, Auflösung, Brennweite, Belichtungszeit und Kompression verändern das Bild, bevor es das Modell erreicht. Zwei Aufnahmen desselben Werkstücks von zwei Kameras sind für ein Verfahren zwei verschiedene Eingaben. Ein Kamerawechsel im Betrieb wirkt deshalb wie ein Wechsel der Datengrundlage, mit dem Unterschied, dass ihn niemand als solchen einträgt.

Am schlechtesten sichtbar ist die Kompression. Ein Bild, das mehrfach über Kanäle mit automatischer Verkleinerung gelaufen ist, trägt Artefakte, die im Trainingsmaterial fehlten. Bei kleinen Dingen im Bild fällt genau die Information weg, an der das Verfahren sie erkannt hat.

Daraus folgt eine Anforderung, die in kein Datenblatt passt: Die Aufnahmesituation gehört mit in die Abnahme, und zwar die des Betriebs und nicht die des Herstellers.

Wo die biometrische Identifikation rechtlich sitzt

Die KI-Verordnung behandelt dieselbe Technik je nach Betriebsart verschieden, und die Grenze verläuft entlang der Unterscheidung aus Tiefe 1.

Der Vergleich gegen ein einzelnes hinterlegtes Bild steht ausdrücklich außerhalb der oberen Risikostufe. Anhang III (externe Seite, eur-lex.europa.eu) nimmt in einem eigenen Satz die biometrische Verifizierung aus, also Systeme, die allein bestätigen sollen, dass ein bestimmter Mensch der ist, für den er sich ausgibt.

Das ist die Tele­fon­ent­sper­rung. Der Vergleich gegen eine Datenbank dagegen steht in derselben Nummer als Hochrisiko-Anwendung, und in Echtzeit im öffentlichen Raum zu Straf­ver­fol­gungs­zwe­cken ist er nach Artikel 5 untersagt, mit einer Liste eng gefasster Ausnahmen.

Drei Stufen für eine Technik also, und was zählt, sind Betriebsart und Zweck: Vergleich gegen ein Bild, Vergleich gegen eine Datenbank, Vergleich gegen eine Datenbank in Echtzeit durch die Strafverfolgung. Wer eine Anlage plant, ordnet sie an diesen drei Fragen ein, bevor er über Verfahren spricht.

Die Emotionserkennung führt Anhang III als eigenen Punkt, und für zwei Orte verbietet Artikel 5 sie ganz. Beide Stellen erklärt Tiefe 1.

Was daraus nicht folgt

Eine Fehlerquote gilt nicht für alle Gruppen. Der gemessene Abstand von 0,8 zu 34,7 Prozent zwischen zwei Gruppen (Erhebung von 2018 (externe Seite, proceedings.mlr.press)) verschwindet in jeder Gesamtzahl. Wer eine einzelne Prozentangabe bekommt, hat noch keine Aussage über den eigenen Anwendungsfall.

Ein leistungsfähiges Modell macht die Markierung nicht überflüssig. Auch das Verfahren, das eine Milliarde Flächen gelernt hat, arbeitet auf Zuruf: Es bekommt einen Hinweis, wo es hinsehen soll (Beleg (externe Seite, arxiv.org)). Welche Klasse die gefundene Fläche hat, sagt weiterhin jemand anders.

Aus einer Verbotsnorm folgt keine Erlaubnis für den Rest. Artikel 5 nennt die untersagten Verwendungen, und was dort fehlt, kann trotzdem in der oberen Risikostufe stehen oder an anderen Gesetzen scheitern.