Aleph Alpha misst, dass chi­ne­si­sche offene Modelle bei politisch heiklen Fragen nur zu 17 bis 41 Prozent aus­ge­wogen antworten

Aleph Alpha hat sechs chinesische Sprachmodelle mit offenen Gewichten geprüft, also Modelle, deren Parameter unter freizügigen Lizenzen veröffentlicht sind und sich auf eigenen Servern betreiben lassen. Grundlage war ein Benchmark mit 967 politisch heiklen Fragen. Ausgewogen antworteten die Modelle bei 17 bis 41 Prozent dieser Fragen. Insgesamt stuft der am 28. September veröffentlichte Bericht sie als stark an den Positionen der chinesischen Regierung ausgerichtet ein. Im Alltag fällt das kaum auf, schreibt das Unternehmen. Sichtbar wird es erst, wenn man gezielt über viele Themen hinweg nachfragt.

Nemotron Cascade 2 auf derselben Liste

Auffälliger ist ein weiteres Modell in der Auswertung. Nemotron Cascade 2 von NVIDIA wurde bei 17 Prozent der Fragen markiert, also ein Modell eines Herstellers, der nicht aus China stammt. Ausgewogen antwortete es bei 75 Prozent. NVIDIA hat die Daten veröffentlicht, mit denen das Modell feinabgestimmt wurde. Aleph Alpha schreibt, sie seien großteils mit DeepSeek und Qwen erzeugt; NVIDIAs eigener Bericht nennt für den größten Teil der Chat-Antworten GPT-OSS-120B. Aleph Alpha hat sie durchsucht und unter 9,3 Millionen Gesprächszeilen rund 3.500 gefunden, die Argu­men­ta­ti­ons­li­nien der Kommunistischen Partei Chinas enthalten. Darin sieht das Unternehmen die wahrscheinliche Ursache für das Verhalten des Modells. Der Anteil an den Daten ist klein, und nach dieser Lesart reicht er trotzdem für einen messbaren Ausschlag.

Die Herkunft der Daten zählt

Bisher galt die Herkunft des Modells als die Frage, auf die es ankommt. Wer ein Modell eines chinesischen Herstellers einsetzt, holt sich womöglich die Linie der Regierung ins Haus, wer zu einem Modell eines westlichen Anbieters wie NVIDIA greift, ist davor sicher. Der Befund verlegt die Frage vom Hersteller auf die Daten. Synthetische Trainingsdaten, die ein Modell erzeugt und ein anderes zum Lernen bekommt, nehmen mit, was im erzeugenden Modell steckt. Der Name auf dem fertigen Modell sagt dann wenig darüber, wessen Positionen es bei heiklen Fragen wiedergibt.

Dass die Ausrichtung in den chinesischen Modellen gewollt sein dürfte, leitet der Bericht aus den Regeln ab, unter denen sie entstehen. Chinesische Vorschriften verlangen von öffentlich zugänglichen Sprachmodellen auf dem Festland, sozialistische Grundwerte zu verkörpern, und untersagen ihnen alles, was die Staatsgewalt untergraben könnte. Der europäische AI Act richtet sich dagegen auf Produktsicherheit und Grundrechte. Aleph Alpha führt dazu einen Bericht von LatticeFlow AI an, nach dem die politische Neigung chinesischer Modelle mit ihrer Größe zunimmt. Zugleich veröffentlichen chinesische Labore technisch starke Modelle unter freizügigen Lizenzen, was sie für den Betrieb im eigenen Rechenzentrum attraktiv macht und sie zu naheliegenden Werkzeugen für das Erzeugen von Trainingsdaten werden lässt.

Aus dem Befund folgert Aleph Alpha drei Schritte für Modelle, die es souverän nennt: Trainingsdaten auf chinesische politische Inhalte durchsuchen, gezielte Ausrichtungsdaten anlegen, die das gewünschte Verhalten festlegen, und Modelle gegen Benchmarks wie den eigenen testen. Nach eigenen Angaben setzt das Unternehmen alle drei selbst um. Die Reihenfolge folgt dem Befund: Wenn die Positionen über Daten wandern, setzt die Prüfung bei den Daten an.

Ein eigener Benchmark und eine wahrscheinliche Ursache

Der Benchmark stammt von Aleph Alpha, und dasselbe Unternehmen baut die souveränen Modelle, für die es die drei Schritte empfiehlt. Veröffentlicht hat es ihn nicht, und bewertet hat die Antworten ein Modell, GPT-OSS 120B. Den Zusammenhang zwischen den rund 3.500 Zeilen und den Markierungen bei Nemotron Cascade 2 nennt der Bericht selbst eine wahrscheinliche Ursache. Andere Verzerrungen untersucht er ausdrücklich nicht und hält fest, dass weder Menschen noch Unternehmen noch Modelle frei davon sind. Ob Modelle aus anderen Ländern bei anderen Themen ebenso einseitig antworten, beantwortet diese Messung deshalb nicht.

Einordnung

Wer ein offenes Modell für den eigenen Betrieb auswählt, sollte neben dem Hersteller auch nachsehen, mit welchen Daten es nachtrainiert wurde. Bei Nemotron Cascade 2 ließ sich das nur prüfen, weil NVIDIA die Daten offengelegt hat. Wie ein Modell von einem anderen lernt und was dabei mitwandert, erklärt Nutzung und Anpassung von LLMs, Kapitel 03. Was eine Modellkarte über die Herkunft verrät, steht in Nutzung und Anpassung von LLMs, Kapitel 02.