Ent­schei­dungs­mo­delle geben eine Auswahl mit Wahr­schein­lich­keit zurück

Ein Programm, das eingehende Tickets auf drei Teams verteilt, braucht vom Modell ein einziges Wort aus einer bekannten Liste. Ein Sprachmodell liefert dafür einen Satz, manchmal eine Begründung dazu, und das Programm muss daraus die Antwort herauslesen. Ollama hat am 28.09.2026 mit Version 0.35.0 einen anderen Weg eingebaut. Ent­schei­dungs­mo­delle geben laut den Release-Notizen (externe Seite, github.com) eine Auswahl, Wahr­schein­lich­keiten und Bewertungen zurück statt Text.

Das Beispiel aus den Release-Notizen zeigt, wie das aussieht. Der Zustand lautet, dass der Bezahlvorgang seit neun Uhr mit Serverfehlern abbricht, die Frage, welches von drei Etiketten passt: Abrechnung, Softwarefehler oder Konto. Die Antwort kommt als Datenstruktur zurück:

"choice": "bug",
"probabilities": { "billing": 0.0125, "bug": 0.9781, "account": 0.0093 },
"confidence": 0.8906

Dazu meldet die Antwort 174 Token Eingabe und ein einziges Token Ausgabe. Die drei Modelle, von denen die Rede ist, stehen mit ihren Karten unter Ent­schei­dungs­mo­delle in den Modellkarten.

Eine Frage mit festen Antworten, dazu eine Zahl je Antwort

Eine Anfrage besteht aus zwei Teilen. Der Zustand (state) ist der Text, über den entschieden wird, also ein Ticket, eine Nachricht oder ein Datensatz. Die Fragen legen fest, was entschieden wird und welche Antworten erlaubt sind. Drei Arten gibt es, in der Schnittstelle von Ollama wie beim Vorbild:

• choice wählt eine Möglichkeit aus einer Liste und nennt für jede eine Wahr­schein­lich­keit,
• noul gibt die Wahr­schein­lich­keit an, dass eine Bedingung zutrifft, also eine Ja-Nein-Frage,
• score stuft auf einer geordneten Skala ein, deren Stufen man selbst beschreibt.

Mehrere Fragen an denselben Zustand gehen in einer Anfrage. Die Form stammt von TypeSafe, einem Unternehmen, das am 15.09.2026 sein erstes Modell Jev vorgestellt hat, und zwar in der Vorstellung von Jev (externe Seite, typesafe.ai) als neue Klasse von Frontier-Modellen, gebaut für schnelle, strukturierte Entscheidungen, mit denen Software direkt weiterarbeiten kann. TypeSafe nennt diese Klasse System-One-Modelle, nach Daniel Kahnemans Unterscheidung von schnellem und langsamem Denken (Beleg (externe Seite, docs.typesafe.ai)). Ollama hat die Schnittstelle nachgebaut und nennt sie Ent­schei­dungs­mo­delle. Der Name ist in der Wirt­schafts­in­for­matik schon vergeben: Dort steht Decision Model and Notation für eine Notation, in der Geschäftsregeln festgehalten werden (Beleg (externe Seite, omg.org)). Mit diesem Artikel hat das nur den Namen gemeinsam.

Drei Modelle, zwei davon offen

Jev von TypeSafe ist geschlossen. Das Unternehmen spricht von einer neuen Architektur, einem parallelen Abtastverfahren und einem eigenen Trai­nings­ver­fahren, das es Reinforcement Learning for Calibrated Decisions nennt, und legt keines davon offen (Beleg (externe Seite, typesafe.ai)).

Nimble von Bespoke Labs ist ein LoRA-Adapter für das offene Sprachmodell Qwen3.5-9B, rund 165 MiB groß, unter Apache 2.0. Die Modellkarte (externe Seite, huggingface.co) beschreibt den Kern in einem Halbsatz: Das Modell bewertet die erlaubten Antwort-Tokens direkt. Jede erlaubte Antwort bekommt einen Code von genau einem Token, und aus den Rohwerten dieser Codes wird die Verteilung (Beleg (externe Seite, github.com)). Ollamas eigene Umsetzung arbeitet nach demselben Muster (Beleg (externe Seite, github.com)).

Tev1 von Together AI ist ein Fine-Tuning von Qwen3.5-4B auf 37.840 Beispiele (Beleg (externe Seite, github.com)). Es antwortet auf zwei bis 24 beschriftete Möglichkeiten mit einem Buchstaben, und die Karte nennt es selbst ein von Jev angeregtes Experiment (Beleg (externe Seite, huggingface.co)).

Die Liste ist schon länger geworden. Mit Version 0.35.1 vom 29.09.2026 nahm Ollama laut den Release-Notizen (externe Seite, github.com) Clef und Clef Flash auf, die neuen offenen Ent­schei­dungs­mo­delle von Cloudflare. Die beiden beurteilen auch Bilder und verlangen mindestens diese Version (Beleg (externe Seite, docs.ollama.com)). Dieser Beitrag bleibt bei den drei Modellen, die er geprüft hat.

Wie aus den Rohwerten eines Sprachmodells eine Entscheidung wird, warum die Mechanik älter ist als der Name und was eine strukturierte Ausgabe anders macht, erklärt das Kapitel KI jenseits der Sprachmodelle, Kapitel 15 auf drei Ebenen.

Wofür es gedacht ist

Ollama nennt in den Release-Notizen (externe Seite, github.com) drei Aufgaben als Beispiele: Tickets einordnen, Anfragen an Modelle weiterleiten und Inhalte klassifizieren. Das zweite heißt, eine Anfrage an das Modell weiterzugeben, das sie am günstigsten beantworten kann, eine Frage, die Grundkurs, Kapitel 10 von der Seite des Anbieters beschreibt. TypeSafes Doku sammelt weitere Muster: eine Trefferliste neu ordnen, prüfen, ob ein Zitat die Aussage stützt, unter der es steht, Ein- und Ausgaben einer Anwendung vor dem Sprachmodell abfangen (Beleg (externe Seite, docs.typesafe.ai)). Allen gemeinsam ist, dass die Entscheidung klein ist, oft vorkommt und das Programm danach selbst weitermacht.

Dafür spricht der Aufwand. Eine Entscheidung kostet ein einziges Token Ausgabe, sie kommt entsprechend schnell, und TypeSafe berechnet nach eigener Preisliste 0,042 US-Dollar je Million Eingabe-Token und nichts für die Ausgabe (Beleg (externe Seite, docs.typesafe.ai), Stand 29.09.2026). Die offenen Modelle laufen auf dem eigenen Rechner: Nimble auf einem Mac mit Apple Silicon oder mit einer Nvidia-Grafikkarte, wobei die Gewichte ohne Quantisierung rund 18 GB belegen (Beleg (externe Seite, github.com)).

Was die Wahrscheinlichkeit bedeutet

Die Zahl hinter jeder Antwort ist eine Aussage des Modells über sich selbst. Ob sie zur Trefferquote passt, heißt Kalibrierung, und Nachtraining verschiebt sie; OpenAIs Bericht zu GPT-4 (externe Seite, arxiv.org) hat an Auswahlfragen gemessen, dass das Nachtraining die Kalibrierung deutlich verschlechtert. Jedes Ent­schei­dungs­mo­dell ist nachtrainiert. Die drei Hersteller gehen damit verschieden um. TypeSafe verspricht für Jev kalibrierte Wahr­schein­lich­keiten und schränkt in der eigenen Doku zu System-One-Modellen (externe Seite, docs.typesafe.ai) ein: Kalibrierung wird über Gruppen von Vorhersagen gemessen und garantiert nicht, dass eine einzelne Antwort stimmt. Bespoke Labs schreibt im Repository von Nimble (externe Seite, github.com), auch eine Wahr­schein­lich­keit von 0,9 heiße noch nicht, dass die Antwort auf den eigenen Daten in 90 Prozent der Fälle stimmt.

Together AI hat die Kalibrierung von Tev1 nach eigener Angabe noch nicht systematisch geprüft (Beleg (externe Seite, huggingface.co)). Und wie beweglich die Zahlen sind, zeigt Nimble selbst: Am 22.09.2026 bekam das Modell eine angepasste Temperatur, am 24.09. ersetzte ein neuer Checkpoint das Modell, und laut Modellkarte (externe Seite, huggingface.co) hat dieser Checkpoint keine eigene Tem­pe­ra­tur­an­pas­sung bekommen. Eine Schwelle, die jemand in der Woche davor eingestellt hat, gehört damit zu einem anderen Modell. Wie man sie einstellt, steht in KI jenseits der Sprachmodelle, Kapitel 15 auf der Ebene für Profis.

Dasselbe Feld heißt gleich und wird anders gerechnet

Neben den Wahr­schein­lich­keiten liefert die Schnittstelle ein Feld confidence. TypeSafe beschreibt es in der Doku zur Konfidenz (externe Seite, docs.typesafe.ai) als Kennzahl, die aus der Wahr­schein­lich­keits­ver­tei­lung errechnet wird, die die Antwort ohnehin mitliefert. Je gleichmäßiger sich die Wahr­schein­lich­keit über die Antworten verteilt, desto niedriger der Wert. Die Formel steht dort in der Rechenhilfe der Seite. Sie setzt die höchste Wahr­schein­lich­keit ins Verhältnis zur Zahl der Möglichkeiten. Ollama rechnet im eigenen Quelltext etwas anderes, nämlich eins minus die normierte Entropie der Verteilung (Beleg (externe Seite, github.com)).

Für das Beispiel vom Anfang ergibt Ollamas Formel die 0,89 aus den Release-Notizen, TypeSafes Formel für dieselbe Verteilung 0,97. Beide sind vertretbar, und TypeSafe bietet ausdrücklich an, eine eigene Kennzahl aus den mitgelieferten Wahr­schein­lich­keiten zu bilden. Wer aber eine Schwelle von 0,9 am Dienst eingestellt hat und dieselbe Anwendung auf Ollama umstellt, schickt diese Antwort plötzlich in die Nachprüfung, ohne dass sich am Modell etwas geändert hätte. TypeSafe rät aus demselben Grund, eine eingestellte Schwelle an eine feste Modellfassung zu binden, statt an einen Namen, der mit jeder neuen Fassung weiterwandert (Beleg (externe Seite, docs.typesafe.ai)).

Was vor dem Einsatz zu prüfen ist

Die Liste ergibt sich aus den Unterlagen der drei Anbieter selbst.

• Eine eigene Stichprobe mit bekannten Antworten. Eine Schwelle gilt für die Daten, an denen sie eingestellt wurde. Das schreibt Bespoke Labs genauso, und TypeSafe empfiehlt, mit vorsichtigen Schwellen anzufangen (Beleg (externe Seite, docs.typesafe.ai)).
• Eine Antwort für keinen der Fälle. Das Modell wählt immer eine der erlaubten Antworten, auch wenn keine passt. Bespoke Labs rät deshalb, eine Möglichkeit „kein Treffer“ anzubieten (Beleg (externe Seite, github.com)).
• Der Zustand ist fremder Text. Tev1 wurde mit einer Systemanweisung trainiert, die den Zustand ausdrücklich als Daten behandelt, und die Karte nennt Prompt Injection als ungeprüft (Beleg (externe Seite, huggingface.co)). Wer Nachrichten von außen einordnen lässt, gibt Außenstehenden eine Stimme in der eigenen Entscheidung.
• Die Sprache. Jev ist vor allem auf Englisch trainiert, andere Sprachen gehen laut TypeSafe schlechter (Beleg (externe Seite, docs.typesafe.ai)). Nimble führt in seiner Karte nur Englisch. Für deutsche Texte ist die eigene Stichprobe deshalb Pflicht.
• Der Stand der Modelle. Ollama hat die Schnittstelle inzwischen in der Doku beschrieben (Beleg (externe Seite, docs.ollama.com)), Tev1 aber heißt experimentell und hat für die Gewichte noch keine Lizenz: Laut Modellkarte (externe Seite, huggingface.co) wird die Lizenz für die feinjustierten Gewichte noch abschließend festgelegt, bevor sie öffentlich umgewandelt werden.

Wie gut sie sind, sagen fast nur die Hersteller

Bespoke Labs hat Nimble auf 324 zurückgehaltenen Beispielen gemessen, 292 davon trafen die Referenzantwort, also 90,1 Prozent. Jev kam auf derselben Menge auf 93,2 Prozent, das unveränderte Qwen3.5-9B auf 66,4 (Beleg (externe Seite, github.com), Abschnitt Evaluation). Die Referenzantworten sind synthetisch, die Beispiele stammen aus sechs Familien, und der Hersteller nennt das selbst einen engen Test. Together AI meldet für Tev1 880 von 1.000 Entscheidungen auf einem Entwicklungssatz, der während der Entwicklung mitbenutzt wurde (Beleg (externe Seite, github.com)). TypeSafe nennt für Jev Geschwindigkeiten und Kosten, aber keine unabhängige Messung. Nimble ist in einem Tag entstanden, schreibt Bespoke Labs, das Repository besteht seit dem 18.09.2026.

Eine erste Messung von außen liegt seit dem 30.09.2026 vor. Yuichi Tateno hat 23 Ent­schei­dungs­mo­delle auf 137 Aufgaben verglichen, die meisten aus öffentlichen Datensätzen (Beleg (externe Seite, huggingface.co)). Jev 1.13 liegt vorn, Tev1-4B-experimental auf Platz fünf, Nimble kommt in dieser Aufnahme nicht vor. Die Werte sind gegen einfache Vergleichswerte bereinigt, keiner davon ist laut Vergleich (externe Seite, huggingface.co) eine rohe Trefferquote. Mit den Prozentzahlen der Hersteller sind sie deshalb nicht zu vergleichen. Der Autor trainiert selbst ein Modell, das im Vergleich mitläuft, und nennt dessen Überschneidung mit den Prüfdaten ausdrücklich. Die Rangliste wird fortgeführt, ein späterer Stand kann Nimble enthalten.

Wo ein eigens trainierter Klassifikator besser abschneidet

Stehen die Klassen fest und liegen genug beschriftete Beispiele vor, bleibt ein kleiner Klassifikator, der nur diese eine Aufgabe gelernt hat, schneller und billiger; Grundkurs, Kapitel 15 sagt das für die Aufgabe des Einordnens überhaupt. Ein Ent­schei­dungs­mo­dell ersetzt etwas anderes: das Sprachmodell, das bisher einen Satz schrieb, aus dem ein Programm ein Wort herauslesen musste, überall dort, wo die Liste der Antworten mit der Anfrage wechselt.