NachschlagenGlossarBetrieb
Betrieb
Was zwischen Modell und Anwendung liegt. Schlüssel, Grenzen, Protokolle, Kosten.
54 Begriffe43 mit Kapitelverweis162 Zweitwörter im Indexalle 214 im Verzeichnis
Abliteration
Ein Eingriff in die Gewichte eines offenen Modells, der sein Ablehnen schädlicher Anfragen entfernt.
Das Ablehnen hängt in vielen offenen Chatmodellen an einer einzelnen Richtung im Inneren des Modells. Wer sie aus den Gewichten herausrechnet, bekommt ein Modell, das schädliche Anfragen nicht mehr ablehnt und sonst kaum etwas einbüßt. Das braucht Zugriff auf die Gewichte und betrifft deshalb offene Modelle. Auf Hugging Face tragen Tausende Modelle das Wort im Namen. Bei einem offenen Modell aus fremder Hand gehört die Prüfung deshalb nach außen.
auchabliterated · Refusal Ablation
Kapitel 07 · GuardrailsArditi u. a., Refusal in Language Models Is Mediated by a Single DirectionHugging Face, Modellsuche nach „abliterated“siehe Jailbreaksiehe Guardrailssiehe Offene Gewichte
AI Gateway
Ein Dienst zwischen Anwendung und Sprachmodell, der jede Anfrage annimmt, an das Modell weiterreicht und dabei protokollieren, filtern oder Angaben über Personen ersetzen kann.
Die Anwendung schickt ihre Anfragen an das Gateway, und das Gateway reicht sie an einen oder mehrere Modellanbieter weiter. Lite
LLM ist ein solcher Server, den man selbst betreibt, mit einer Open AI-kompatiblen Schnittstelle für über 100 Anbieter; seine Doku nennt Zugriffsrechte, Kostenzählung, Filter und das Maskieren personenbezogener Daten als Aufgaben. Cloudflare und Microsoft mit Azure API Management bieten die Funktion als Dienst an. Wer das Gateway betreibt, sieht jede Anfrage im Klartext, auch die Angaben, die es vor dem Versand ersetzt. Dazu kommt das Protokoll: Bei Cloudflare AI Gateway ist es je Gateway voreingestellt eingeschaltet, und ein Eintrag kann Anfrage und Antwort im Wortlaut enthalten. Anthropic schreibt in seiner Anleitung für Claude Code, dass es Gateway-Produkte Dritter weder empfiehlt noch pflegt noch prüft. auchLLM-Gateway · KI-Gateway · AI-Gateway · LLM Gateway
Kapitel 07 · Was ein Modell aus der Anfrage erfährtKapitel 16 · Rechte und SandboxLiteLLM, AI Gateway (Proxy)Azure API Management, AI-Gateway-FunktionenCloudflare AI Gateway, ProtokollierungClaude Code: LLM-Gatewaysiehe Pseudonymisierungsiehe Guardrailssiehe Auftragsverarbeitung
API Key
Der Ausweis, mit dem sich ein Programm bei der Schnittstelle eines Anbieters anmeldet.
Anders als ein Passwort gehört er einer Organisation statt einer Person, wird maschinell benutzt und bekommt beim Anlegen ein Ablaufdatum. Wer ihn weitergibt, gibt Guthaben aus der Hand. Deshalb gehört er in einen Dienst auf dem Server: Code, den ein Browser ausliefert, zeigt ihn jedem Besucher.
auchAPI-Schlüssel · Zugangsschlüssel · eigener API-Schlüssel · Bring Your Own Key · BYOK
Architecture Decision RecordADR
Eine kurze Notiz je Entscheidung: das Problem, die geprüften Wege, was gemessen wurde, wofür man sich entschieden hat und was das kostet.
Der eigentliche Wert steckt in den verworfenen Einträgen. Ein Weg, der ausprobiert und mit einer Zahl abgelehnt wurde, hält dieselbe Idee davon ab, ein halbes Jahr später als frischer Einfall wiederzukehren. Das Format ist einfach genug, dass es beim Arbeiten entsteht: eine Datei je Entscheidung, fortlaufend nummeriert, mit einem Status von vorgeschlagen über angenommen bis verworfen oder abgelöst. Wo im Dialog mit einem Sprachmodell entwickelt wird, kommt eine zweite Rolle dazu: Das Modell liest die Einträge, bevor es etwas ändert, und die Begründung von damals steht ihm dann zur Verfügung.
auchADR · Architecture Decision Records · Architekturentscheidung · Entscheidungsprotokoll
Beitrag · Warum ich eine eigene Diktier-App gebaut habeBeitrag · ADR und Spezifikation: wie viel Papier ein Agent brauchtMichael Nygard, Documenting Architecture DecisionsMartin Fowler, Architecture Decision Record (Bliki)siehe Vibe Codingsiehe Harness
Aufgezeichneter Testfall
Ein festgehaltenes Gespräch, das vor allem die Erwartungen daran speichert.
Ein Sprachagent liefert bei derselben Eingabe verschiedene Sätze, ein Vergleich auf Gleichheit misst deshalb die Formulierung. Gespeichert wird stattdessen, was passieren sollte: erkannte Absicht, gestarteter Ablauf, erreichte Seite. Ein späterer Lauf misst dagegen. Das ist die Grundform der Prüfung eines Sprachdialogs und zugleich ein Regressionstest, denn er hält fest, was gestern funktioniert hat.
auchTest Case · Testgespräch
Kapitel 10 · Testen, bevor jemand anruftGoogle, Dialogflow CX, TestfälleRasa, End-to-End-Testssiehe Trace
Blob
Ein Teil eines Modells in Ollamas Ablage, gespeichert als Datei, deren Name ihr Digest ist. Gleicher Inhalt liegt so nur einmal auf der Platte.
Ein Blob kann ein ganzes Sprachmodell im Format GGUF sein, ein einzelner Tensor, eine JSON-Datei des Herstellers oder eine 13 Byte kurze Vorlage. Manifeste sind selbst Blobs. Zwei Modelle, die denselben Teil brauchen, verweisen auf dieselbe Datei. Gelöscht wird ein Blob erst, wenn kein Manifest mehr auf ihn verweist.
auchBinary Large Object
Beitrag · Gleicher Name, neuer Digest: Wie Ollama ein Modell ablegtOllama 0.40.15, Quelltext der Blob-AblageOllama 0.40.15, Quelltext der Manifestablagesiehe Digestsiehe Manifest
Chunk
Ein Stück eines Dokuments, wie es im Index liegt. Gesucht und gefunden wird immer ein Stück, das ganze Dokument nie.
Dokumente werden vor dem Einlesen zerschnitten, weil ein Treffer sonst hundert Seiten umfasst und der Platz im Kontextfenster begrenzt ist. Die Länge wird in Token gemessen, geschnitten wird möglichst an inhaltlichen Grenzen. Daraus folgt eine Beobachtung, die viele machen: Fragen, deren Antwort in einem Absatz steht, funktionieren gut; Fragen, deren Antwort aus fünf Stellen zusammenzusetzen ist, funktionieren schlecht.
auchTextstück · Abschnitt · Chunking · Passage
Kapitel 03 · RAG, die Suche vor der AntwortKapitel 03 · Token, die Bausteine der SpracheKapitel 04 · Embedding, Bedeutung als Zahlenreihesiehe RAGsiehe Embeddingsiehe Token
Containment
Der Anteil der Gespräche, die ohne Übergabe an einen Menschen zu Ende gingen.
Die meistgenannte Kennzahl im Sprachdialog, weil sie sich in Kosten umrechnen lässt. Ihr blinder Fleck ist groß: Ein Gespräch ohne Übergabe kann gelöst oder abgebrochen sein, und die Zahl unterscheidet das nicht. Sie misst, was der Agent behalten hat, was er geleistet hat, steht auf einem anderen Blatt.
auchContainment Rate · Automatisierungsquote
Kapitel 12 · Was nach dem Gespräch übrig bleibtKapitel 08 · Eskalation an einen MenschenRasa, Auswertung geführter Gesprächesiehe Trace
Continuous Batching
Ein Server stellt den Stapel gleichzeitig bearbeiteter Anfragen nach jedem Rechenschritt neu zusammen: Fertige verlassen ihn, neue rücken nach.
Beim Erzeugen liest ein Modell für jedes Token seine Gewichte aus dem Speicher. Rechnen mehrere Anfragen im selben Durchgang, verteilt sich dieser Aufwand auf alle Anfragen im Stapel. Ein fester Stapel läuft, bis seine längste Antwort fertig ist: Kurze Antworten warten so lange, neue Anfragen warten auf den nächsten Stapel. Die Arbeit zu Orca stellte den Stapel 2022 nach jedem Schritt neu zusammen und nannte das iteration-level scheduling. Heute heißt das Verfahren Continuous Batching. v
LLM nennt es unter seinen Merkmalen, beim Server von llama.cpp ist es voreingestellt an und heißt dort auch dynamic batching. auchiteration-level scheduling · Dynamic Batching · Stapel je Schritt
Kapitel 05 · Womit ein Modell läuftOrca: A Distributed Serving System for Transformer-Based Generative ModelsEfficient Memory Management for Large Language Model Serving with PagedAttentionllama.cpp, README des Servers beim Commit 620d222siehe vLLMsiehe Laufzeitumgebungsiehe KV-Cache
Cron
Ein Zeitplan in einer festen Schreibweise aus fünf Feldern für Minute, Stunde, Tag, Monat und Wochentag.
Der Name stammt von einem Dienst unter Unix, der Befehle zu festen Zeiten startet. Claude Code übersetzt einen Takt wie alle zehn Minuten in einen solchen Ausdruck, und geplante Aufgaben in der Cloud nehmen eigene Cron-Ausdrücke an.
auchCron-Ausdruck · Cronjob
Digest
Eine Prüfsumme über die Bytes eines Inhalts, meist nach dem Verfahren SHA-256. Sie ist zugleich der Name des Inhalts: Gleiche Bytes ergeben denselben Digest, jedes geänderte Byte einen neuen.
Der Begriff stammt aus der Welt der Container-Images. Geschrieben wird ein Digest als Verfahren, Doppelpunkt und 64 Zeichen, etwa sha256:b507b9c2 und so weiter. Ollama legt jeden Teil eines Modells unter seinem Digest als Datei ab und prüft beim Herunterladen jede Datei dagegen. Die Kennung, die ollama list neben einem Modell zeigt, sind die ersten zwölf Zeichen. Ändert sich unter einem gleich gebliebenen Namen der Digest, ist irgendwo ein Byte anders. Was sich geändert hat, zeigt erst der Vergleich der Manifeste.
auchPrüfsumme · SHA-256 · Inhaltsadresse
Beitrag · Gleicher Name, neuer Digest: Wie Ollama ein Modell ablegtOCI Image Format Specification v1.1.1, Content DescriptorsOllama 0.40.15, Quelltext der Blob-Ablagesiehe Manifestsiehe Blobsiehe Ollama
Domain-Driven DesignDDD
Ein Ansatz für komplexe Software, bei dem Fachleute und Entwickler gemeinsam ein Modell der Fachdomäne erkunden und darüber in einer gemeinsamen Sprache innerhalb einer ausdrücklich gezogenen Grenze sprechen.
Eric Evans hat den Ansatz 2004 in seinem Buch beschrieben und fasst ihn in seiner Referenz in drei Punkten zusammen: sich auf die Kerndomäne konzentrieren, Modelle in der Zusammenarbeit von Fach- und Softwareleuten erkunden, und eine gemeinsame Sprache innerhalb eines ausdrücklich begrenzten Kontexts sprechen. Zwei Begriffe daraus sind Allgemeingut geworden. Die Ubiquitous Language ist die Sprache, die alle im Team benutzen, damit Gespräch und Code dasselbe meinen; der Bounded Context ist die Grenze, meist ein Teilsystem oder ein Team, innerhalb derer ein Modell gilt. In einem Glossar über KI steht der Begriff aus einem Grund: Eine Spezifikation für einen Agenten ist nur so gut wie das Fachwissen, das in sie hineinkommt, und DDD hat dafür seit zwei Jahrzehnten dieselbe Antwort, nämlich den dauerhaften Zugang der Entwickler zu den Fachleuten. Evans selbst warnt zudem davor, die taktischen Muster in einem Altsystem anzuwenden; das enttäusche fast immer, und er beschreibt vier Wege für den Einstieg neben einem solchen Bestand.
auchDDD · Domänengetriebener Entwurf · Domain Driven Design
Kapitel 10 · Vorgabe und UmfangDDD ReferenceDDD Surrounded by Legacy SoftwareSpec-Driven Development is Domain-Driven Design's Impatient Cousinsiehe Spec-Driven Developmentsiehe Test-Driven Developmentsiehe Architecture Decision Record
End-to-End-TestE2E
Eine Prüfung über den ganzen Weg, von der Nachricht des Nutzers bis zur letzten Handlung.
Der Gegenentwurf zur Prüfung einzelner Stufen. Er findet die Fehlerklasse, die jede Stufenprüfung für sich besteht: Modell, Ablauf und Tool arbeiten je richtig, und der Nutzer bekommt trotzdem etwas Falsches, weil zwei Stufen verschiedene Annahmen über dasselbe Feld haben. Die Ausgabe eines Laufs ist eine Gegenüberstellung von erwarteten und tatsächlichen Ereignissen.
auchEnde-zu-Ende-Test · E2E-Test
Kapitel 10 · Testen, bevor jemand anruftRasa, End-to-End-Testssiehe Aufgezeichneter Testfall
Fast Mode
Eine Einstellung bei Anthropic, mit der dasselbe Opus-Modell schneller antwortet und jedes Token mehr kostet.
Nach der Doku kommen die Antworten bis zu zweieinhalbmal so schnell, bei gleicher Qualität. Am 11.10.2026 kostet Opus 5.5 im Fast Mode 8 Dollar Eingabe und 40 Dollar Ausgabe je Million Token, das Doppelte des normalen Satzes. In einem Abo läuft er immer über zusätzlich gekauftes Guthaben, über die Cloudanbieter gibt es ihn nicht. In Claude Code schaltet /
fast ihn ein; wer das mitten im Gespräch tut, bezahlt den bisherigen Verlauf einmal zum vollen Eingabepreis. Mit einem niedrigen Effort lässt er sich kombinieren. auchFast-Modus · /
fast · schneller Modus Kapitel 06 · Modelle und AufwandAnthropic, Speed up responses with fast modeAnthropic, Pricingsiehe Effortsiehe Inferenz
GGUF
Das Dateiformat, in dem ein Modell für llama.cpp auf der Platte liegt. Eine Datei enthält Gewichte, Vokabular und die Angaben, die das Programm zum Ausführen braucht.
GGUF entstand 2023 im Umfeld von llama.cpp und löste dort ein älteres Format ab. In einer Datei steckt alles, was zum Ausführen nötig ist: die Gewichte in der gewählten Quantisierung, das Vokabular, die Bauform des Modells und die Vorlage für den Gesprächsverlauf. Werkzeuge wie Ollama und LM Studio verwalten im Kern solche Dateien. Was beim Umwandeln aus dem ursprünglichen Modell nicht mitgenommen wird, fehlt darin dauerhaft: Die verbreiteten Fassungen der großen offenen Modelle haben im August 2026 überwiegend keine Köpfe für die Vorhersage mehrerer Token, obwohl die zugehörigen Modelle sie haben.
auchGGUF-Datei · Modelldatei
Kapitel 02 · Woher Modelle kommenKapitel 05 · Womit ein Modell läuftBeitrag · Elf Wege, ein lokales Modell schneller zu machenBeitrag · Gleicher Name, neuer Digest: Wie Ollama ein Modell ablegtllama.cpp, die README am Tag der Veröffentlichungsiehe Quantisierungsiehe Laufzeitumgebungsiehe Ollamasiehe Multi-Token Prediction
Grounding
Die Auflage, zu jeder Aussage ein wörtliches Zitat aus der Vorlage zu nennen und die Aussage zurückzunehmen, wenn keines auffindbar ist.
Die Bindung wirkt, weil sie von außen prüfbar ist: Ein Programm kann nachsehen, ob der zitierte Satz in der Vorlage steht. Ihre Grenze liegt eine Stufe höher. Ein auffindbares Zitat belegt, dass der Satz existiert, es belegt nicht, dass er die daraus gezogene Aussage stützt. Wer nur die Existenz prüft, bekommt eine Meldung ohne Befund und hält sie für eine Prüfung.
auchBelegbindung · Zitatpflicht · Belegpflicht · Quellenbindung
Kapitel 07 · Halluzinationen erkennenBeitrag · Welcher Copilot in welchem Microsoft-365-Paket stecktReduce hallucinations28.07.2026 · Eine Woche bis zum Fund, fast ein Monat bis zur Gewissheitsiehe RAGsiehe Halluzinationsiehe Guardrails
Guardrails
Regeln und Prüfungen um ein Modell herum, die verhindern sollen, dass es Schaden anrichtet.
Guardrails sitzen vor der Eingabe, hinter der Ausgabe oder um die Tools herum. Sie sind Teil des Systems, nicht des Modells, und lassen sich deshalb ändern, ohne das Modell anzufassen. Umgekehrt heißt das: Zwei Anwendungen mit demselben Modell können sich sehr unterschiedlich verhalten.
auchLeitplanken · Sicherheitsfilter · Schutzmechanismen
Kapitel 07 · Guardrails2026 · Dieselben Gewichte, zwei Auslieferungensiehe Harnesssiehe Prompt Injectionsiehe Grounding
Hybride Suche
Ähnlichkeitssuche und klassische Wortsuche laufen beide, ihre Trefferlisten werden über den Platz zusammengelegt.
Die beiden Verfahren machen verschiedene Fehler. Die Wortsuche findet nichts, wenn der Text dieselbe Sache anders nennt; die Ähnlichkeitssuche verfehlt Kennungen und seltene Fachbegriffe. Zusammengelegt wird über die Platzziffer, denn ein Kosinuswert und ein BM25-Wert sind in verschiedenen Einheiten gemessen und lassen sich nicht addieren. Dass die alte Wortsuche dabei eine starke Grundlinie bleibt, hat BEIR 2021 über achtzehn Bestände gemessen.
auchHybrid Search · BM25 · Dense und Sparse · Volltextsuche
Kapitel 03 · RAG, die Suche vor der AntwortBEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval ModelsAnthropic, Introducing Contextual RetrievalOpenAI, File searchsiehe RAGsiehe Rerankingsiehe Embedding
Idempotenz
Ein Vorgang ist idempotent, wenn es dieselbe Wirkung hat, ihn zweimal zu verlangen oder einmal.
Die HTTP-Spezifikation misst das an der beabsichtigten Wirkung beim Empfänger, die Antwort darf beim zweiten Mal anders ausfallen. Für einen Ablauf entscheidet die Eigenschaft, ob ein zweiter Lauf nach einem Abbruch gefahrlos ist. Ein Schritt, der etwas anlegt, etwa eine Buchung, ist von sich aus nicht idempotent. Ein Schlüssel, den der Aufrufer mitschickt, macht ihn dazu: Der Empfänger erkennt daran eine Wiederholung und führt sie kein zweites Mal aus.
auchidempotent · Idempotenzschlüssel · Idempotency Key
Kapitel 05 · Wenn ein Schritt schiefgehtRFC 9110, HTTP Semantics, Abschnitt 9.2.2 Idempotent MethodsStripe API Reference, Idempotent requestssiehe Workflow
Inferenz
Der laufende Betrieb eines fertigen Modells: rechnen, um eine Antwort zu erzeugen.
Training findet einmal statt, Inferenz bei jeder Anfrage. Deshalb entscheidet die Inferenz über die laufenden Kosten. Ein Modell wird nicht klüger, wenn man es öfter aufruft; es rechnet nur öfter dasselbe Verfahren durch.
auchInference · Ausführung · Laufzeit
Kapitel 02 · Maschinelles Lernen2023 · llama.cpp, das Modell läuft auf dem eigenen Rechner30.07.2026 · Die EU schreibt sieben KI-Gigafabriken aussiehe Laufzeitumgebungsiehe Gewichte
Jailbreak
Der Versuch eines Nutzers, ein Modell zum Ignorieren seiner Vorgaben zu bringen.
Der Angreifer ist hier der Mensch im Gespräch. Er formuliert so, dass die Anweisungen des Betreibers wirkungslos werden, etwa über ein erfundenes Rollenspiel. Die Gegenmaßnahme sitzt selten im Prompt: Was hilft, ist eine Prüfung vor dem Modell und eine Grenze der Rechte dahinter.
auchAusbruch · Umgehung der Vorgaben
Kapitel 07 · GuardrailsAnthropic, Mitigate jailbreaks and prompt injectionssiehe Guardrailssiehe Prompt Injectionsiehe Abliteration
k-quants
Die Quantisierungsverfahren von llama.cpp seit 2023. Sie fassen 256 Gewichte zu einem Superblock, und Namen wie Q4_K_M bezeichnen ein Rezept, das die Tensoren eines Modells auf mehrere Typen verteilt.
Q4_K speichert ein Gewicht im Mittel mit 4,5 Bit, Q6_K mit 6,5625. Q4_K_M nimmt für einen Teil der Tensoren Q6_K und für den Rest Q4_K, deshalb liegt eine solche Datei im Mittel bei etwa 4,9 Bit. Bei Modellen aus vielen Experten kann dasselbe Rezept ganz anders ausfallen: In der GGUF-Datei von Gemma 4 26B liegt weniger als die Hälfte der Bytes in Q4_K. Am Namen der Stufe lässt sich das nicht ablesen.
auchQ4_K_M · Q4_K · Q6_K · Q5_K_M
Kapitel 02 · Woher Modelle kommenKapitel 04 · Was ein Modell an Hardware brauchtBeitrag · Gleicher Name, neuer Digest: Wie Ollama ein Modell ablegtk-quants, Pull Request 1684 an llama.cppllama.cpp, Quelltext der Quantisierung beim Commit a4d4f2fsiehe GGUFsiehe Quantisierung
KV-Cache
Der Zwischenspeicher, in dem ein laufendes Modell die schon berechneten Schlüssel und Werte jedes Tokens hält, damit es sie beim nächsten Token nicht neu rechnet.
Eine Antwort entsteht in zwei Phasen. Zuerst geht die ganze Eingabe in einem Durchgang durch das Modell (Prefill), danach entsteht Token für Token (Decode), und jedes neue Token sieht auf die Schlüssel und Werte aller Token davor. Diese Zahlen liegen im KV-Cache, im Speicher der Grafikkarte oder auf einem Mac im gemeinsamen Arbeitsspeicher, und sie wachsen mit der Länge des Gesprächs; bei einem Server mit vielen gleichzeitigen Anfragen ist dieser Speicher der knappe Posten, und v
LLM ist um seine Verwaltung herum gebaut. Weil ein Token nur von dem abhängt, was vor ihm steht, teilen sich zwei Anfragen mit demselben Anfang dessen Einträge. Das ist der Präfix-Cache, Anbieter verkaufen ihn als Prompt Caching mit Rabatt auf den wiederverwendeten Teil, und deshalb gehört der gleichbleibende Teil einer Anweisung nach vorn. auchKey-Value-Cache · Präfix-Cache · Prefix Caching · Prompt Caching · Prefill
Kapitel 11 · Über die APIKapitel 04 · Was ein Modell an Hardware brauchtEfficient Memory Management for Large Language Model Serving with PagedAttentionAnthropic, Pricingsiehe Inferenzsiehe Laufzeitumgebungsiehe Tokensiehe Kontextfenstersiehe vLLM
Latenz
Die Zeit zwischen dem Ende einer Äußerung und dem ersten Ton der Antwort.
Eine Summe aus Posten, die einzeln klein aussehen: Aufnahme und Übertragung, die Wartezeit, bis die Erkennung das Ende meldet, die Erkennung selbst, das Modell bis zum ersten Wort, die Ausgabe bis zum ersten Ton, der Rückweg. Im Chatfenster ist eine Pause von drei Sekunden eine bekannte Form des Wartens. Im Gespräch fragen Menschen nach etwa einer Sekunde nach, ob die Gegenseite noch da ist.
auchAntwortzeit · Latenzbudget · Verzögerung
Kapitel 03 · Wenn das Gespräch nicht in Runden läuftsiehe Voice Activity Detectionsiehe Conversational AI
Laufzeitumgebung
Die Schicht zwischen Modellkern und Anwendung: lädt das Modell, nimmt Anfragen an, setzt Grenzen und gibt Toolaufrufe als Daten an die Anwendung zurück.
Gemeint ist das Programm, das ein Modell ausführt, auch Inferenz-Engine genannt, etwa llama.cpp, Ollama, LM Studio oder v
LLM. Es bestimmt mit, wie viel Speicher ein Modell braucht: Dieselben Gewichte von gpt-oss-120b laufen je nach Programm auf einer Grafikkarte oder auf vier. Ein Server stapelt dazu mehrere Anfragen, verwendet berechnete Zustände wieder, gibt die Antwort gestreamt aus und verteilt Kontingente. auchInferenz-Engine · Serving · Serving-Schicht · Inference-Server · Runtime
Kapitel 05 · Womit ein Modell läuftKapitel 01 · Was ein Sprachmodell istOpenAI, README von gpt-oss beim Commit 5681a6bvLLM 0.32.0, Tool Calling2023 · Ollama, ein Befehl genügt23.07.2026 · Was eine Agenten-Sandbox aushält, entscheidet sich nicht im Kernelsiehe Modellkernsiehe Inferenzsiehe Continuous Batching
Mandant
Der abgetrennte Bereich einer Organisation in einem gemeinsam genutzten Dienst. Daten, Konten und Einstellungen einer Firma liegen darin und bleiben von denen anderer Firmen getrennt.
Ein Anbieter betreibt eine Anlage für viele Kunden und trennt sie logisch statt körperlich. Für den Einsatz von KI ist der Mandant die Grenze, innerhalb derer ein Assistent suchen darf, und zugleich der Ort, an dem der Anbieter Einstellungen und Ankündigungen hinterlegt. Manches erreicht Kunden ausschließlich auf diesem Weg: Microsoft etwa veröffentlicht neue Funktionen auf offenen Seiten, kündigt Abschaltungen aber im Nachrichtenbereich des jeweiligen Mandanten an. Wer eine Entwicklung von außen verfolgt, sieht den Zuwachs vollständig und den Rückbau gar nicht.
auchTenant · Mandantenfähigkeit · Multi-Tenant · Mandantentrennung
Kapitel 01 · Wo Modelle betrieben werdenBeitrag · Welcher Copilot in welchem Microsoft-365-Paket stecktBeitrag · Was vor der Copilot-Einführung zu klären istMicrosoft Copilot requirementsMessage Center MC1454373, Einstellung der Excel-Funktion COPILOTsiehe Work IQ
Manifest
Eine kleine JSON-Datei, die aufzählt, aus welchen Teilen ein Modell oder ein Container-Image besteht, jeden Teil mit Medientyp, Größe und Digest.
Ollama übernimmt das Schema von Docker: ein Verweis auf eine Konfiguration und eine Liste von Schichten. Bei einem Modell sind das die Gewichte, das Vokabular, die Gesprächsvorlage, voreingestellte Parameter und die Lizenz. Eine Manifest-Liste steht eine Stufe darüber und nennt mehrere Manifeste für verschiedene Varianten desselben Namens. Bei Ollama wählt der Rechner daraus nach dem Runner, auf einem Mac mit Apple-Chip etwa die Variante für MLX.
auchManifest-Liste · Image-Manifest · Image Index
Beitrag · Gleicher Name, neuer Digest: Wie Ollama ein Modell ablegtImage Manifest V 2, Schema 2OCI Image Format Specification v1.1.1, Image Indexsiehe Digestsiehe Blobsiehe Ollama
MLX
Apples eigenes Rechenframework für maschinelles Lernen auf der eigenen Hardware, mit gemeinsamem Speicher zwischen CPU und GPU.
Apples eigene Forschungsabteilung für maschinelles Lernen veröffentlichte MLX Anfang Dezember 2023 als quelloffenes Rechenframework für Apple Silicon. Der namensgebende Unterschied zu Rechenframeworks aus dem PC-Bereich ist der gemeinsame Speicher: Ein Array liegt einmal im Arbeitsspeicher, eine Operation läuft darauf, ohne dass Daten zwischen CPU und GPU kopiert werden. LM Studio setzt MLX auf dem Mac neben llama.cpp ein. Ollama nimmt es seit Version 0.40.0 auf Apple-Rechnern für die Bauformen, die MLX unterstützt, und rechnet die übrigen weiter mit seiner eigenen Engine.
Kapitel 05 · Womit ein Modell läuftBeitrag · Gleicher Name, neuer Digest: Wie Ollama ein Modell ablegtMLXOllama v0.32.6LM Studio, Doku der Appv0.40.0siehe Laufzeitumgebungsiehe Ollamasiehe Multi-Token Prediction
Moderation
Die maschinelle Prüfung von Inhalten vor oder hinter einem Modell.
Meist eine eigene Schnittstelle, die Text oder Bild auf Kategorien einstuft. Ihre Grenzen stehen in der Dokumentation: Bei einem Tool Call erfasst sie Argumente und Ausgaben, während Tool-Namen, Beschreibungen und Schemata ausgenommen bleiben. Bei einer stückweise gelieferten Antwort liegt ihr Urteil erst nach dem letzten Wort vor.
auchInhaltsprüfung · Content Moderation
Kapitel 07 · GuardrailsOpenAI, Moderationsiehe Guardrailssiehe Jailbreak
NVIDIA Collective Communications LibraryNCCL
NVIDIAs Bibliothek, über die Grafikkarten in einem Verbund Daten austauschen. Ein verteiltes Training gleicht darüber Gewichte und Gradienten ab.
Ein Modell, das auf mehrere Grafikkarten verteilt trainiert wird, muss nach jedem Schritt seine Gradienten zusammenführen und die Gewichte an alle Karten verteilen. NCCL stellt dafür Sammeloperationen wie All
Reduce und Broadcast bereit, jeweils als ein einziger Rechenkern, der Übertragung und Rechnung zusammen erledigt, und kennt dabei die Verbindungswege zwischen den Karten. Vorausgesetzt ist eine schnelle Verbindung, innerhalb eines Rechners oder in einem Cluster; zwei Maschinen ohne gemeinsames Netz können keinen NCCL-Verbund bilden. Genau diese Grenze umgeht der Adapter-Sync von TRL, indem nur wenige Megabyte über ein gemeinsames Dateisystem wandern. auchNCCL · Collective Communications · All
Reduce · GPU-Verbund Overview of NCCLAsync GRPO with LoRA across HF Jobs: a bucket, a proxy, and no NCCLsiehe Gewichtesiehe vLLMsiehe Speicherbandbreitesiehe Transformer Reinforcement Learning
Ollama
Ein Programm, das ein offenes Modell mit einem einzigen Befehl lädt und auf dem eigenen Rechner ausführt, hinter einer Schnittstelle wie der eines Anbieters.
Ollama erschien im Juli 2023 und macht seither das Herunterladen, Verwalten und Ausführen eines Modells zu einem einzigen Befehl. Der Betrieb bleibt vollständig ohne Netzverbindung möglich, und der Anbieter sagt zu, dass eingehende Daten nicht in ein Training gehen. Auf Apple-Rechnern kann dabei die MLX-Engine als schnellerer Unterbau einspringen, seit der Version vom 04.08.2026 auch für Speculative Decoding über den MTP-Kopf eines Modells. Das Gegenstück mit einem Fenster statt eines Befehls ist LM Studio.
Kapitel 01 · Wo Modelle betrieben werdenBeitrag · Gleicher Name, neuer Digest: Wie Ollama ein Modell ablegtOllama v0.0.1OllamaOllama v0.32.6siehe Laufzeitumgebungsiehe Offene Gewichtesiehe MLX
On-Device
Ein Modell rechnet auf dem Gerät des Nutzers, ohne dass die Eingabe es verlässt.
Die Bezeichnung sagt etwas über den Ort der Rechnung und damit über den Zugriff: Was auf dem Gerät bleibt, sieht kein Betreiber. Sie ist allerdings selten der ganze Ablauf. Apple beschreibt für seine Modellreihe zwei Orte nebeneinander, das Gerät und einen eigenen abgesicherten Dienst, und welcher davon greift, entscheidet das System. Wer sich auf die Eigenschaft verlässt, prüft also, unter welchen Bedingungen sie gilt.
auchauf dem Gerät · lokal auf dem Gerät · Edge
Kapitel 10 · Small Language ModelsKapitel 01 · Wo Modelle betrieben werdenApple, Introducing the Third Generation of Apple Foundation Modelssiehe Small Language Modelsiehe Inferenzsiehe Anbietersiehe Betreiber
Prompt Injection
Ein Angriff, bei dem Anweisungen in Daten versteckt werden, die das Modell verarbeitet.
Ein Modell unterscheidet nicht zuverlässig zwischen dem, was es tun soll, und dem, was es lesen soll. Steht in einer eingelesenen Webseite oder Datei eine Anweisung, kann sie befolgt werden. Das liegt am Verfahren selbst und ist der Grund, warum Tool-Rechte eng gesetzt gehören.
auchInjection · Prompt-Angriff · Indirect Prompt Injection
Kapitel 05 · Der Prompt2026 · Ein Agent bricht aus der Sandbox2024 · Das Modell bedient einen Rechner2023 · Function Calling, das Modell fordert Tools an27.07.2026 · Ein Agent bricht aus der Sandbox aus, um eine Prüfung zu bestehensiehe Guardrailssiehe Toolsiehe Agent
Rate Limit
Die Obergrenze dafür, wie viel eine Organisation je Minute über die Schnittstelle verarbeiten darf.
Gemessen wird in drei getrennten Größen: Anfragen, Eingabe-Token und Ausgabe-Token je Minute. Das Kontingent füllt sich fortlaufend nach und wird nicht zur vollen Minute zurückgesetzt, weshalb gleichmäßig verteilter Verkehr mehr durchbringt als eine Salve. Wer eine Grenze erreicht, bekommt den Code 429 samt Wartezeit zurück.
auchRatenbegrenzung · Kontingent · Token-Bucket
Recall@k
Der Anteil der Fragen, bei denen die richtige Stelle unter den ersten k Treffern war.
Die erste Zahl, die man messen sollte, denn was nicht gefunden wurde, kann nicht in die Antwort kommen. Sie trennt die Suchqualität von der Antwortqualität und braucht dafür einen Fragensatz mit bekannter Fundstelle. Daneben stehen MRR, das den Kehrwert der Platzziffer der ersten richtigen Stelle mittelt, und n
DCG, das mehrere passende Stellen verrechnet und nach Rang gewichtet. auchRecall · Trefferquote · MRR · n
DCG Kapitel 03 · RAG, die Suche vor der AntwortBEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval ModelsPassage Re-ranking with BERTsiehe RAGsiehe Rerankingsiehe Benchmark
Rechtemodus
Die Einstellung, welche Handlungen ein Coding-Agent in einer Sitzung ohne Rückfrage ausführen darf.
Claude Code kennt sechs Rechtemodi. Sie reichen vom manuellen Modus, der vor jeder Änderung fragt, bis zu einem Modus ganz ohne Rückfragen, den die Doku nur für abgeschottete Umgebungen empfiehlt. Im Auto-Modus entscheidet ein Klassifikator, welche Handlung eine Rückfrage braucht; seit Herbst 2026 startet eine Sitzung im Terminal und in VS Code in der Voreinstellung so. Verbotsregeln gelten in jedem Modus. Eine Grenze, die man nur im Gespräch zieht, kann beim Verdichten verloren gehen, für eine feste Grenze braucht es eine Regel.
auchRechtemodi · Permission Mode · Berechtigungsmodus
Kapitel 16 · Rechte und SandboxKapitel 08 · Berechtigungen und RechtemodiAnthropic, Choose a permission modesiehe Plan-Modussiehe Sandboxsiehe Human in the Loop
Red Teaming
Ein Angriff auf das eigene System im Auftrag, um die Lücken vor dem Gegner zu finden.
Der Begriff kommt aus dem Militär und der IT-Sicherheit: Ein rotes Team spielt den Angreifer. Bei Sprachmodellen heißt das, Prüfer versuchen mit Umgehungsversuchen, eingeschleusten Anweisungen und gefährlichen Anfragen, das Modell zu Verbotenem zu bringen; die Häuser lassen das intern erledigen, von beauftragten Firmen und zunehmend von automatisierten Angreifermodellen. Die Systemkarten nennen, wer geprüft hat, wie lange und mit welchem Zugang. Google lässt die Prüfer außerhalb des Teams sitzen, das das Modell gebaut hat; Open
AI beauftragte für GPT-6 Astra vier Firmen, die es nicht nennt. auchAngriffstest · Red Team · Rotes Team
Kapitel 07 · Die Systemkarte lesenOpenAI, GPT-6 Astra System CardGoogle DeepMind, Gemini 3.1 Pro Model Cardsiehe Jailbreaksiehe Guardrailssiehe Prompt Injectionsiehe Modellkarte
Refactoring
Die innere Form des Codes ändern, ohne sein Verhalten anzufassen.
Der dritte Schritt im Zyklus der testgetriebenen Entwicklung und der Grund, warum sie über die Zeit etwas einbringt. Umbenennen, Zerlegen, Zusammenfassen, doppelte Stellen zusammenziehen: alles davon verändert, wie ein Programm gelesen wird, und nichts davon verändert, was es tut. Die Bedingung dafür sind grüne Tests, denn sie sind die einzige Auskunft darüber, ob das Verhalten wirklich gleich geblieben ist. Ohne sie ist der Umbau eine Wette. Mit einem Agenten verschiebt sich der Aufwand: Das Umbauen selbst kostet kaum noch Zeit, das Beurteilen des Ergebnisses dagegen schon.
auchRefaktorierung · Umbau des Codes · refaktorisieren
Beitrag · Erst der rote TestKent Beck, Canon TDDsiehe Test-Driven Developmentsiehe Vibe Coding
Regression
Ein Test, der vor einer Änderung durchlief und danach fällt. Kaputt ist damit etwas, das vorher funktioniert hat.
Das Wort kommt aus der Statistik und meint dort etwas anderes. In der Softwareentwicklung bezeichnet es einen Rückfall: Ein Verhalten, das schon einmal richtig war, hat sich nach einer Änderung verschlechtert. Gemessen wird das an den Tests, die vorher durchliefen und danach fallen. Die Rate dazu beantwortet eine andere Frage als die Lösungsquote, denn eine Änderung kann ihre eigene Aufgabe erfüllen und dabei an anderer Stelle etwas zerbrechen. Wer allein zählt, wie viele Aufgaben gelöst wurden, sieht diesen Teil der Rechnung gar nicht. Im Betrieb mit einem Agenten fällt das stärker ins Gewicht, weil mehr Änderungen je Zeiteinheit entstehen und der Bestand darunter derselbe bleibt.
auchRegressionen · Regressionsrate · Regressionstest · Rückfall
Beitrag · Erst der rote TestTDAD: Test-Driven Agentic Development. Reducing Code Regressions in AI Coding Agents via Graph-Based Impact AnalysisDORA, State of AI-assisted Software Development 2025siehe Test-Driven Development
Reranking
Ein zweiter Durchgang, der Frage und Textstück gemeinsam bewertet und die Trefferliste neu ordnet.
Die erste Suche vergleicht zwei Zahlenreihen, die getrennt voneinander entstanden sind. Ein Reranker legt Frage und Textstück zusammen in ein Modell und lässt bewerten, wie gut sie zueinander passen. Das sieht genauer hin und kostet deutlich mehr Rechenzeit, weshalb es nie über den ganzen Bestand läuft, sondern über die Kandidaten der ersten Stufe. Beschrieben wurde das Verfahren 2019 von Nogueira und Cho.
auchReranker · Re-Ranking · Neusortierung · Cross-Encoder
Kapitel 03 · RAG, die Suche vor der AntwortPassage Re-ranking with BERTBEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Modelssiehe RAGsiehe Hybride Suchesiehe Embedding
Runner (Ollama)
Bei Ollama das Programmteil, das ein Modell tatsächlich rechnet, etwa llama.cpp oder MLX. Welches es nimmt, hängt von Modell, Format und Gerät ab.
Ein Modell kann bei Ollama in mehreren Varianten für verschiedene Runner vorliegen. Auf einem Mac mit Apple-Chip bevorzugt Ollama MLX, auf allen anderen Rechnern llama.cpp. Ein Update kann so den Runner wechseln, ohne dass sich der Name des Modells ändert.
auchOllama-Runner · Engine
Beitrag · Gleicher Name, neuer Digest: Wie Ollama ein Modell ablegtOllama 0.40.15, Quelltext der Manifestablagev0.40.0siehe Laufzeitumgebungsiehe MLXsiehe Ollama
safetensors
Ein Dateiformat für Modellgewichte, das nur einen lesbaren Kopf und die Zahlen enthält.
In diesem Format verteilt Hugging Face Modellgewichte. Eine Datei beginnt mit acht Byte für die Länge des Kopfs, dann folgt der Kopf als JSON mit Name, Datentyp und Form jeder Zahlentabelle, dahinter stehen nur noch die Zahlen. Einen Teil, der beim Laden ausgeführt würde, sieht das Format an keiner Stelle vor. Wer den Kopf liest, kennt den Aufbau der Gewichte, ohne die Gigabyte dahinter zu laden. Py
Torch-Checkpoints im Pickle-Format können beim Laden Code ausführen, und Py Torch rät auch nach der sichereren Voreinstellung von Version 2.6, nur vertrauenswürdige Checkpoints zu laden. Metas Repository zu Llama 3.1 8B Instruct liefert dieselben Gewichte in beiden Formaten nebeneinander. auchSafetensors · safetensors-Datei · .safetensors
Kapitel 02 · Woher Modelle kommenKapitel 01 · Wie ein Modell innen gebaut istBeitrag · Gleicher Name, neuer Digest: Wie Ollama ein Modell ablegtsafetensors, die README beim Commit e246a25Hugging Face Hub Docs, Pickle Scanning, beim Commit 76be11bPyTorch 2.6.0 Release NotesLlama 3.1 8B Instruct bei Hugging Facesiehe GGUFsiehe Gewichte
Sandbox
Eine vom Betriebssystem gezogene Grenze, die festlegt, welche Dateien und Netzadressen ein vom Agenten gestarteter Befehl erreicht.
Die Grenze gilt für den laufenden Prozess, also auch dann, wenn ein erlaubter Befehl mehr tut, als sein Name vermuten lässt. Damit ergänzt sie die Rechteregeln: Diese entscheiden, ob ein Befehl startet, die Sandbox begrenzt, was er dann erreicht. In Claude Code ist sie ein Schalter, der zuerst aus steht, und kann sie nicht starten, laufen Befehle in der Voreinstellung ohne sie. Codex schränkt Befehle dagegen von Anfang an ein.
auchSandboxing · Isolierung
Kapitel 16 · Rechte und SandboxKapitel 09 · Sandbox und IsolierungAnthropic, Configure the sandboxed Bash toolOpenAI, Codex sandboxingsiehe Rechtemodussiehe Prompt Injection
Software Development KitSDK
Eine Programmbibliothek, mit der man einen Dienst aus eigenem Code anspricht.
Anbieter von Modellen liefern SDKs für Sprachen wie Python und Type
Script. Das Agent SDK von Anthropic bringt die Schleife von Claude Code als Bibliothek in eigene Programme. auchSDK · SDKs
Kapitel 29 · Skripte und CIsiehe Harnesssiehe Claude Agent SDK
Spec-Driven DevelopmentSDD
Die Vorgabe steht vor dem Code: Eine Spezifikation ist der Vertrag, aus dem ein Agent Plan, Aufgaben und Code ableitet, und sie bleibt die Quelle der Wahrheit, wenn sich etwas ändert.
Zwei Werkzeuge haben den Begriff 2025 verbreitet: Kiro, die agentische Entwicklungsumgebung von AWS, stellte sich am 14.07.2025 damit vor, und Git
Hub veröffentlichte am 02.09.2025 Spec Kit, einen quelloffenen Werkzeugsatz in vier Phasen (Specify, Plan, Tasks, Implement), der mit Git Hub Copilot, Claude Code und Gemini CLI arbeitet. Die Begründung ist bei beiden dieselbe: Anforderungen sind zu Beginn unsicher, und was einem Entwickler beim Planen hilft, hilft einem Agenten auch. Gemessen ist davon wenig. Eine Erhebung an einer ausgebauten Bauform vom April 2026 findet 0,15 Punkte auf einer Skala von eins bis fünf für die Hooks, die jede Phase am Projekt erden und prüfen, und 0,05 Punkte für die Vorgabe-Schritte allein; eine verblindete Gegenprobe mit Menschen stützt die 0,15 Punkte nicht. Ein explorativer Versuch vom August 2026 mit drei Läufen je Zelle sieht die Wirkung der Form vor allem bei schwächeren Modellen, und eine Begriffsarbeit vom selben Monat erklärt die eigene Beweislage für unfertig. Offen bleibt bei allen dreien, woher der Inhalt der Spezifikation kommt. Ein Interview-Agent holt heraus, was die befragte Person an Fachwissen mitbringt, und genau dort scheitern nach der Erfahrung eines Beratungshauses, das die Methode lehrt, die meisten Organisationen schon an Domain-Driven Design: am Zugang zu den Fachleuten. auchSDD · spec-getriebene Entwicklung · Spezifikationsgetriebene Entwicklung · Specification-Driven Development
Kapitel 10 · Vorgabe und UmfangBeitrag · ADR und Spezifikation: wie viel Papier ein Agent brauchtIntroducing KiroSpec-driven development with AI: Get started with a new open source toolkitSpec Kit Agents: Context-Grounded Agentic WorkflowsArchitecture as Capability Equalizer for Coding AgentsSpec-Driven Development for Agentic Software Engineering: Harnessing Human-Agent TeamworkSpec-Driven Development is Domain-Driven Design's Impatient Cousinsiehe Test-Driven Developmentsiehe Domain-Driven Designsiehe Vibe Codingsiehe Agentic Engineeringsiehe Harness
Speculative Decoding
Etwas schlägt mehrere Token auf einmal vor, das große Modell prüft sie in einem Durchgang und übernimmt, was es übernehmen darf.
Das große Modell nimmt jeden Vorschlag mit einer berechneten Wahrscheinlichkeit an und gleicht die Ablehnungen aus; der Rest wird verworfen und neu gerechnet. Erhalten bleibt dadurch die Verteilung, aus der gezogen wird, und zwar im Rahmen der Rechengenauigkeit der Hardware. Der einzelne Text darf trotzdem ein anderer sein. Die Vorschläge stammen aus einer von drei Quellen: einem zweiten, kleineren Modell, einem eigenen Kopf im großen Modell, oder Wortfolgen, die im schon geschriebenen Text vorgekommen sind. Das spart Wartezeit an den vorhersehbaren Stellen eines Textes und kostet Zeit an den übrigen, denn ein verworfener Vorschlag ist bezahlter Rechenaufwand. Für die Qualität der Ausgabe ist es kein Regler, und wer zwei Aufbauten auf Geschwindigkeit vergleicht, sollte wissen, ob auf einer Seite spekuliert wird.
auchSpekulative Dekodierung · Spekulatives Entwerfen
Kapitel 12 · Wie zufällig die Antwort istBeitrag · Elf Wege, ein lokales Modell schneller zu machenBeitrag · Gleicher Name, neuer Digest: Wie Ollama ein Modell ablegtFast Inference from Transformers via Speculative DecodingAccelerating Large Language Model Decoding with Speculative Samplingllama.cpp, Dokumentation zum Speculative Decodingsiehe Samplingsiehe Multi-Token Predictionsiehe Speicherbandbreite
Speicherbandbreite
Wie viele Daten je Sekunde zwischen Arbeitsspeicher und Rechenwerk fließen können. Bei einem lokal laufenden Modell entscheidet sie über das Tempo der Antwort.
Ein Sprachmodell erzeugt ein Token nach dem anderen, und für jedes davon müssen seine aktiven Gewichte einmal gelesen werden. Ein Modell mit 27 Milliarden Parametern in vier Bit bewegt so rund 17 Gigabyte je Token. Dazu kommen die Schlüssel und Werte aller Token davor aus dem KV-Cache. Bei kurzem Kontext ist dieser Anteil klein, bei langem kann er größer sein als die aktiven Gewichte. Die Rechenwerke warten dabei den größten Teil der Zeit, weshalb die Bandbreite das Tempo bestimmt und die Rechenleistung selten. Daraus folgen zwei Dinge: Eine gröbere Quantisierung beschleunigt, weil weniger Daten fließen, und ein Modell mit vielen Experten läuft schneller als ein gleich großes, bei dem jeder Parameter mitrechnet. Auch das spekulative Entwerfen setzt hier an, denn die Prüfung mehrerer Vorschläge kostet einen Durchgang durch die Gewichte statt mehrerer.
auchBandbreite · Memory Bandwidth
Kapitel 04 · Was ein Modell an Hardware brauchtBeitrag · Elf Wege, ein lokales Modell schneller zu machenBeitrag · Gleicher Name, neuer Digest: Wie Ollama ein Modell ablegtsiehe Quantisierungsiehe Mixture of Expertssiehe Speculative Decodingsiehe Inferenz
Test-Driven DevelopmentTDD
Die Regel, den Test vor dem Code zu schreiben: erst der Fall, der fällt, dann die Zeilen, die ihn grün machen.
Kent Beck hat die Methode 2002 beschrieben und 2023 noch einmal festgelegt, weil zu viele Darstellungen etwas anderes meinten. Fünf Schritte: eine Liste der Fälle, davon genau einer als lauffähiger Test, dann der Code für diesen einen und alle vorherigen, wahlweise Aufräumarbeit, und von vorn. Verbreitet ist die Kurzform rot, grün, aufräumen. Der rote Lauf am Anfang hat eine Aufgabe, die man ihm nicht ansieht: Er belegt, dass die Prüfung überhaupt anschlagen kann, und genau das fehlt einem Test, der nach dem Code entsteht und beim ersten Lauf grün ist. Im Betrieb mit einem Agenten kommt eine zweite Rolle dazu. Der Test beschreibt dann die Erwartung an eine Arbeit, die jemand anderes ausführt, und wird zur Vorgabe erst dadurch, dass der Ausführende ihn nicht ändern darf.
auchTestgetriebene Entwicklung · TDD · test-first · testgetrieben · Testgetriebene Softwareentwicklung · Rot-Grün-Refactor
Beitrag · Erst der rote TestKent Beck, Canon TDDTDD-Bench Verified: Can LLMs Generate Tests for Issues Before They Get Resolved?siehe Refactoringsiehe Vibe Codingsiehe Architecture Decision Record
Token je SekundeT/s
Die übliche Kennzahl für das Tempo eines Sprachmodells. Sie misst, wie schnell die Antwort geschrieben wird, und sagt nichts über die Wartezeit bis zum ersten Wort.
Gemessen wird üblicherweise die Ausgabe, also wie viele Token je Sekunde beim Schreiben der Antwort entstehen. Das Verarbeiten der Eingabe läuft um ein Vielfaches schneller, weil dort alle Token in einem Durchgang durch das Modell gehen; genau dieser Unterschied ist der Grund, warum sich das Schreiben durch Spekulation beschleunigen lässt. Eine einzelne Zahl sagt wenig: Sie gilt für ein Gerät, eine Quantisierung, eine Programmfassung und eine Art von Aufgabe. Zwei Aufbauten lassen sich damit nur vergleichen, wenn auf beiden Seiten dasselbe gemessen wurde.
auchtok/
s · Tokens per second · Durchsatz Beitrag · Elf Wege, ein lokales Modell schneller zu machensiehe Latenzsiehe Speicherbandbreitesiehe Speculative Decodingsiehe Benchmark
Tokenmaxxing
Der Wettbewerb um den höchsten Token-Verbrauch, bei dem die Menge als Nachweis von Können gilt.
Die Endung stammt aus dem Netzjargon und bedeutet dort, eine einzelne Eigenschaft bis zum Anschlag zu treiben. Wer am meisten verbraucht, gilt danach als der, der am weitesten ist. Seit 2026 gibt es Werkzeuge, die den eigenen Verbrauch auslesen und in öffentliche Ranglisten stellen, dazu firmeninterne Bestenlisten mit demselben Zweck. Der Denkfehler liegt in der Gleichsetzung von Aufwand und Wirkung. Wie weit beides auseinanderliegt, maß 2025 ein randomisierter Versuch mit 16 erfahrenen Entwicklern: Sie erwarteten 24 Prozent Zeitersparnis, schätzten sich hinterher 20 Prozent schneller und brauchten gemessen 19 Prozent länger. Eine Zahl, die leicht zu erheben und noch leichter zu erhöhen ist, taugt nicht als Maßstab. Ernst zu nehmen bleibt der Gedanke dahinter: Wer ein Werkzeug nur nebenbei benutzt, lernt seine Grenzen nicht kennen. Eine Rangfolge folgt daraus nicht.
auchToken Maxxing · Tokenmaxxer · Token-Leaderboard · Tokenmaxing
tokenlytics, Token-Zähler mit WettbewerbTokscale, weltweite Rangliste des Token-VerbrauchsMeasuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivitysiehe Tokensiehe Benchmarksiehe Inferenz
Trace
Die Aufzeichnung eines einzelnen Durchlaufs: welcher Schritt wann begann und wann er endete.
Sie hält fest, was ein Transkript verschweigt, nämlich alles zwischen Frage und Antwort. Jeder Abschnitt darin hat Anfang und Ende, und daraus wird eine Reihenfolge mit Uhrzeiten. Manche Fehler bestehen ausschließlich aus einer Reihenfolge: eine Absage, die vor der zugehörigen Suchanfrage kam. Bei einem Sprachagenten hebt die Voreinstellung dabei auch die Tonaufnahme auf.
auchAblaufspur · Spur · Ablaufprotokoll
Kapitel 12 · Was nach dem Gespräch übrig bleibtOpenAI, Agents SDK, AufzeichnungOpenAI, Abläufe von Agenten bewertensiehe Containment
Unified Memory
Ein Arbeitsspeicher, den sich Prozessor und Grafikeinheit eines Rechners teilen, so bei Macs mit Apple-Chip.
Apple nennt die Bauform Unified Memory und gibt in den technischen Daten einen einzigen Wert an, beim Mac
Book Pro mit M4 Max etwa 36, 48, 64 oder 128 GB. Das Framework MLX baut darauf: Seine Arrays liegen im gemeinsamen Speicher, und eine Operation läuft auf Prozessor oder Grafik, ohne dass Daten kopiert werden. Die Grafik belegt davon einen Teil, ohne langsamer zu werden; Apples Schnittstelle Metal meldet diese Größe als eigenen Wert, und Ollama liest ihn als Grafikspeicher. Eine Grafikkarte im PC hat ihren eigenen Speicher, bei der Ge Force RTX 5090 sind es 32 GB. Wie groß ein Modell samt KV-Cache sein darf, hängt deshalb auf dem Mac am gemeinsamen Speicher und am PC am Speicher der Karte. auchgemeinsamer Arbeitsspeicher · gemeinsamer Speicher · geteilter Speicher
Kapitel 04 · Was ein Modell an Hardware brauchtKapitel 05 · Womit ein Modell läuftApple, MacBook Pro (16-inch, 2024) - Tech SpecsMLXApple Developer, recommendedMaxWorkingSetSizeNVIDIA GeForce RTX 5090siehe MLXsiehe Speicherbandbreitesiehe KV-Cache
Visuelles Token
Die Einheit, in der ein Bild abgerechnet wird: ein Stück Bildfläche statt eines Stücks Text.
Ein mitgeschicktes Bild wird in Felder zerlegt, und jedes Feld zählt wie ein Token. Bei Anthropic misst ein Feld 28 mal 28 Bildpunkte, bei Open
AI 32 mal 32. Der Preis wächst also mit der Fläche und stößt an eine Obergrenze, oberhalb derer das Bild verkleinert wird. Google rechnet je Bild: Nach der Kachelformel wächst die Kachel mit dem Bild mit, bei Gemini 4 und Gemini 3 bekommt ein Bild in der Grundeinstellung höchstens 1120 Token. Dieselbe Datei ergibt bei den Anbietern verschiedene Zahlen, und welche kleiner ist, hängt an der Größe des Bildes. Bei einem PDF zählt bei Anthropic beides, denn jede Seite geht als Text und als Bild an das Modell. auchVisual Token · Bildtoken · Patch
Kapitel 13 · Was ein Modell auf einem Bild erkenntVisionImages and visionImage understandingGoogle, Media resolutionPDF supportsiehe Tokensiehe Multimodal
vLLM
Ein quelloffener Inferenz-Server, der ein Modell für viele gleichzeitige Anfragen betreibt, hinter einer Schnittstelle wie der eines Anbieters.
v
LLM entstand 2023 aus einer Arbeit über die Verwaltung des KV-Cache: Der Speicher wird in Blöcken vergeben, nach dem Vorbild der Speicherverwaltung eines Betriebssystems, sodass kaum etwas verschwendet wird und Anfragen mit gleichem Anfang sich die Einträge teilen. Die Arbeit misst dafür den zwei- bis vierfachen Durchsatz gegenüber den damaligen Systemen bei gleicher Antwortzeit. Wo Ollama ein Modell auf dem eigenen Rechner für eine Person startet, bedient v LLM einen Server mit vielen gleichzeitigen Anfragen; Trainingsbibliotheken wie TRL benutzen es, um während des Trainings Antworten zu erzeugen. Mehrere Lo RA-Adapter kann es gleichzeitig geladen halten und je Anfrage einen davon anwenden. auchPaged
Attention · Inferenz-Server Kapitel 05 · Womit ein Modell läuftEfficient Memory Management for Large Language Model Serving with PagedAttentionAsync GRPO with LoRA across HF Jobs: a bucket, a proxy, and no NCCLvLLM, README beim Commit ee22f68siehe Laufzeitumgebungsiehe KV-Cachesiehe Ollamasiehe Inferenzsiehe Low-Rank Adaptationsiehe Continuous Batching