Dokumentationerreichbar
llama.cpp, README des Servers beim Commit 620d222
Die Beschreibung der Schalter des Servers von llama.cpp im Stand von Build 11669. Ohne Angabe übernimmt er die Kontextlänge aus dem Modell. Der Speicher für Schlüssel und Werte liegt voreingestellt in 16 Bit und lässt sich gröber wählen. Ein Schalter legt fest, wie viele Schichten im Grafikspeicher liegen, ein weiterer, wie sich das Modell auf mehrere Grafikkarten verteilt. Der Permalink zeigt auf einen festen Stand.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 19.10.2026:
size of the prompt context (default: 0, 0 = loaded from model)
bestätigt 10.11.2026max. number of layers to store in VRAM
bestätigt 10.11.2026split layers and KV across GPUs (pipelined)
bestätigt 10.11.2026split weights and KV across GPUs (parallelized, EXPERIMENTAL)
bestätigt 10.11.2026whether to adjust unset arguments to fit in device memory
bestätigt 10.11.2026Parallel decoding with multi-user support
bestätigt 10.11.2026whether to enable continuous batching (a.k.a dynamic batching) (default: enabled)
bestätigt 10.11.2026experimental: whether to enable built-in tools for AI agents - do not enable in untrusted environments
bestätigt 10.11.2026port to listen (default: 9931)
bestätigt 10.11.2026set custom jinja chat template (default: template taken from model's metadata)
bestätigt 10.11.2026Anthropic Messages API compatible chat completions
bestätigt 10.11.2026number of server slots (default: -1, -1 = auto)
bestätigt 10.11.2026use single unified KV buffer shared across all sequences (default: enabled if number of slots is auto)
bestätigt 10.11.2026
Continuous Batching im Glossar04 Was ein Modell an Hardware braucht05 Womit ein Modell läuft