Dokumentationerreichbar
Ollama, FAQ
docs.ollama.com (externe Seite)
Ollamas Antworten auf häufige Fragen, Quelle im Repo docs/faq.mdx (Stand Commit 33a3afa, 13.10.2026). Sie beschreibt, wie sich der Cache für Schlüssel und Werte in 8 Bit speichern lässt, dass mehrere gleichzeitige Anfragen den Speicherbedarf vervielfachen und dass Ollama ein Modell auf eine einzige Grafikkarte lädt, wenn es dort hineinpasst.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 19.10.2026:
By default, Ollama uses a context window size of 4096 tokens.
bestätigt 10.11.2026If the model will entirely fit on any single GPU, Ollama will load the model on that GPU.
bestätigt 10.11.2026This typically provides the best performance as it reduces the amount of data transferring across the PCI bus during inference.
bestätigt 10.11.2026Models that have a high GQA count (e.g. Qwen2) may see a larger impact on precision from quantization than models with a low GQA count.
bestätigt 10.11.20268-bit quantization, uses approximately 1/2 the memory of f16
bestätigt 10.11.2026The K/
bestätigt 10.11.2026V context cache can be quantized to significantly reduce memory usage when Flash Attention is enabled. Ollama uses Flash Attention automatically when the selected backend and devices support it.
bestätigt 10.11.2026The maximum number of parallel requests each model will process at the same time, default 1.
bestätigt 10.11.2026Parallel request processing for a given model results in increasing the context size by the number of parallel requests.
bestätigt 10.11.2026For example, a 2K context with 4 parallel requests will result in an 8K context and additional memory allocation.
bestätigt 10.11.2026
04 Was ein Modell an Hardware braucht05 Womit ein Modell läuft