Dokumentationerreichbar

vLLM Recipes, GPT-OSS, beim Commit 2338e9e

Die Anleitung des vLLM-Projekts, gpt-oss auf Servern mit Grafikkarten von NVIDIA und AMD zu betreiben. Sie beschreibt die Abwägung zwischen Durchsatz und Antwortzeit je Nutzer. Je nach Ziel rät sie zu einer oder mehreren Grafikkarten je Instanz. Der Permalink zeigt auf einen festen Stand.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 20.10.2026:

To achieve higher throughput, tokens from multiple requests must be batched and processed together, but that increases the latencies.bestätigt 10.11.2026
Set this to 1 to achieve the best throughput per GPU, and set this to 2, 4, or 8 to achieve better per-user latencies.bestätigt 10.11.2026
gpt-oss-120b will fit on a single A100 (80GB), but scaling it to higher TP sizes can help with throughputbestätigt 10.11.2026
By default, it uses port 8000.bestätigt 10.11.2026
By default, this is set to a large number like 1024 on GPUs with large memory sizes.bestätigt 10.11.2026
endpoint can perform tool use (browsing, python, mcp) in between chain-of-thought and deliver a final responsebestätigt 10.11.2026
vLLM itself can act as MCP client to multiple services.bestätigt 10.11.2026
On H100 using tensor parallel size 1, default gpu memory utilization, and batched token will cause CUDA Out-of-memory.bestätigt 10.11.2026

05 Womit ein Modell läuft

Alle Quellen