Dokumentationerreichbar

vLLM, Parallelism and Scaling

Die vLLM-Dokumentation zur Verteilung eines Modells auf mehrere Grafikkarten und Rechner, Quelle im Repo docs/serving/parallelism_scaling.md (Stand Commit e57bb4a, 15.10.2026). Passt ein Modell auf eine Karte, braucht es keine Verteilung. Passt es auf einen Rechner mit mehreren Karten, empfiehlt sie Tensor Parallelism. Reicht der Platz für den KV-Cache nicht für die gewünschte Last, helfen weitere Karten.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 19.10.2026:

if the model fits on a single GPU, distributed inference is probably unnecessary.bestätigt 10.11.2026
if the model is too large for a single GPU but fits on a single node with multiple GPUs, use tensor parallelism.bestätigt 10.11.2026
If these numbers are lower than your throughput requirements, add more GPUs or nodes to your cluster.bestätigt 10.11.2026

04 Was ein Modell an Hardware braucht

Alle Quellen