Ankündigung des Herstellerserreichbar

vLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention

Die Ankündigung von vLLM vom 20.06.2023, drei Monate vor der Arbeit dazu. Sie misst den Durchsatz gegen die Bibliothek Transformers von Hugging Face und gegen den Server TGI. Gemessen wurde an LLaMA-7B auf einer A10G und an LLaMA-13B auf einer A100 mit 40 GB.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 20.10.2026:

vLLM achieves 14x - 24x higher throughput than HF and 2.2x - 2.5x higher throughput than TGI.bestätigt 10.11.2026
Serving throughput when each request asks for one output completion.bestätigt 10.11.2026
vLLM achieves 8.5x - 15x higher throughput than HF and 3.3x - 3.5x higher throughput than TGI.bestätigt 10.11.2026

05 Womit ein Modell läuft

Alle Quellen