Dokumentationerreichbar

vLLM, README beim Commit ee22f68

Die README von vLLM, entstanden am Sky Computing Lab der UC Berkeley. Sie beschreibt das Programm als Bibliothek für Inferenz und Betrieb von Sprachmodellen. Genannt sind Continuous Batching, Wiederverwendung gemeinsamer Anfänge, Speculative Decoding und ein Server mit der Schnittstelle von OpenAI. Lizenz Apache 2.0 laut Datei LICENSE beim selben Commit. Der Permalink zeigt auf einen festen Stand.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 20.10.2026:

vLLM is a fast and easy-to-use library for LLM inference and serving.bestätigt 10.11.2026
Continuous batching of incoming requests, chunked prefill, prefix cachingbestätigt 10.11.2026
Speculative decoding including n-gram, suffix, EAGLE, DFlashbestätigt 10.11.2026
OpenAI-compatible API server, plus Anthropic Messages API and gRPC supportbestätigt 10.11.2026
Seamless integration with popular Hugging Face modelsbestätigt 10.11.2026

vLLM im Glossar 05 Womit ein Modell läuft

Alle Quellen