Dokumentationerreichbar

vLLM 0.32.0, GGUF

Die Doku von vLLM zum Dateiformat GGUF in der Fassung 0.32.0. Die Unterstützung gilt dort als sehr experimentell und noch nicht optimiert.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 20.10.2026:

Please note that GGUF support in vLLM is highly experimental and under-optimized at the moment, it might be incompatible with other features.bestätigt 10.11.2026