Dokumentationerreichbar

vLLM 0.32.0, Speculative Decoding

Die Doku von vLLM zum Speculative Decoding in der Fassung 0.32.0. Es soll die Zeit zwischen zwei Token bei geringer bis mittlerer Last senken. Bei Spitzenlast empfiehlt sie die einfachen Verfahren. Voreingestellt brauchen Entwurf und Hauptmodell dasselbe Vokabular, eine Einstellung hebt das auf.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 20.10.2026:

This document shows how to use Speculative Decoding with vLLM to reduce inter-token latency under medium-to-low QPS (queries per second), memory-bound workloads.bestätigt 10.11.2026
simpler methods such as n-gram and suffix decoding provide modest speedups without increasing workload during peak trafficbestätigt 10.11.2026
Speculative decoding sampling is theoretically lossless up to the precision limits of hardware numerics.bestätigt 10.11.2026
By default, vLLM requires the draft and target models to share the same vocabulary.bestätigt 10.11.2026
High QPS (throughput focused)bestätigt 10.11.2026
Only compatible with method=draft_model.bestätigt 10.11.2026

05 Womit ein Modell läuft

Alle Quellen