Dokumentationerreichbar

vLLM: Expert Parallel Deployment

Die Dokumentation des Inferenzservers vLLM zum Betrieb von MoE-Modellen mit Expert Parallelism, also mit Experten auf mehreren Grafikkarten. Sie beschreibt die ungleiche Last der Experten und den Ausgleich über zusätzliche Kopien gefragter Experten.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 03.10.2026:

in practice the distribution of tokens across experts can be highly skewedbestätigt 10.11.2026

Wie ein Mixture-of-Experts-Modell rechnet

Alle Quellen