Dokumentationerreichbar

llama.cpp, Pull Request 29887: GPU-Cache für MoE-Experten

Die Änderung an llama.cpp, übernommen am 07.10.2026, die mit --moe-cache-mib einen Cache auf der Grafikkarte für MoE-Experten im Hauptspeicher einführt, mit Messungen auf RTX 4090 und RTX 5090.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 07.11.2026:

MUL_MAT_ID ops on host experts run on the GPUbestätigt 10.11.2026
only the misses are uploadedbestätigt 10.11.2026
Small batches only (<= 32 tokens)bestätigt 10.11.2026
In experiments it was found 10% of the total expert size is good.bestätigt 10.11.2026

Wie ein Mixture-of-Experts-Modell rechnet

Alle Quellen