Dokumentationerreichbar

llama.cpp, Pull Request 15077: --n-cpu-moe

Die Änderung an llama.cpp, übernommen am 04.08.2025, die zwei eigene Schalter für MoE-Modelle beschreibt: --cpu-moe für alle Expertengewichte im Hauptspeicher, --n-cpu-moe für die der ersten N Schichten.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 03.10.2026:

to keep all MoE weights in the CPUbestätigt 10.11.2026
to keep the MoE weights of the first N layers in the CPUbestätigt 10.11.2026

Wie ein Mixture-of-Experts-Modell rechnet

Alle Quellen