Dokumentationerreichbar

llama.cpp, Pull Request 11397: --override-tensor

Die Änderung an llama.cpp, eingereicht am 24.01.2025 und übernommen am 02.04.2025, mit der sich einzelne Gewichtsgruppen auf einen anderen Speicher legen lassen. Als Beispiel nennt sie, die Experten eines MoE-Modells im Hauptspeicher zu halten und den Rest auf die Grafikkarte zu legen.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 03.10.2026:

to force the experts in MoE models to stay on the CPU, while offloading the rest to the GPUbestätigt 10.11.2026

Wie ein Mixture-of-Experts-Modell rechnet

Alle Quellen