Dokumentationerreichbar
Gemma 4, Multi-Token Prediction overview
Googles Doku zu den Entwurfsmodellen von Gemma 4 für spekulatives Dekodieren. Das Entwurfsmodell teilt die Eingabetabelle der Einbettungen mit dem Zielmodell. Beim Mixture-of-Experts-Modell 26B A4B kann es bei Stapelgröße 1 auf Hardware ohne gute Parallelität ohne Gewinn bleiben, weil die Prüfung zusätzliche Experten aus dem Speicher laden muss.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 09.11.2026:
The draft model shares the input embedding table with the target model.
bestätigt 10.11.2026Each token may activate different experts, so verifying drafted tokens can require loading additional expert weights from memory, offsetting the gains from drafting.
bestätigt 10.11.2026At batch size 1 this overlap is limited, which is why the 26B A4B drafter may not yield speedups on hardware platforms without good parallelism.
bestätigt 10.11.2026