Datenerreichbar
Gemma 4 31B, config.json beim Commit 842da37
huggingface.co (externe Seite)
Die Konfiguration des Modells Gemma 4 31B von Google, Lizenz Apache 2.0. Von 60 Schichten rechnen 10 über den ganzen Kontext, mit 4 Schlüssel-Wert-Köpfen zu 512 Werten. Die übrigen 50 sehen nur ein Gleitfenster von 1.024 Token, mit 16 Köpfen zu 256 Werten. Aus ihr rechnet der KV-Rechner den Speicher für Schlüssel und Werte. Der Permalink zeigt auf einen festen Stand.
geprüft 10.11.2026