Originalarbeiterreichbar
Gemma 3 Technical Report
Googles technischer Bericht zu Gemma 3 vom 25.03.2025. Alle Modelle der Familie, von 1 bis 27 Milliarden Parametern, sind mit Destillation trainiert. Abschnitt 2.2 beschreibt das Verfahren: je Token 256 Logits, ausgewählt nach den Wahrscheinlichkeiten des Lehrers. Abschnitt 5.4 prüft die verbreitete Annahme, ein kleinerer Lehrer sei für kleine Schüler besser. Sie gilt dort für kurze Trainingsläufe und kehrt sich bei langen um (Figur 8). Alle Angaben stammen vom Hersteller selbst.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 19.10.2026:
All Gemma 3 models are trained with knowledge distillation (Hinton et al., 2015).
bestätigt 10.11.2026We sample 256 logits per token, weighted by teacher probabilities.
bestätigt 10.11.2026A common finding is that, to train a small model, it is preferable to distill from a smaller teacher.
bestätigt 10.11.2026In Fig. 8, we observe that for short training horizons, the smaller teacher is better, but the trend is reversed for longer training.
bestätigt 10.11.2026A challenge with long context is the memory explosion of the KV cache during inference.
bestätigt 10.11.2026assign a smaller span of only 1024 tokens to the local layers
bestätigt 10.11.2026configuration results in a memory overhead of 60%
bestätigt 10.11.2026
03 Wie ein Modell von einem anderen lernt04 Was ein Modell an Hardware braucht