Originalarbeiterreichbar
Gemma 2: Improving Open Language Models at a Practical Size
Googles technischer Bericht zu Gemma 2, erschienen am 31.07.2024, hier in Fassung v3 vom 02.10.2024. Die Modelle mit 2 und 9 Milliarden Parametern lernen im Vortraining an der Verteilung, die ein größeres Lehrermodell für das nächste Token berechnet. Laut Abschnitt 1 sahen sie dabei mehr als das 50-Fache der rechnerisch optimalen Tokenmenge. Tabelle 6 vergleicht ein 2B-Modell nach 500 Milliarden Token: von Grund auf trainiert 60,3 Punkte, aus einem 7B-Lehrer destilliert 67,7 Punkte, gemittelt über drei Benchmarks. Alle Zahlen sind Angaben des Herstellers über die eigenen Modelle.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 19.10.2026:
We also train the 2B and 9B models with knowledge distillation (Hinton et al., 2015)
bestätigt 10.11.2026which replaces the one-hot vector seen at each token with the distribution of potential next tokens computed from a large model
bestätigt 10.11.2026Concretely, we use a large language model as a teacher to train small models, namely 2B and 9B models, on a quantity of tokens that is more than 50
bestätigt 10.11.2026In Table 6, we show that distilling from a larger model improves performance compared to training from scratch.
bestätigt 10.11.2026Comparison between a 2B model trained over 500B tokens either from scratch or with distillation from a 7B model.
bestätigt 10.11.2026
03 Wie ein Modell von einem anderen lernt10 Small Language Models