Originalarbeiterreichbar
Pretraining Large Language Models with NVFP4
Ein Bericht von NVIDIA vom 29.09.2025 über das Training eines Sprachmodells mit 12 Milliarden Parametern im eigenen Format NVFP4. Abschnitt 2 beschreibt das Format: Blöcke von 16 Werten mit einer Skala in E4M3 und eine Skala in FP32 je Tensor.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 09.11.2026:
In this study, we introduce a novel approach for stable and accurate training of large language models (LLMs) using the NVFP4 format.
bestätigt 10.11.2026We validate our approach by training a 12-billion-parameter model on 10 trillion tokens
bestätigt 10.11.2026
derzeit nirgends verwendet