Originalarbeiterreichbar
Will we run out of data? Limits of LLM scaling based on human-generated data
Villalobos und fünf Mitautoren von Epoch AI schätzen den Vorrat an öffentlichem, von Menschen geschriebenem Text und den Datenbedarf der Sprachmodelle. Erstfassung vom 26.10.2022, hier die zweite Fassung vom 04.06.2024: Halten die Trends an, erreichen Trainingsdatensätze zwischen 2026 und 2032 die Größe des ganzen Vorrats. Als Auswege nennt die Arbeit erzeugte Daten, das Lernen aus Feldern mit mehr Daten und einen sparsameren Umgang mit Daten.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 09.10.2026:
models will be trained on datasets roughly equal in size to the available stock of public human text data between 2026 and 2032, or slightly earlier if models are overtrained
bestätigt 10.11.2026