Ankündigung des Herstellerserreichbar
tokenizers v1: encode, decode and scaling, measured
huggingface.co (externe Seite)
Ankündigung von Hugging Face zu Version 1 der Bibliothek tokenizers. Sie erklärt, was ein Tokenizer tut, nennt Transformers und weitere Bibliotheken, die auf tokenizers aufbauen, und gibt die Angaben zu Geschwindigkeit und zur Kompatibilität mit Version 0.23.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 27.09.2026:
A tokenizer converts text into the list of integers a model reads.
bestätigt 10.11.2026the transformers library and the rest of the ecosystem which depend on the tokenizers library
bestätigt 10.11.2026v1 will produce the same token IDs as v0.23.
bestätigt 10.11.2026A release candidate for v1 is on crates.io.
bestätigt 10.11.2026
Hugging Face beschleunigt seine Tokenizer-Bibliothek mit Version 1 um teils das Zehnfache