Ankündigung des Herstellerserreichbar
tokenizers v1: encode, decode and scaling, measured
huggingface.co (externe Seite)
Ankündigung von Hugging Face zu Version 1 der Bibliothek tokenizers mit den Angaben zu Geschwindigkeit und Kompatibilität zu Version 0.23.
geprüft 24.09.2026
Hugging Face beschleunigt seine Tokenizer-Bibliothek mit Version 1 um teils das Zehnfache