Dokumentationerreichbar
Ollama 0.40.15, Quelltext der MLX-Laufzeit zum Entwurfsmodell
raw.githubusercontent.com (externe Seite)
Der Quelltext, mit dem die MLX-Laufzeit von Ollama 0.40.15 ein mitgeliefertes Entwurfsmodell für spekulatives Dekodieren einsetzt. Bringt das Modell einen Entwurfskopf mit, entwirft jede Anfrage Token voraus, außer sie verlangt Logprobs. Dazu gehört die Tabelle der Quantisierungsarten derselben Laufzeit mit ihren Gruppengrößen. Die Adresse zeigt auf einen festen Stand.
geprüft 10.11.2026