Dokumentationerreichbar
GGUF, die Formatbeschreibung beim Commit ffa4e8b
Die Spezifikation des Dateiformats GGUF, mit dem llama.cpp und Ollama Modelle laden. Der Kopf einer Datei ist eine Liste aus Schlüsseln und Werten, darunter die Zahl der Blöcke und die Zahl der Schlüssel-Wert-Köpfe. Der Permalink zeigt auf einen festen Stand.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 19.10.2026:
GGUF is a file format for storing models for inference with GGML and executors based on GGML.
bestätigt 10.11.2026The number of blocks of attention+feed-forward layers (i.e. the bulk of the LLM)
bestätigt 10.11.2026Information about where this model came from. This is useful for tracking the provenance of the model, and for finding the original source if the model is modified.
bestätigt 10.11.2026Models are traditionally developed using Py
bestätigt 10.11.2026Torch or another framework, and then converted to GGUF for use in GGML. Single-file deployment: they can be easily distributed and loaded, and do not require any external files for additional information.
bestätigt 10.11.2026compatibility: models can be loaded using mmap for fast loading and saving.
bestätigt 10.11.2026
Gleicher Name, neuer Digest: Wie Ollama ein Modell ablegtTensor im Glossar01 Wie ein Modell innen gebaut ist02 Woher Modelle kommen05 Womit ein Modell läuft