Dokumentationerreichbar
llama.cpp, README beim Commit 098ce52
Die heutige README von llama.cpp. Als Ziel nennt sie, Modelle mit wenig Aufwand auf vielen Arten von Hardware auszuführen, lokal und in der Cloud. Das Programm ist in C und C++ geschrieben. Es rechnet auf Apple Silicon über Metal und auf NVIDIA über CUDA und bringt einen Server mit der Schnittstelle von Open
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 20.10.2026:
The main goal of llama.cpp is to enable LLM (and VLM) inference with minimal setup and state-of-the-art performance on a wide range of hardware - locally and in the cloud.
bestätigt 10.11.2026Plain C/
bestätigt 10.11.2026C++ implementation without any dependencies Apple silicon is a first-class citizen - optimized via ARM NEON, Accelerate and Metal frameworks
bestätigt 10.11.2026Custom CUDA kernels for running LLMs on NVIDIA GPUs
bestätigt 10.11.2026CPU+GPU hybrid inference to partially accelerate models larger than the total VRAM capacity
bestätigt 10.11.2026Launch Open
bestätigt 10.11.2026AI-compatible API server