Originalarbeiterreichbar

SGLang: Efficient Execution of Structured Language Model Programs

Die Arbeit zu SGLang, erste Fassung Dezember 2023, zweite vom 06.06.2024. Ihr Verfahren RadixAttention verwendet den KV-Cache über mehrere Aufrufe hinweg wieder, wenn Anfragen denselben Anfang haben.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 20.10.2026:

RadixAttention, enables the automatic reuse of the KV cache across multiple generation calls.bestätigt 10.11.2026

05 Womit ein Modell läuft

Alle Quellen