Artikelerreichbar

Async GRPO with LoRA across HF Jobs: a bucket, a proxy, and no NCCL

Hugging Face beschreibt am 10.09.2026 die LoRA-Erweiterung des asynchronen GRPO-Trainers in TRL v1.14: Nur der Adapter geht an vLLM, Trainer und Inferenz laufen als getrennte Jobs auf getrennten Maschinen, verbunden über ein eingehängtes Speicher-Bucket. Dazu ein Proxy, der Rollouts nach KV-Präfix verteilt, und fünf Testläufe, deren Beschleunigung aus drei Umbauten am Trainer stammt.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 15.09.2026:

AsyncGRPOTrainer can now train a LoRA adapter and sync only that adapter to vLLM (TRL v1.14)bestätigt 10.11.2026
A rank-1 adapter for a 1.5B model is a few megabytes, while the full model is around 3 GBbestätigt 10.11.2026
No network path between the Jobs is needed at allbestätigt 10.11.2026
Nothing in TRL or vLLM had to change for thisbestätigt 10.11.2026
Old rollouts finish with the policy they started with, while new rollouts use the latest onebestätigt 10.11.2026
vLLM keys its prefix cache by adapter namebestätigt 10.11.2026
500 steps took 3 h 27 minbestätigt 10.11.2026
Packing, disabling checkpointing and raising the in-flight limit made the differencebestätigt 10.11.2026
Running all three costs ~$20 per hourbestätigt 10.11.2026

TRL schickt beim asynchronen Training nur noch den LoRA-Adapter an vLLM, Trainer und Inferenz brauchen keine gemeinsame Maschine mehr NVIDIA Collective Communications Library im Glossar Transformer Reinforcement Learning im Glossar vLLM im Glossar

Alle Quellen