Originalarbeiterreichbar
Orca: A Distributed Serving System for Transformer-Based Generative Models
Die Arbeit von Yu und anderen auf der OSDI im Juli 2022. Sie plant die Ausführung je Rechenschritt: Nach jedem Schritt verlassen fertige Anfragen den Stapel, und neue rücken nach. An GPT-3 mit 175 Milliarden Parametern misst sie den 36,9-fachen Durchsatz gegenüber Faster
geprüft 10.11.2026