Originalarbeiterreichbar
LLaMA: Open and Efficient Foundation Language Models
Touvron und Mitautoren stellen am 27.02.2023 eine Modellreihe vor, deren Gewichte an Forschende herausgegeben werden. Damit beginnt der offene Branch: Von hier an gibt es zu jedem geschlossenen Modell eine Alternative, die man selbst betreiben kann.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 04.09.2026:
LLa
bestätigt 10.11.2026MA-13B outperforms GPT-3 (175B) on most benchmarks we normalize the input of each transformer sub-layer, instead of normalizing the output
bestätigt 10.11.2026We replace the Re
bestätigt 10.11.2026LU non-linearity by the Swi GLU activation function We remove the absolute positional embeddings, and instead, add rotary positional embeddings (Ro
bestätigt 10.11.2026PE)
KI-GeschichteWas offene Gewichte wert sind, wenn sie 1,56 Terabyte wiegenOffene Gewichte im Glossar01 Wie ein Modell innen gebaut ist02 Was ein Sprachmodell tut10 Small Language Models