Originalarbeiterreichbar

Many-Shot In-Context Learning

Agarwal und 14 Mitautoren (Google DeepMind), arXiv-Fassung v3 vom 17.10.2024, laut arXiv-Kopf ein Spotlight-Beitrag der NeurIPS. Die Arbeit legt einem Modell Hunderte bis Tausende Beispiele in den Prompt und misst, wie die Leistung mit ihrer Zahl wächst. Abschnitt 4.3 vergleicht das mit einem Training an Übersetzungen nach Bemba und Kurdisch, mit 250 und mit 997 Beispielen: Bei Bemba liegen beide Wege nah beieinander, bei Kurdisch liegt das Training leicht vorn. Abschnitt 4.4 misst die Laufzeit, sie wächst mit Zwischenspeicher linear mit der Zahl der Beispiele. Gemessen ist vor allem Gemini 1.5 Pro. Bei GPT-4-Turbo und Claude-3-Opus wuchs die Leistung mit mehr Beispielen bei Bemba, bei Kurdisch kaum (Abschnitt 4.5).

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 21.10.2026:

Our results in Figure 13 show that SFT and ICL performance is quite close for Bemba, while SFT has a slight edge for Kurdish.bestätigt 10.11.2026
Overall, these results demonstrate that many-shot ICL can be a viable alternative to SFT for some tasks.bestätigt 10.11.2026
many-shot ICL does not require any training, however it has a larger inference costbestätigt 10.11.2026
runtime increases linearly with a large number of shotsbestätigt 10.11.2026
The 500-shot prompt corresponds to 205K tokens.bestätigt 10.11.2026
Surprisingly, the order of examples can influence many-shot performancebestätigt 10.11.2026
One limitation of our work is that it mainly evaluates many-shot ICL with Gemini 1.5 Pro.bestätigt 10.11.2026
We note that 997-shot prompt corresponds to around 85K tokens.bestätigt 10.11.2026

Few Shot im Glossar 08 Woran es fehlt, entscheidet den Weg

Alle Quellen