Originalarbeiterreichbar
Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs
Ovadia, Brief, Mishaeli und Elisha (Microsoft) vergleichen, wie ein Sprachmodell neues Faktenwissen aufnimmt: durch Weitertrainieren auf Rohtext oder durch eine Suche, die passende Abschnitte in den Prompt legt. Hier die ar
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 21.10.2026:
RAG consistently outperforms it, both for existing knowledge encountered during training and entirely new knowledge
bestätigt 10.11.2026Moreover, we find that LLMs struggle to learn new factual information through unsupervised fine-tuning, and that exposing them to numerous variations of the same fact during training could alleviate this problem.
bestätigt 10.11.2026Hence, we use the unsupervised FT approach throughout this work
bestätigt 10.11.2026In order to teach pre-trained LLMs new knowledge, the knowledge must be repeated in numerous ways.
bestätigt 10.11.2026We note that combining RAG with fine-tuning shows inferior performance compared to RAG alone.
bestätigt 10.11.2026While fine-tuning can be useful for many use-cases, we found that RAG is a more reliable choice for knowledge injection.
bestätigt 10.11.2026all of our sources came from Wikipedia
bestätigt 10.11.2026