Originalarbeiterreichbar
BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models
Thakur, Reimers und Mitautoren messen am 17.04.2021 zehn Suchverfahren über 18 Datensätze aus verschiedenen Gebieten, ohne sie vorher darauf abzustimmen. Die Arbeit liefert die Namen der Verfahrensfamilien und ihr Kräfteverhältnis: Die alte Wortsuche hält sich als Grundlinie, ein zweiter Sortierdurchgang gewinnt und kostet dafür Rechenzeit. Die Kennzahlen der Arbeit sind nDCG@10 und Recall@100; sie stehen im Volltext und deshalb ohne hinterlegtes Zitat, der Prüflauf liest die Abstract-Seite.
geprüft 24.09.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 06.08.2026:
evaluate 10 state-of-the-art retrieval systems including lexical, sparse, dense, late-interaction and re-ranking architectures
bestätigt 24.09.2026Our results show BM25 is a robust baseline and re-ranking and late-interaction-based models on average achieve the best zero-shot performances, however, at high computational costs.
bestätigt 24.09.2026
Hybride Suche im GlossarRecall@k im GlossarReranking im Glossar03 RAG, die Suche vor der Antwort