RAG, die Suche vor der Antwort

In Grundkurs, Kapitel 08 steht, dass Neues auf drei Wegen zu einem Modell kommt und dass der dritte darin besteht, dass ein Programm nachschlägt. Dieser Weg hat einen Namen und mehr Teile, als man erwartet.

Vier Schritte, und das Modell kommt zuletzt

RAG steht für Retrieval Augmented Generation, und im Alltag meint es diesen Ablauf:

1. Die Frage kommt an. Manchmal wird sie vorher umformuliert, etwa weil sie sich auf die vorige Antwort bezieht.
2. Die Suche läuft. Ein eigener Teil des Programms durchsucht einen vorbereiteten Bestand. Das Modell, das gleich antwortet, tut das nicht.
3. Das Gefundene wird angehängt. Meist fünf bis zwanzig Textstücke, die zusammen mit der Frage in eine einzige Anfrage gehen.
4. Das Modell antwortet. Es sieht die Frage und die Textstücke und sonst nichts von Ihrem Bestand.

seitlich verschiebbar

eigene Darstellung, Stand 06.08.2026

OpenAI beschreibt seine Fassung davon in einem Satz, und beide Suchverfahren stehen darin:

It enables models to retrieve information in a knowledge base of previously uploaded files through semantic and keyword search. (externe Seite, developers.openai.com)

Der Bestand wird dafür vorbereitet: Dokumente werden in Stücke geschnitten, jedes Stück bekommt eine Zahlenreihe, und die Reihen kommen in einen Index. Wie diese Zahlenreihen entstehen, steht in Grundkurs, Kapitel 04. Erzeugt werden sie ebenfalls von einem Modell, und in Tiefe 2 kommt ein drittes dazu. In der Suche stecken also durchaus Modelle. Keines davon ist das, dem Sie gleich gegenübersitzen.

Bevor Sie das Modell verdächtigen

Das ist die Reihenfolge, die man aus diesem Kapitel mitnehmen sollte. Ein Modell antwortet auf das, was vor ihm liegt. Lag das Falsche vor ihm, formuliert es eine falsche Auskunft in derselben ruhigen Tonlage wie jede richtige, und die Ursache steckt zwei Schritte früher.

Dass eine Suche danebengreifen kann, ist in Grundkurs, Kapitel 08 angesprochen. Der Punkt hier ist, wo genau: Die Suche kann die richtige Stelle übersehen. Sie kann eine ähnlich klingende falsche liefern. Sie kann eine veraltete Fassung finden, die niemand aus dem Bestand genommen hat. In allen drei Fällen steht die Ursache vor dem Modell, und das Modell bekommt sie nie zu sehen.

Ein Abschnitt ist das, was das Modell zu sehen bekommt

Gesucht und gefunden wird ein Stück aus einem Dokument, der Fachbegriff dafür ist Chunk. Ein Handbuch von hundert Seiten liegt im Index als einige hundert Stücke, und wenn eine Antwort in zwei davon steht, müssen beide gefunden werden.

Das erklärt eine Beobachtung, die viele machen: Fragen, deren Antwort in einem Absatz steht, funktionieren gut. Fragen, deren Antwort aus fünf Stellen zusammenzusetzen ist, funktionieren schlecht.

Wie groß so ein Stück sein soll und wo man schneidet, ist eine eigene Frage. Warum die Länge in Token gemessen wird, steht in Grundkurs, Kapitel 03; drei Regeln fürs Schneiden stehen in Grundkurs, Kapitel 04.

Woran Sie merken, dass die Suche danebengriff

Der Unterschied zu einer Erfindung aus Grundkurs, Kapitel 07 ist wichtig, weil er andere Gegenmittel verlangt. Dort erfindet das Modell eine Quelle. Hier stimmt die Quelle, und die Aussage steht trotzdem nicht darin.

Drei Anzeichen:

Der Beleg existiert, der Satz steht nicht darin. Das häufigste Muster. Die Fundstelle ist echt, die Zusammenfassung passt zum Thema, die konkrete Angabe kommt aus einer Nachbarstelle.

Die Antwort ist auffällig allgemein. Wenn nichts Passendes gefunden wurde, weicht ein Modell gern auf Allgemeines aus, das auch ohne Bestand richtig ist.

Die Auskunft ist veraltet. Kein Modellfehler. Im Index liegt die alte Fassung, weil die neue nie eingelesen wurde.

Wann sich der Aufwand nicht lohnt

Der Aufbau kostet Vorbereitung, Betrieb und Pflege. Drei Fälle, in denen es etwas Billigeres tut:

Es passt alles ins Fenster. Dann hängt man den Bestand an die Frage und ist fertig. Anthropic zieht diese Grenze weiter, als die meisten sie ziehen würden:

If your knowledge base is smaller than 200,000 tokens (about 500 pages of material), you can just include the entire knowledge base in the prompt that you give the model, with no need for RAG or similar methods. (externe Seite, anthropic.com)

Fünfhundert Seiten sind viel, und die Zahl ist großzügig gerundet: In ein Fenster von 200.000 Token passt kein Bestand von 200.000 Token, weil Frage, Verlauf und Antwort mit hineinmüssen. Grundkurs, Kapitel 08 rechnet das an einem einzelnen Forschungsaufsatz vor. Die Richtung stimmt trotzdem: Die Schwelle, ab der eine Suche sich lohnt, liegt höher als das Bauchgefühl.

Die Frage zielt auf das Wie, nicht auf das Was. Formulieren, ordnen, prüfen, weiterdenken brauchen keinen Bestand. Was das Modell dafür braucht, steht in Grundkurs, Kapitel 05.

Es soll dauerhaft anders antworten. Wenn es um Ton, Format oder ein Fachgebiet als Ganzes geht, sind andere Wege näher. Sie stehen in Beurteilen und Einordnen, Kapitel 02.

Eine vierte Rechnung kommt dazu, sobald jemand zuhört statt zu lesen: Jeder Schritt zwischen Frage und Antwort ist dann eine hörbare Pause. Conversational AI, Kapitel 05 misst dieselben vier Schritte an der Uhr.

Der Schritt, an dem sich alles entscheidet, ist die Suche. Sie hat mehr Teile, als man von außen sieht.

Zwei Suchen, die verschiedene Fehler machen

Es gibt zwei Familien, und sie sind nicht neu. BEIR misst 2021

10 state-of-the-art retrieval systems including lexical, sparse, dense, late-interaction and re-ranking architectures (externe Seite, arxiv.org)

Für die Praxis genügen die beiden Enden. Dicht heißt die Ähnlichkeitssuche über Zahlenreihen, wie sie in Grundkurs, Kapitel 04 steht. Dünn besetzt heißt die alte Wortsuche, die zählt, welche Wörter der Frage im Text vorkommen und wie selten sie sonst sind. Das bekannteste Verfahren dafür heißt BM25, und es rechnet zwei Größen mit, die man beim Wort „zählen“ nicht vermutet:

BM25 refines this by considering document length and applying a saturation function to term frequency (externe Seite, anthropic.com)

Ein langes Dokument gewinnt also nicht dadurch, dass es lang ist, und das zwanzigste Vorkommen eines Wortes wiegt weniger als das zweite.

Wo die Ähnlichkeitssuche systematisch danebengreift, ist in Grundkurs, Kapitel 04 aufgezählt. Hier die Gegenseite: Die Wortsuche findet nichts, wenn der Text dieselbe Sache anders nennt. Wer nach Kündigungsfrist sucht und im Vertrag steht Beendigungstermin, geht leer aus.

Bemerkenswert am BEIR-Ergebnis ist, wer sich gehalten hat:

Our results show BM25 is a robust baseline (externe Seite, arxiv.org)

Die alte Wortsuche gewinnt dort, wo die Frage die Wörter des Textes benutzt, und das kommt öfter vor, als es in Produktvorführungen aussieht.

Woher die Ähnlichkeitssuche kommt

Gebaut wurde sie für den Fall mit dem Beendigungstermin. Die Arbeit, die sie 2019 brauchbar gemacht hat, fängt mit einem Lob an:

has set a new state-of-the-art performance on sentence-pair regression tasks like semantic textual similarity (STS) (externe Seite, arxiv.org)

Gemeint ist BERT. Für den Vergleich zweier Sätze war es damals das Beste, was es gab. Der Haken steht im selben Absatz und ist eine Rechnung:

Finding the most similar pair in a collection of 10,000 sentences requires about 50 million inference computations (~65 hours) with BERT (externe Seite, arxiv.org)

Gemessen ist dort der teuerste Fall, nämlich jedes Paar gegen jedes. Eine einzelne Frage gegen zehntausend Textstücke ist billiger, sie kostet zehntausend Durchläufe statt fünfzig Millionen. Teuer bleibt es trotzdem, und bei einer Million Stücke ist Schluss. Deshalb folgt zwei Zeilen später der Satz, den man häufiger liest als seine Begründung:

The construction of BERT makes it unsuitable for semantic similarity search (externe Seite, arxiv.org)

Das Wort, an dem alles hängt, ist search. Untauglich ist das Modell für die Suche über einen Bestand, weil sie zu teuer wäre. Zum Vergleichen taugt es, und diese Hälfte kommt weiter unten in diesem Kapitel zurück.

Beide laufen lassen und die Listen zusammenlegen

Wenn zwei Verfahren verschiedene Fehler machen, liegt es nahe, beide zu fahren. Anthropic beschreibt das so:

By leveraging both BM25 and embedding models, traditional RAG systems can provide more comprehensive and accurate results, balancing precise term matching with broader semantic understanding. (externe Seite, anthropic.com)

Der Teil, der dabei gern übersehen wird, ist das Zusammenlegen. Beide Verfahren liefern Punktzahlen, und diese Punktzahlen sind untereinander bedeutungslos: Ein Kosinuswert von 0,81 und ein BM25-Wert von 14,2 lassen sich nicht addieren. Zusammengelegt wird deshalb über die Platzziffer, also darüber, an welcher Stelle ein Textstück in seiner Liste steht. Wer in beiden Listen weit oben steht, gewinnt.

Addiert werden die Plätze dabei nicht. Eine Summe setzte einen Eintrag mit zwei mittleren Plätzen hinter einen mit einem einzelnen Spitzenplatz, und gewollt ist das Gegenteil. Die üblichen Verfahren rechnen deshalb anders, und Anthropic nennt sie im Plural:

Combine and deduplicate results from (3) and (4) using rank fusion techniques (externe Seite, anthropic.com)

seitlich verschiebbar

eigene Darstellung, Stand 06.08.2026

Der zweite Durchgang sieht Frage und Text zusammen an

Die erste Suche vergleicht zwei Zahlenreihen, die getrennt voneinander entstanden sind: eine für die Frage, eine für das Textstück, jede ohne Kenntnis der anderen. Ein zweiter Durchgang legt beides gemeinsam in ein Modell und lässt es bewerten, wie gut sie zueinander passen. Das Verfahren ist von 2019:

we describe a simple re-implementation of BERT for query-based passage re-ranking (externe Seite, arxiv.org)

Das ist die Hälfte von oben, die zurückkommt. Dasselbe BERT, das jedes Paar einzeln ansehen muss, ist hier genau richtig, weil es nur noch die Kandidaten der ersten Stufe bekommt.

Es sieht genauer hin und kostet dafür. BEIR nennt beides in einem Satz: Sortierverfahren erreichen im Schnitt die besten Ergebnisse, allerdings bei hohem Rechenaufwand (externe Seite, arxiv.org). Deshalb bekommt es nur die Kandidaten der ersten Stufe zu sehen. Anthropic holt in seinem Aufbau die besten 150 und behält davon 20.

Die Zahlen dazu, und die Stufe, die man dabei übersieht

Was die Stufen einzeln bringen, hat derselbe Aufsatz gemessen. An dieser Messung hängt eine dritte Zutat, und sie steckt im Namen des Verfahrens. Anthropic schreibt jedem Textstück vor dem Einlesen einen erklärenden Vorspann voran, erzeugt von einem Modell, das dafür das ganze Dokument vorgelegt bekommt:

instructs the model to provide concise, chunk-specific context that explains the chunk using the context of the overall document (externe Seite, anthropic.com)

The resulting contextual text, usually 50-100 tokens, is prepended to the chunk before embedding it and before creating the BM25 index. (externe Seite, anthropic.com)

Damit steht in jedem Stück, wozu es gehört. Das Stück „Der Umsatz stieg um drei Prozent“ nennt seitdem die Firma und das Quartal, nach denen jemand fragen wird.

Erst so sind die Zahlen zu lesen. Die Fehlerrate der Suche liegt im Ausgangszustand bei 5,7 Prozent und sinkt auf 3,7, wenn allein dieser Vorspann dazukommt (35 Prozent weniger (externe Seite, anthropic.com)). Sie sinkt auf 2,9, wenn Wortsuche und Ähnlichkeitssuche mit diesem Vorspann zusammenlaufen (49 Prozent (externe Seite, anthropic.com)), und auf 1,9 Prozent mit dem zweiten Durchgang darüber (67 Prozent (externe Seite, anthropic.com)). Das sind Herstellerangaben aus einem eigenen Versuchsaufbau, und sie nennen den Ausgangswert mit.

Wer daraus mitnimmt, dass Wortsuche plus Ähnlichkeitssuche die halbe Fehlerrate spart, hat eine Stufe übersprungen. Das Wort Contextual steht in allen drei Zeilen der Messung, und es bezeichnet den Vorspann.

Was neben dem Text im Index steht

Ein Eintrag im Index besteht aus mehr als der Zahlenreihe. Was daneben gehört: Kennung des Dokuments, Herkunft, Fassung, Zeitstempel, Sprache, die Überschriften, unter denen das Stück steht, dazu Name und Länge des Modells, das die Reihe erzeugt hat.

Drei Fragen sind ohne diese Angaben nicht zu beantworten. Warum kam das nach oben, wenn niemand weiß, aus welchem Dokument das Stück stammt. Was gilt noch, wenn zwei Fassungen desselben Handbuchs nebeneinanderliegen. Und wie wird das wieder los, wenn ein Dokument zurückgezogen wird und seine Stücke keine gemeinsame Kennung haben.

Die Angaben sind zugleich der Filter. OpenAI beschreibt das für die eigene Dateisuche knapp:

You can filter the search results based on the metadata of the files. (externe Seite, developers.openai.com)

Wer darf sehen, was gefunden wird

Der Filter für Zugriffsrechte gehört in die Suchabfrage. Ein Modell, das zwanzig Textstücke vorgelegt bekommt, kann nicht wissen, welche davon der Fragende sehen darf, und es kann es auch nicht nachträglich entfernen: Was im Kontext steht, steht dort.

Microsofts Anleitung dazu beschreibt den verbreiteten Weg, eine Kennung als Feld am Eintrag und ein Filter in der Abfrage:

The security filter pattern simulates document-level authorization by using a regular OData filter that includes or excludes a search result based on a string consisting of a security principal. (externe Seite, learn.microsoft.com)

Der nächste Satz derselben Seite ist der wichtigere:

There’s no authentication or authorization through the security principal. (externe Seite, learn.microsoft.com)

Der Filter ahmt eine Rechteprüfung nach. Wer die Abfrage stellt, bestimmt, welche Kennung darin steht, und damit hängt alles daran, dass die Anwendung davor genau die Kennung des angemeldeten Nutzers einsetzt. Warum die Frage nach den Rechten sich innerhalb des eigenen Hauses genauso stellt wie gegenüber einem Dienstleister, steht in Grundkurs, Kapitel 04.

Derselbe Anbieter führt dieses Muster inzwischen als Ausweichweg und stellt eine Fassung daneben, in der die Suche die Anmeldung des Fragenden auswertet:

The important difference between this approach and security trimming is that the permission filter metadata in the index and query is recognized as Microsoft Entra ID authentication, whereas the security trimming workaround is simple string comparison. (externe Seite, learn.microsoft.com)

Der Stand dazu gehört mitgelesen. Die native Fassung ist eine Vorschau, das Filtermuster steht also weiterhin in vielen Aufbauten:

Built-in support for identity-based access at the document level is in preview (externe Seite, learn.microsoft.com)

Drei Zahlen, die verschiedene Fragen beantworten

Zum Schluss die Namen, unter denen die Kennzahlen in der Literatur stehen.

Recall@k ist der Anteil der passenden Stellen, der unter den ersten k Treffern gelandet ist. Anthropic sagt seine Fassung davon genau:

We use 1 minus recall@20 as our evaluation metric, which measures the percentage of relevant documents that fail to be retrieved within the top 20 chunks. (externe Seite, anthropic.com)

Gezählt werden also die Stellen. Wo eine Frage mehrere hat, zählt jede einzeln, und wer nur wissen will, ob wenigstens eine dabei war, misst etwas anderes: Das heißt Hit Rate@k. Der Unterschied fällt genau bei den Fragen auf, deren Antwort auf mehrere Stellen verteilt ist, und das sind die schwierigen.

MRR mittelt den Kehrwert der Platzziffer der ersten richtigen Stelle. Sie belohnt es, weit oben zu stehen, und sie ist alt genug, um im Abstract der Reranking-Arbeit von 2019 als Maßstab zu dienen: 27 Prozent Verbesserung in MRR@10 (externe Seite, arxiv.org).

nDCG ist die feinste der drei. Sie verrechnet mehrere passende Stellen und gewichtet nach Rang, taugt also dort, wo es mehrere richtige Antworten gibt. BEIR misst damit.

Warum von diesen Zahlen zwei etwas aussagen und der durchschnittliche Ähnlichkeitswert nicht, ist in Grundkurs, Kapitel 04 begründet. Welche Zahl zu welchem Schritt gehört, steht in Tiefe 3.

Der Begriff ist sechs Jahre alt, und was er benennt, hat sich seither verschoben. Das ist keine Wortklauberei, es erklärt, warum manche Erwartungen an solche Systeme regelmäßig enttäuscht werden.

Was 2020 in der Arbeit stand

Was Lewis und Mitautoren am 22.05.2020 vorstellen, ist ein Abstimmungsverfahren, und die Zusammenfassung sagt es im ersten eigenen Satz:

We explore a general-purpose fine-tuning recipe for retrieval-augmented generation (RAG) (externe Seite, arxiv.org)

Abgestimmt wird dabei weniger, als der Satz vermuten lässt. Der Suchteil steht zu diesem Zeitpunkt schon fertig da:

We introduce RAG models where the parametric memory is a pre-trained seq2seq model and the non-parametric memory is a dense vector index of Wikipedia, accessed with a pre-trained neural retriever. (externe Seite, arxiv.org)

Ein vorbereiteter Index über Wikipedia, ein vortrainierter Sucher davor: Das ist ein Suchsystem, und es steht in derselben Zusammenfassung, die den Namen eingeführt hat. Geändert hat sich seither die Kopplung. Damals wurden Sucher und Erzeugung aufeinander abgestimmt, heute stehen sie nebeneinander und wissen voneinander nichts.

Wozu die Arbeit angetreten ist

Der Satz, den man aus ihr gern zieht, steht in der Einleitung:

providing provenance for their decisions and updating their world knowledge remain open research problems (externe Seite, arxiv.org)

Herkunftsangabe und Auswechselbarkeit des Wissens: Beides gilt bis heute. Was in derselben Zusammenfassung noch steht, fällt beim Zitieren regelmäßig weg:

set the state-of-the-art on three open domain QA tasks, outperforming parametric seq2seq models and task-specific retrieve-and-extract architectures (externe Seite, arxiv.org)

For language generation tasks, we find that RAG models generate more specific, diverse and factual language than a state-of-the-art parametric-only seq2seq baseline. (externe Seite, arxiv.org)

Bessere Antworten waren also von Anfang an das Ziel, und sie sind gemessen worden. Was daraus nicht folgt, ist der Umkehrschluss: dass sie sich beim Einbau einer Suche von selbst einstellen. Gemessen wurde ein aufeinander abgestimmter Aufbau an Aufgaben mit bekannter Lösung. Wer eine Suche vor ein fertiges Modell setzt, hat diese Messung nicht geerbt und muss sie selbst führen. Wie, steht im nächsten Abschnitt.

Die Zahl gehört einer Stufe

Der häufigste Messfehler beim Betrieb solcher Systeme ist eine einzige Zahl für das Ganze. Man legt hundert Fragen mit bekannten Antworten vor, zählt die richtigen und bekommt 71 Prozent. Diese Zahl sagt nicht, wo die 29 verloren gegangen sind, und deshalb lässt sie sich auch nicht gezielt verbessern.

Die brauchbare Trennung verläuft zwischen zwei Fragen:

Frage	Was sie misst	Womit
Waren die richtigen Stellen dabei?	die Suche	Recall@k über einen Fragensatz mit bekannten Fundstellen, bei genau einer Fundstelle Hit Rate@k
Wurde daraus eine richtige Antwort?	das Modell	Bewertung der Antworten, bei denen die Stellen dabei waren

Die zweite Frage ist ohne die erste sinnlos. Was nicht gefunden wurde, kann nicht in die Antwort kommen, und das ist in Grundkurs, Kapitel 04 begründet.

seitlich verschiebbar

eigene Darstellung, Stand 06.08.2026

Der Fragensatz mit bekannten Fundstellen ist die Grundlage von allem. Fünfzig Fragen sind ein Anfang, jede mit dem Dokument und den Abschnitten, in denen die Antwort steht. Die Fragen zu stellen kostet wenig, die Fundstellen zu belegen ist die Arbeit, und wie viel davon anfällt, hängt am Fachgebiet. Er wird bei jeder Änderung an irgendeiner Stufe erneut gefahren, auch bei einer, die harmlos aussieht: eine andere Abschnittslänge, ein anderes Modell, ein zusätzlicher Filter. BEIR zeigt, warum das nötig ist. Zehn Verfahren über achtzehn Bestände gemessen, und die Rangfolge wechselt je nach Gebiet.

Ein Index ist reproduzierbar oder er ist eine Behauptung

Zwei Messungen aus zwei Wochen sind nur vergleichbar, wenn dazwischen bekannt ist, was sich geändert hat. Dass Modell und Länge festgehalten gehören, verlangt bereits der Kasten in Grundkurs, Kapitel 04. Die vollständige Liste ist länger:

• Modell und Fassung, nicht nur der Name. Anbieter aktualisieren Modelle unter demselben Namen.
• Länge der Zahlenreihe, wenn das Modell kürzbar ist.
• Normalisierung und Abstandsmaß. Kosinus und Skalarprodukt liefern dieselbe Rangfolge nur bei normalisierten Vektoren.
• Fassung der Zerlegung. Länge, Überlappung, an welchen Grenzen geschnitten wurde.
• Vorangestellte Textbausteine. Manche Modelle erwarten vor Frage und Dokument je einen festen Zusatz. Wer ihn beim Suchen anders setzt als beim Einlesen, misst zwei verschiedene Räume gegeneinander.
• Datum des Laufs und Umfang des Bestands zu diesem Zeitpunkt.

Ohne diese Angaben ist eine gefallene Kennzahl nicht zuzuordnen, und dann beginnt das Raten.

Der Bestand ändert sich, der Index nicht von selbst

Ein Index ist eine Kopie. Was im Quellsystem passiert, passiert dort nicht mit, solange es niemand nachführt.

Geändert. Ein Dokument wird überarbeitet, die alten Stücke bleiben im Index und werden weiter gefunden. Zwei Fassungen desselben Absatzes im selben Trefferbereich sind für ein Modell nicht als Widerspruch erkennbar, es verarbeitet beide.

Gelöscht. Der schwierigere Fall. Ein zurückgezogenes Dokument wird weiterhin als Beleg zitiert, mit Fundstelle, und die Antwort sieht so belastbar aus wie jede andere. Deshalb gehört die Dokumentkennung an jedes Stück, und deshalb ist Löschen eine Betriebsaufgabe mit eigenem Weg.

Neu berechtigt. Berechtigungen ändern sich häufiger als Dokumente, und im Index stehen sie als Kopie: Wer gestern lesen durfte, darf es dort auch morgen noch. Das ist der zweite Grund, aus dem Microsofts Anleitung von einer Nachahmung (externe Seite, learn.microsoft.com) spricht. Der erste steht in Tiefe 2 und wiegt schwerer: Der Filter prüft niemanden.

Fünf Sätze, die nach Verbesserung klingen

Zum Schluss die Formulierungen, bei denen ein zweiter Blick lohnt.

„Wir nehmen ein größeres Kontextfenster.“ Damit lässt sich ein kleiner Bestand vollständig mitschicken, und Tiefe 1 nennt die Grenze, bis zu der das reicht. Als Antwort auf eine schlechte Suche taugt es trotzdem nicht: Wenn die richtige Stelle gar nicht gefunden wurde, hilft mehr Platz für die falschen nicht.

„Wir geben dem Modell mehr Abschnitte.“ Der Suche hilft das immer: Je mehr Stellen durchkommen, desto eher ist die richtige dabei. Bezahlt wird an anderer Stelle, und Anthropic sagt, an welcher:

Adding more chunks into the context window increases the chances that you include the relevant information. However, more information can be distracting for models so there’s a limit to this. (externe Seite, anthropic.com)

Die Suche wird also besser und die Antwort schlechter. Wo dazwischen der Punkt liegt, ist eine Messung: Anthropic hat fünf, zehn und zwanzig Stellen probiert und ist bei zwanzig geblieben. Wer die beiden Größen verwechselt, verbessert die Zahl, die er misst, und verschlechtert die, um die es geht.

„Wir nehmen ein stärkeres Sprachmodell.“ Die teuerste Stellschraube für ein Problem, das meistens eine Stufe früher sitzt. Erst messen, welche Stufe verliert.

„Der durchschnittliche Ähnlichkeitswert ist gestiegen.“ Warum diese Zahl nichts über die Trefferqualität sagt, steht in Grundkurs, Kapitel 04.

„Wir machen RAG.“ Das beantwortet die Frage nach dem Verfahren. Die Frage, ob die Antworten stimmen, beantwortet allein der Fragensatz mit bekannten Fundstellen.