RAG, die Suche vor der Antwort

In Grundkurs, Kapitel 08 steht, dass Neues auf drei Wegen zu einem Modell kommt und dass der dritte darin besteht, dass ein Programm nachschlägt. Dieser Weg hat einen Namen und mehr Teile, als man erwartet.

Vier Schritte, und das Modell kommt zuletzt

RAG steht für Retrieval Augmented Generation, und im Alltag meint es diesen Ablauf:

1. Die Frage kommt an. Manchmal wird sie vorher umformuliert, etwa weil sie sich auf die vorige Antwort bezieht.
2. Die Suche läuft. Ein eigener Teil des Programms durchsucht einen vorbereiteten Bestand. Das Modell, das gleich antwortet, tut das nicht.
3. Das Gefundene wird angehängt. Einige Textstücke, in Anthropics Versuchsaufbau zwanzig, die zusammen mit der Frage in eine einzige Anfrage gehen.
4. Das Modell antwortet. Es sieht die Frage und die Textstücke und sonst nichts von Ihrem Bestand.

seitlich verschiebbar

eigene Darstellung, Stand 06.08.2026

OpenAI beschreibt seine Dateisuche (externe Seite, developers.openai.com) in einem Satz, und beide Suchverfahren stehen darin: Modelle holen sich damit Informationen aus einem Bestand zuvor hochgeladener Dateien, über eine Suche nach Bedeutung und eine nach Stichworten.

Microsoft Copilot, das Add-on für Microsoft 365 und früher Microsoft 365 Copilot genannt, sucht nach demselben Muster in den Inhalten einer Organisation, über den Microsoft Graph. Welche Lizenz diese Suche enthält, steht im Beitrag Welcher Copilot in welchem Microsoft-365-Paket steckt.

Der Bestand wird dafür vorbereitet: Dokumente werden in Stücke geschnitten, jedes Stück bekommt eine Zahlenreihe, und die Reihen kommen in einen Index. Wie diese Zahlenreihen entstehen, steht in Grundkurs, Kapitel 04. Erzeugt werden sie ebenfalls von einem Modell, und in Tiefe 2 kommt ein drittes dazu. In der Suche stecken also durchaus Modelle. Keines davon ist das, dem Sie gleich gegenübersitzen.

Bevor Sie das Modell verdächtigen

Das ist die Reihenfolge, die man aus diesem Kapitel mitnehmen sollte. Ein Modell antwortet auf das, was vor ihm liegt. Lag das Falsche vor ihm, formuliert es eine falsche Auskunft in derselben ruhigen Tonlage wie jede richtige, und die Ursache steckt zwei Schritte früher.

Dass eine Suche danebengreifen kann, ist in Grundkurs, Kapitel 08 angesprochen. Der Punkt hier ist, wo genau: Die Suche kann die richtige Stelle übersehen. Sie kann eine ähnlich klingende falsche liefern. Sie kann eine veraltete Fassung finden, die niemand aus dem Bestand genommen hat. In allen drei Fällen steht die Ursache vor dem Modell, und das Modell bekommt sie nie zu sehen.

Ein Abschnitt ist das, was das Modell zu sehen bekommt

Gesucht und gefunden wird ein Stück aus einem Dokument, der Fachbegriff dafür ist Chunk. Ein Handbuch von hundert Seiten liegt im Index als einige hundert Stücke, und wenn eine Antwort in zwei davon steht, müssen beide gefunden werden.

Das erklärt eine Beobachtung, die viele machen: Fragen, deren Antwort in einem Absatz steht, funktionieren gut. Fragen, deren Antwort aus fünf Stellen zusammenzusetzen ist, funktionieren schlecht.

Wie groß so ein Stück sein soll und wo man schneidet, ist eine eigene Frage. Warum die Länge in Token gemessen wird, steht in Grundkurs, Kapitel 03; drei Regeln fürs Schneiden stehen in Grundkurs, Kapitel 04.

Woran Sie merken, dass die Suche danebengriff

Der Unterschied zu einer Erfindung aus Grundkurs, Kapitel 07 ist wichtig, weil er andere Gegenmittel verlangt. Dort erfindet das Modell eine Quelle. Hier stimmt die Quelle, und die Aussage steht trotzdem nicht darin.

Drei Anzeichen:

Der Beleg existiert, der Satz steht nicht darin. Das häufigste Muster. Die Fundstelle ist echt, die Zusammenfassung passt zum Thema, die konkrete Angabe kommt aus einer Nachbarstelle.

Die Antwort ist auffällig allgemein. Wenn nichts Passendes gefunden wurde, weicht ein Modell gern auf Allgemeines aus, das auch ohne Bestand richtig ist.

Die Auskunft ist veraltet. Im Index liegt die alte Fassung, weil die neue nie eingelesen wurde.

Wann sich der Aufwand nicht lohnt

Der Aufbau kostet Vorbereitung, Betrieb und Pflege. Drei Fälle, in denen es etwas Billigeres tut:

Es passt alles ins Fenster. Dann hängt man den Bestand an die Frage und ist fertig. Anthropic (externe Seite, anthropic.com) zieht diese Grenze weiter, als die meisten sie ziehen würden: Ist der Bestand kleiner als 200.000 Token, also etwa 500 Seiten Material, kann er vollständig in die Anfrage an das Modell, und RAG oder ähnliche Verfahren braucht es dann nicht.

Fünfhundert Seiten sind viel, und die Zahl ist großzügig gerundet: In ein Fenster von 200.000 Token passt kein Bestand von 200.000 Token, weil Frage, Verlauf und Antwort mit hineinmüssen. Grundkurs, Kapitel 08 rechnet das an einem einzelnen Forschungsaufsatz vor. Die Richtung stimmt trotzdem: Die Schwelle, ab der eine Suche sich lohnt, liegt höher als das Bauchgefühl.

Die Frage zielt auf das Wie. Formulieren, ordnen, prüfen, weiterdenken brauchen keinen Bestand. Was das Modell dafür braucht, steht in Grundkurs, Kapitel 05.

Es soll dauerhaft anders antworten. Wenn es um Ton, Format oder eine Fachsprache geht, sind andere Wege näher. Sie stehen in Beurteilen und Einordnen, Kapitel 02. Für Faktenwissen bleibt die Suche der bessere Weg, die Messung dazu steht in Nutzung und Anpassung von LLMs, Kapitel 08.

Eine vierte Rechnung kommt dazu, sobald jemand zuhört statt zu lesen: Jeder Schritt zwischen Frage und Antwort ist dann eine hörbare Pause. Conversational AI, Kapitel 05 misst dieselben vier Schritte an der Uhr.

Der Schritt, an dem sich alles entscheidet, ist die Suche. Sie hat mehr Teile, als man von außen sieht.

Zwei Suchen, die verschiedene Fehler machen

Es gibt zwei Familien, und sie sind nicht neu. BEIR (externe Seite, arxiv.org) misst 2021 zehn Suchsysteme auf dem damaligen Stand der Technik, in fünf Bauformen: lexikalisch, dünn besetzt, dicht, mit später Interaktion und nachsortierend.

Für die Praxis genügen die beiden Enden. Dicht heißt die Ähnlichkeitssuche über Zahlenreihen, wie sie in Grundkurs, Kapitel 04 steht. Lexikalisch heißt die alte Wortsuche, die zählt, welche Wörter der Frage im Text vorkommen und wie selten sie sonst sind. Im Alltag läuft sie oft unter „dünn besetzt“; BEIR trennt beides und meint mit dünn besetzt Verfahren, die Wortgewichte lernen. Das bekannteste Verfahren der Wortsuche heißt BM25, und es rechnet zwei Größen mit, die man beim Wort „zählen“ nicht vermutet: Es berücksichtigt die Länge des Dokuments (externe Seite, anthropic.com), und es lässt die Häufigkeit eines Wortes über eine Sät­ti­gungs­funk­tion abflachen.

Ein langes Dokument gewinnt also nicht dadurch, dass es lang ist, und das zwanzigste Vorkommen eines Wortes wiegt weniger als das zweite.

Wo die Ähnlichkeitssuche systematisch danebengreift, ist in Grundkurs, Kapitel 04 aufgezählt. Hier die Gegenseite: Die Wortsuche findet nichts, wenn der Text dieselbe Sache anders nennt. Wer nach Kündigungsfrist sucht und im Vertrag steht Beendigungstermin, geht leer aus.

Bemerkenswert am BEIR-Ergebnis (externe Seite, arxiv.org) ist, wer sich gehalten hat: BM25 erweist sich dort als belastbarer Vergleichsmaßstab.

Die alte Wortsuche gewinnt dort, wo die Frage die Wörter des Textes benutzt, und das kommt öfter vor, als es in Pro­dukt­vor­füh­rungen aussieht.

Woher die Ähnlichkeitssuche kommt

Gebaut wurde sie für den Fall mit dem Beendigungstermin. Die Arbeit (externe Seite, arxiv.org), die sie 2019 brauchbar gemacht hat, fängt mit einem Lob an: Bei Aufgaben, die zwei Sätze gegeneinander bewerten, etwa der semantischen Ähnlichkeit (STS), hat BERT einen neuen Bestwert gesetzt.

Gemeint ist also BERT. Für den Vergleich zweier Sätze war es damals das Beste, was es gab. Der Haken steht im selben Absatz und ist eine Rechnung: Das ähnlichste Paar in einer Sammlung von 10.000 Sätzen zu finden, kostet mit BERT rund 50 Millionen Durchläufe (externe Seite, arxiv.org), etwa 65 Stunden.

Gemessen ist dort der teuerste Fall, nämlich jedes Paar gegen jedes. Eine einzelne Frage gegen zehntausend Textstücke ist billiger, sie kostet zehntausend Durchläufe statt fünfzig Millionen. Teuer bleibt es trotzdem: Bei einer Million Stücke wären es nach derselben Rechnung über eine Stunde je Frage. Deshalb folgt zwei Zeilen später (externe Seite, arxiv.org) der Satz, den man häufiger liest als seine Begründung: Seine Bauweise macht BERT ungeeignet für die Suche nach semantischer Ähnlichkeit.

Das Wort, an dem alles hängt, ist Suche. Untauglich ist das Modell für die Suche über einen Bestand, weil sie zu teuer wäre. Zum Vergleichen taugt es, und diese Hälfte kommt weiter unten in diesem Kapitel zurück.

Beide laufen lassen und die Listen zusammenlegen

Wenn zwei Verfahren verschiedene Fehler machen, liegt es nahe, beide zu fahren. Anthropic (externe Seite, anthropic.com) beschreibt das so: Wer BM25 und Embedding-Modelle zusammen einsetzt, bekommt vollständigere und genauere Ergebnisse, weil der genaue Abgleich der Wörter und das breitere Verständnis der Bedeutung einander ausgleichen.

Der Teil, der dabei gern übersehen wird, ist das Zusammenlegen. Beide Verfahren liefern Punktzahlen, und diese Punktzahlen sind untereinander bedeutungslos: Ein Kosinuswert von 0,81 und ein BM25-Wert von 14,2 lassen sich nicht addieren. Zusammengelegt wird deshalb über die Platzziffer, also darüber, an welcher Stelle ein Textstück in seiner Liste steht. Wer in beiden Listen weit oben steht, gewinnt.

Addiert werden die Plätze dabei nicht. Eine Summe setzte einen Eintrag mit zwei mittleren Plätzen hinter einen mit einem einzelnen Spitzenplatz, und gewollt ist das Gegenteil. Die üblichen Verfahren rechnen deshalb anders, und Anthropic nennt sie im Plural: Die Ergebnisse beider Suchen werden zusammengeführt und von Doppelten befreit, mit Verfahren der Rangfusion (externe Seite, anthropic.com).

seitlich verschiebbar

eigene Darstellung, Stand 06.08.2026

Der zweite Durchgang sieht Frage und Text zusammen an

Die erste Suche vergleicht zwei Zahlenreihen, die getrennt voneinander entstanden sind: eine für die Frage, eine für das Textstück, jede ohne Kenntnis der anderen. Ein zweiter Durchgang legt beides gemeinsam in ein Modell und lässt es bewerten, wie gut sie zueinander passen. Das Verfahren (externe Seite, arxiv.org) ist von 2019 und beschreibt sich selbst als einfache Neuumsetzung von BERT, die Textabschnitte zu einer Frage neu sortiert.

Das ist die Hälfte von oben, die zurückkommt. Dasselbe BERT, das jedes Paar einzeln ansehen muss, ist hier genau richtig, weil es nur noch die Kandidaten der ersten Stufe bekommt.

Es sieht genauer hin und kostet dafür. BEIR nennt beides in einem Satz: Nachsortierende Verfahren erreichen zusammen mit den Late-Interaction-Verfahren im Schnitt die besten Ergebnisse, allerdings bei hohem Rechenaufwand (externe Seite, arxiv.org). Deshalb bekommt es nur die Kandidaten der ersten Stufe zu sehen. Anthropic holt in seinem Aufbau die besten 150 und behält davon 20.

Die Zahlen dazu, und die Stufe, die man dabei übersieht

Was die Stufen einzeln bringen, hat derselbe Aufsatz gemessen. An dieser Messung hängt eine dritte Zutat, und sie steckt im Namen des Verfahrens. Anthropic schreibt jedem Textstück vor dem Einlesen einen erklärenden Vorspann voran, erzeugt von einem Modell, das dafür das ganze Dokument vorgelegt bekommt. Die Anweisung (externe Seite, anthropic.com) verlangt einen knappen Kontext, der genau dieses Stück aus dem Zusammenhang des ganzen Dokuments erklärt. Der Vorspann ist meist 50 bis 100 Token lang und wird dem Stück vorangestellt, bevor es in eine Zahlenreihe übersetzt und bevor der BM25-Index gebaut wird.

Damit steht in jedem Stück, wozu es gehört. Das Stück „Der Umsatz stieg um drei Prozent“ nennt seitdem die Firma und das Quartal, nach denen jemand fragen wird.

Erst so sind die Zahlen zu lesen. Die Fehlerrate der Suche liegt im Ausgangszustand bei 5,7 Prozent und sinkt auf 3,7, wenn allein dieser Vorspann dazukommt (35 Prozent weniger (externe Seite, anthropic.com)). Sie sinkt auf 2,9, wenn Wortsuche und Ähnlichkeitssuche mit diesem Vorspann zusammenlaufen (49 Prozent (externe Seite, anthropic.com)), und auf 1,9 Prozent mit dem zweiten Durchgang darüber (67 Prozent (externe Seite, anthropic.com)). Das sind Herstellerangaben aus einem eigenen Versuchsaufbau, und sie nennen den Ausgangswert mit.

Wer daraus mitnimmt, dass Wortsuche plus Ähnlichkeitssuche die halbe Fehlerrate spart, hat eine Stufe übersprungen. Das Wort Contextual steht in allen drei Zeilen der Messung, und es bezeichnet den Vorspann.

Was neben dem Text im Index steht

Ein Eintrag im Index besteht aus mehr als der Zahlenreihe. Was daneben gehört: Kennung des Dokuments, Herkunft, Fassung, Zeitstempel, Sprache, die Überschriften, unter denen das Stück steht, dazu Name und Länge des Modells, das die Reihe erzeugt hat.

Drei Fragen sind ohne diese Angaben nicht zu beantworten. Warum kam das nach oben, wenn niemand weiß, aus welchem Dokument das Stück stammt. Was gilt noch, wenn zwei Fassungen desselben Handbuchs neben­ein­an­der­liegen. Und wie wird das wieder los, wenn ein Dokument zurückgezogen wird und seine Stücke keine gemeinsame Kennung haben.

Die Angaben sind zugleich der Filter. OpenAI beschreibt das für die eigene Dateisuche (externe Seite, developers.openai.com) knapp: Die Treffer lassen sich nach den Metadaten der Dateien filtern.

Wer darf sehen, was gefunden wird

Der Filter für Zugriffsrechte gehört in die Suchabfrage. Ein Modell, das zwanzig Textstücke vorgelegt bekommt, kann nicht wissen, welche davon der Fragende sehen darf, und es kann es auch nicht nachträglich entfernen: Was im Kontext steht, steht dort.

Microsofts Anleitung (externe Seite, learn.microsoft.com) dazu beschreibt den verbreiteten Weg, eine Kennung als Feld am Eintrag und ein Filter in der Abfrage: Das Muster ahmt eine Rechteprüfung je Dokument nach, mit einem gewöhnlichen OData-Filter, der einen Treffer anhand einer Zeichenkette ein- oder ausschließt. Die Zeichenkette benennt den Berechtigten.

Der nächste Satz derselben Seite ist der wichtigere: Über diese Kennung findet weder eine Anmeldung noch eine Prüfung der Berechtigung statt.

Der Filter ahmt eine Rechteprüfung nach. Wer die Abfrage stellt, bestimmt, welche Kennung darin steht, und damit hängt alles daran, dass die Anwendung davor genau die Kennung des angemeldeten Nutzers einsetzt. Warum die Frage nach den Rechten sich innerhalb des eigenen Hauses genauso stellt wie gegenüber einem Dienstleister, steht in Grundkurs, Kapitel 04.

Derselbe Anbieter führt dieses Muster inzwischen als Ausweichweg und stellt eine Fassung daneben, in der die Suche die Anmeldung des Fragenden auswertet. Der Unterschied (externe Seite, learn.microsoft.com) liegt darin, dass die Angaben zu den Rechten in Index und Abfrage dort als Anmeldung über Microsoft Entra ID gelten. Das Filtermuster vergleicht dagegen nur Zeichenketten.

Der Stand dazu gehört mitgelesen. Die eingebaute Rechteprüfung je Dokument über die Identität ist eine Vorschau (externe Seite, learn.microsoft.com), das Filtermuster steht also weiterhin in vielen Aufbauten.

Eine Suche, die Rechte richtig prüft, macht dafür jede zu weit gefasste Freigabe sichtbar, die bisher niemand bemerkt hat. Was das vor einer Einführung von Microsoft Copilot heißt, dem Add-on für Microsoft 365, steht im Beitrag Was vor der Copilot-Einführung zu klären ist.

Drei Zahlen, die verschiedene Fragen beantworten

Zum Schluss die Namen, unter denen die Kennzahlen in der Literatur stehen.

Recall@k ist der Anteil der passenden Stellen, der unter den ersten k Treffern gelandet ist. Anthropic (externe Seite, anthropic.com) sagt seine Fassung davon genau: Gemessen wird 1 minus Recall@20, also der Anteil der passenden Dokumente, die unter den ersten 20 Textstücken fehlen.

Gezählt werden also die Stellen. Wo eine Frage mehrere hat, zählt jede einzeln, und wer nur wissen will, ob wenigstens eine dabei war, misst etwas anderes: Das heißt Hit Rate@k. Der Unterschied fällt genau bei den Fragen auf, deren Antwort auf mehrere Stellen verteilt ist, und das sind die schwierigen.

MRR mittelt den Kehrwert der Platzziffer der ersten richtigen Stelle. Sie belohnt es, weit oben zu stehen, und sie ist alt genug, um im Abstract der Reranking-Arbeit von 2019 als Maßstab zu dienen: 27 Prozent Verbesserung in MRR@10 (externe Seite, arxiv.org).

nDCG ist die feinste der drei. Sie verrechnet mehrere passende Stellen und gewichtet nach Rang, taugt also dort, wo es mehrere richtige Antworten gibt. BEIR misst damit.

Warum von diesen Zahlen zwei etwas aussagen und der durchschnittliche Ähnlichkeitswert nicht, ist in Grundkurs, Kapitel 04 begründet. Welche Zahl zu welchem Schritt gehört, steht in Tiefe 3.

Der Begriff ist sechs Jahre alt, und was er benennt, hat sich seither verschoben. Die Verschiebung erklärt, warum manche Erwartungen an solche Systeme regelmäßig enttäuscht werden.

Was 2020 in der Arbeit stand

Was Lewis und Mitautoren am 22.05.2020 vorstellen, ist ein Abstim­mungs­ver­fahren, und die Zusammenfassung (externe Seite, arxiv.org) sagt es im ersten eigenen Satz: Untersucht wird ein allgemein verwendbares Rezept für das Feinabstimmen von Retrieval Augmented Generation (RAG).

Abgestimmt wird dabei weniger, als der Satz vermuten lässt. Der Suchteil steht zu diesem Zeitpunkt schon fertig da: Das Gedächtnis in den Gewichten ist ein vortrainiertes Modell, das Text in Text übersetzt (seq2seq), das Gedächtnis außerhalb ein dichter Vektorindex über Wikipedia, und den durchsucht ein ebenfalls vortrainierter neuronaler Sucher.

Ein vorbereiteter Index über Wikipedia, ein vortrainierter Sucher davor: Das ist ein Suchsystem, und es steht in derselben Zusammenfassung, die den Namen eingeführt hat. Geändert hat sich seither die Kopplung. Damals wurden Sucher und Erzeugung aufeinander abgestimmt, heute stehen sie nebeneinander und wissen voneinander nichts.

Wozu die Arbeit angetreten ist

Der Satz, den man aus ihr gern zieht, steht in der Einleitung (externe Seite, arxiv.org): Zu belegen, woher eine Entscheidung des Modells stammt, und sein Weltwissen auf den neuen Stand zu bringen, seien offene Forschungsfragen.

Herkunftsangabe und Auswechselbarkeit des Wissens: Beides gilt bis heute. Was in derselben Zusammenfassung (externe Seite, arxiv.org) noch steht, fällt beim Zitieren regelmäßig weg. Auf drei Aufgaben mit offenen Wissensfragen setzten die RAG-Modelle einen neuen Bestwert und schlugen dabei sowohl reine seq2seq-Modelle als auch eigens zugeschnittene Aufbauten, die suchen und die Antwort herausschneiden. Beim Erzeugen von Text schrieben sie genauer, abwechs­lungs­rei­cher und sachlich richtiger als ein seq2seq-Modell auf dem damaligen Stand, das allein aus seinen Gewichten schöpft.

Bessere Antworten waren also von Anfang an das Ziel, und sie sind gemessen worden. Was daraus nicht folgt, ist der Umkehrschluss: dass sie sich beim Einbau einer Suche von selbst einstellen. Gemessen wurde ein aufeinander abgestimmter Aufbau an Aufgaben mit bekannter Lösung. Wer eine Suche vor ein fertiges Modell setzt, hat diese Messung nicht geerbt und muss sie selbst führen. Wie, steht im nächsten Abschnitt.

Die Zahl gehört einer Stufe

Der häufigste Messfehler beim Betrieb solcher Systeme ist eine einzige Zahl für das Ganze. Man legt hundert Fragen mit bekannten Antworten vor, zählt die richtigen und bekommt 71 Prozent. Diese Zahl sagt nicht, wo die 29 verloren gegangen sind, und deshalb lässt sie sich auch nicht gezielt verbessern.

Die brauchbare Trennung verläuft zwischen zwei Fragen:

Die zweite Frage ist ohne die erste sinnlos. Was nicht gefunden wurde, kann nicht in die Antwort kommen, und das ist in Grundkurs, Kapitel 04 begründet.

seitlich verschiebbar

eigene Darstellung, Stand 06.08.2026

Der Fragensatz mit bekannten Fundstellen ist die Grundlage von allem. Fünfzig Fragen sind ein Anfang, jede mit dem Dokument und den Abschnitten, in denen die Antwort steht. Die Fragen zu stellen kostet wenig, die Fundstellen zu belegen ist die Arbeit, und wie viel davon anfällt, hängt am Fachgebiet. Er wird bei jeder Änderung an irgendeiner Stufe erneut gefahren, auch bei einer, die harmlos aussieht: eine andere Abschnittslänge, ein anderes Modell, ein zusätzlicher Filter. BEIR zeigt, warum das nötig ist. Zehn Verfahren über achtzehn Bestände gemessen, und die Rangfolge wechselt je nach Gebiet.

Ein Index ist reproduzierbar oder er ist eine Behauptung

Zwei Messungen aus zwei Wochen sind nur vergleichbar, wenn dazwischen bekannt ist, was sich geändert hat. Dass Modell und Länge festgehalten gehören, verlangt bereits der Kasten in Grundkurs, Kapitel 04. Die vollständige Liste ist länger:

• Modell und Fassung, nicht nur der Name. Anbieter aktualisieren Modelle unter demselben Namen.
• Länge der Zahlenreihe, wenn das Modell kürzbar ist.
• Normalisierung und Abstandsmaß. Kosinus und Skalarprodukt liefern dieselbe Rangfolge nur bei normalisierten Vektoren.
• Fassung der Zerlegung. Länge, Überlappung, an welchen Grenzen geschnitten wurde.
• Vorangestellte Textbausteine. Manche Modelle erwarten vor Frage und Dokument je einen festen Zusatz. Wer ihn beim Suchen anders setzt als beim Einlesen, misst zwei verschiedene Räume gegeneinander.
• Datum des Laufs und Umfang des Bestands zu diesem Zeitpunkt.

Ohne diese Angaben ist eine gefallene Kennzahl nicht zuzuordnen, und dann beginnt das Raten.

Der Bestand ändert sich, der Index nicht von selbst

Ein Index ist eine Kopie. Was im Quellsystem passiert, passiert dort nicht mit, solange es niemand nachführt.

Geändert. Ein Dokument wird überarbeitet, die alten Stücke bleiben im Index und werden weiter gefunden. Stehen zwei Fassungen desselben Absatzes im selben Trefferbereich, verarbeitet ein Modell beide, ohne den Widerspruch zu bemerken.

Gelöscht. Der schwierigere Fall. Ein zurückgezogenes Dokument wird weiterhin als Beleg zitiert, mit Fundstelle, und die Antwort sieht so belastbar aus wie jede andere. Deshalb gehört die Dokumentkennung an jedes Stück, und deshalb ist Löschen eine Betriebsaufgabe mit eigenem Weg.

Neu berechtigt. Berechtigungen ändern sich häufiger als Dokumente, und im Index stehen sie als Kopie: Wer gestern lesen durfte, darf es dort auch morgen noch. Das ist der zweite Grund, aus dem Microsofts Anleitung von einer Nachahmung (externe Seite, learn.microsoft.com) spricht. Der erste steht in Tiefe 2 und wiegt schwerer: Der Filter prüft niemanden.

Fünf Sätze, die nach Verbesserung klingen

Zum Schluss die Formulierungen, bei denen ein zweiter Blick lohnt.

„Wir nehmen ein größeres Kontextfenster.“ Damit lässt sich ein kleiner Bestand vollständig mitschicken, und Tiefe 1 nennt die Grenze, bis zu der das reicht. Als Antwort auf eine schlechte Suche taugt es trotzdem nicht: Wenn die richtige Stelle gar nicht gefunden wurde, hilft mehr Platz für die falschen nicht.

„Wir geben dem Modell mehr Abschnitte.“ Der Suche hilft das immer: Je mehr Stellen durchkommen, desto eher ist die richtige dabei. Bezahlt wird an anderer Stelle, und Anthropic (externe Seite, anthropic.com) sagt, an welcher: Mehr Abschnitte im Kontextfenster erhöhen die Chance, dass die passende Information dabei ist. Mehr Information kann ein Modell aber auch ablenken, und deshalb hat das eine Grenze.

Die Suche wird also besser, und die Antwort kann darunter leiden. Wo dazwischen der Punkt liegt, ist eine Messung: Anthropic hat fünf, zehn und zwanzig Stellen probiert und ist bei zwanzig geblieben. Wer die beiden Größen verwechselt, verbessert die Zahl, die er misst, und verschlechtert die, um die es geht.

„Wir nehmen ein stärkeres Sprachmodell.“ Die teuerste Stellschraube für ein Problem, das meistens eine Stufe früher sitzt. Erst messen, welche Stufe verliert.

„Der durchschnittliche Ähnlichkeitswert ist gestiegen.“ Warum diese Zahl nichts über die Trefferqualität sagt, steht in Grundkurs, Kapitel 04.

„Wir machen RAG.“ Das beantwortet die Frage nach dem Verfahren. Die Frage, ob die Antworten stimmen, beantwortet allein der Fragensatz mit bekannten Fundstellen.