Originalarbeiterreichbar
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
Reimers und Gurevych zeigen am 27.08.2019, wie aus einem Sprachmodell ein Suchwerkzeug wird: Zwei Kopien desselben Netzes werden so trainiert, dass zusammengehörige Sätze im Raum nah beieinander landen, und der Vergleich läuft danach über den Kosinus. Die Zusammenfassung fängt mit dem Lob für BERT an und beziffert erst danach, warum die Arbeit nötig war: 65 Stunden gegen 5 Sekunden für dieselbe Suche. Wer den Satz über die Untauglichkeit ohne diese beiden Zeilen zitiert, macht aus einer Kostenaussage ein Unvermögen. Zur Frage, wie aus vielen Token-Vektoren einer für den ganzen Abschnitt wird, steht die Antwort in Abschnitt 3: „We experiment with three pooling strategies: Using the output of the CLS-token, computing the mean of all output vectors (MEAN-strategy), and computing a max-over-time of the output vectors (MAX-strategy). The default configuration is MEAN.“ Diese Stelle steht im Volltext und ist deshalb ohne hinterlegtes Zitat, der Prüflauf liest die Abstract-Seite.
geprüft 24.09.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 06.08.2026:
siamese and triplet network structures to derive semantically meaningful sentence embeddings that can be compared using cosine-similarity
bestätigt 24.09.2026The construction of BERT makes it unsuitable for semantic similarity search
bestätigt 24.09.2026has set a new state-of-the-art performance on sentence-pair regression tasks like semantic textual similarity (STS)
bestätigt 24.09.2026Finding the most similar pair in a collection of 10,000 sentences requires about 50 million inference computations (~65 hours) with BERT
bestätigt 24.09.2026
03 RAG, die Suche vor der Antwort04 Embedding, Bedeutung als Zahlenreihe