Originalarbeiterreichbar
Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing
Gu und Mitautoren bei Microsoft prüfen am 31.07.2020 die verbreitete Annahme, ein Fachmodell fahre am besten, wenn es von einem allgemeinen Modell ausgeht. Für Gebiete mit viel unmarkiertem Text messen sie das Gegenteil: Ein von Grund auf auf Fachtexten trainiertes Modell gewinnt deutlich gegenüber der Weiterführung eines allgemeinen. Die Bedingung steht im Befund selbst, und die Arbeit stammt aus der BERT-Zeit, misst also Encoder-Modelle im biomedizinischen Bereich.
geprüft 24.09.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 04.09.2026:
A prevailing assumption is that even domain-specific pretraining can benefit by starting from general-domain language models.
bestätigt 24.09.2026for domains with abundant unlabeled text, such as biomedicine, pretraining language models from scratch results in substantial gains over continual pretraining of general-domain language models
bestätigt 24.09.2026