BERT (Bidirectional Encoder Representations from Transformers) ist ein 2018 von Google vorgestelltes Sprachmodell auf Basis der Transformer-Encoder-Architektur, das die Bedeutung eines Wortes gleichzeitig aus dem vorangehenden und dem nachfolgenden Satzkontext berechnet.
Erklärung
Beim Vortraining nutzt BERT sogenanntes Masked Language Modeling: Einzelne Wörter in einem Satz werden verdeckt und aus beiden Leserichtungen rekonstruiert. Dadurch unterscheidet das Modell mehrdeutige Begriffe zuverlässig anhand des Satzkontexts. Generative Decoder-Modelle wie GPT sagen das jeweils nächste Wort voraus, während BERT als reines Encoder-Modell ganze Textpassagen in dichte numerische Vektoren (Embeddings) umwandelt. In B2B- und Enterprise-Anwendungen wird BERT (sowie kompakte Varianten wie DistilBERT oder RoBERTa) für Aufgaben mit geringer Latenz und niedrigen Rechenkosten eingesetzt. Typische Einsatzfelder sind die automatische Kategorisierung eingehender Support-Tickets und E-Mails nach Anliegen, die Extraktion von Eigennamen und Vertragsdaten (Named Entity Recognition) sowie das semantische Reranking in Unternehmenssuchen.