Attention (insbesondere Self-Attention) ist ein Rechenmechanismus in neuronalen Netzen, der für jedes Token einer Eingabesequenz gewichtet, wie stark alle anderen Tokens derselben Sequenz für dessen Kontextbedeutung berücksichtigt werden.
Erklärung
Eingeführt als Kernbaustein der Transformer-Architektur (2017) löste Self-Attention ein zentrales Problem älterer sequenzieller Sprachmodelle wie RNNs, die lange Texte Wort für Wort verarbeiteten und frühe Informationen über weite Satzabstände hinweg oft verloren. Beim Attention-Verfahren bildet das Modell für jedes Token drei Vektoren (Query, Key und Value) und berechnet parallel über Skalarprodukte sogenannte Attention-Scores zwischen allen Wortpaaren eines Textabschnitts. Im Satz „Der Kunde lehnte den Vertrag ab, weil er eine zu lange Laufzeit enthielt“ erhält das Pronomen „er“ dadurch ein hohes Gewicht in Bezug auf „Vertrag“ und ein niedriges in Bezug auf „Kunde“. Da bei klassischer Self-Attention jedes Token mit jedem anderen verglichen wird, wächst der Rechen- und Speicheraufwand quadratisch mit der Textlänge, weshalb große Sprachmodelle feste Kontextfenster (Context Windows) und speichersparende Varianten wie FlashAttention oder Grouped-Query Attention einsetzen.