Plattform
Plattform-ÜbersichtAI Adoption & Multi-ModellSelbstbefüllendes KI-CRMSales & Branchen CRMSales CRM Use CasesRecruiting CRM Use CasesB2B Kontakt-SucheMulti-Channel-KampagnenProjekte & AufgabenTeam-MessengerSocial Media StudioFunnel & NewsletterMeetings & Terminbuchung
Beratung, Preise & Ressourcen
KI-Transformation & StrategieManaged ServicesAlexander Weltzsch · Executive AdvisoryDennis Hilger · B2B Growth AdvisoryPreise & LizenzrechnerÜber unsKI im UnternehmenTech und KI GlossarLeitfaden für erfolgreiche LandingpagesGeschäftsbedingungen und RichtlinienKontakt & Live-Demo
← Zurück zum Tech und KI Glossar (A–Z)
Tech und KI Glossar · Buchstabe · Buchstabe A

Attention (Aufmerksamkeit)

Attention (Aufmerksamkeit)

Definition

Attention (insbesondere Self-Attention) ist ein Rechenmechanismus in neuronalen Netzen, der für jedes Token einer Eingabesequenz gewichtet, wie stark alle anderen Tokens derselben Sequenz für dessen Kontextbedeutung berücksichtigt werden.

Erklärung

Eingeführt als Kernbaustein der Transformer-Architektur (2017) löste Self-Attention ein zentrales Problem älterer sequenzieller Sprachmodelle wie RNNs, die lange Texte Wort für Wort verarbeiteten und frühe Informationen über weite Satzabstände hinweg oft verloren. Beim Attention-Verfahren bildet das Modell für jedes Token drei Vektoren (Query, Key und Value) und berechnet parallel über Skalarprodukte sogenannte Attention-Scores zwischen allen Wortpaaren eines Textabschnitts. Im Satz „Der Kunde lehnte den Vertrag ab, weil er eine zu lange Laufzeit enthielt“ erhält das Pronomen „er“ dadurch ein hohes Gewicht in Bezug auf „Vertrag“ und ein niedriges in Bezug auf „Kunde“. Da bei klassischer Self-Attention jedes Token mit jedem anderen verglichen wird, wächst der Rechen- und Speicheraufwand quadratisch mit der Textlänge, weshalb große Sprachmodelle feste Kontextfenster (Context Windows) und speichersparende Varianten wie FlashAttention oder Grouped-Query Attention einsetzen.