Plattform
Plattform-ÜbersichtAI Adoption & Multi-ModellSelbstbefüllendes KI-CRMSales & Branchen CRMSales CRM Use CasesRecruiting CRM Use CasesB2B Kontakt-SucheMulti-Channel-KampagnenProjekte & AufgabenTeam-MessengerSocial Media StudioFunnel & NewsletterMeetings & Terminbuchung
Beratung, Preise & Ressourcen
KI-Transformation & StrategieManaged ServicesAlexander Weltzsch · Executive AdvisoryDennis Hilger · B2B Growth AdvisoryPreise & LizenzrechnerÜber unsKI im UnternehmenTech und KI GlossarLeitfaden für erfolgreiche LandingpagesGeschäftsbedingungen und RichtlinienKontakt & Live-Demo
← Zurück zum Tech und KI Glossar (A–Z)
Tech und KI Glossar · Buchstabe · Buchstabe T

Transformer-Architektur

Transformer-Architektur

Definition

Die Transformer-Architektur ist eine 2017 vorgestellte neuronale Netzwerkarchitektur, die über den Self-Attention-Mechanismus Bezüge zwischen allen Elementen einer Eingabesequenz unabhängig von deren Abstand im Text berechnet.

Erklärung

Ältere Sequenzmodelle wie Recurrent Neural Networks (RNNs) oder LSTMs verarbeiteten Texte Wort für Wort nacheinander, wodurch sich das Training kaum parallelisieren ließ und inhaltliche Bezüge über längere Absätze hinweg verloren gingen. Ein Transformer verarbeitet sämtliche Token einer Eingabe gleichzeitig in parallelen Matrizenoperationen auf GPUs oder TPUs und gewichtet per Multi-Head Attention, welche Textstellen fachlich zusammenhängen, etwa auf welche Vertragspartei sich eine Klausel mehrere Seiten später bezieht. Auf dieser Grundstruktur basieren sowohl Encoder-Modelle (wie BERT für Textklassifikation und semantische Suche), Encoder-Decoder-Modelle (wie T5) als auch Decoder-Sprachmodelle (wie GPT, Claude oder Llama). Eine technische Grenze des ursprünglichen Attention-Verfahrens liegt im quadratisch mit der Textlänge wachsenden Speicher- und Rechenbedarf, dem neuere Implementierungen mit Techniken wie FlashAttention oder gruppierter KV-Cache-Verwaltung begegnen.