GPT (Generative Pre-trained Transformer) bezeichnet eine von OpenAI begründete Architektur- und Modellreihe autoregressiver Sprachmodelle, die Texte und Programmiercode erzeugen, indem sie jeweils das wahrscheinlichste nächste Token einer Sequenz berechnen.
Erklärung
Der Name fasst die drei technischen Grundprinzipien zusammen: „Generative“ steht für die schrittweise Texterzeugung, „Pre-trained“ für das Vortraining auf großen Textbeständen und „Transformer“ für die Decoder-Architektur mit Self-Attention-Mechanismus, die Bezüge zwischen weit auseinanderliegenden Wörtern im Kontextfenster gewichtet. Damit aus der reinen Wortvorhersage ein steuerbarer Arbeitsassistent wird, durchlaufen aktuelle GPT-Generationen nach dem Vortraining ein Instruction Tuning sowie Sicherheits- und Präferenztrainings (etwa RLHF) und verarbeiten neben Text auch Bilder, Audio sowie strukturierte Funktionsaufrufe (Tool Calling). Im B2B-Einsatz binden Anwendungen diese Modelle meist per API ein, um Dokumente zusammenzufassen, Pflichtfelder im JSON-Schema auszulesen oder mehrstufige Software-Workflows anzusteuern.