Plattform
Plattform-ÜbersichtAI Adoption & Multi-ModellSelbstbefüllendes KI-CRMSales & Branchen CRMSales CRM Use CasesRecruiting CRM Use CasesB2B Kontakt-SucheMulti-Channel-KampagnenProjekte & AufgabenTeam-MessengerSocial Media StudioFunnel & NewsletterMeetings & Terminbuchung
Beratung, Preise & Ressourcen
KI-Transformation & StrategieManaged ServicesAlexander Weltzsch · Executive AdvisoryDennis Hilger · B2B Growth AdvisoryPreise & LizenzrechnerÜber unsKI im UnternehmenTech und KI GlossarLeitfaden für erfolgreiche LandingpagesGeschäftsbedingungen und RichtlinienKontakt & Live-Demo
← Zurück zum Tech und KI Glossar (A–Z)
Tech und KI Glossar · Buchstabe · Buchstabe P

Pre-training (Vortraining)

Pre-training (Vortraining)

Definition

Pre-training (Vortraining) ist die erste Trainingsphase eines großen KI-Modells, in der das neuronale Netz anhand umfangreicher, überwiegend unbeschrifteter Datensätze grundlegende Sprachstrukturen, Faktenbezüge und statistische Muster erlernt.

Erklärung

Beim Vortraining großer Sprachmodelle kommt meist selbstüberwachtes Lernen (Self-Supervised Learning) zum Einsatz: Das Modell erhält Textsequenzen aus Milliarden bis Billionen von Tokens und lernt, jeweils das nächste Token vorherzusagen (Causal Language Modeling) oder ausgeblendete Textstellen zu rekonstruieren (Masked Language Modeling). Da hierfür keine manuell annotierten Datensätze nötig sind, lassen sich große Korpora aus Fachtexten, Büchern, Webseiten und Quellcode verarbeiten. Das Ergebnis dieser rechenintensiven Phase auf großen GPU- oder TPU-Clustern ist ein Basismodell (Foundation Model), das zwar flüssigen Text vervollständigt, aber noch nicht zuverlässig Arbeitsanweisungen befolgt. Für den Einsatz in B2B-Anwendungen bauen Unternehmen deshalb fast immer auf bereits vortrainierten Basismodellen auf und passen diese erst in nachgelagerten Schritten über Instruction Tuning, RLHF, domänenspezifisches Fine-Tuning oder Retrieval Augmented Generation (RAG) an konkrete Fachaufgaben an.