Emergentes Verhalten bezeichnet bei großen KI-Modellen das Auftreten von Fähigkeiten ab einer bestimmten Skalierungsstufe aus Parameterzahl, Datenmenge und Trainingsrechenleistung, die bei kleineren Modellen derselben Architektur kaum oder gar nicht messbar waren.
Erklärung
Beispiele bei Large Language Models sind mehrstufiges Rechnen, das Übersetzen seltener Sprachpaare oder das Lösen neuer Aufgaben anhand weniger Beispiele im Prompt (Few-Shot-Learning), obwohl das Grundtraining lediglich auf die Vorhersage des nächsten Tokens ausgelegt war. In der KI-Forschung wird dabei differenziert betrachtet, welchen Anteil die gewählte Messmetrik hat: Bei strengen Alles-oder-nichts-Bewertungen wirkt der Leistungsanstieg sprunghaft, während abgestufte Teilpunkt-Metriken oft eine kontinuierlichere Entwicklung zeigen. Für B2B-Anwender hat das zwei praktische Konsequenzen: Größere Basismodelle übernehmen viele Fachaufgaben ohne separates Einzeltraining, müssen vor produktiven Einsätzen jedoch mit eigenen Testfällen (Evaluations) und Ausgaberegeln geprüft werden, da mit wachsender Modellgröße auch unerwünschte Muster wie plausibel formulierte Falschaussagen auftreten können.