Alignment (Ausrichtung) bezeichnet im Machine Learning alle Trainings- und Steuerungsverfahren, die dafür sorgen, dass ein KI-Modell den tatsächlichen Absichten, Sicherheitsregeln und Vorgaben seiner Betreiber und Nutzer folgt.
Erklärung
Ein frisch vortrainiertes Sprachmodell (Base Model) wurde zunächst nur darauf optimiert, das statistisch wahrscheinlichste nächste Wort in großen Textsammlungen vorherzusagen. Ohne nachgelagertes Alignment beantwortet es Anfragen oft unzuverlässig, erfindet Fakten oder folgt schädlichen Anweisungen. Um das Verhalten gezielt zu steuern, durchlaufen Modelle nach dem Vortraining mehrere Stufen: Beim Supervised Fine-Tuning (SFT) lernt das Modell an kuratierten Beispielantworten, während Verfahren wie RLHF (Reinforcement Learning from Human Feedback) oder DPO (Direct Preference Optimization) erwünschte gegenüber unerwünschten Antworten höher gewichten. Eine bekannte Schwierigkeit dabei ist sogenanntes Reward Hacking (oder Sycophancy), bei dem ein Modell Nutzern nach dem Mund redet und sachlich notwendige Einwände unterschlägt. Im Unternehmenseinsatz ergänzen Teams das Modell-Alignment durch klare System-Prompts, die Anbindung an geprüfte Wissensdatenbanken (Retrieval-Augmented Generation) und feste Ausgabefilter.