RLHF (Reinforcement Learning from Human Feedback) ist ein Nachtrainingsverfahren für KI-Modelle, das menschliche Qualitätsbewertungen nutzt, um die Ausgaben eines Modells mittels bestärkendem Lernen an gewünschte Verhaltensregeln und Präferenzen anzupassen.
Erklärung
Ein rein vortrainiertes Sprachmodell sagt lediglich wahrscheinliche Textfortsetzungen voraus, beantwortet Fragen aber oft unstrukturiert, unhöflich oder unsicher. Der klassische RLHF-Ablauf korrigiert dies in drei Phasen: Nach einem überwachten Feintraining auf Beispielantworten (Supervised Fine-Tuning) bewerten menschliche Prüfer mehrere Modellantworten auf denselben Prompt im direkten Paarvergleich nach Hilfsbereitschaft, Faktentreue und Sicherheit. Aus diesen Rangfolgen wird ein separates Belohnungsmodell (Reward Model) trainiert, das menschliche Präferenzen als Punktwert schätzt. Anschließend optimiert ein Algorithmus wie PPO (Proximal Policy Optimization) die Gewichte des Sprachmodells so, dass dieser Belohnungswert steigt, ohne sich zu weit vom ursprünglichen Sprachmodell zu entfernen; neuere Alternativen wie DPO (Direct Preference Optimization) erreichen dies auch direkt ohne eigenes Belohnungsmodell. Für Unternehmensanwendungen sorgt dieses Alignment dafür, dass Sprachmodelle Arbeitsanweisungen zuverlässig befolgen, schädliche oder regelwidrige Anfragen ablehnen und Formatvorgaben einhalten.