Plattform
Plattform-ÜbersichtAI Adoption & Multi-ModellSelbstbefüllendes KI-CRMSales & Branchen CRMSales CRM Use CasesRecruiting CRM Use CasesB2B Kontakt-SucheMulti-Channel-KampagnenProjekte & AufgabenTeam-MessengerSocial Media StudioFunnel & NewsletterMeetings & Terminbuchung
Beratung, Preise & Ressourcen
KI-Transformation & StrategieManaged ServicesAlexander Weltzsch · Executive AdvisoryDennis Hilger · B2B Growth AdvisoryPreise & LizenzrechnerÜber unsKI im UnternehmenTech und KI GlossarLeitfaden für erfolgreiche LandingpagesGeschäftsbedingungen und RichtlinienKontakt & Live-Demo
← Zurück zum Tech und KI Glossar (A–Z)
Tech und KI Glossar · Buchstabe · Buchstabe R

RLHF (Reinforcement Learning from Human Feedback)

RLHF (Reinforcement Learning from Human Feedback)

Definition

RLHF (Reinforcement Learning from Human Feedback) ist ein Nachtrainingsverfahren für KI-Modelle, das menschliche Qualitätsbewertungen nutzt, um die Ausgaben eines Modells mittels bestärkendem Lernen an gewünschte Verhaltensregeln und Präferenzen anzupassen.

Erklärung

Ein rein vortrainiertes Sprachmodell sagt lediglich wahrscheinliche Textfortsetzungen voraus, beantwortet Fragen aber oft unstrukturiert, unhöflich oder unsicher. Der klassische RLHF-Ablauf korrigiert dies in drei Phasen: Nach einem überwachten Feintraining auf Beispielantworten (Supervised Fine-Tuning) bewerten menschliche Prüfer mehrere Modellantworten auf denselben Prompt im direkten Paarvergleich nach Hilfsbereitschaft, Faktentreue und Sicherheit. Aus diesen Rangfolgen wird ein separates Belohnungsmodell (Reward Model) trainiert, das menschliche Präferenzen als Punktwert schätzt. Anschließend optimiert ein Algorithmus wie PPO (Proximal Policy Optimization) die Gewichte des Sprachmodells so, dass dieser Belohnungswert steigt, ohne sich zu weit vom ursprünglichen Sprachmodell zu entfernen; neuere Alternativen wie DPO (Direct Preference Optimization) erreichen dies auch direkt ohne eigenes Belohnungsmodell. Für Unternehmensanwendungen sorgt dieses Alignment dafür, dass Sprachmodelle Arbeitsanweisungen zuverlässig befolgen, schädliche oder regelwidrige Anfragen ablehnen und Formatvorgaben einhalten.