RLHF - Schweizer KI Akademie

Einfach erklärt

Reinforcement Learning from Human Feedback (RLHF) ist eine Technik, mit der KI-Modelle nachträglich so angepasst werden, dass sie sich stärker an menschlichen Bewertungen und Präferenzen orientieren.

Statt einer fest programmierten Belohnungsfunktion bekommen Menschen Beispiel-Ausgaben der KI gezeigt (z. B. zwei Antworten auf dieselbe Frage) und bewerten, welche sie besser finden. Aus diesen Bewertungen wird ein Belohnungsmodell (Reward Model) trainiert, das „vorhersagt“, welche Ausgaben Menschen bevorzugen. Anschließend wird das eigentliche KI-Modell per Reinforcement Learning so optimiert, dass es vom Belohnungsmodell möglichst hohe „Punkte“ bekommt.

Kurz: Menschen bewerten Beispiel-Ausgaben → daraus entsteht ein Reward Model → das KI-Modell wird so trainiert, dass es dieses Reward Model zufriedenstellt und dadurch besser zu menschlichen Erwartungen passt.

Beispiele

Chatbot, der hilfreicher und sicherer antwortet
Menschen vergleichen mehrere KI-Antworten auf Nutzerfragen und wählen die hilfreichste und harmloseste. Das Reward Model lernt diese Präferenzen, und das Sprachmodell wird darauf trainiert, genau solche Antworten zu bevorzugen.
Textzusammenfassungen
Die KI generiert unterschiedliche Zusammenfassungen desselben Artikels. Annotator:innen bewerten, welche Zusammenfassung am klarsten, vollständigsten und sachlich korrekt ist. RLHF sorgt dafür, dass das Modell zukünftige Zusammenfassungen stärker an diesen Präferenzen ausrichtet.
Spiel- oder Steuerungsaufgaben
Ein Agent spielt z. B. ein Videospiel oder steuert einen Roboter. Menschen sehen kurze Clips des Verhaltens und entscheiden, welcher Clip „besser“ ist. Der Agent lernt, Strategien zu wählen, die von Menschen bevorzugt werden – auch wenn keine klare, formalisierte Belohnungsfunktion existiert.

Professionelle Definition

Reinforcement Learning from Human Feedback (RLHF) ist ein Verfahren zur Ausrichtung (Alignment) von KI-Systemen, bei dem ein vortrainiertes Modell mit Hilfe von menschlich erstellten Präferenzdaten weiter trainiert wird. Dazu wird zunächst ein Reward Model aus menschlichen Rankings oder Bewertungen von Modelloutputs gelernt. Dieses Reward Model dient anschließend als Belohnungsfunktion für ein Reinforcement-Learning-Verfahren, mit dem die Policy (z. B. ein Sprachmodell) optimiert wird.

In der Praxis besteht der Standard-RLHF-Workflow meist aus drei Schritten:

Supervised Fine-Tuning (SFT)
Das vortrainierte Modell wird zunächst mit beispielhaften, von Menschen geschriebenen oder kuratierten Antworten auf Prompts feinjustiert.
Reward-Model-Training
Menschen vergleichen verschiedene Modellantworten auf denselben Prompt (Präferenzpaare). Aus diesen Vergleichsdaten wird ein Reward Model trainiert, das für (Prompt, Antwort)-Paare eine Belohnung vorhersagt.
Reinforcement Learning
Das Modell wird mit einem RL-Algorithmus (typischerweise Proximal Policy Optimization, PPO) so optimiert, dass es Antworten erzeugt, die vom Reward Model hohe Belohnungen erhalten, während es gleichzeitig nicht zu stark vom ursprünglichen Sprachmodell abweicht.

Ziel ist es, das Modell systematisch auf menschliche Präferenzen, Sicherheitsanforderungen und gewünschtes Verhalten auszurichten.

Typische Merkmale

Human-in-the-loop
Menschliche Annotator:innen liefern Rankings oder Bewertungen von Modelloutputs statt expliziter Regeln.
Reward Model statt handgeschriebener Belohnungsfunktion
Die Belohnung wird nicht direkt programmiert, sondern aus Daten gelernt, um komplexe menschliche Ziele besser abbilden zu können.
Drei-Schritte-Pipeline (SFT → Reward Model → RL)
Zuerst Demonstrationen, dann Präferenzen, dann Optimierung per RL.
Fokus auf Alignment
RLHF wird vor allem eingesetzt, um Modelle hilfreicher, wahrheitsgemäßer und sicherer zu machen und problematische Verhaltensweisen zu reduzieren.
Post-Training / Nachtraining
RLHF baut auf einem bereits vortrainierten Modell auf und verändert dessen Verhalten im Dialog mit Menschen.

Anwendungsfälle

Große Sprachmodelle (LLMs)
Ausrichtung von Chatbots und Assistenten (z. B. InstructGPT/ChatGPT, Gemini, Claude, Sparrow) auf hilfreiche, höfliche und sichere Antworten.
Textgenerierung & -zusammenfassung
Verbesserung von Qualität, Klarheit, Faktentreue und Stil gemäß menschlichen Präferenzen.
Content-Moderation & Sicherheit
Belohnung für harmlose, nicht-toxische, nicht-diskriminierende Antworten; Abstrafung unerwünschter Inhalte.
Steuerungs- und RL-Aufgaben
Training von Agenten (z. B. in Spielen oder Simulationen), wenn eine gute Belohnungsfunktion schwer zu spezifizieren ist, Menschen aber relativ leicht beurteilen können, welches Verhalten „besser“ ist.

Grenzen und Herausforderungen

Aufwändige Datenerhebung
Menschliche Präferenzdaten sind teurer und langsamer zu sammeln als große, ungefilterte Textmengen.
Bias und Subjektivität
Das Modell spiegelt die Voreingenommenheiten, Perspektiven und kulturellen Normen der annotierenden Personen wider.
Reward-Hacking & Overfitting
Das Modell kann lernen, Schwächen des Reward Models auszunutzen oder zu stark auf die Trainingspräferenzen zu spezialisieren.
Skalierbarkeit
Für immer größere Modelle und Aufgabenbereiche muss Feedback effizient gesammelt und verwaltet werden.