Early Stopping

Einfach erklärt

Training rechtzeitig beenden. Early Stopping bedeutet, das Training rechtzeitig abzubrechen, sobald sich die Leistung auf Validierungsdaten nicht mehr verbessert. So verhindert man, dass das Modell Overfitting lernt und Rechenzeit verschwendet.

Kurz: Trainingsfehler sinkt, Validierungsleistung stagniert/verschlechtert sich → Training stoppen und beste Gewichte behalten.

Ganz einfache Beispiele

• Kuchen im Ofen: Du nimmst den Kuchen nicht so lange, bis er verbrennt, sondern sobald die Stäbchenprobe gut ist. Weiterbacken macht ihn schlechter – also rechtzeitig raus.

• Marathon‑Training: Mehr Einheiten bringen irgendwann keinen Fortschritt und erhöhen nur das Verletzungsrisiko. Du stoppst, wenn die Leistung stagniert.

• Pflanzen gießen: Wenn die Erde feucht genug ist, hörst du auf. Mehr Wasser hilft nicht, es schadet.

Professionelle Definition

Early Stopping ist eine Regularisierungstechnik, die das Training an Epoche/Schritt (t^) beendet, an dem eine definierte Validierungsmetrik (z. B. Verlust, Accuracy, F1) nicht weiter verbessert wird. Formal wählt man das Best‑Checkpoint (t^ = \arg\min_t \text{ValLoss}(t)) (oder (\arg\max) bei Maximierungsmetriken) und stellt diese Gewichte wieder her. Praktisch wird eine Patience (p) (Anzahl ausbleibender Verbesserungen) und eine min_\Delta (kleinste nötige Verbesserung) verwendet, um Rauschen zu filtern. Early Stopping reduziert Generalisierungsfehler und Trainingszeit und ist in vielen Frameworks als Callback implementiert.

Praxis‑Tipps

• Metrik klar wählen: mode="min" für Verluste, mode="max" für Genauigkeit/F1/AUC. Immer auf Validation, nie auf Test entscheiden.
• Patience und min_delta an den Rauschpegel anpassen; kurze Läufe brauchen oft kleinere Patience.
• Beste Gewichte wiederherstellen („restore best weights“) und nur Best‑Checkpoint speichern.
• LR‑Scheduler koppeln: Erst Reduce‑on‑Plateau, dann ggf. stoppen, um späte Verbesserungen nicht zu verpassen.
• Zeitreihen beachten: Splits zeitlich korrekt wählen (keine Zukunft im Validation‑Set); für kleine Daten K‑Fold nutzen.
• Monitoring‑Frequenz und Glättung (z. B. gleitender Mittelwert) helfen bei noisy Validation.

Quellen

1. Prechelt, L. (1998) – Early Stopping — But When?
   https://page.mi.fu-berlin.de/prechelt/Biblio/stop_tricks1997.pdf
2. Goodfellow, Bengio, Courville (2016) – Deep Learning, Kapitel 7 Regularization
   https://www.deeplearningbook.org/
3. Keras – EarlyStopping Callback
   https://keras.io/api/callbacks/early_stopping/
4. scikit‑learn – Early stopping bei SGD
   https://scikit-learn.org/stable/modules/sgd.html#early-stopping
5. LightGBM – early_stopping_round
   https://lightgbm.readthedocs.io/en/latest/Parameters.html#early_stopping_round
6. Bishop (2006) – Pattern Recognition and Machine Learning (Regularisierung & Modellwahl)
   https://www.microsoft.com/en-us/research/people/cmbishop/#!/prml

Weiterführende Informationen KI Keynotespeaker und KI Grundlagen