Overfitting

Einfach erklärt

Zu stark an Trainingsdaten angepasst. Overfitting bedeutet: Ein Modell lernt die Trainingsdaten zu genau. Es merkt sich Zufall und Fehler in den Beispielen, statt allgemeine Regeln zu verstehen. Ergebnis: Top auf dem Training, aber schwach bei neuen Daten.

Kurz: Auswendig lernen → kaum Verständnis → schlechte Vorhersagen auf Neuem.

Ganz einfache Beispiele

• Vokabeltest: Jemand lernt die Liste auswendig. Im Test mit neuen Sätzen weiß er nicht weiter.

• Navigation: Du übst eine feste Route jeden Tag. Bei Umleitung bist du ratlos.

• Maßanzug: Perfekt für eine Pose geschneidert, aber beim Hinsetzen spannt er. Zu genau angepasst, wenig alltagstauglich.

Professionelle Definition

Overfitting (Überanpassung) liegt vor, wenn ein Modell die empirische Risikofunktion (R_{emp}(f)) auf dem Training stark minimiert, die wahre Fehlerrate (R(f) = \mathbb{E}_{(x,y)}[L(f(x),y)]) jedoch hoch bleibt. Typische Ursachen sind zu hohe Modellkomplexität im Verhältnis zur Datenmenge, Rauschen in den Daten, Daten‑Leakage oder unzureichende Regularisierung. Erkennbar ist Overfitting am Auseinanderlaufen von Trainings‑ und Validierungsfehler (Training sinkt weiter, Validation steigt) sowie an hoher Varianz über Cross‑Validation‑Folds.

Praxis‑Tipps

• Saubere Splits: Getrennte Train/Validation/Test‑Sätze, keine Leakage (keine Duplikate, zeitliche Trennung beachten).
• Früh stoppen: Early Stopping mit Validierungs‑Monitoring und Patience einsetzen.
• Regularisieren: Gewichtsnorm (L2/Weight Decay), Dropout, Label Smoothing, Datenaugmentation.
• Einfacher starten: Modellkapazität reduzieren (weniger Parameter, flachere Netze) und Vokabular/Features bereinigen.
• Mehr und bessere Daten: Datensatz erweitern, Rauschen säubern, Klassen balancieren.
• Robuste Bewertung: K‑Fold Cross‑Validation, Lernkurven plotten, Testset unangetastet lassen.

Quellen

1. Goodfellow, Bengio, Courville (2016) – Deep Learning, Kapitel 7 Regularization
   https://www.deeplearningbook.org/
2. Bishop (2006) – Pattern Recognition and Machine Learning, Kapitel zu Modellwahl und Regularisierung
   https://www.microsoft.com/en-us/research/people/cmbishop/#!/prml
3. Andrew Ng – CS229 Notes: Bias–Variance und Generalisierung
   https://cs229.stanford.edu/notes2023fall/cs229-notes1.pdf
4. scikit‑learn – Underfitting vs. Overfitting (Beispiel & Visualisierung)
   https://scikit-learn.org/stable/auto_examples/model_selection/plot_underfitting_overfitting.html
5. Domingos (2012) – A Few Useful Things to Know About Machine Learning
   https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf
6. Zhang et al. (2017) – Understanding Deep Learning Requires Rethinking Generalization
   https://arxiv.org/abs/1611.03530

Weiterführende Informationen KI Keynotespeaker und KI Grundlagen