Regularisierung

Okt. 10, 2025

—

von

Philipp: Schweizer KI Akademie

Einfach erklärt

Regularisierung bedeutet: Wir bremsen ein Lernmodell bewusst, damit es sich nicht zu sehr an die Trainingsdaten «klammert». So lernt es die allgemeinen Muster statt Zufall und Fehler. Das senkt das Risiko der Überanpassung und verbessert die Leistung auf neuen, unbekannten Daten.

Typische Methoden:

Gewichtsstrafen (L1/L2): Große Modellgewichte werden «teuer». Das hält das Modell einfacher.
Frühzeitiges Stoppen: Das Training endet, sobald sich die Leistung auf Prüf‑Daten verschlechtert.
Dropout (gezieltes Auslassen): Während des Trainings werden zufällig einige Verbindungen/Neuronen vorübergehend ausgeschaltet.
Datenvermehrung: Aus vorhandenen Beispielen werden zusätzliche, realistische Varianten erzeugt (z. B. Drehen/Spiegeln von Bildern).
Modellvereinfachung: Einfachere Modellklasse wählen oder zu tiefe Bäume/zu hohe Polynome vermeiden.

Professionelle Definition

Regularisierung umfasst alle Verfahren, die die effektive Modellkapazität begrenzen oder das Lernverfahren so verändern, dass der Generalisierungsfehler sinkt. Man unterscheidet häufig explizite Regularisierung (z. B. Hinzufügen eines Strafterms zur Zielfunktion wie bei Ridge/Lasso) und implizite Regularisierung (z. B. frühzeitiges Stoppen oder bestimmte Trainingsverfahren), die ohne zusätzlichen Strafterm wirken. Klassische Beispiele sind Tikhonov‑Regularisierung (L2/Ridge), L1‑Regularisierung (Lasso) mit Förderung von Sparsamkeit, Dropout als stochastische Störung in neuronalen Netzen, Datenvermehrung zur Robustheit sowie Modellrestriktionen (z. B. Begrenzen der Tiefe). Ziel ist stets, Varianz zu reduzieren, ohne den Bias übermäßig zu erhöhen.