Einfach erklärt
Stell dir vor, ein Netz lernt aus kleinen Daten‑Päckchen (Minibatches). In jedem Päckchen können die Werte mal sehr groß, mal sehr klein sein. Das verwirrt das Lernen.
Batch‑Normalisierung ordnet diese Werte zuerst:
- Sie rückt die Werte so, dass der Durchschnitt ungefähr 0 ist.
- Sie streckt/quetscht die Werte so, dass die Streuung ungefähr 1 ist.
- Danach dürfen zwei Regler (Skalieren und Verschieben) die Werte wieder passend einstellen – das lernt das Netz selbst.
So kann das Netz ruhiger, schneller und zuverlässiger lernen.
Einfache Beispiele/Analogien:
- Lautstärke angleichen: Erst alle Musikstücke auf ähnliche Lautstärke bringen, dann fein nachregeln – so hört man Details besser.
- Fotos vereinheitlichen: Ein Stapel Bilder wird erst auf ähnliche Helligkeit gebracht; danach kann die Bildverarbeitung feine Unterschiede besser erkennen.
- Backen mit Messbecher: Erst gleiche Grundmenge abmessen, dann «nach Geschmack» würzen – das entspricht den zwei Reglern.
Professionelle Definition
Gegeben Aktivierungen (x) über ein Minibatch werden pro Kanal Batch‑Statistiken (\mu_B,,\sigma_B^2) berechnet und
[\hat x = \frac{x-\mu_B}{\sqrt{\sigma_B^2+\varepsilon}}]
gebildet. Mit lernbaren Parametern (\gamma) (Skalierung) und (\beta) (Verschiebung) ergibt sich die Ausgabe (y=\gamma,\hat x+\beta). Während der Inferenz nutzt man gleitende Schätzer (Laufmittel) für Mittelwert und Varianz. Batch‑Normalisierung wirkt als Regularisierung und verändert die effektive Optimierungslandschaft, was empirisch die Konvergenz verbessert.
Finden Sie mehr dazu in Grundlagen der Künstlichen Intelligenz
Quellen
- Ioffe & Szegedy (2015) – Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
https://arxiv.org/abs/1502.03167 - Wikipedia – Batch normalization (Überblick, Training vs. Inferenz, Formeln)
https://en.wikipedia.org/wiki/Batch_normalization - Deep Learning Book (Goodfellow/Bengio/Courville) – Abschnitt zur Batch‑Normalisierung
https://www.deeplearningbook.org/contents/optimization.html - PyTorch – BatchNorm2d (Dokumentation: laufende Mittelwerte, Trainings‑/Evaluierungsmodus)
https://pytorch.org/docs/stable/generated/torch.nn.BatchNorm2d.html - Alternativen bei kleinen Batches: Layer Normalization (Ba et al., 2016) und Group Normalization (Wu & He, 2018)
https://arxiv.org/abs/1607.06450
https://arxiv.org/abs/1803.08494