Definitionen Künstliche Intelligenz – KI Glossar, Lexikon & Begriffe
-
Layer Normalization
Einfach erklärt Layer‑Normalisierung macht die Werte einer Schicht pro einzelnes Beispiel vergleichbar. Vor jedem weiteren Rechenschritt werden sie auf eine gemeinsame Basis gebracht: Warum hilft das? Ganz einfache Bilder: Professionelle Definition Für Aktivierungen (x\in\mathbb{R}^D) einer Schicht wird pro Datenbeispiel (\mu=\tfrac1D\sum_{i=1}^D x_i) und (\sigma^2=\tfrac1D\sum_{i=1}^D(x_i-\mu)^2) berechnet. Die Normalisierung lautet[\hat x_i=\frac{x_i-\mu}{\sqrt{\sigma^2+\varepsilon}},\quad y_i=\gamma_i,\hat x_i+\beta_i,]wobei (\gamma,\beta) lernbar sind. Im Unterschied…