Einfach erklärt
Aktivierungen sind die Signale, die ein künstliches Neuron nach einer kleinen Regel weitergibt. Diese Regel heißt Aktivierungsfunktion. Sie sorgt dafür, dass ein Netz nicht nur gerade Linien lernt, sondern echte Muster (z. B. Kante vs. keine Kante, Stichwort vs. kein Stichwort).
Kurz gesagt: Erst rechnen, dann „durch die Regel schicken“ → das Ergebnis ist die Aktivierung.
Ganz einfache Beispiele (mit Alltagsbildern):
• ReLU = Lichtschalter / Türsteher
Stell dir vor, jede Zahl ist die Lautstärke eines Signals. Bei ReLU sagt der Schalter: „Alles unter 0 ist aus (0). Alles über 0 darf durch.“
So wie ein Türsteher: Wer kleiner als die Linie ist, kommt nicht rein (0). Wer drüber ist, darf rein (bleibt wie er ist). Das hilft dem Netz, klare Kanten zu erkennen: „Ist da etwas?“ → ja/nein.
• Sigmoid = Dimmer / Prozent-Anzeige
Ein Dimmer macht Licht nie schlagartig an oder aus, sondern weich. Sigmoid drückt jedes Signal in einen Wert zwischen 0 und 1. 0 heißt „ganz sicher nein“, 1 heißt „ganz sicher ja“, dazwischen sind Wahrscheinlichkeiten.
Denk an eine Prozent-Anzeige: 0% bis 100%. Das nutzt man gern am Ausgang, wenn am Ende „Katze? ja/nein“ stehen soll.
• tanh = Thermometer mit Minus und Plus
Ein Thermometer kann unter 0° und über 0° anzeigen. tanh gibt Werte zwischen −1 und +1.
Das ist hilfreich, wenn das Netz Links/Rechts, Kalt/Warm oder Negativ/Positiv unterscheiden soll. Es ist um 0 zentriert – so wie ein Thermometer bei 0° in der Mitte.
• GELU / Swish = weicher Türsteher
Statt hart „rein/raus“ zu sagen, lässt der weiche Türsteher auch kleine negative Signale ein bisschen durch. Das macht das Lernen oft ruhiger und stabiler – gerade bei sehr tiefen Netzen.
• Softmax = Wahl mit mehreren Kandidaten
Stell dir eine Wahl mit vielen Parteien vor. Am Ende brauchen wir Anteile, die zusammen 100% ergeben. Softmax verwandelt rohe Zahlen in Wahrscheinlichkeiten pro Klasse (z. B. Hund/Katze/Maus), die zusammen 1 ergeben.
So kann das Modell sagen: „70% Katze, 25% Hund, 5% Maus.“
Professionelle Definition (verständlich)
In jeder Schicht wird zuerst eine Zwischensumme gebildet (Eingaben × Gewichte + Bias). Danach formt eine Aktivierungsfunktion dieses Roh‑Signal um. Ohne diese Nichtlinearität wäre ein tiefes Netz am Ende nur eine einzige große lineare Funktion.
Häufige Funktionen – wann benutze ich was?
• ReLU (Standard): schnell, robust; wenn Lernen stockt → Leaky ReLU probieren.
• Sigmoid (Ausgang bei Ja/Nein): liefert einen Wert zwischen 0 und 1.
• tanh: wie Sigmoid, aber um 0 zentriert – manchmal stabiler.
• GELU/Swish (moderne Netze, z. B. Transformer): oft etwas bessere Ergebnisse.
Praxis‑Tipps (einfach):
• In versteckten Schichten: ReLU oder GELU nehmen.
• Am Ausgang: keine Aktivierung für Zahlen vorhersagen (Regression), Sigmoid für eine Klasse, Softmax für mehrere Klassen.
• Wenn das Training nicht vorankommt: kleinere Lernrate, Leaky ReLU/GELU, oder Normierung (Batch/Layer Norm) probieren.
Quellen
- Glorot & Bengio (2010) – Understanding the difficulty of training deep feedforward neural networks
http://proceedings.mlr.press/v9/glorot10a/glorot10a.pdf - Nair & Hinton (2010) – Rectified Linear Units Improve Restricted Boltzmann Machines
https://www.cs.toronto.edu/~hinton/absps/reluICML.pdf - He et al. (2015) – Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification
https://arxiv.org/abs/1502.01852 - Hendrycks & Gimpel (2016) – Gaussian Error Linear Units (GELUs)
https://arxiv.org/abs/1606.08415 - Ramachandran, Zoph, Le (2017) – Swish: a Self-Gated Activation Function
https://arxiv.org/abs/1710.05941 - Goodfellow, Bengio, Courville (2016) – Deep Learning (Kapitel: Optimization & Neural Nets)
https://www.deeplearningbook.org/