Einfach erklärt
Learning Rate Scheduling – Plan für die Lernrate beim Training. Learning Rate Scheduling ist ein Zeitplan für die Lernrate deines Modells. Am Anfang darf das Lernen größer und schneller sein, später wird es feiner und vorsichtiger. So findet das Training schneller einen guten Bereich und stabilisiert sich am Ende.
Kurz: Große Schritte zum Start → kleinere Schritte zum Feinschliff → schneller, stabiler Lernerfolg.
Ganz einfache Beispiele
• Dimmer statt Lichtschalter: Erst wird es schnell hell, dann fein justiert, bis die angenehme Helligkeit passt.
• Kochen auf dem Herd: Anbraten heiß, dann Hitze runter und sanft köcheln, damit nichts anbrennt und der Geschmack sich entwickelt.
• Lauftraining: Zu Beginn zügiges Tempo, später Tempo reduzieren, um sauber auszulaufen und Verletzungen zu vermeiden.
Professionelle Definition
Learning Rate Scheduling steuert systematisch die Größe der Gewichts‑Updates im Trainingsverlauf. Ziel ist schnelle Konvergenz, numerische Stabilität und oft bessere Generalisierung. Typische Strategien sind:
- Konstant: Lernrate bleibt fest (Baseline, einfach, aber selten optimal).
- Step/Multiplikativ: In festen Abständen absenken (z. B. alle N Epochen).
- Exponential/Polynomial: Glatter, kontinuierlicher Abfall über die Zeit.
- Cosine Annealing (mit/ohne Restarts): Wellenförmig absenken; mit Warm Restarts periodisch wieder erhöhen, um neue Regionen zu erkunden.
- Warmup: Zu Beginn klein starten und anheben, um Instabilität zu vermeiden (wichtig bei großen Modellen/Batchgrößen).
- Cyclical Learning Rates (CLR): Lernrate zwischen Unter‑ und Obergrenze pendeln; fördert Erkundung und kann lokale Minima vermeiden.
- One‑Cycle‑Policy: Erst anheben, dann sanft absenken (inkl. Momentum‑Gegenbewegung); praktikabler Standard für viele Vision/NLP‑Aufgaben.
- Reduce on Plateau: Lernrate automatisch senken, wenn sich eine Validierungsmetrik nicht verbessert.
In der Praxis werden Schedules an Optimizer und Datensatz angepasst (z. B. AdamW mit Warmup + Cosine bei Transformern). Wichtig sind saubere Validierung, Checkpoints und das Loggen von Lernrate und Metriken.
Praxis‑Tipps
- Guter Startpunkt: Warmup + Cosine ist ein robuster Default für viele Probleme.
- One‑Cycle testen, wenn du schnell zu starken Baselines kommen willst.
- Reduce‑on‑Plateau nutzen, wenn der Verlauf unruhig ist oder Plateaus häufig sind.
- Lernraten‑Finder verwenden (kurz ansteigende LR, Verlust beobachten), um eine sinnvolle Start‑LR zu wählen.
- Batchgröße/Optimizer abstimmen: Bei größeren Batches oft höhere LR mit längerem Warmup.
- Zeitmaß prüfen: Manche Scheduler arbeiten pro Epoche, andere pro Optimizerschritt; konsistent bleiben.
- Loggen & Visualisieren: Lernrate, Loss und Metriken gemeinsam plotten, um zu aggressive oder zu langsame Absenkungen zu erkennen.
Quellen
- Loshchilov, I. & Hutter, F. (2017) – SGDR: Stochastic Gradient Descent with Warm Restarts
https://arxiv.org/abs/1608.03983 - Smith, L. N. (2017) – Cyclical Learning Rates for Training Neural Networks
https://arxiv.org/abs/1506.01186 - Smith, L. N. & Topin, N. (2019) – Super-Convergence: Very Fast Training of Neural Networks Using Large Learning Rates
https://arxiv.org/abs/1708.07120 - PyTorch – Learning Rate Schedulers
https://pytorch.org/docs/stable/optim.html#how-to-adjust-learning-rate
https://pytorch.org/docs/stable/generated/torch.optim.lr_scheduler.OneCycleLR.html - Keras – Learning Rate Schedules & ReduceLROnPlateau
https://keras.io/api/optimizers/learning_rate_schedules/
https://keras.io/api/callbacks/reduce_lr_on_plateau/ - fast.ai – One Cycle Policy & LR Finder
https://docs.fast.ai/callback.schedule.html#fit_one_cycle
https://docs.fast.ai/callback.schedule.html#lr_find
Mehr dazu finden Sie in unseren KI Kursen & Schulungen
und über KI Grundlagen