Einfach erklärt
Grokking heißt: Ein KI‑Modell wirkt lange wie „festgefahren“ (es lernt nur die Trainingsdaten auswendig und macht bei Testdaten viele Fehler) – und dann, plötzlich nach sehr vielen weiteren Trainingsschritten, versteht es die allgemeine Regel und wird auf neuen Daten sehr gut.
Alltagsbild: Du lernst eine Vokabelliste auswendig und bestehst knapp. Wochen später begreifst du die Grammatik – auf einmal kannst du neue Sätze bilden.
Typische Demo aus der Forschung: Ein kleines Netz soll „Addition modulo N“ lernen. Zuerst merkt es sich nur Beispiele → Testfehler bleiben hoch. Mit sehr langem Training und Regularisierung (z. B. Weight Decay) springt die Testgenauigkeit abrupt auf nahe 100 %: Das Netz hat die Regel „verstanden“.
Professionelle Definition
Grokking (auch „delayed generalization“) bezeichnet eine späte, abrupt einsetzende Generalisierung: Ein Modell überfitttet zunächst (hohe Trainingsleistung, schlechte Validierung), bevor es nach viel Optimierung eine phasenübergangs‑ähnliche Verbesserung der Generalisation zeigt. Das Phänomen wurde systematisch beschrieben auf kleinen algorithmischen Datensätzen (z. B. modulare Arithmetik) und steht im Zusammenhang mit Regularisierung (insb. Weight Decay) und Optimierungsdynamik. In der Literatur wird Grokking auch als Komplexitäts‑/Regime‑Wechsel (z. B. „lazy → rich“ training) diskutiert; mechanistische Analysen zeigen die späte Ausbildung strukturierter Repräsentationen.
Quellen
- OpenAI/Power et al. (2022) – Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets (arXiv):
https://arxiv.org/abs/2201.02177 - Wikipedia (en) – Grokking (machine learning):
https://en.wikipedia.org/wiki/Grokking_(machine_learning) - Neel Nanda – Mechanistic Interpretability Analysis of Grokking (Blog):
https://www.neelnanda.io/blog/interlude-a-mechanistic-interpretability-analysis-of-grokking - Merriam‑Webster – „grok“ (Etymologie):
https://www.merriam-webster.com/dictionary/grok