Einfach erklärt
AutoML bedeutet: Viel Handarbeit beim Erstellen von ML‑Modellen wird automatisiert. Das System sucht von selbst nach passenden Daten‑Vorverarbeitungen, Algorithmen, Hyperparametern und Netz‑Architekturen – innerhalb vorgegebener Zeit‑/Rechenbudgets. Ziel: Schneller zu guten, robusten Modellen.
Ganz einfache Beispiele:
• Tabellendaten: AutoML probiert automatisch Datenaufbereitung, Modellfamilien (z. B. Bäume, lineare Modelle) und Einstellungen aus und liefert das beste Paket.
• Neurale Netze: AutoML variiert Schichten/Filter/Lernraten und findet eine geeignete Architektur mit passenden Trainings‑Einstellungen.
• Begrenztes Budget: „Suche 2 Stunden lang und gib das beste Ergebnis mit Bericht aus.“
Professionelle Definition
AutoML umfasst Verfahren zur automatischen Auswahl und Optimierung von Pipelines für Lernaufgaben. Kernbausteine:
• Algorithmus‑/Hyperparameter‑Suche (CASH): Gemeinsame Wahl von Algorithmus und Hyperparametern – oft per Bayes‑Optimierung (SMBO), Random Search, Hyperband/ASHA oder BOHB; mit mehrstufigen (multi‑fidelity) Auswertungen (z. B. weniger Epochen/Subset).
• Architektursuche (NAS): Suche im Netz‑Raum (z. B. reinforcment‑basiert, evolutionär, differenzierbar wie DARTS).
• Meta‑Lernen/Warm‑Start: Nutzung von Erfahrungen früherer Datensätze, um die Suche gezielt zu starten.
• Ensembling & Auswahl: Kombination/Selektion der besten Modelle zur Robustheit.
• Nebenbedingungen: Zeit/CPU/GPU‑Budget, Erklärbarkeit, Fairness, Fehlertoleranz, Leakage‑Schutz.
Typische Schritte in AutoML‑Systemen:
- Problemdefinition & Metrik, 2) Suchraum (Pipelines/Hyperparameter/Architekturen), 3) Optimierer (z. B. Bayes‑Opt., Banditen), 4) Auswertung (CV/Val‑Split, früh stoppen), 5) Modellauswahl/Ensemble, 6) Bericht & Export (inkl. Reproduzierbarkeit).
Quellen
• Wikipedia – Automated machine learning (Überblick, Ziele, Komponenten)
https://en.wikipedia.org/wiki/Automated_machine_learning
• Feurer, Hutter (2019) – Hyperparameter Optimization / AutoML (Kapitel & Überblick)
https://arxiv.org/abs/1905.02370
• Feurer et al. (2015/2019) – auto‑sklearn (CASH, Meta‑Lernen, Ensembling)
https://arxiv.org/abs/1502.02476
https://jmlr.org/papers/v18/16-558.html
• Bergstra & Bengio (2012) – Random Search for Hyper‑Parameter Optimization
https://jmlr.org/papers/v13/bergstra12a.html
• Li et al. (2017) – Hyperband: A Novel Bandit‑Based Approach to Hyperparameter Optimization
https://arxiv.org/abs/1603.06560
• Falkner, Klein, Hutter (2018) – BOHB: Robust and Efficient Hyperparameter Optimization at Scale
https://proceedings.mlr.press/v80/falkner18a.html
• Zoph & Le (2017) – Neural Architecture Search with Reinforcement Learning
https://arxiv.org/abs/1611.01578
• Liu et al. (2019) – DARTS: Differentiable Architecture Search
https://arxiv.org/abs/1806.09055