Einfach erklärt
Neuronale Architektursuche bedeutet: Ein System probiert automatisch viele Netz‑Baupläne aus (z. B. Reihenfolge von Schichten, Filtergrößen, Verbindungen) und wählt die gute Lösung für eine Aufgabe – passend zum Ziel (Genauigkeit, Geschwindigkeit, Speicher, Energie).
Ganz einfache Beispiele:
• Bildaufgabe: Das System testet Varianten (mehr/weniger Faltungen, andere Filtergröße) und nimmt den besten Bauplan.
• Handy‑Einsatz: Es sucht eine Architektur, die schnell ist und wenig Strom verbraucht.
• Kleines Budget: Statt jedes Netz komplett zu trainieren, nutzt es Abkürzungen (Gewichts‑Teilen/„One‑Shot“, frühes Stoppen), um viele Ideen schnell zu prüfen.
Professionelle Definition
NAS optimiert die Netzarchitektur (\alpha) für eine Zielaufgabe, typischerweise als bi‑ oder mehrzielige Suche mit Kostenfunktion
[\max_{\alpha\in\mathcal A} \ \mathcal{M}(\alpha)\ \text{unter Nebenbedingungen (z. B. Latenz/Speicher/Energie).}]
Klassische Suchstrategien sind:
• Verstärkungslernen (RL): Ein Controller erzeugt Architekturen; Belohnung = Validierungsleistung (z. B. Zoph & Le).
• Evolutionär/genetisch: Population von Netzen, Mutation/Selektion (z. B. Regularized Evolution).
• Gradienten‑basiert (Differenzierbar): Kontinuierlicher Architektur‑Relax und Optimierung (z. B. DARTS).
• Effiziente Varianten: ENAS (Gewichts‑Sharing), Proxy‑Aufgaben, early stopping.
Suchraum & Darstellung: Zellen/Block‑Schablonen (Mikro‑Ebene) und Netz‑Gerüst (Makro‑Ebene); Operatoren (Conv, Skip, Pooling), Kanten und Topologien.
Ziele/Nebenbedingungen: Genauigkeit, Latenz (z. B. auf Gerät), FLOPs/Parameter, Energie, Speicher; oft Multi‑Ziel‑Optimierung.
Ergebnisse: NAS hat Architekturen wie NASNet, AmoebaNet, EfficientNet‑ähnliche Baupläne angestoßen; moderne Arbeiten kombinieren NAS mit Pruning/Quantisierung für den Einsatz.
Quellen
• Wikipedia – Neural architecture search (Überblick, Strategien, Beispiele)
https://en.wikipedia.org/wiki/Neural_architecture_search
• Zoph & Le (2017) – Neural Architecture Search with Reinforcement Learning (RL‑basierte NAS)
https://arxiv.org/abs/1611.01578
• Pham et al. (2018) – Efficient Neural Architecture Search via Parameter Sharing (ENAS)
https://arxiv.org/abs/1802.03268
• Liu et al. (2019) – DARTS: Differentiable Architecture Search (gradienten‑basiert)
https://arxiv.org/abs/1806.09055
• Real et al. (2019) – Regularized Evolution for Image Classifier Architecture Search (evolutionär)
https://arxiv.org/abs/1802.01548
• Elsken, Metzen, Hutter (2019/2023) – Neural Architecture Search: A Survey (Übersicht)
https://arxiv.org/abs/1808.05377