Einfach erklärt
Ensembling heißt: Mehrere Modelle arbeiten zusammen und geben eine gemeinsame Entscheidung ab. So gleichen sie die Schwächen einzelner Modelle aus und werden zuverlässiger.
Ganz einfache Beispiele:
• Abstimmen statt allein entscheiden: Drei Bilderkenner stimmen ab – die Mehrheit zählt.
• Mittelwert bilden: Mehrere Vorhersagen (z. B. Preise) werden gemittelt – Ausreißer fallen weniger ins Gewicht.
• Spezialisten kombinieren: Ein Modell gut bei „Hunde“, eines bei „Katzen“ – zusammen liefern sie bessere Gesamtwerte.
Professionelle Definition
Ensemble‑Methoden kombinieren mehrere Lernende ({f_m}_{m=1}^M) zu einem Verbund (F), z. B. durch Bagging/Bootstrap‑Aggregating (Trainieren vieler Modelle auf Zufalls‑Teilstichproben, Aggregation per Mittel/Mehrheit), Boosting (sequentielles Lernen, das Fehler vorheriger Modelle fokussiert, z. B. AdaBoost, Gradient Boosting) oder Stacking/Blending (ein Meta‑Modell lernt, wie die Basis‑Modelle am besten kombiniert werden). Ensembles senken in der Regel die Varianz (Bagging), können auch Bias reduzieren (Boosting) und verbessern oft die Generalisation. Wichtige Praxisfragen: Diversität der Basis‑Modelle, Gewichtung, Kalibrierung, Leistung vs. Rechenkosten.
Quellen
• Wikipedia – Ensemble learning (Überblick, Bagging, Boosting, Stacking)
https://en.wikipedia.org/wiki/Ensemble_learning
• Breiman (1996) – Bagging Predictors (Bootstrap‑Aggregating)
https://www.stat.berkeley.edu/~breiman/bagging.pdf
• Freund & Schapire (1997) – A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting (AdaBoost)
https://link.springer.com/article/10.1007/BF00994018
https://cseweb.ucsd.edu/~yfreund/papers/BoostingFinal.pdf
• Friedman (2001) – Greedy Function Approximation: A Gradient Boosting Machine
https://projecteuclid.org/journals/annals-of-statistics/volume-29/issue-5/Greedy-Function-Approximation–A-Gradient-Boosting-Machine/10.1214/aos/1013203451.full
• Wolpert (1992) – Stacked Generalization (Stacking)
https://link.springer.com/article/10.1007/BF00117832