Einfach erklärt
Model Averaging bedeutet: Mehrere Modelle geben jeweils eine Vorhersage ab, und wir bilden daraus einen Durchschnitt (z. B. Mittelwert oder gewichteten Mittelwert). So gleichen sich Zufallsschwankungen und einzelne Fehler aus – die Gesamtaussage wird stabiler und oft genauer.
Ganz einfache Beispiele:
• Preisvorhersage: Drei Modelle schätzen einen Preis. Der Durchschnitt ist oft näher am Ziel als die einzelnen Schätzungen.
• Klassifikation: Statt nur ein Modell abstimmen zu lassen, mitteln wir die vorhergesagten Wahrscheinlichkeiten und entscheiden danach.
• Gewichtet mitteln: Ein stärkeres, besser kalibriertes Modell bekommt mehr Gewicht im Durchschnitt.
Professionelle Definition
Unter Model Averaging fasst man Verfahren zusammen, die mehrere Modelle ({f_m}_{m=1}^M) zu einer Vorhersage (F) durch Durchschnittsbildung kombinieren. Beispiele:
• Einfaches/gewichtetes Mittel der Ausgaben: (F(x)=\tfrac1M\sum_m f_m(x)) oder (F(x)=\sum_m w_m f_m(x)) mit Gewichten (w_m\ge0,\ \sum_m w_m=1).
• Bagging/Random‑Forest als Spezialfall: Viele Basismodelle (auf Bootstrap‑Samples) werden gemittelt (Regression) oder per Mehrheit/Wahrscheinlichkeits‑Mittel (Klassifikation) kombiniert.
• Bayesian Model Averaging (BMA): Modelle werden nach ihrer Posterior‑Wahrscheinlichkeit gewichtet; Vorhersage ist die posterior‑gemittelte Verteilung.
• Stochastic Weight Averaging (SWA): Statt Ausgaben zu mitteln, werden bei einem Netz die Gewichte über Trainings‑Iterationen gemittelt (führt oft zu besserer Generalisierung).
• Föderiertes Lernen (FedAvg): Modellgewichte aus vielen Clients werden nach Datenumfang gemittelt und zu einem globalen Modell zusammengeführt.
Eigenschaften/Vorteile:
• Reduziert meist die Varianz und verbessert Generalisation; bei gewichteter Mittelung lassen sich schwächere Modelle dämpfen.
• Funktioniert gut, wenn Fehler der Einzelmodelle teilweise unabhängig/divers sind (Kovarianz‑Effekt).
• Abgrenzung zu Stacking: Beim Averaging sind die Kombinationsgewichte fix oder einfach geschätzt; Stacking lernt eine Meta‑Funktion zur Kombination.
Quellen
• Hansen & Salamon (1990) – Neural Network Ensembles (Grundidee: mehrere Netze mitteln → bessere Generalisierung)
https://www.sciencedirect.com/science/article/abs/pii/S0893608005800231
• Breiman (1996) – Bagging Predictors (Bootstrap‑Aggregating; Mittelung/Mehrheit über viele Modelle)
https://www.stat.berkeley.edu/~breiman/bagging.pdf
• Hoeting et al. (1999) – Bayesian Model Averaging: A Tutorial (BMA, Posterior‑Gewichte)
https://www3.stat.washington.edu/people/alexis/Stat531/hmwk/bma.pdf
https://projecteuclid.org/journals/statistical-science/volume-14/issue-4/Bayesian-Model-Averaging–A-Tutorial/10.1214/ss/1009212519.full
• Izmailov et al. (2018) – Averaging Weights Leads to Wider Optima and Better Generalization (SWA)
https://arxiv.org/abs/1803.05407
• McMahan et al. (2017) – Communication‑Efficient Learning of Deep Networks from Decentralized Data (FedAvg)
https://arxiv.org/abs/1602.05629