1) Einfach erklärt
Föderiertes Lernen bedeutet: Viele Geräte/Organisationen lernen gemeinsam ein KI‑Modell, aber die Rohdaten bleiben dort, wo sie entstanden sind. Nur Modell‑Änderungen (Gewichte/Gradienten) werden geteilt und zusammengeführt.
So läuft es ab (vereinfacht):
- Ein gemeinsames Start‑Modell wird an viele Teilnehmer (z. B. Smartphones oder Kliniken) geschickt.
- Lernen vor Ort: Jeder Teilnehmer trainiert lokal mit seinen eigenen Daten.
- Zurück an den Server: Nur die Modell‑Updates (nicht die Daten) gehen an einen Aggregator.
- Zusammenführen: Der Aggregator mittelt/vereint die Updates (z. B. FedAvg) → ein verbessertes globales Modell.
Beispiele:
- Smartphone‑Tastatur (Wortvorschläge): Dein Handy verbessert die Vorschläge lokal und sendet nur Model‑Updates zurück. Deine Texte bleiben auf dem Gerät.
- Gesundheit/Kliniken: Mehrere Krankenhäuser trainieren gemeinsam ein Modell (z. B. für Bilddiagnostik), ohne Patientendaten zu teilen.
- Industrie/IoT: Maschinen lernen vor Ort aus Betriebsdaten; Updates werden periodisch zusammengeführt.
Vorteile: Datenschutz, geringere Bandbreite, Lernen aus verteilten Daten.
Herausforderungen: Nicht‑IID‑Daten (sehr unterschiedlich verteilt), Kommunikationsaufwand, Sicherheit/Privatsphäre (z. B. Rückschlüsse aus Gradienten), Heterogenität der Geräte.
2) Professionelle Definition
Federated Learning (FL) ist ein verteiltes ML‑Paradigma, bei dem das Modell durch dezentrales Training auf Clients („cross‑device“ oder „cross‑silo“) optimiert wird, während Rohdaten am Datenursprung verbleiben. Ein zentraler oder hierarchischer Aggregator führt Client‑Updates zusammen (klassisch Federated Averaging – FedAvg). Privatsphäre/Sicherheit: Secure Aggregation (kryptografische Mehrparteien‑Protokolle) verhindert Einblicke in einzelne Updates; Differential Privacy (z. B. DP‑SGD, Rauschen/Clipping) reduziert Rückschlussrisiken. System‑/Lernaspekte: Umgang mit nicht‑IID‑Verteilungen, Stragglern, Client‑Sampling, Personalization‑Schichten/Adapter (z. B. FedProx, Meta‑Learning), Kommunikationseffizienz (Kompression/Sparsity, QSGD, Sign‑SGD), Robustheit (Byzantine‑resiliente Aggregation). Cross‑device FL adressiert Millionen flüchtiger Clients; cross‑silo FL wenige, stabile Parteien (z. B. Kliniken/Banken).
Quellen
- Google AI Blog (2017) – Federated Learning: Collaborative Machine Learning without Centralized Training Data:
https://ai.googleblog.com/2017/04/federated-learning-collaborative.html - McMahan et al. (2017) – Communication‑Efficient Learning of Deep Networks from Decentralized Data (FedAvg, arXiv):
https://arxiv.org/abs/1602.05629