Einfach erklärt
Resilienz bedeutet: Ein Modell hält durch und erholt sich, wenn etwas schiefgeht – zum Beispiel wenn Daten ungewohnt sind, Teile der Technik ausfallen oder ein Angriff stattfindet. Ein resilientes System arbeitet weiter (zur Not mit abgespeckter Qualität) und kommt schnell wieder in den Normalzustand.
Ganz einfache Beispiele:
• Datendrift: Die Kamera ist anders eingestellt. Das System erkennt die Änderung, schaltet auf robustere Regeln um und lernt später mit neuen Beispielen nach.
• Ausfall eines Dienstes: Fällt der Haupt‑Dienst aus, springt ein Backup‑Modell ein (z. B. einfacherer Klassifikator) – die Anwendung bleibt nutzbar.
• Angriff/Fehleingaben: Bei verdächtigen Mustern drosselt das System die Automatik, fordert menschliche Freigabe an und protokolliert den Vorfall.
Professionelle Definition
Resilienz von KI‑Modellen ist die Fähigkeit, unter unerwarteten Störungen, Angriffen oder Umweltänderungen die Funktion aufrechtzuerhalten und den Sollzustand nach einer Beeinträchtigung wiederherzustellen. Sie ergänzt Robustheit (Leistung trotz Störungen) um Wiederanlauf/Recover‑Fähigkeiten und betriebliche Mechanismen.
Typische Bausteine:
• Erkennen & Abfedern von Drift/Anomalien: Daten‑/Kontext‑Drift‑Detektion, OOD‑Erkennung, automatische Fallbacks (z. B. Regeln/ältere Modelle).
• Abwehr & Härtung: Adversarial‑Training, Rate‑Limiting, Eingabe‑Validierung, Sicherheitsmaßnahmen (Secure‑by‑Design).
• Graceful Degradation: Qualitätsstufen, Konfidenz‑Schwellen, mensch‑im‑Loop.
• Redundanz & Wiederherstellung: Backup‑Modelle, Schatten‑Deployments, Canary/Blue‑Green‑Rollouts, Rollback, Checkpoints.
• Beobachtbarkeit & Betrieb: Telemetrie/Metriken (Qualität, Drift, Ausfälle), Alarmierung, Runbooks, Tests (Chaos‑/Störtests) im ML‑Lebenszyklus.
Abgrenzung:
• Robustheit: Leistung bleibt unter Störungen hoch (Average-/Worst‑Case).
• Resilienz: Aufrechterhalten + Wiederherstellen der Funktion bei Ereignissen (Ausfälle, Angriffe, starke Shifts) – inkl. Betriebsprozesse.
Quellen
• NIST – AI Risk Management Framework 1.0 (Merkmal: „secure and resilient“; Umgang mit Risiken)
https://nvlpubs.nist.gov/nistpubs/ai/nist.ai.100-1.pdf
• NIST AI RMF – Überblicksseite
https://www.nist.gov/itl/ai-risk-management-framework
• ISO/IEC TR 24028:2020 – Trustworthiness of AI (Resilienz als Vertrauenswürdigkeits‑Eigenschaft, Überblick)
https://www.iso.org/obp/ui/
• Hyperproof – Zusammenfassung NIST‑Definition von Resilience („kann unerwartete adverse Ereignisse/Umweltänderungen aushalten“)
https://hyperproof.io/navigating-the-nist-ai-risk-management-framework/
• Braiek (2024) – Machine Learning Robustness: A Primer (Abgrenzung Robustheit/Resilienz, Grundlagen)
https://arxiv.org/abs/2404.00897
• ENISA – AI Threat Landscape 2025 (Bedrohungen für Sicherheit/Resilienz von AI‑Systemen)
https://www.enisa.europa.eu/sites/default/files/2025-10/ENISA%20Threat%20Landscape%202025.pdf