Einfach erklärt
Unsicherheit bedeutet: Ein Modell ist sich nicht sicher, wie gut seine Vorhersage stimmt. Das ist normal – Daten können zufällig schwanken oder unvollständig sein.
Zwei Hauptarten:
• Zufalls‑Unsicherheit (aleatorisch): Die Welt ist von Natur aus streuend/zufällig (z. B. Messrauschen, wechselndes Licht). Selbst mit vielen Daten bleibt ein Rest‑Zufall.
• Wissens‑Unsicherheit (epistemisch): Es fehlen Daten/Erfahrung (neue Situationen, neue Geräte). Mit mehr passenden Daten kann sie kleiner werden.
Ganz einfache Beispiele:
• Wetter: Auch gute Modelle nennen Spannen/Wahrscheinlichkeiten („Regen 60 %“).
• Medizin: Ein Algorithmus zeigt geringe Sicherheit bei einem seltenen Befund → Arzt prüft nach.
• Texte: Ein System markiert, dass es bei einem ungewöhnlichen Fachbegriff unsicher ist.
Professionelle Definition
Prädiktive Unsicherheit setzt sich aus aleatorischer und epistemischer Komponente zusammen. In probabilistischen Modellen wird die Ausgabe als Verteilung (p(y\mid x)) beschrieben; die Streuung (z. B. Varianz) quantifiziert Unsicherheit. In Bayes‑Ansätzen wird zusätzlich über Parameter‑Unsicherheit integriert: (p(y\mid x,\mathcal D)=\int p(y\mid x,\theta),p(\theta\mid\mathcal D),d\theta).
Schätzmethoden (Auswahl):
• Probabilistische Modelle & Heteroscedastic Loss: Modell gibt Mittelwert + Streuung aus; Streuung hängt vom Eingang ab (aleatorisch).
• Bayesian/Approximate Bayesian: Variations‑Bayes, MC‑Dropout, Laplace – approximieren Parameter‑Posterior (epistemisch).
• Tiefe Ensembles: Mehrere unabhängig trainierte Netze; Varianz zwischen Modellen schätzt epistemische Unsicherheit, Mittel liefert Prognose.
• Konforme Vorhersage: Liefert validierte Vorhersage‑Sätze/Intervalle mit vorgegebenem Abdeckungsniveau (unter Annahme Austauschbarkeit).
• Kalibrierung: Reliabilitätsdiagramme, Temperatur‑Skalierung verbessern Wahrscheinlichkeitstreue.
Nutzung im Betrieb:
• Schwellen & Routing: Bei hoher Unsicherheit → zweite Meinung, Mensch‑im‑Loop, oder Fallback.
• Monitoring: Unsicherheits‑Trends als Frühwarnsignal für Daten‑ oder Konzept‑Drift.
• Entscheidungen mit Risiko: Kosten‑/Nutzen‑Abwägung anhand Wahrscheinlichkeiten/Intervalle (z. B. Erwartungswert, Value‑at‑Risk).
Quellen
• Wikipedia – Uncertainty quantification (Grundbegriffe, Methodenüberblick)
https://en.wikipedia.org/wiki/Uncertainty_quantification
• Kendall & Gal (2017) – What Uncertainties Do We Need in Bayesian Deep Learning?
https://arxiv.org/abs/1703.04977
• Lakshminarayanan, Pritzel, Blundell (2017) – Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles
https://arxiv.org/abs/1612.01474
• Guo et al. (2017) – On Calibration of Modern Neural Networks (Temperatur‑Skalierung, Reliabilität)
https://arxiv.org/abs/1706.04599
• Shafer & Vovk (2008/2005) – Conformal Prediction (Buch/Übersicht)
http://alrw.net