Einfach erklärt
Unsicherheitsquantifizierung bedeutet: Ein Modell gibt nicht nur eine Vorhersage, sondern auch wie sicher es sich dabei ist – zum Beispiel als Wahrscheinlichkeit, Spanne oder Konfidenz‑Hinweis. So sehen Nutzer, wieviel Vertrauen sie in das Ergebnis setzen können und wann eine zweite Prüfung sinnvoll ist.
Ganz einfache Beispiele:
• Wetter: „Regenwahrscheinlichkeit 60 %“ statt nur „Regen“.
• Preisprognose: „120–150 € (90 %‑Intervall)“ statt nur „135 €“.
• Bildklassifikation: „Katze (0,88)“ – und ein Hinweis, wenn die Sicherheit niedrig ist.
Professionelle Definition
Unsicherheitsquantifizierung (UQ) beschreibt Methoden zur Bestimmung und Darstellung von Unsicherheit in Modellen und Daten. Man unterscheidet:
• Aleatorische Unsicherheit (Streu‑/Zufallsanteil der Daten; bleibt auch mit viel Daten bestehen).
• Epistemische Unsicherheit (Wissenslücken des Modells; sinkt mit mehr passenden Daten/Modellabdeckung).
Formalisierung und Schätzung:
• Probabilistische Modelle: Ausgabe als Verteilung (p(y\mid x)); Unsicherheit über Varianzen/Intervalle.
• Bayes‑Ansätze: Integration über Parameterunsicherheit (p(\theta\mid\mathcal D)): (p(y\mid x,\mathcal D)=\int p(y\mid x,\theta),p(\theta\mid\mathcal D),\mathrm d\theta).
• Tiefe Ensembles: Mehrere unabhängig initialisierte/trainierte Netze; Varianz zwischen Modellen schätzt epistemische Unsicherheit.
• MC‑Dropout / Approximatives Bayes: Stochastik im Netz zur Approximation des Posteriors.
• Konforme Vorhersage: Liefert vorher validierte Vorhersage‑Sätze/Intervalle mit garantierter Abdeckung (unter Austauschbarkeits‑Annahme).
• Kalibrierung: Methoden wie Temperatur‑Skalierung passen Wahrscheinlichkeiten an, damit sie der realen Trefferquote entsprechen.
Einsatz und Praxis:
• Entscheidungsschwellen & Routing: Hohe Unsicherheit → Mensch‑im‑Loop/Fallback.
• Monitoring/Drift‑Signale: Steigende Unsicherheit kann Verteilungsverschiebungen anzeigen.
• Risikomessung: Proper scoring rules (z. B. Brier‑Score) und Abdeckung/Intervallbreite zur Bewertung.
Quellen
• Wikipedia – Uncertainty quantification (Begriffe, Ziele, Beispiele)
https://en.wikipedia.org/wiki/Uncertainty_quantification
• Kendall & Gal (2017) – What Uncertainties Do We Need in Bayesian Deep Learning? (aleatorisch vs. epistemisch)
https://arxiv.org/abs/1703.04977
https://arxiv.org/pdf/1703.04977
• Lakshminarayanan, Pritzel, Blundell (2016/2017) – Deep Ensembles (einfache, skalierbare Schätzung prädiktiver Unsicherheit)
https://arxiv.org/abs/1612.01474
https://arxiv.org/pdf/1612.01474
• Guo et al. (2017) – On Calibration of Modern Neural Networks (Temperatur‑Skalierung, Reliability‑Diagramme)
https://arxiv.org/abs/1706.04599
https://arxiv.org/pdf/1706.04599
• Shafer & Vovk (2008) – A Tutorial on Conformal Prediction (Abdeckung/Validität von Vorhersage‑Sätzen)
https://jmlr.csail.mit.edu/papers/volume9/shafer08a/shafer08a.pdf