Einfach erklärt
Konfidenz beschreibt, wie sicher ein System in seine eigene Vorhersage ist. Häufig wird das als Zahl zwischen 0 und 1 angegeben (z. B. 0,85 = „85 % Sicherheit“). Wichtig: Eine hohe Zahl ist nur dann sinnvoll, wenn sie zur Wirklichkeit passt (gut kalibriert ist).
Ganz einfache Beispiele:
• Bildklassifikation: Das System sagt „Katze, 0,90“. Bei gut kalibrierten Modellen sind von 100 solchen Fällen etwa 90 tatsächlich Katzen.
• Spam‑Filter: „Spam, 0,30“ → eher unsicher; je nach Schwelle wird die Mail nicht automatisch blockiert.
• Vorhersage mit Bandbreite: Neben einem Punktwert gibt das System eine Spanne an (z. B. „Preis 120–150“). Breite Spanne = mehr Unsicherheit.
Professionelle Definition
In der Klassifikation bezeichnet Konfidenz meist die vorhergesagte Wahrscheinlichkeit (\hat p(y\mid x)) für die gewählte Klasse. Kalibrierung prüft, ob diese Wahrscheinlichkeit mit der tatsächlichen Trefferquote übereinstimmt (z. B. per Reliability‑Diagramm); Verfahren wie Platt‑Skalierung oder Temperatur‑Skalierung passen Ausgaben nachträglich an. Die Güte probabilistischer Vorhersagen lässt sich u. a. mit proper scoring rules (z. B. Brier‑Score) beurteilen.
In der Statistik meint Konfidenzintervall (z. B. 95 %-Intervall) eine Schätz‑Spanne für einen unbekannten Parameter, die bei wiederholter Stichprobennahme in 95 % der Fälle den wahren Wert abdeckt. Das ist nicht identisch mit einem Bayes’schen Glaubwürdigkeitsintervall (Credible Interval), das eine direkte Wahrscheinlichkeitsaussage über den Parameter macht.
Quellen
• Wikipedia – Probabilistic classification (Kalibrierung, Reliability‑Diagramm)
https://en.wikipedia.org/wiki/Probabilistic_classification
• Guo et al. (2017) – On Calibration of Modern Neural Networks (Temperatur‑Skalierung, Fehlkalibrierung moderner Netze)
https://arxiv.org/abs/1706.04599
https://arxiv.org/pdf/1706.04599
• Platt (1999/2000) – Probabilistic Outputs for Support Vector Machines (Platt‑Skalierung)
https://home.cs.colorado.edu/~mozer/Teaching/syllabi/6622/papers/Platt1999.pdf
https://www.csie.ntu.edu.tw/~cjlin/papers/plattprob.pdf
• Wikipedia – Brier score (Proper scoring rule für Wahrscheinlichkeiten)
https://en.wikipedia.org/wiki/Brier_score
• Wikipedia – Confidence interval (Definition, Bedeutung 95 %-Konfidenz)
https://en.wikipedia.org/wiki/Confidence_interval
https://en.wikipedia.org/wiki/Binomial_proportion_confidence_interval