Diskriminierung durch KI

Okt. 6, 2025

—

von

Philipp: Schweizer KI Akademie

1) Einfach erklärt

(Algorithmische Benachteiligung) Diskriminierung durch KI bedeutet: Eine automatische Entscheidung behandelt Menschen unfair – oft, weil die Daten verzerrt sind oder die Regeln ungeeignet sind. Betroffen sind z. B. Geschlecht, Alter, Herkunft, Behinderung oder soziale Merkmale.

Typische Beispiele:

Bewerbungen: Ein System bevorzugt Lebensläufe von Männern, weil die Trainingsdaten alte Muster widerspiegeln.
Kredit/Versicherung: Wohnort oder Beruf dient als „Stellvertreter“ (Proxy) und benachteiligt bestimmte Gruppen.
Gesichtserkennung: Höhere Fehlerraten bei Frauen und People of Color → mehr Falschalarme.
Wohnungsanzeigen: Anzeigen werden seltener bestimmten Gruppen gezeigt (Targeting).

Warum passiert das?

Daten‑Bias: Unausgewogene oder fehlerhafte Daten; Historische Benachteiligung steckt im Datensatz.
Mess‑/Label‑Bias: Schlechte Messungen/Labels (z. B. „Erfolg“ = alte, einseitige Kriterien).
Modell/Deployment‑Bias: Ziel‑/Kostenfunktion oder Nutzung (Kontext) bevorzugt indirekt bestimmte Gruppen.

Was hilft (kurz): Bessere Daten, Fairness‑Tests (Metriken, A/B pro Gruppe), Mitigation (Pre‑/In‑/Post‑Processing), Transparenz, menschliche Aufsicht.

2) Professionelle Definition

Algorithmische Diskriminierung ist eine systematische, ungerechtfertigte Benachteiligung von Personen/Gruppen durch automatisierte Systeme, verursacht durch Bias in Daten, Modellen, Zieldefinitionen oder Einsatzkontexten. Man unterscheidet u. a. direkte (explizit genutztes geschütztes Merkmal) und indirekte Diskriminierung (Proxy/Korrelation).

Fairness‑Metriken (Auswahl):

Demographic Parity (gleiche positive Rate über Gruppen),
Equalized Odds (gleiche True/False‑Positive‑Raten über Gruppen),
Equal Opportunity (gleiche True‑Positive‑Rate),
Predictive Parity/Calibration (gleiche positiven Vorhersagewerte),
Disparate Impact (Verhältnis positiver Raten; oft 80‑%-Regel als Heuristik).

Mitigation‑Ansätze:

Pre‑Processing: Re‑Weighting, Re‑Sampling, Ent‑Biasing von Merkmalen, Anonymisierung (vorsichtig: Proxy‑Risiko bleibt).
In‑Processing: Fairness‑Regularisierung/Constraints, adversariales Debiasing.
Post‑Processing: Schwellenanpassung pro Gruppe, Calibrations.
Prozess/Organisation: Rollen/Reviews, Dokumentation (Datasheets/Model Cards), Monitoring & Vorfall‑Prozesse.

Recht/Standards (EU‑Bezug):

EU‑KI‑Verordnung (AI Act): verlangt für Hochrisiko‑KI u. a. Risikomanagement, geeignete Daten‑Governance, Transparenz, Human Oversight und Qualitäts‑/Konformitätsprüfungen.
NIST AI RMF 1.0: Rahmen für Risiko/Fairness/Transparenz (Govern, Map, Measure, Manage).