Einfach erklärt

F1 sagt, wie gut ein Modell gleichzeitig bei Trefferquote (Recall) und Genauigkeit der Treffer (Precision) ist.

  • Precision: Von allem, was das Modell als positiv meldet – wie viel davon ist wirklich positiv?
  • Recall: Von allen wirklich positiven Fällen – wie viele findet das Modell?

Der F1‑Wert ist der harmonische Mittelwert aus Precision und Recall. Er ist hoch, wenn beides hoch ist; fällt stark, sobald eins von beiden schwach ist.

Kurz: F1 belohnt Balance zwischen „richtig gefunden“ und „sauber getroffen“.

Ganz einfache Beispiele (mit Alltagsbildern)

E‑Mail‑Spamfilter:
Precision: Von allen Mails im Spam‑Ordner – wie viele sind wirklich Spam (und keine wichtigen Mails, die fälschlich dort landen)?
Recall: Von aller Spam‑Post – wie viel wurde wirklich abgefangen?
F1: Gut, wenn wenig Fehlalarme und wenig durchgerutscht.

Krebs‑Screening:
Precision: Von allen als auffällig markierten Befunden – wie viele sind wirklich Krankheitsfälle?
Recall: Von allen tatsächlichen Krankheitsfällen – wie viele hat der Test erwischt?
F1: Strafe, wenn z. B. viel Alarm (niedrige Precision) oder viele Übersehen (niedriger Recall).

Suchen im Lager:
Precision: In der Fundkiste liegen fast nur richtige Teile.
Recall: Ihr habt nahezu alle gesuchten Teile gefunden.
F1: Hoher F1 erst, wenn beides klappt.

Professionelle Definition (verständlich)

Bei binärer Klassifikation mit Precision (P) und Recall (R) gilt:
F1 = 2 · (P · R) / (P + R).
Er ist der harmonische Mittelwert – dadurch bestraft F1 Ungleichgewicht stärker als ein einfacher Mittelwert.

Wann benutzen?

  • Wenn Klassen unausgewogen sind (z. B. seltene Positivfälle), ist Accuracy wenig aussagekräftig; F1 ist dann hilfreicher.
  • Wenn du gleichzeitig Wert auf wenig Fehlalarme (hohe Precision) und wenig verpasste Fälle (hoher Recall) legst.

Varianten & Praxis:

  • Fβ‑Score: Gewichte Recall stärker (β>1) oder Precision stärker (β<1):
    Fβ = (1+β²) · (P·R) / (β²·P + R).
  • Mehrklassen / Multilabel:
    Macro‑F1: Mittel der F1‑Werte je Klasse (alle Klassen gleich gewichtet).
    Weighted‑F1: Wie Macro, aber nach Support gewichtet (häufige Klassen zählen mehr).
    Micro‑F1: Zählt alle True/False Positives/Negatives global – entspricht dem F1 für aggregierte P/R.
  • Entscheidungsschwelle: F1 hängt von der Threshold‑Wahl ab → Kurven/Validierung nutzen, evtl. Threshold optimieren (z. B. auf Dev‑Set).
  • Konfusionsmatrix prüfen: F1 fasst viel zusammen – Fehlerarten immer zusätzlich anschauen.

Quellen

  1. Wikipedia – F1‑Score (Definition, Varianten)
    https://en.wikipedia.org/wiki/F1_score
  2. scikit‑learn – Precision, Recall and F‑measure
    https://scikit-learn.org/stable/modules/model_evaluation.html#precision-recall-f-measure-metrics
  3. Powers (2011) – Evaluation: Precision, Recall, F‑measure and Accuracy
    https://link.springer.com/article/10.1007/s10791-011-9179-5
  4. Saito & Rehmsmeier (2015) – The PrecisionRecall Plot is more informative than the ROC Plot when evaluating binary classifiers on imbalanced datasets
    https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0118432
  5. Manning, Raghavan, Schütze (2008) – Introduction to Information Retrieval (Kap. Evaluation)
    https://nlp.stanford.edu/IR-book/