Einfach erklärt
F1 sagt, wie gut ein Modell gleichzeitig bei Trefferquote (Recall) und Genauigkeit der Treffer (Precision) ist.
- Precision: Von allem, was das Modell als positiv meldet – wie viel davon ist wirklich positiv?
- Recall: Von allen wirklich positiven Fällen – wie viele findet das Modell?
Der F1‑Wert ist der harmonische Mittelwert aus Precision und Recall. Er ist hoch, wenn beides hoch ist; fällt stark, sobald eins von beiden schwach ist.
Kurz: F1 belohnt Balance zwischen „richtig gefunden“ und „sauber getroffen“.
Ganz einfache Beispiele (mit Alltagsbildern)
• E‑Mail‑Spamfilter:
– Precision: Von allen Mails im Spam‑Ordner – wie viele sind wirklich Spam (und keine wichtigen Mails, die fälschlich dort landen)?
– Recall: Von aller Spam‑Post – wie viel wurde wirklich abgefangen?
– F1: Gut, wenn wenig Fehlalarme und wenig durchgerutscht.
• Krebs‑Screening:
– Precision: Von allen als auffällig markierten Befunden – wie viele sind wirklich Krankheitsfälle?
– Recall: Von allen tatsächlichen Krankheitsfällen – wie viele hat der Test erwischt?
– F1: Strafe, wenn z. B. viel Alarm (niedrige Precision) oder viele Übersehen (niedriger Recall).
• Suchen im Lager:
– Precision: In der Fundkiste liegen fast nur richtige Teile.
– Recall: Ihr habt nahezu alle gesuchten Teile gefunden.
– F1: Hoher F1 erst, wenn beides klappt.
Professionelle Definition (verständlich)
Bei binärer Klassifikation mit Precision (P) und Recall (R) gilt:
F1 = 2 · (P · R) / (P + R).
Er ist der harmonische Mittelwert – dadurch bestraft F1 Ungleichgewicht stärker als ein einfacher Mittelwert.
Wann benutzen?
- Wenn Klassen unausgewogen sind (z. B. seltene Positivfälle), ist Accuracy wenig aussagekräftig; F1 ist dann hilfreicher.
- Wenn du gleichzeitig Wert auf wenig Fehlalarme (hohe Precision) und wenig verpasste Fälle (hoher Recall) legst.
Varianten & Praxis:
- Fβ‑Score: Gewichte Recall stärker (β>1) oder Precision stärker (β<1):
Fβ = (1+β²) · (P·R) / (β²·P + R). - Mehrklassen / Multilabel:
– Macro‑F1: Mittel der F1‑Werte je Klasse (alle Klassen gleich gewichtet).
– Weighted‑F1: Wie Macro, aber nach Support gewichtet (häufige Klassen zählen mehr).
– Micro‑F1: Zählt alle True/False Positives/Negatives global – entspricht dem F1 für aggregierte P/R. - Entscheidungsschwelle: F1 hängt von der Threshold‑Wahl ab → Kurven/Validierung nutzen, evtl. Threshold optimieren (z. B. auf Dev‑Set).
- Konfusionsmatrix prüfen: F1 fasst viel zusammen – Fehlerarten immer zusätzlich anschauen.
Quellen
- Wikipedia – F1‑Score (Definition, Varianten)
https://en.wikipedia.org/wiki/F1_score - scikit‑learn – Precision, Recall and F‑measure
https://scikit-learn.org/stable/modules/model_evaluation.html#precision-recall-f-measure-metrics - Powers (2011) – Evaluation: Precision, Recall, F‑measure and Accuracy
https://link.springer.com/article/10.1007/s10791-011-9179-5 - Saito & Rehmsmeier (2015) – The Precision‑Recall Plot is more informative than the ROC Plot when evaluating binary classifiers on imbalanced datasets
https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0118432 - Manning, Raghavan, Schütze (2008) – Introduction to Information Retrieval (Kap. Evaluation)
https://nlp.stanford.edu/IR-book/