Benchmarks sind in der Künstlichen Intelligenz standardisierte Tests mit festen Aufgaben, Datensätzen und Messregeln. Sie sorgen dafür, dass man Modelle und Hardware fair vergleichen kann – also nicht „Äpfel mit Birnen“. Ergebnisse werden meist in Ranglisten (Leaderboards) veröffentlicht und sind öffentlich nachvollziehbar.
Ein zentraler Bezugspunkt für Sprachmodelle ist das Open LLM Leaderboard von Hugging Face. Dort werden offene LLMs mit einheitlichen Aufgaben ausgewertet und in einer Rangliste dargestellt (https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard). Hintergrundinformationen zu Version 2 gibt es im begleitenden Blog (https://huggingface.co/spaces/open-llm-leaderboard/blog) und in der Übersichtssammlung (https://huggingface.co/collections/open-llm-leaderboard/open-llm-leaderboard-2-660cdb7601eba6852431fffc).
Für die Systemleistung (also wie gut Rechner/Cluster mit KI-Workloads umgehen) ist MLPerf der Industriestandard:
- MLPerf Training misst, wie schnell Systeme ein Modell bis zu einer Zielqualität trainieren (https://mlcommons.org/benchmarks/training/).
- MLPerf Inference misst, wie schnell ein System mit einem bereits trainierten Modell Anfragen beantwortet (z. B. im Rechenzentrum) (https://mlcommons.org/benchmarks/inference-datacenter/).
Weitere Infos und Referenzimplementierungen: https://docs.mlcommons.org/inference/ und https://github.com/mlcommons/inference.
Weil bei LLMs Testsatz‑Kontamination (wenn Trainingsdaten Teile des Tests enthalten) ein echtes Thema ist, gibt es Benchmarks wie LiveBench, die auf regelmäßig aktualisierte, verifizierbare Aufgaben setzen (https://livebench.ai/ und PDF: https://livebench.ai/livebench.pdf).
Wichtig: Benchmarks sind extrem nützlich, bilden aber nicht jede reale Anwendung perfekt ab. Sie sind eine objektive Startbasis für Vergleiche. Für Entscheidungen im eigenen Projekt sollten immer auch praxisnahe Tests mit den eigenen Daten und Anforderungen durchgeführt werden.