Temperature (bei Sampling)

Okt. 17, 2025

—

von

Philipp: Schweizer KI Akademie

Einfach erklärt

Temperature ist ein Regler für Zufälligkeit beim Text‑, Bild‑ oder Audio‑Generieren.

Kleine Temperature (z. B. 0.2–0.7): Der Regler steht niedrig → die Maschine wählt eher die sichersten Wörter/Bilder → präzise, aber weniger kreativ.
Große Temperature (z. B. 1.0–1.5): Der Regler steht hoch → es wird mutiger ausprobiert → kreativer, aber auch chaotischer.

Kurz: Temperature runter = vorsichtig & vorhersehbar.
Temperature rauf = kreativ & überraschend.

Ganz einfache Beispiele (mit Alltagsbildern):

• Würfel‑Regler: Stell dir einen Würfel vor, der lieblingsseitig ist (manche Seiten kommen öfter).
– Low Temp: fast immer die Lieblingsseite.
– High Temp: auch die seltenen Seiten kommen häufiger dran.

• Musik‑DJ:
– Low Temp: der DJ spielt bekannte Hits – sicher, aber wenig Abwechslung.
– High Temp: der DJ mischt ungewöhnliche Tracks – spannend, kann aber daneben gehen.

• Autovervollständigen:
– Low Temp: schreibt Sätze so fertig, wie es meistens passt.
– High Temp: traut sich ungewöhnliche Fortsetzungen.

Professionelle Definition (verständlich)

Viele Generatoren wählen das nächste Wort/Bild‑Bauteil über Softmax‑Wahrscheinlichkeiten aus Rohwerten (Logits). Die Temperature T skaliert diese Rohwerte vor dem Softmax:

„Durch T teilen, dann Softmax“ →
T < 1 macht die Verteilung spitzer (größter Kandidat gewinnt häufiger).
T = 1 ist normal.
T > 1 macht die Verteilung flacher (mehr Ausprobieren).
T → 0 nähert sich Argmax (immer der Top‑Kandidat).
T → ∞ nähert sich Zufall (fast gleichverteilt).

Zusammenspiel mit anderen Reglern:

Top‑k: Erlaubt nur die k besten Kandidaten; mit hoher T kommen mehr Kandidaten in Frage, top‑k schneidet dann trotzdem ab.
Top‑p (Nucleus): Nimmt die kleinste Menge Kandidaten, deren Summe p (z. B. 0.9) erreicht; T steuert, wie flach oder spitz diese Wahrscheinlichkeiten sind.
Reproduzierbarkeit: Mit Seed bleibt das Ergebnis trotz Temperature wiederholbar.