Zero Temperature

Okt. 17, 2025

—

von

Philipp: Schweizer KI Akademie

Einfach erklärt

Zero Temperature (beim Sampling) heißt: der Zufalls‑Regler steht ganz unten. Das Modell nimmt immer die allerwahrscheinlichste Option. Kein Würfeln, kein Ausprobieren – komplett bestimmt (deterministisch).

Kurz: Temperature = 0 → immer die Top‑Wahl.
Gut für genaue, nüchterne Antworten. Schlechter für Kreativität oder Abwechslung.

Ganz einfache Beispiele (Alltagsbilder):

• Autovervollständigen auf „streng“: Die Tastatur wählt immer das häufigste nächste Wort.
• Speisekarte nach Häufigkeit: Du bestellst jedes Mal das beliebteste Gericht – nie etwas Neues.
• DJ ohne Risiko: Es laufen nur die größten Hits – sicher, aber langweilig.

Professionelle Definition (verständlich)

Generatoren wählen das nächste Token aus Softmax‑Wahrscheinlichkeiten über Logits. Mit Temperature T skaliert man die Logits vor dem Softmax:
Logits / T → Softmax.
Wenn T → 0, wird die Verteilung extrem spitz: die höchste Wahrscheinlichkeit geht gegen 1, alle anderen gegen 0. Praktisch entspricht das Argmax (die Top‑Wahl).

Bezug zu anderen Verfahren:

Greedy Decoding = immer das aktuelle Top‑Token nehmen → verhält sich wie T ≈ 0.
Beam Search (K=1) entspricht ebenfalls Greedy/Zero‑Temp.
Top‑k/Top‑p sind ohne Wirkung, wenn T = 0 (es bleibt sowieso nur ein Kandidat übrig).

Stärken & Schwächen:

Stärken: Reproduzierbar, präzise, gut für Fakten, Code, strikte Anweisungen.
Schwächen: kann sich wiederholen, klingt formelhaft, übersieht manchmal gute zweitbeste Fortsetzungen.

Praxis‑Tipps (einfach):

Fakten/Code: T = 0 oder sehr niedrig (0.1–0.3).
Kreative Aufgaben: T erhöhen (z. B. 0.8–1.2), sonst wird es eintönig.
Falls Texte schleifen oder repetitiv werden: T leicht anheben oder top‑p (z. B. 0.9) nutzen.