Was Temperature tatsächlich macht
Wenn ein LLM ein Token generiert, erzeugt es zunächst einen Rohwert (Logit) für jedes Token in seinem Vokabular und wandelt diese Werte dann über die Softmax-Funktion in Wahrscheinlichkeiten um. Temperature wird innerhalb dieser Umwandlung angewendet: Jedes Logit wird vor dem Softmax durch T geteilt. Das skaliert die Wahrscheinlichkeitsverteilung um - T kleiner als 1 schärft die Spitzen, T größer als 1 verflacht die Verteilung.
Ein häufiges Missverständnis: Temperature 1.0 ist nicht 'maximale Zufälligkeit'. Es ist die Basis - die Verteilung, auf die das Modell trainiert wurde. Stellen Sie es sich wie den Kontrast bei einem Foto vor: T=1 ist das Original; alles andere ist eine Anpassung. Modellhersteller empfehlen typischerweise T=1.0 für ihre Modelle, kombiniert mit [[top-p]] und [[top-k]], um den langen Schwanz unwahrscheinlicher Token abzuschneiden.
Warum T=0 für Reasoning-Modelle riskant ist
Bei Temperature 0 gibt es kein Sampling - das Modell wählt deterministisch immer das wahrscheinlichste Token. Das klingt nach Konsistenz, führt aber zu einem Fehlermodus: Gerät das Modell in ein selbstverstärkendes Muster, kann es nicht entkommen. Sampling bietet einen Ausweg; Greedy Decoding nicht. Wir haben beobachtet, wie Reasoning-Modelle bei T=0 in unendliche Synonymschleifen gerieten - das Problem korrekt gelöst, dann durch umformulierte Schlussfolgerungen gekreist, bis sie das Token-Limit erreichten.
Deshalb warnt unsere Dokumentation: Setzen Sie Temperature immer explizit und verwenden Sie den vom Modellhersteller empfohlenen Wert. Lassen Sie den Parameter weg, führt das bei den meisten Modellen zu Greedy Decoding (T=0), was Endlosschleifen bei Reasoning-Workloads riskiert. Die Infercom-API hat bewusst keinen plattformweiten Standard, um diese Entscheidung sichtbar zu machen.
Praktische Empfehlungen
Für EU-souveräne Modelle auf Infercom verwenden Sie die vom Hersteller empfohlenen Werte: MiniMax-M2.7 empfiehlt Temperature 1.0, top_p 0.95, top_k 40; gpt-oss-120b empfiehlt Temperature 1.0, top_p 1.0. Wenn Sie fokussiertere Ausgaben wünschen, senken Sie Temperature auf 0.3-0.7 statt auf null - Sie reduzieren die Varianz, ohne die Fehlermodi des Greedy Decodings auszulösen. Und vergessen Sie nicht: Selbst bei T=0 sind byteidentische Ausgaben über verteilte Inferenz nicht garantiert - Floating-Point-Varianz in parallelen Berechnungen kann knappe Entscheidungen kippen.
Quellen
Verwandte Begriffe
Top-P (Nucleus Sampling)
Eine Sampling-Methode, die nur genug hochwahrscheinliche Token behält, um eine kumulative Wahrscheinlichkeit p zu erreichen - der Kandidatenpool passt sich der Sicherheit des Modells an.
Top-K Sampling
Eine Sampling-Methode, die die Auswahl auf die k wahrscheinlichsten Token beschränkt - eine harte Obergrenze für den Kandidatenpool.
Greedy Decoding
Die Dekodierungsstrategie, die immer das wahrscheinlichste Token wählt - deterministisch, aber anfällig für Wiederholungsschleifen.
Inferenz
Der Betrieb eines trainierten KI-Modells zur Erzeugung von Ausgaben - der Produktions-Workload der KI, dessen Kosten und Geschwindigkeit sich mit der Nutzung vervielfachen.
Erfahren Sie, wie SambaNovas Dataflow-Architektur die Ökonomie der Inferenz verändert - und warum wir darauf aufbauen.