Präzise Justierung der Wahrscheinlichkeitsverteilung in Large Language Models. Erfahren Sie, wie Sie die Kreativität und Determiniertheit Ihrer KI-Ausgaben durch technische Konfiguration steuern.
Skaliert die Logits vor der Softmax-Funktion. Niedrige Werte machen das Modell "sicherer", hohe Werte verteilen die Wahrscheinlichkeit auf weniger wahrscheinliche Token.
Begrenzt die Auswahl auf eine kumulative Wahrscheinlichkeit. Das Modell betrachtet nur die Top-Token, deren Summe P ergibt (z.B. 0.9 für die obersten 90%).
Definiert die harte Grenze der Antwortlänge. Wichtig für die Kostenkontrolle und um das "Abschweifen" des Modells bei langen Ketten zu verhindern.
"Die Kombination aus Temperatur 0.0 und einem präzisen System-Prompt ist der Goldstandard für datengetriebene Extraktionsaufgaben in der Industrie."
— Nenolore Technical Lead
Wie beeinflusst die Temperatur technisch die Token-Auswahl?
Mathematisch gesehen wird jeder Logit durch den Temperaturwert T geteilt. Wenn T klein ist (nahe 0), werden die Unterschiede zwischen den Wahrscheinlichkeiten extrem vergrößert. Der wahrscheinlichste Token nähert sich einer Wahrscheinlichkeit von 1.0 an, während alle anderen gegen 0 gehen. Dies führt zu einer fast deterministischen Ausgabe, die ideal für Code-Generierung oder Faktenabfrage ist.
Wann sollte man eine Temperatur von über 1.0 verwenden?
Werte über 1.0 machen die Wahrscheinlichkeitsverteilung flacher. Das bedeutet, dass auch sehr unwahrscheinliche Token eine reale Chance bekommen, gewählt zu werden. Dies ist nützlich für Brainstorming-Sitzungen oder wenn man absichtlich "Out-of-the-box"-Ideen generieren möchte. Vorsicht: Zu hohe Werte (z.B. 1.5 oder 2.0) führen oft zu Kauderwelsch und syntaktisch falschen Sätzen.
Warum ist Top-P oft besser als Top-K?
Während Top-K eine feste Anzahl von Token (z.B. die besten 50) betrachtet, passt sich Top-P (Nucleus Sampling) der Form der Wahrscheinlichkeitskurve an. In Situationen, in denen das Modell sehr sicher ist, umfasst der Nucleus nur wenige Token. Wenn das Modell unsicher ist, vergrößert sich der Pool automatisch. Dies verhindert, dass bei hoher Unsicherheit völlig irrelevante Wörter gewählt werden, nur weil die Top-K-Liste gefüllt werden muss.
Kann man Temperatur und Top-P gleichzeitig ändern?
Technisch ist es möglich, aber die meisten Experten (einschließlich OpenAI) empfehlen, nur einen der beiden Parameter pro Experiment zu verändern. Wenn man beide gleichzeitig justiert, wird es schwierig zu isolieren, welcher Parameter für eine Änderung in der Antwortqualität verantwortlich ist. In der Praxis wird oft Top-P auf 1.0 belassen, während man die Temperatur feinjustiert, oder umgekehrt.
Bei einer Temperatur von 0 führt das Modell ein sogenanntes "Greedy Decoding" durch. Es wählt immer den Token mit der absolut höchsten Wahrscheinlichkeit aus. Dies ist ideal für Aufgaben, bei denen es nur eine richtige Antwort gibt, wie mathematische Berechnungen oder die Umwandlung von JSON in XML. Es eliminiert die Zufälligkeit fast vollständig.
Nein, die Parameter Temperatur und Top-P beeinflussen nur die Berechnung der Wahrscheinlichkeiten während der Inferenz. Sie haben keinen direkten Einfluss auf die Anzahl der verarbeiteten oder generierten Token. Allerdings können hohe Temperaturen zu längeren, ausschweifenden Antworten führen, was indirekt die Kosten durch eine höhere Token-Anzahl erhöht.
Ja, ein signifikanter. Hohe Temperaturen erhöhen das Risiko von Halluzinationen, da das Modell ermutigt wird, weniger wahrscheinliche (und damit oft faktisch falsche) Pfade zu wählen. Für faktenbasierte Anwendungen sollte die Temperatur immer unter 0.5 gehalten werden, kombiniert mit Techniken wie Few-Shot Prompting.
Dies sind ergänzende Parameter. Die Frequency Penalty bestraft Token basierend auf ihrer Häufigkeit im bisherigen Text, um Wiederholungen zu vermeiden. Die Presence Penalty bestraft Token, wenn sie überhaupt schon einmal vorkommen, was das Modell dazu zwingt, über neue Themen zu sprechen. Beide sind nützlich, um die Monotonie in langen Texten zu durchbrechen.