Wie ein Sprachmodell Text erzeugt: die Auswahl des nächsten Token

Was ist ein Token und warum erzeugt ChatGPT Text in Token?

Ein Sprachmodell wie ChatGPT verarbeitet Text nicht direkt als Wörter, Sätze oder Bedeutungen. Es arbeitet mit kleineren Einheiten, den sogenannten Token. Ein Token kann ein ganzes Wort, ein Wortteil, ein Satzzeichen oder ein Zeichen mit Leerraum davor sein. Ein Token ist eine Verarbeitungseinheit aus dem festen Vokabular eines Sprachmodells. Dieses Vokabular enthält alle Textbausteine, die das Modell lesen und erzeugen kann. Welche Zeichenfolge zu welchem Token wird, entscheidet der Tokenizer.

Beispiel: Das Wort Suchmaschinenoptimierung kann intern in mehrere Token zerlegt werden:

Such + maschinen + optimierung

Ein anderes Wort kann dagegen als einzelnes Token vorliegen. Auch Leerzeichen können Teil eines Token sein, etwa bei einem Token wie “ Haus”. Deshalb setzt ein Modell Wörter nicht nach menschlichen Wortgrenzen zusammen, sondern nach Tokenfolgen.¹

Für die Texterzeugung ist das entscheidend: Das Modell erzeugt nicht sofort einen ganzen Satz. Es wählt ein Token, fügt es dem bisherigen Kontext hinzu und berechnet anschließend das nächste Token. So entsteht Text Schritt für Schritt. Korrekte Wörter entstehen dabei nicht durch eine feste Regel wie „erst das Wort beenden“. Sie entstehen, weil bestimmte Tokenfolgen im jeweiligen Kontext sehr wahrscheinlich sind. Nach „Ber“ ist zum Beispiel „lin“ wahrscheinlich, wenn der Kontext auf die Hauptstadt Deutschlands verweist. In einem anderen Kontext kann jedoch eine andere Fortsetzung plausibler sein.

Wie wählt ein Sprachmodell das nächste Token aus?

Ein Sprachmodell wählt das nächste Token nicht aus einem fertigen Satz aus. Stattdessen berechnet es nach jedem erzeugten Token neu, welche Fortsetzung zum bisherigen Kontext passt. Dieser Kontext besteht aus der Eingabe des Nutzers und allen Token, die das Modell bereits erzeugt hat.

Das Ergebnis dieser Berechnung sind Logits: Für jedes Token im Vokabular wird ein eigener Rohwert ermittelt. Logits sind weder Prozentwerte noch Wahrscheinlichkeiten. Sie sind Vergleichswerte, die anzeigen, wie stark das Modell ein Token im aktuellen Kontext als nächste Fortsetzung bewertet. Ein höherer Logit bedeutet, dass dieses Token nach der Modellberechnung besser zur bisherigen Tokenfolge passt.

Um aus diesen Rohwerten Wahrscheinlichkeiten zu erhalten, werden sie mit der Softmax-Funktion umgerechnet. Die Softmax-Funktion verwandelt die Logits in positive, vergleichbare Wahrscheinlichkeiten, deren Summe über alle möglichen Token genau 100 Prozent ergibt. Sie arbeitet dabei exponentiell: Schon kleine Abstände zwischen den Logits werden zu großen Unterschieden in den Wahrscheinlichkeiten — wie gleich am Beispiel zu sehen ist.

Aus dieser Wahrscheinlichkeitsverteilung wird dann ein Token ausgewählt, an den bisherigen Text angehängt und als neuer Kontext für den nächsten Schritt verwendet.

Wenn der bisherige Text lautet:

Die Hauptstadt Deutschlands ist Ber

Tabelle 1 — Logits und Softmax (Beispiel Ber → lin)

Nächstes Token	Logit	Wahrscheinlichkeit nach Softmax
lin	8,2	93,7 %
nard	5,4	5,7 %
gen	3,1	0,6 %

Auf den ersten Blick liegen die Logits 8,2 und 5,4 nahe beieinander — die Wahrscheinlichkeiten aber bei 93,7 % zu 5,7 %. Der Grund ist die Exponentialfunktion in der Softmax: Sie macht aus der Differenz der Logits einen Faktor. Hier: exp(8,2 − 5,4) = exp(2,8) ≈ 16 — lin ist also sechzehnmal so wahrscheinlich wie nard. Als Faustregel gilt: Jeder Punkt Vorsprung im Logit verdreifacht fast die Wahrscheinlichkeit.

Wird lin ausgewählt, setzt der Decoder die Token zusammen:

Ber + lin = Berlin

Das Modell folgt dabei keiner festen Regel wie „begonnenes Wort beenden“. Es berechnet nur, welches Token unter dem bisherigen Kontext am besten passt. Nach Ber sind viele Fortsetzungen unwahrscheinlich, aber nicht unmöglich. Der Kontext verengt den Wahrscheinlichkeitsraum.²

LLMs arbeiten autoregressiv: Jeder erzeugte Schritt wird Teil der nächsten Berechnung. Das Modell erzeugt also ein Token, hängt es an den bisherigen Kontext an und berechnet danach erneut, welches Token als Nächstes passt. Text entsteht dadurch als fortlaufende Kette einzelner Token-Entscheidungen.

Wie wird aus Wahrscheinlichkeiten ein Token ausgewählt?

Nachdem die Logits mit Softmax in Wahrscheinlichkeiten umgerechnet wurden, muss das Modell ein konkretes nächstes Token auswählen. Diese Auswahl heißt Decoding. Beim Decoding wird entschieden, wie die Wahrscheinlichkeitsverteilung genutzt wird: immer das wahrscheinlichste Token wählen, zufällig aus mehreren passenden Token ziehen oder den Kandidatenkreis vorher begrenzen.

Tabelle 2 — Das gemeinsame Zahlenset: Logits und Verteilung bei Temperatur 1

Token	Logit	Wahrscheinlichkeit (T = 1)
Berlin	2,2	47,2 %
Hamburg	1,6	25,9 %
München	1,2	17,4 %
Köln	0,6	9,5 %

Die einfachste Strategie ist Greedy Decoding. Dabei wird immer das Token mit der höchsten Wahrscheinlichkeit gewählt. Das wirkt zunächst logisch, kann aber zu monotonen oder repetitiven Texten führen. Die lokal wahrscheinlichste Wahl ist nicht immer die beste Fortsetzung für den ganzen Satz.

Tabelle 3 — Greedy Decoding

Token	Wahrscheinlichkeit	Auswahl
Berlin	47,2 %	wird immer gewählt
Hamburg	25,9 %	nie
München	17,4 %	nie
Köln	9,5 %	nie

Greedy Decoding wählt immer Berlin, weil es die höchste Wahrscheinlichkeit hat.

Beim Sampling wird dagegen aus der Wahrscheinlichkeitsverteilung gezogen. Token mit höherer Wahrscheinlichkeit werden häufiger gewählt, aber schwächere Kandidaten bleiben möglich. Ein Token mit 42 Prozent Wahrscheinlichkeit gewinnt also oft, aber nicht immer. Dadurch können Antworten abwechslungsreicher und natürlicher wirken.

Reines Sampling über das gesamte Vokabular hat jedoch ein Problem: Sehr unwahrscheinliche Token können trotzdem ausgewählt werden. Ein einzelnes unpassendes Token ist selten, aber bei Zehntausenden Token im Vokabular gibt es viele mögliche Ausreißer. Deshalb begrenzen moderne Auswahlstrategien den Kandidatenkreis.

Beim Top-k-Sampling bleiben nur die k wahrscheinlichsten Token übrig. Bei k = 2 würden im Beispiel nur Berlin und Hamburg berücksichtigt. München und Köln fallen heraus. Die Wahrscheinlichkeiten der verbleibenden Token werden neu verteilt, danach wird gezogen.

Tabelle 4 — Top-k-Sampling (k = 2)

Token	Wahrscheinlichkeit vorher	Nach Neuverteilung
Berlin	47,2 %	64,6 %
Hamburg	25,9 %	35,4 %
München	17,4 %	ausgeschlossen
Köln	9,5 %	ausgeschlossen

Beim Top-p-Sampling, auch Nucleus Sampling genannt, gibt es keine feste Anzahl. Stattdessen wird eine Wahrscheinlichkeitsschwelle festgelegt, zum Beispiel p = 0,9. Das Modell geht die Rangliste von oben nach unten durch, bis die aufsummierten Wahrscheinlichkeiten mindestens 90 Prozent erreichen. Nur diese Token bleiben im Kandidatenkreis. An eindeutigen Stellen sind das wenige Token, an offenen Stellen mehr.

Tabelle 5 — Top-p-Sampling (p = 0,9)

Token	Wahrscheinlichkeit	Kumuliert	Nach Neuverteilung
Berlin	47,2 %	47,2 %	52,2 %
Hamburg	25,9 %	73,1 %	28,6 %
München	17,4 %	90,5 %	19,2 %
Köln	9,5 %	100,0 %	ausgeschlossen

Damit unterscheiden sich die Strategien deutlich: Greedy Decoding wählt immer den stärksten Kandidaten. Sampling zieht aus der Verteilung. Top-k begrenzt nach Anzahl. Top-p begrenzt nach aufsummierter Wahrscheinlichkeit.

Was macht die Temperature bei einem Sprachmodell?

Die Temperatur (engl.: temperature) verändert die Stärke der Unterschiede zwischen den berechneten Wahrscheinlichkeiten. Sie entscheidet jedoch nicht darüber, was das Modell „weiß“, und sie fügt auch keine neuen Informationen hinzu. Sie verändert lediglich die Form der Wahrscheinlichkeitsverteilung, aus der das nächste Token ausgewählt wird.

Technisch wird die Temperatur vor der Softmax-Umrechnung angewendet: Die Logits werden durch einen Temperaturwert geteilt und anschließend in Wahrscheinlichkeiten umgerechnet. Dadurch bleibt die Reihenfolge der Token dieselbe, ihre Abstände wirken jedoch stärker oder schwächer.

Bei niedriger Temperature werden die Unterschiede zwischen den Logits verstärkt. Das wahrscheinlichste Token erhält ein höheres Gewicht, während die Chancen schwächerer Kandidaten sinken. Der Text wird dadurch berechenbarer, enger und und konsistenter. Bei hohen Temperaturen werden die Unterschiede abgeschwächt. Auch weniger wahrscheinliche Token erhalten eine größere Chance. Der Text wird variabler und überraschender, kann aber auch unpassendere oder fachlich schwächere Fortsetzungen enthalten.

Tabelle 6 — Temperatur

Token	T = 0,5	T = 1,0	T = 1,5
Berlin	67,7 %	47,2 %	39,6 %
Hamburg	20,4 %	25,9 %	26,5 %
München	9,2 %	17,4 %	20,3 %
Köln	2,8 %	9,5 %	13,6 %

Bei Temperature 0,5 dominiert Berlin deutlich. Bei Temperature 1,5 bleibt Berlin weiterhin am wahrscheinlichsten, aber Hamburg und München bekommen mehr Gewicht. Die Rangfolge bleibt gleich, die Verteilung wird nur flacher oder spitzer.

Für sachliche Texte ist meist eine niedrigere Temperature sinnvoll, weil sie die Auswahl stärker an die wahrscheinlichsten Fortsetzungen bindet. Für kreative Varianten kann eine höhere Temperature nützlich sein, weil sie mehr sprachliche Streuung zulässt.

Best Practices nach Temperaturbereich:

• 0 bis 0,2: Für Faktenfragen, Extraktion, Zusammenfassungen, technische Erklärungen, Korrekturen, strukturierte Ausgaben. Wenig Streuung, stärker an der wahrscheinlichsten Fortsetzung.
• 0,3 bis 0,5: Für sachliche Texte mit etwas natürlicherer Sprache. Gute Zone für Fachartikel, Ratgeber und Varianten ohne zu viel Zufall.
• 0,6 bis 0,8: Für Entwürfe, Formulierungsvarianten, Ideensammlung, weniger starre Texte. Mehr sprachliche Vielfalt, aber etwas höheres Risiko für ungenaue Fortsetzungen.
• 0,9 bis 1,0: Für kreative Texte, Brainstorming, Dialogvarianten, Tonalitätsproben. Deutlich mehr Streuung.
• über 1,0: Nur gezielt testen. Kann nützlich für sehr kreative Exploration sein, wird aber schneller unzuverlässig, sprunghaft oder fachlich unsauber.

Grenzen je Anbieter:

• OpenAI: In der API liegt temperature grundsätzlich zwischen 0 und 2. OpenAI empfiehlt meist, entweder temperature oder top_p zu verändern, nicht beide zugleich. Bei neueren Reasoning-Modellen gibt es Einschränkungen: temperature wird nur bei bestimmten GPT-5.1/5.2-Konfigurationen mit reasoning.effort: none unterstützt.³
• Anthropic Claude: Klassisch lag temperature bei Claude zwischen 0 und 1. Bei Modellen, die nach Claude Opus 4.6 erschienen sind, akzeptiert die API nur noch den Standardwert 1; andere Werte lehnt sie mit einem Fehler ab.⁴
• Google Gemini: Der Bereich ist modellabhängig. Die Gemini-API beschreibt temperature als Wert von 0 bis zur jeweiligen maxTemperature des Modells. Bei Gemini 3.x empfiehlt Google, temperature auf dem Standardwert 1,0 zu belassen.⁵

Was ist ein „Seed“ und warum kann das Sampling reproduzierbar sein?

Ein Seed ist ein Startwert für den Pseudozufall beim Sampling. Er legt fest, welche Zahlenfolge der Zufallsgenerator verwendet, um einen Token aus der Wahrscheinlichkeitsverteilung zu ziehen. Sampling läuft nicht völlig „echt“ zufällig ab: Computer erzeugen Pseudozufall. Die Ergebnisse wirken zwar zufällig, folgen aber einem berechenbaren Verfahren. Wird derselbe Seed erneut verwendet, startet dieses Verfahren wieder an derselben Stelle. Eine Video-Empfehlung: Tom Scott und die Lavalampen.

Wenn Modell, Eingabe, Parameter und Seed gleich bleiben, kann deshalb auch die Token-Auswahl gleich oder sehr ähnlich ausfallen. Das ist nützlich für Tests, Vergleiche und wiederholbare Experimente. Eine vollständige Garantie ist das jedoch nicht. In großen KI-Systemen können Hardware, parallele Berechnungen oder interne Systemänderungen kleine Abweichungen verursachen. Der Seed macht das Sampling also kontrollierbarer, aber nicht in jedem System perfekt deterministisch. OpenAI beschreibt seed als Beta-Parameter, mit dem wiederholte Anfragen möglichst deterministisch werden können; vollständiger Determinismus wird also nicht garantiert.

Wo setzen Wasserzeichen für KI-Texte bei der Token-Auswahl an?

Wasserzeichen für KI-Texte setzen bei der Auswahl des nächsten Token an. Vereinfacht gesagt kann ein System bestimmte Token bei der Auswahl minimal bevorzugen, ohne dass der Text für Leser sichtbar markiert wird. Dadurch entsteht ein statistisches Muster, das später geprüft werden kann.

Wie solche Wasserzeichen funktionieren, welche Verfahren diskutiert werden und wo ihre Grenzen liegen, erklärt der nächste Artikel zum KI-Text-Watermarking.

1. Für Tokenisierung und Modell-Vokabulare siehe OpenAIs Tokenizer-Bibliothek tiktoken. [↩]
2. OpenAI beschreibt GPT-2 als Sprachmodell, das auf die Vorhersage der nächsten Token trainiert wurde: Better language models and their implications. [↩]
3. Quelle: OpenAI Responses API, OpenAI Model Guidance [↩]
4. Quelle: Anthropic Claude API Primer, Anthropic Messages API [↩]
5. Quelle: Gemini API Models [↩]