Wie ein Sprachmodell Text erzeugt: die Auswahl des nächsten Token

Was ist ein Token und warum erzeugt ChatGPT Text in Token?

Ein Sprachmodell wie ChatGPT verarbeitet Text nicht direkt als Wörter, Sätze oder Bedeutungen. Es arbeitet mit kleineren Einheiten, den Token. Ein Token kann ein ganzes Wort, ein Wortteil, ein Satzzeichen oder ein Zeichen mit Leerraum davor sein. Ein Token ist eine Verarbeitungseinheit aus dem festen Vokabular eines Sprachmodells. Dieses Vokabular enthält alle Textbausteine, die das Modell lesen und erzeugen kann. Welche Zeichenfolge zu welchem Token wird, entscheidet der Tokenizer.

Beispiel: Das Wort Suchmaschinenoptimierung kann intern in mehrere Token zerlegt werden:

Such + maschinen + optimierung

Ein anderes Wort kann dagegen als einzelnes Token vorliegen. Auch Leerzeichen können Teil eines Token sein, etwa bei einem Token wie " Haus". Deshalb setzt ein Modell Wörter nicht nach Wortgrenzen zusammen, sondern nach Tokenfolgen.¹

Für die Texterzeugung ist das entscheidend: Das Modell erzeugt nicht sofort einen ganzen Satz. Es wählt ein Token, fügt es dem bisherigen Kontext hinzu und berechnet anschließend das nächste Token. So entsteht Text Schritt für Schritt. Korrekte Wörter entstehen nicht durch eine feste Regel wie "erst das Wort beenden". Sie entstehen, weil bestimmte Tokenfolgen im jeweiligen Kontext sehr wahrscheinlich sind. Nach "Ber" ist zum Beispiel "lin" wahrscheinlich, wenn der Kontext auf die Hauptstadt Deutschlands verweist. In einem anderen Kontext kann jedoch eine andere Fortsetzung plausibler sein.

Wie wählt ein Sprachmodell das nächste Token aus?

Ein Sprachmodell berechnet nach jedem erzeugten Token neu, welche Fortsetzung zum bisherigen Kontext passt. Dieser Kontext besteht aus der Eingabe des Nutzers und allen Token, die das Modell bereits erzeugt hat.

Das Ergebnis dieser Berechnung sind Logits: Für jedes Token im Vokabular wird ein eigener Rohwert ermittelt. Logits sind keine Wahrscheinlichkeiten. Sie sind Vergleichswerte, die anzeigen, wie stark das Modell ein Token im aktuellen Kontext als nächste Fortsetzung bewertet. Ein höherer Logit zeigt, dass das Token besser zur bisherigen Tokenfolge passt.

Um aus diesen Rohwerten Wahrscheinlichkeiten zu erhalten, werden sie mit der Softmax-Funktion umgerechnet. Die Softmax-Funktion verwandelt die Logits in positive, vergleichbare Wahrscheinlichkeiten, deren Summe über alle möglichen Token 100 Prozent ergibt. Sie arbeitet exponentiell: Schon kleine Abstände zwischen den Logits werden zu großen Unterschieden in den Wahrscheinlichkeiten — wie gleich am Beispiel zu sehen ist.

Aus dieser Wahrscheinlichkeitsverteilung wird dann ein Token ausgewählt, an den bisherigen Text angehängt und als neuer Kontext für den nächsten Schritt verwendet.

Wenn der bisherige Text lautet:

Die Hauptstadt Deutschlands ist Ber

Tabelle 1 — Logits und Softmax (Beispiel Ber → lin)

Nächstes Token	Logit	Wahrscheinlichkeit nach Softmax
lin	8,2	93,7 %
nard	5,4	5,7 %
gen	3,1	0,6 %

Auf den ersten Blick liegen die Logits 8,2 und 5,4 nahe beieinander — die Wahrscheinlichkeiten aber bei 93,7 % zu 5,7 %. Der Grund ist die Exponentialfunktion in der Softmax: Sie macht aus der Differenz der Logits einen Faktor. Hier: exp(8,2 − 5,4) = exp(2,8) ≈ 16 — lin ist also sechzehnmal so wahrscheinlich wie nard. Als Faustregel gilt: Jeder Punkt Vorsprung im Logit verdreifacht fast die Wahrscheinlichkeit.

Wird lin ausgewählt, setzt der Decoder die Token zusammen:

Ber + lin = Berlin

Das Modell folgt keiner festen Regel wie "begonnenes Wort beenden". Es berechnet nur, welches Token im bisherigen Kontext am besten passt. Nach Ber sind viele Fortsetzungen unwahrscheinlich, aber nicht unmöglich. Der Kontext verengt den Wahrscheinlichkeitsraum.²

LLMs arbeiten autoregressiv: Jeder erzeugte Schritt wird Teil der nächsten Berechnung. Text entsteht so als Kette einzelner Token-Entscheidungen.

Wie wird aus Wahrscheinlichkeiten ein Token ausgewählt?

Nachdem die Logits mit Softmax in Wahrscheinlichkeiten umgerechnet wurden, muss das Modell ein konkretes nächstes Token auswählen. Diese Auswahl heißt Decoding. Beim Decoding wird entschieden, wie die Wahrscheinlichkeitsverteilung genutzt wird: immer das wahrscheinlichste Token wählen, zufällig aus mehreren passenden Token ziehen oder den Kandidatenkreis vorher begrenzen.

Tabelle 2 — Das gemeinsame Zahlenset: Logits und Verteilung bei Temperatur 1

Token	Logit	Wahrscheinlichkeit (T = 1)
Berlin	2,2	47,2 %
Hamburg	1,6	25,9 %
München	1,2	17,4 %
Köln	0,6	9,5 %

Die einfachste Strategie ist Greedy Decoding. Dabei wird immer das Token mit der höchsten Wahrscheinlichkeit gewählt. Das wirkt zunächst logisch, kann aber zu monotonen oder repetitiven Texten führen. Die lokal wahrscheinlichste Wahl ist nicht immer die beste Fortsetzung für den ganzen Satz.

Tabelle 3 — Greedy Decoding

Token	Wahrscheinlichkeit	Auswahl
Berlin	47,2 %	wird immer gewählt
Hamburg	25,9 %	nie
München	17,4 %	nie
Köln	9,5 %	nie

Greedy Decoding wählt immer Berlin, weil es die höchste Wahrscheinlichkeit hat.

Beim Sampling wird dagegen aus der Wahrscheinlichkeitsverteilung gezogen. Token mit höherer Wahrscheinlichkeit werden häufiger gewählt, aber schwächere Kandidaten bleiben möglich. Ein Token mit 42 Prozent Wahrscheinlichkeit gewinnt also oft, aber nicht immer. Dadurch können Antworten abwechslungsreicher und natürlicher wirken.

Reines Sampling über das gesamte Vokabular hat jedoch ein Problem: Sehr unwahrscheinliche Token können trotzdem ausgewählt werden. Ein einzelnes unpassendes Token ist selten, aber bei Zehntausenden Token im Vokabular sind viele Ausreißer möglich. Deshalb begrenzen moderne Auswahlstrategien den Kandidatenkreis.

Beim Top-k-Sampling bleiben nur die k wahrscheinlichsten Token übrig. Bei k = 2 würden im Beispiel nur Berlin und Hamburg berücksichtigt. München und Köln fallen heraus. Die Wahrscheinlichkeiten der verbleibenden Token werden neu verteilt, danach wird gezogen.

Tabelle 4 — Top-k-Sampling (k = 2)

Token	Wahrscheinlichkeit vorher	Nach Neuverteilung
Berlin	47,2 %	64,6 %
Hamburg	25,9 %	35,4 %
München	17,4 %	ausgeschlossen
Köln	9,5 %	ausgeschlossen

Beim Top-p-Sampling, auch Nucleus Sampling genannt, gibt es keine feste Anzahl, sondern eine Wahrscheinlichkeitsschwelle, zum Beispiel p = 0,9. Das Modell geht die Rangliste von oben nach unten durch, bis die aufsummierten Wahrscheinlichkeiten mindestens 90 Prozent erreichen. Nur diese Token bleiben im Kandidatenkreis. An eindeutigen Stellen sind das wenige Token, an offenen Stellen mehr.

Tabelle 5 — Top-p-Sampling (p = 0,9)

Token	Wahrscheinlichkeit	Kumuliert	Nach Neuverteilung
Berlin	47,2 %	47,2 %	52,2 %
Hamburg	25,9 %	73,1 %	28,6 %
München	17,4 %	90,5 %	19,2 %
Köln	9,5 %	100,0 %	ausgeschlossen

Damit unterscheiden sich die Strategien deutlich: Greedy Decoding wählt immer den stärksten Kandidaten. Sampling zieht aus der Verteilung. Top-k begrenzt nach Anzahl. Top-p begrenzt nach aufsummierter Wahrscheinlichkeit.

Was macht die Temperatur bei einem Sprachmodell?

Die Temperatur (engl.: temperature) verändert die Stärke der Unterschiede zwischen den berechneten Wahrscheinlichkeiten. Sie ändert weder, was das Modell "weiß", noch fügt sie Informationen hinzu. Sie formt nur die Wahrscheinlichkeitsverteilung, aus der das nächste Token gewählt wird.

Die Temperatur wirkt vor der Softmax-Umrechnung: Die Logits werden durch den Temperaturwert geteilt und dann in Wahrscheinlichkeiten umgerechnet. Die Reihenfolge der Token bleibt gleich, ihre Abstände wirken aber stärker oder schwächer.

Bei niedriger Temperatur werden die Unterschiede zwischen den Logits verstärkt. Das wahrscheinlichste Token erhält ein höheres Gewicht, während die Chancen schwächerer Kandidaten sinken. Der Text wird dadurch berechenbarer und konsistenter. Bei hohen Temperaturen werden die Unterschiede abgeschwächt. Auch weniger wahrscheinliche Token erhalten eine größere Chance. Der Text wird variabler und überraschender, kann aber auch unpassendere oder fachlich schwächere Fortsetzungen enthalten.

Tabelle 6 — Temperatur

Token	T = 0,5	T = 1,0	T = 1,5
Berlin	67,7 %	47,2 %	39,6 %
Hamburg	20,4 %	25,9 %	26,5 %
München	9,2 %	17,4 %	20,3 %
Köln	2,8 %	9,5 %	13,6 %

Bei Temperature 0,5 dominiert Berlin deutlich. Bei Temperature 1,5 bleibt Berlin weiterhin am wahrscheinlichsten, aber Hamburg und München bekommen mehr Gewicht. Die Rangfolge bleibt gleich, die Verteilung wird nur flacher oder spitzer.

Für sachliche Texte ist meist eine niedrigere Temperature sinnvoll, weil sie die Auswahl stärker an die wahrscheinlichsten Fortsetzungen bindet. Für kreative Varianten kann eine höhere Temperature nützlich sein, weil sie mehr sprachliche Streuung zulässt.

Best Practices nach Temperaturbereich:

• 0 bis 0,2: Für Faktenfragen, Extraktion, Zusammenfassungen, technische Erklärungen, Korrekturen, strukturierte Ausgaben. Wenig Streuung, stärker an der wahrscheinlichsten Fortsetzung.
• 0,3 bis 0,5: Für sachliche Texte mit etwas natürlicherer Sprache. Gute Zone für Fachartikel, Ratgeber und Varianten ohne zu viel Zufall.
• 0,6 bis 0,8: Für Entwürfe, Formulierungsvarianten, Ideensammlung, weniger starre Texte. Mehr sprachliche Vielfalt, aber etwas höheres Risiko für ungenaue Fortsetzungen.
• 0,9 bis 1,0: Für kreative Texte, Brainstorming, Dialogvarianten, Tonalitätsproben. Deutlich mehr Streuung.
• über 1,0: Nur gezielt testen. Kann nützlich für sehr kreative Exploration sein, wird aber schneller unzuverlässig, sprunghaft oder fachlich unsauber.

Grenzen je Anbieter:

• OpenAI: In der API liegt temperature zwischen 0 und 2. OpenAI empfiehlt, entweder temperature oder top_p zu verändern, nicht beide zugleich. Bei neueren Reasoning-Modellen gibt es Einschränkungen: temperature wird nur bei bestimmten GPT-5.1/5.2-Konfigurationen mit reasoning.effort: none unterstützt.³
• Anthropic Claude: temperature lag bei Claude zwischen 0 und 1. Bei Modellen, die nach Claude Opus 4.6 erschienen sind, akzeptiert die API nur noch den Standardwert 1; andere Werte lehnt sie mit einem Fehler ab.((Quelle: Anthropic Claude API Primer, Anthropic Messages API))
• Google Gemini: Der Bereich ist modellabhängig. Die Gemini-API beschreibt temperature als Wert von 0 bis zur jeweiligen maxTemperature des Modells. Bei Gemini 3.x empfiehlt Google, temperature auf dem Standardwert 1,0 zu belassen.((Quelle: Gemini API Models))

Was ist ein "Seed" und warum kann das Sampling reproduzierbar sein?

Ein Seed ist ein Startwert für den Pseudozufall beim Sampling. Er legt fest, welche Zahlenfolge der Zufallsgenerator verwendet, um einen Token aus der Wahrscheinlichkeitsverteilung zu ziehen. Sampling ist kein echter Zufall, sondern Pseudozufall: Computer folgen einem berechenbaren Verfahren, dessen Ergebnisse nur zufällig wirken. Wird derselbe Seed erneut verwendet, startet dieses Verfahren wieder an derselben Stelle. Eine Video-Empfehlung: Tom Scott und die Lavalampen.

Wenn Modell, Eingabe, Parameter und Seed gleich bleiben, kann die Token-Auswahl gleich oder sehr ähnlich ausfallen. Das ist nützlich für wiederholbare Tests und Vergleiche. Eine Garantie ist das jedoch nicht. In großen KI-Systemen können Hardware, parallele Berechnungen oder interne Systemänderungen kleine Abweichungen verursachen. Der Seed macht das Sampling also kontrollierbarer, aber nicht in jedem System perfekt deterministisch. OpenAI beschreibt seed als Beta-Parameter, mit dem wiederholte Anfragen möglichst deterministisch werden können.

Wo setzen Wasserzeichen für KI-Texte bei der Token-Auswahl an?

Wasserzeichen für KI-Texte setzen bei der Auswahl des nächsten Token an. Ein System kann bestimmte Token bei der Auswahl minimal bevorzugen, ohne dass der Text sichtbar markiert wird. Dadurch entsteht ein statistisches Muster, das später geprüft werden kann.

Wie solche Wasserzeichen funktionieren, welche Verfahren diskutiert werden und wo ihre Grenzen liegen, erklärt der nächste Artikel über KI Textwasserzeichen.