Ein Token ist die kleinste Einheit, in der ein großes Sprachmodell Text liest und schreibt, und zugleich die Einheit für die nutzungsabhängige API-Abrechnung. Ein Modell liest keine chinesischen Schriftzeichen oder Wörter direkt, sondern kennt nur Folgen von Zahlen: Der eingegebene Text wird zuerst von einem Tokenizer in Tokens zerlegt, in Nummern umgewandelt und dem Modell übergeben, beim Ausgeben werden die Nummern wieder in Text zurückverwandelt. Laut OpenAI entspricht ein Token im Englischen etwa vier Zeichen, also rund drei Vierteln eines Wortes; 100 Tokens sind etwa 75 englische Wörter. Wer diese Einheit versteht, hat endlich einen gemeinsamen Maßstab, wenn es um Kontextlänge und Rechnungen geht.
Wie Tokens entstehen
Tokenizer arbeiten mit statistischen Verfahren wie Byte-Pair-Encoding: Häufige Wörter belegen einen einzigen Token, seltene oder lange Wörter werden in mehrere zerlegt, und auch Satzzeichen, Leerzeichen und Ziffern können eigene Tokens bilden. OpenAI hat seinen eigenen Tokenizer tiktoken als Open Source veröffentlicht, sodass man die Tokens eines beliebigen Textes selbst nachzählen kann. Dabei ist zu beachten, dass verschiedene Modelle unterschiedliche Tokenizer verwenden, sodass derselbe Satz je nach Modell unterschiedlich viele Tokens haben kann. Im Chinesischen belegt ein gängiges Schriftzeichen in der Regel etwa ein bis zwei Tokens, während Code, URLs und lange Zahlenfolgen meist feiner zerlegt werden – ein chinesischer und ein englischer Text gleicher Länge kosten also nicht gleich viel.
Ein Token ist weder ein Zeichen noch ein Wort
Auf der Rechnung tauchen in der Regel drei Arten auf. Input-Tokens sind alles, was man sendet: die Frage, eingefügte Dokumente, der Gesprächsverlauf und Systemanweisungen. Output-Tokens sind der Text, den das Modell zurückschreibt, und sie kosten meist mehr als Input-Tokens. Reasoning-Tokens nutzt ein Reasoning-Modell intern zum Nachdenken; sie erscheinen nie in der Antwort, werden aber zum Output-Preis berechnet. Preise werden üblicherweise pro Million Tokens angegeben, Input und Output getrennt. Auch das Kontextfenster wird in Tokens gemessen: Ein Fenster von einer Million Tokens bedeutet nicht Platz für eine Million Wörter. Verlauf, Tool-Ergebnisse und andere Inhalte belegen ebenfalls Platz, und ist das Fenster voll, muss gekürzt oder komprimiert werden.
Einige häufige Missverständnisse
Erstens bedeutet weniger Text nicht automatisch niedrigere Kosten: Code und Zahlen sind token-dicht, und ein Fehlerprotokoll kann weit mehr Tokens enthalten als ein gleich langer Prosatext. Zweitens bedeutet ein niedriger Stückpreis keine niedrige Gesamtrechnung: Ein Reasoning-Modell mag pro Token günstiger sein, denkt aber vor der Antwort lange nach, und diese Reasoning-Tokens können die Gesamtkosten über die eines teureren Modells treiben. Drittens behandeln viele das Kontextfenster wie ein Lager und stopfen alles hinein, doch je größer das Fenster, desto mehr Input-Tokens trägt jede Anfrage und desto schneller wächst die Rechnung; lange Gespräche regelmäßig zu kürzen, ist der ehrliche Weg zum Sparen.
Die Sparmethoden sind einfach: Anforderungen vor dem Fragen klar formulieren, damit das Modell keinen langen Entwurf schreibt, den man dann überarbeiten lässt; lange Dokumente erst zusammenfassen und dann einfügen, statt den ganzen Text hineinzuwarfen; sich wiederholende Anweisungen cachen; und für einfache Aufgaben auf ein kleineres Modell wechseln. Bei Chat-Produkten mit Monatsabo muss man Tokens gar nicht zählen, da monatlich abgerechnet wird. Nur wer über eine API nutzungsabhängig bezahlt, für den wird ein Token direkt zu Geld. Erst verstehen, dann vom Sparen reden – so kann ein niedriger Stückpreis niemanden täuschen.
