Ein Token ist die kleinste Verarbeitungseinheit, in die ein Sprachmodell Text zerlegt. Ein Tokenizer zerlegt Eingabetext vor der Verarbeitung in solche Einheiten – je nach Verfahren ganze Wörter, Wortteile (Subwörter) oder einzelne Zeichen. Moderne Modelle wie die GPT-Reihe nutzen meist Subwort-Verfahren wie Byte-Pair-Encoding, bei dem häufige Zeichenfolgen zu einem Token zusammengefasst werden.
Jeder eindeutige Token erhält eine ID; die Menge aller bekannten Token bildet das Vokabular des Modells. Text wird so zu einer Folge von Token-IDs, auf der das Modell rechnet und zu der es das jeweils nächste Token vorhersagt. Als Faustregel entspricht ein Token im Englischen grob vier Zeichen bzw. rund 0,75 Wörtern.
Token sind zugleich die Abrechnungs- und Limit-Einheit: Die Größe des Kontextfensters wird in Token gemessen, und die Kosten kommerzieller Modelle bemessen sich meist nach der Zahl der Ein- und Ausgabe-Token.