Ein Token ist das Ergebnis der Tokenisierung:

Einfach erklärt

Ein Token ist eine kleine Informationseinheit. In der KI‑Sprache (NLP) ist das meist ein Wortteil, ein Wort oder ein Zeichen, in die ein Text zerlegt wird (das nennt man Tokenisierung). KI‑Modelle rechnen auf Token‑Folgen – nicht direkt auf rohem Text.

Warum macht man das? Wörter sind unterschiedlich lang (z. B. „KI“, „Energieeffizienzverordnung“). Wenn man Texte in kleinere Bausteine zerlegt, kann das Modell flexibel mit bekannten und neuen Wörtern umgehen (auch mit Fachbegriffen oder Schreibfehlern).

Ausführliche Alltags‑Beispiele:

Wortzerlegung (Deutsch): „Katzenbaum“ → „Katzen“ + „baum“. Bei „E‑Mail‑Adresse“ entstehen ggf. „E“, „‑“, „Mail“, „‑“, „Adresse“; Leerzeichen zählen teils als eigene Tokens.
Satz: „Ich trinke Kaffee.“ → Tokenizer macht etwa: „Ich“ | „ tr“ | „inke“ | „ Kaffee“ | „.“ (nur Beispiel – die genaue Zerlegung hängt vom Tokenizer ab).
Emoji/Unicode: 🧠 oder 🇨🇭 können als ein oder mehrere Tokens enden – je nach Tokenizer/Normalisierung.

Andere Kontexte:

IT‑Sicherheit: Ein API‑Token ist ein geheimer Code, mit dem sich eine App ausweist.
Blockchain: Ein Token steht für einen digitalen Vermögenswert (z. B. ERC‑20‑Token auf Ethereum).

Professionelle Definition (NLP‑Fokus)

Ein Token ist das Ergebnis der Tokenisierung: eine Abbildung von Byte‑/Unicode‑Sequenzen auf diskrete Symbole (IDs) aus einem Vokabular. Ein Tokenizer legt fest:

Vokabular (|V|) mit IDs (inkl. Sonder‑Tokens wie <BOS>, <EOS>, <PAD>, <UNK>),
Segmentierungs‑Regeln/Modelle (z. B. BPE/Byte‑Pair Encoding, WordPiece, Unigram LM/SentencePiece),
Detokenisierung (Tokens → Text).

Gängige Verfahren (mit Kernidee):

BPE: startet mit Zeichen und verschmilzt häufige Zeichenpaare zu Subwörtern („Ka“+„tze“ → „Katze“), bis die Vokabulargröße erreicht ist.
WordPiece: ähnlich, aber probabilistisch optimiert; findet Subwörter, die Wahrscheinlichkeit der Trainingsdaten maximieren.
Unigram LM (SentencePiece): beginnt mit großem Subwort‑Set und entfernt schlechte Einheiten, behält optimale Subwörter bei.

Wie ein LLM mit Tokens arbeitet:

Tokenisierung des Eingabetexts (Prompt).
Einbettung: Jede Token‑ID wird in einen Vektor (Embedding) abgebildet.
Modell (z. B. Transformer) berechnet nächste Token‑Wahrscheinlichkeiten.
Sampling/Decoding (greedy, top‑k/p, Temperatur) erzeugt Ausgabe‑Tokens.
Detokenisierung: Tokens → lesbarer Text.

Kontextlänge & Kosten: Large Language Models haben eine maximale Kontextlänge (Anzahl Tokens für Prompt + Antwort). Rechenaufwand und API‑Kosten steigen in der Praxis mit der Tokenzahl; zu lange Prompts können abgeschnitten werden.

Qualitätseinflüsse:

Sprachen & Morphologie: Deutsch hat lange Komposita → mehr Subwörter → längere Tokenfolgen.
Sonderzeichen/Whitespace: Unterschiedliche Normalisierung (z. B. Unicode‑NFC, Leerzeichen vor Wörtern) beeinflusst die Tokenzahl.
Domäne: Fachtexte (z. B. Chemie, Jura) erzeugen viele seltene Subwörter → längere Sequenzen.

Formale Notiz: Ein Text x wird zu einer Tokenfolge (t_1, …, t_n) mit IDs (i_1, …, i_n). Das Modell approximiert p(t_{n+1}|t_{\le n}) und wählt gemäß Decoding‑Strategie das nächste Token.

Praxis‑Tipps

Kurz & präzise schreiben → weniger Tokens, schneller/günstiger.
Listen/Struktur statt Prosa‑Wand → oft klarere Modelleingaben.
Wiederholungen vermeiden (z. B. denselben Anhang mehrmals einfügen).
Tokenizer vorher testen (z. B. Hugging Face Tokenizers, tiktoken) um Tokenlängen abzuschätzen.
Mehrsprachigkeit prüfen: Bei Deutsch evtl. Begriffe trennen („Energie‑ effizienz‑ verordnung“) – kann Tokenzahl senken (abhängig vom Tokenizer).

Häufige Fragen

Zählen Leerzeichen als Token?
Kommt auf den Tokenizer an; viele führen vor Wort ein Leerzeichen‑Token.

Warum unterscheidet sich die Tokenzahl zwischen Modellen?
Weil unterschiedliche Tokenizer/Vokabulare verwendet werden.

Ist ein „Wort“ immer ein Token?
Nein. Häufig wird ein Wort in mehrere Subwörter zerlegt.

Macht Tokenisierung Fehler?
Sie kann ungewollte Splits setzen (insb. bei Komposita/Emojis/URLs). Das ist normal und vom Tokenizer abhängig.