Definitionen Künstliche Intelligenz – KI Glossar, Lexikon & Begriffe

Einfach erklärt Ein Token ist eine kleine Informationseinheit. In der KI‑Sprache (NLP) ist das meist ein Wortteil, ein Wort oder ein Zeichen, in die ein Text zerlegt wird (das nennt man Tokenisierung). KI‑Modelle rechnen auf Token‑Folgen – nicht direkt auf rohem Text. Warum macht man das? Wörter sind unterschiedlich lang (z. B. „KI“, „Energieeffizienzverordnung“). Wenn man…

Einfach erklärt Methoden, wie Text zerlegt wird – Tokenization zerlegt Text in kleine Bausteine (Tokens), damit ein Modell damit rechnen kann. Tokens können Wörter, Wortstücke (Subwords) oder sogar Zeichen/Bytes sein. Kurz: Text → kleine Teile → damit rechnet das Modell. Ganz einfache Beispiele (mit Alltagsbildern) • Satz in Wörter schneiden: „Ich liebe Pizza.“ → [Ich]…