Definitionen Künstliche Intelligenz – KI Glossar, Lexikon & Begriffe
-
SentencePiece
Einfach erklärt SentencePiece – Methode zur Textzerlegung ohne Wörterbuch, SentencePiece zerlegt Texte in kleine Bausteine (Subwords), bevor sie in ein KI‑Modell gehen. Es arbeitet nicht mit einem festen Wörterbuch, sondern lernt aus Daten häufige Zeichenfolgen: ganze Wörter, Wortteile oder einzelne Zeichen. Das funktioniert auch bei Sprachen ohne Leerzeichen. Kurz: Text rein → Bausteine lernen →…