Ein Sprachmodell liest Ihren Text nicht als Wörter oder gar als Gedanken. Es zerlegt jede Eingabe in Token: kleine Textstücke, oft Wortteile. Häufige Wörter sind ein einziges Token, seltene oder zusammengesetzte Wörter zerfallen in mehrere. Das deutsche Wort „Wertpapierabrechnung“ wird zum Beispiel in Segmente wie „Wertpapier“ und „abrechnung“ zerlegt, die „Versicherungsnehmerin“ etwa in „Versicherungs“, „nehmer“, „in“.
Als Faustregel entspricht ein deutsches Wort im Schnitt etwa 1,3 Token. Eine Seite Text (rund 500 Wörter) sind also grob 650 Token, ein 100-Seiten-Bericht rund 65.000 Token. Diese Größenordnung hilft Ihnen gleich bei der nächsten Einheit.
Zwei Folgen für Ihren Alltag: Erstens bedeuten lange Dokumente viele Token, und die Menge, die das Modell gleichzeitig verarbeiten kann, ist begrenzt. Zweitens verarbeitet das Modell auch Zahlen als Token, also als Zeichenketten, nicht als Rechengrößen. Warum das für Berechnungen wichtig ist, sehen Sie in K3 und K13.
Was ist unklar geblieben? Halten Sie es hier fest. Ihre Fragen erscheinen gesammelt auf der Modul- und Startseite und auf Ihrer Ergebnisseite.
