Token
Ein Token ist die kleinste Texteinheit, mit der ein Sprachmodell rechnet, meist ein Wortteil. Token bestimmen Kontextgrenzen, Verarbeitungsdauer und Kosten.
Sprachmodelle lesen Text nicht Buchstabe für Buchstabe und nicht Wort für Wort, sondern in Token. Ein Token ist ein häufig vorkommendes Textstück: ein kurzes Wort, ein Wortteil, ein Satzzeichen. Im Deutschen entsprechen 100 Token ungefähr 60 bis 75 Wörtern; zusammengesetzte Wörter werden oft in mehrere Token zerlegt.
Token sind die Maßeinheit für fast alles rund um ein Modell. Das Kontextfenster wird in Token angegeben, die Rechenzeit einer Antwort wächst mit der Zahl der Token, und Anbieter rechnen ihre Leistung nach Eingabe- und Ausgabe-Token ab. Ein langes Dokument im Kontext kostet deshalb bei jeder Frage erneut.
Die Zerlegung übernimmt ein Tokenizer, der zu jedem Modell gehört. Verschiedene Modelle zerlegen denselben Text unterschiedlich, weshalb Token-Zahlen zwischen Modellen nicht direkt vergleichbar sind.
Was das für Ihr Unternehmen bedeutet
Für die Planung im Unternehmen sind Token die Größe, in der Kontingente und Limits gemessen werden. Wer weiß, dass eine Seite Text etwa 500 bis 700 Token umfasst, kann abschätzen, wie viele Dokumente und Fragen ein monatliches Kontingent trägt. Die Tarife der vector zero App unterscheiden sich unter anderem in ihren Token-Limits, nicht im Funktionsumfang.