Zum Inhalt springen

Token

Ein Token ist ein kleines Stück Text, das ein Sprachmodell liest und schreibt. KI in der Cloud wird oft pro Million Tokens bezahlt, deshalb bestimmt die Zahl den Preis.

Ein Token ist ein kleines Stück Text. Ein Sprachmodell teilt alles in Tokens auf, bevor es den Text liest. Ein Token kann ein ganzes Wort sein, ein Teil eines langen Wortes oder ein Zeichen wie ein Punkt.

Warum sind Tokens wichtig?

Preis: KI in der Cloud wird oft pro Million Tokens bezahlt. Das gilt für das, was Sie senden, und für das, was Sie zurückbekommen. Ein Agent, der es mehrmals versucht, kann viele Tokens verbrauchen. Deshalb ist der Preis schwer vorherzusagen. Schauen Sie lieber darauf, was es kostet, eine Aufgabe zu lösen.

Platz: Ein Modell kann sich nur eine gewisse Zahl von Tokens auf einmal merken. Das nennt man das Kontextfenster.

Tokens und Domino IQ

Führt Domino IQ das Modell auf Ihrem eigenen Server aus, zahlen Sie nicht pro Token. Sie zahlen für Hardware und Strom. Das kann viel günstiger sein, wenn Sie KI viel nutzen.

Alle Begriffe im Glossar