Et token er et lille stykke tekst, som en sprogmodel læser og skriver. AI i skyen betales tit pr. million tokens, så antallet styrer prisen.
Et token er et lille stykke tekst. En sprogmodel deler alt op i tokens, før den læser det. Et token kan være et helt ord, en del af et langt ord eller et tegn som et punktum.
Hvorfor er tokens vigtige?
Pris: AI i skyen betales tit pr. million tokens. Det gælder både det, du sender, og det, du får tilbage. En agent, der prøver flere gange, kan bruge mange tokens. Derfor er det svært at spå om prisen. Se hellere på, hvad det koster at løse én opgave.
Plads: En model kan kun huske et vist antal tokens ad gangen. Det kaldes kontekstvinduet.
Tokens og Domino IQ
Kører Domino IQ modellen på jeres egen server, betaler I ikke pr. token. I betaler for hardware og strøm. Det kan være langt billigere, hvis I bruger AI meget.
