Kvantisering gør en sprogmodel mindre ved at gemme dens tal med færre detaljer. Så kan en stor model køre på et almindeligt skærmkort, fx til Domino IQ.
Kvantisering er en måde at gøre en sprogmodel mindre på. Modellen består af milliarder af tal. Ved kvantisering gemmes hvert tal med færre detaljer.
Et regnestykke
En model med 70 milliarder tal fylder cirka 280 GB i fuld størrelse. Gemt med 8 bit fylder den cirka 70 GB. Gemt med 4 bit, som kaldes Q4, fylder den cirka 35 GB.
Hvad koster det?
En mindre model kan miste lidt kvalitet. Hvor meget, skal man teste i praksis. Q4 og Q5 regnes ofte for gode nok til de fleste opgaver.
Kvantisering og Domino IQ
Skal Domino IQ køre modellen på jeres egen server, skal modellen passe til skærmkortets hukommelse. Derfor bruger man næsten altid en kvantiseret model. Den skal være i formatet GGUF.
