Spring til indhold

Kvantisering

Kvantisering gør en sprogmodel mindre ved at gemme dens tal med færre detaljer. Så kan en stor model køre på et almindeligt skærmkort, fx til Domino IQ.

Kvantisering er en måde at gøre en sprogmodel mindre på. Modellen består af milliarder af tal. Ved kvantisering gemmes hvert tal med færre detaljer.

Et regnestykke

En model med 70 milliarder tal fylder cirka 280 GB i fuld størrelse. Gemt med 8 bit fylder den cirka 70 GB. Gemt med 4 bit, som kaldes Q4, fylder den cirka 35 GB.

Hvad koster det?

En mindre model kan miste lidt kvalitet. Hvor meget, skal man teste i praksis. Q4 og Q5 regnes ofte for gode nok til de fleste opgaver.

Kvantisering og Domino IQ

Skal Domino IQ køre modellen på jeres egen server, skal modellen passe til skærmkortets hukommelse. Derfor bruger man næsten altid en kvantiseret model. Den skal være i formatet GGUF.

Alle ord i ordbogen