La quantification rend un modèle de langage plus petit en stockant ses nombres avec moins de détails. Un grand modèle peut alors tourner sur une carte graphique ordinaire, par exemple pour Domino IQ.
La quantification est une façon de rendre un modèle de langage plus petit. Le modèle se compose de milliards de nombres. Avec la quantification, chaque nombre est stocké avec moins de détails.
Un exemple chiffré
Un modèle de 70 milliards de nombres fait environ 280 Go en taille complète. Stocké en 8 bits, il fait environ 70 Go. Stocké en 4 bits, ce qu'on appelle Q4, il fait environ 35 Go.
Quel est le prix à payer ?
Un modèle plus petit peut perdre un peu de qualité. Il faut tester en pratique pour savoir combien. Q4 et Q5 sont souvent jugés assez bons pour la plupart des tâches.
La quantification et Domino IQ
Si Domino IQ fait tourner le modèle sur votre propre serveur, le modèle doit tenir dans la mémoire de la carte graphique. C'est pourquoi on utilise presque toujours un modèle quantifié. Il doit être au format GGUF.
