Quantisierung macht ein Sprachmodell kleiner, indem seine Zahlen mit weniger Genauigkeit gespeichert werden. So kann ein großes Modell auf einer normalen Grafikkarte laufen, etwa für Domino IQ.
Quantisierung ist ein Weg, ein Sprachmodell kleiner zu machen. Das Modell besteht aus Milliarden von Zahlen. Bei der Quantisierung wird jede Zahl mit weniger Genauigkeit gespeichert.
Eine Rechnung
Ein Modell mit 70 Milliarden Zahlen ist in voller Größe etwa 280 GB groß. Mit 8 Bit gespeichert sind es etwa 70 GB. Mit 4 Bit gespeichert, was man Q4 nennt, sind es etwa 35 GB.
Was kostet das?
Ein kleineres Modell kann etwas Qualität verlieren. Wie viel, muss man in der Praxis testen. Q4 und Q5 gelten oft als gut genug für die meisten Aufgaben.
Quantisierung und Domino IQ
Soll Domino IQ das Modell auf Ihrem eigenen Server ausführen, muss das Modell in den Speicher der Grafikkarte passen. Deshalb nutzt man fast immer ein quantisiertes Modell. Es muss im Format GGUF vorliegen.
