Ein Sprachmodell (LLM) ist die KI, die Text liest und schreibt. Es errät das nächste Wort aus allem, womit es trainiert wurde. Domino IQ führt ein Sprachmodell auf dem Server aus.
Ein Sprachmodell ist der Teil der KI, der Text liest und schreibt. Auf Englisch heißt es Large Language Model, kurz LLM. ChatGPT, Claude und Llama sind Beispiele.
Wie funktioniert ein Sprachmodell?
Das Modell denkt nicht wie ein Mensch. Es teilt den Text in kleine Stücke, die man Tokens nennt. Dann errät es das wahrscheinlichste nächste Stück, immer wieder. Es stützt sich auf Muster aus allem, womit es trainiert wurde.
Deshalb kann es sich irren. Folgt es einer falschen Spur, erfindet es eine Antwort. Das nennt man halluzinieren. Ein Modell, das nicht auf Deutsch trainiert wurde, antwortet auf Deutsch oft schlecht.
Großes oder kleines Modell
Ein Sprachmodell ist eine Datei. Sie kann ein paar GB bis mehrere hundert GB groß sein. Modelle für den lokalen Einsatz sind oft 16 bis 32 GB groß. Mit Quantisierung wird ein großes Modell kleiner, sodass es auf eine normale Grafikkarte passt.
Ein kleines Modell für eine bestimmte Aufgabe kann besser sein als ein großes Modell, das alles können soll. Es ist auch günstiger im Betrieb.
Sprachmodelle in Domino IQ
Domino IQ führt jeweils ein Sprachmodell auf dem Domino Server aus. Das Modell muss im Format GGUF vorliegen. Viele offene Modelle gibt es kostenlos bei Hugging Face. Wählen Sie ein Modell, das zu Ihrer Sprache, Ihrem Fachgebiet und Ihrer Grafikkarte passt.
