Un modèle de langage (LLM) est l'IA qui lit et écrit du texte. Il devine le mot suivant à partir de tout ce qu'il a appris. Domino IQ fait tourner un modèle de langage sur le serveur.
Un modèle de langage est la partie de l'IA qui lit et écrit du texte. En anglais, on dit Large Language Model, ou LLM. ChatGPT, Claude et Llama en sont des exemples.
Comment fonctionne un modèle de langage ?
Le modèle ne pense pas comme un humain. Il découpe le texte en petits morceaux, appelés tokens. Ensuite, il devine le morceau suivant le plus probable, encore et encore. Il s'appuie sur les schémas de tout ce qu'il a appris.
C'est pourquoi il peut se tromper. S'il suit une mauvaise piste, il invente une réponse. On dit qu'il hallucine. Un modèle qui n'a pas appris votre langue répond souvent mal dans cette langue.
Grand ou petit modèle
Un modèle de langage est un fichier. Sa taille va de quelques Go à plusieurs centaines de Go. Les modèles pour un usage local font souvent 16 à 32 Go. Avec la quantification, un grand modèle peut devenir plus petit et tenir sur une carte graphique ordinaire.
Un petit modèle fait pour une tâche précise peut être meilleur qu'un grand modèle qui doit tout savoir faire. Il coûte aussi moins cher à faire tourner.
Les modèles de langage dans Domino IQ
Domino IQ fait tourner un seul modèle de langage à la fois sur le serveur Domino. Le modèle doit être au format GGUF. Beaucoup de modèles ouverts sont gratuits sur Hugging Face. Choisissez un modèle adapté à votre langue, à votre métier et à votre carte graphique.
