Spring til indhold

Sprogmodel

En sprogmodel (LLM) er den AI, der læser og skriver tekst. Den gætter det næste ord ud fra alt det, den er trænet på. Domino IQ kører en sprogmodel på serveren.

En sprogmodel er den del af AI, der læser og skriver tekst. På engelsk hedder den Large Language Model, forkortet LLM. ChatGPT, Claude og Llama er eksempler.

Hvordan virker en sprogmodel?

Modellen tænker ikke som et menneske. Den deler teksten op i små stykker, som kaldes tokens. Derefter gætter den det mest sandsynlige næste stykke, igen og igen. Den bygger på mønstre fra alt det, den er trænet på.

Derfor kan den tage fejl. Følger den et forkert spor, finder den på et svar. Det kaldes at hallucinere. En model, der ikke er trænet på dansk, svarer ofte dårligt på dansk.

Stor eller lille model

En sprogmodel er en fil. Den kan fylde fra et par GB til flere hundrede GB. Modeller til lokal brug fylder ofte 16 til 32 GB. Med kvantisering kan en stor model blive mindre, så den passer til et almindeligt skærmkort.

En lille model, der er lavet til en bestemt opgave, kan være bedre end en stor model, der skal kunne alt. Den er også billigere at køre.

Sprogmodeller i Domino IQ

Domino IQ kører én sprogmodel ad gangen på Domino serveren. Modellen skal være i formatet GGUF. Mange åbne modeller kan hentes gratis fra Hugging Face. Vælg en model, der passer til jeres sprog, jeres fag og jeres skærmkort.

Alle ord i ordbogen