Lire le nom d'un modèle

Sur les catalogues de modèles ouverts, les noms ressemblent à des codes : Famille-3-30B-A3B-Instruct-Q4_K_M.gguf. Chaque morceau a un sens, et savoir les lire évite de télécharger vingt gigaoctets pour rien.

Décoder, morceau par morceau

• La famille et la version : le nom du modèle et sa génération. Une version plus récente de la même famille est en général meilleure à taille égale.
• 30B : 30 milliards de paramètres au total (B pour billion, milliard en anglais). C'est ce qui détermine la mémoire nécessaire.
• A3B : 3 milliards de paramètres actifs par token. Signe d'un mélange d'experts : rapide comme un petit modèle, mais il faut quand même charger les 30 milliards.
• Instruct (parfois it ou chat) : version réglée pour dialoguer et suivre des consignes. Une version Base n'est qu'un compléteur de texte : elle ne répond pas comme un assistant.
• Thinking ou Reasoning : version qui réfléchit avant de répondre, meilleure sur les problèmes, plus lente et plus gourmande.
• Q4_K_M : le niveau de quantization, ici 4 bits avec une méthode courante qui préserve bien la qualité. Q8 est plus fidèle et deux fois plus lourd ; Q2 ou Q3 sont plus légers mais se dégradent nettement.
• .gguf : le format de fichier utilisé par la plupart des outils locaux grand public.

Les autres mentions

Coder signale une spécialisation en programmation ; VL ou Vision, un modèle qui accepte des images. Distill indique un petit modèle entraîné à imiter un grand : souvent excellent pour sa taille, mais pas l'équivalent du grand.

La licence, qu'on oublie toujours

« Ouvert » ne veut pas dire « libre de tout usage ». Certains modèles sont publiés sous des licences très permissives (Apache 2.0, MIT), d'autres sous des licences maison avec des conditions : seuils d'utilisateurs, usages interdits, obligation de mentionner le modèle. Pour un usage personnel, c'est rarement bloquant ; pour un produit ou un usage commercial, lisez-la avant de construire dessus.