Imaginez une console de mixage géante, mais avec des milliers de milliards de boutons de réglage. Chaque bouton contrôle une toute petite nuance de la manière dont l'IA transforme ce qu'elle lit en ce qu'elle écrit. Un paramètre, c'est un de ces boutons. "1 500 milliards de paramètres", cela veut dire : 1 500 milliards de boutons ajustables. L'entraînement consiste à trouver le bon réglage de chacun. Voilà, vous avez déjà l'essentiel.
Grok 4.5 : 1 500 milliards de paramètres. LongCat-2.0 : 1 600 milliards. GPT, Claude, Gemini : des chiffres qu'on brandit à chaque sortie comme des muscles qu'on gonfle. Le nombre de paramètres est devenu l'argument marketing par excellence des modèles d'IA. Mais que désigne-t-il vraiment, et mérite-t-il l'importance qu'on lui donne ? Démêlons ça.
La définition simple
Un paramètre est une valeur numérique interne au modèle, ajustée pendant l'entraînement, qui participe à transformer une entrée (votre texte) en une sortie (sa réponse). Reprenons l'image de la console : chaque paramètre est un réglage minuscule. Pris isolément, un paramètre ne veut rien dire. C'est leur combinaison, par milliards, qui encode tout ce que le modèle "sait" faire.
Pendant l'entraînement, dont nous avons décrit les étapes dans notre article sur l'apprentissage des IA, ces milliards de valeurs sont ajustées progressivement, encore et encore, jusqu'à ce que le modèle produise de bonnes prédictions. Le résultat final, ce modèle "entraîné", n'est au fond rien d'autre qu'un gigantesque ensemble de ces valeurs figées. Quand vous téléchargez un modèle open source, vous téléchargez littéralement ses paramètres, qu'on appelle aussi ses "poids" (weights).
Pourquoi le nombre compte (un peu)
Le nombre de paramètres n'est pas dénué de sens. En règle générale, plus un modèle a de paramètres, plus il dispose de "capacité" pour mémoriser des connaissances et capturer des nuances subtiles du langage. Un modèle minuscule ne pourra jamais encoder autant de savoir qu'un modèle géant, tout comme une console à dix boutons ne permettra jamais autant de finesse qu'une console à mille boutons.
C'est pourquoi la course à la taille a longtemps dominé le secteur : on augmentait les paramètres pour augmenter les capacités. Cette relation existe réellement, et elle explique en partie pourquoi les modèles récents sont plus impressionnants que ceux d'il y a trois ans.
Un plus grand nombre de paramètres ne garantit PAS un meilleur modèle. Un modèle géant entraîné sur des données médiocres sera battu par un modèle plus petit entraîné sur des données excellentes et bien affiné. La taille est une capacité potentielle, pas une performance garantie. Juger un modèle uniquement à son nombre de paramètres, c'est comme juger un livre à son nombre de pages : ça vous dit quelque chose sur l'ampleur, rien sur la qualité.
La révolution qui a changé la donne : les experts
Il y a une subtilité récente qui rend le chiffre brut encore plus trompeur. Beaucoup de modèles modernes utilisent une architecture appelée Mixture-of-Experts (mélange d'experts). Au lieu d'activer tous leurs paramètres pour chaque mot généré, ces modèles n'en activent qu'une petite fraction à la fois, en dirigeant chaque tâche vers les "experts" internes les plus pertinents.
Concrètement, LongCat-2.0 affiche 1 600 milliards de paramètres au total, mais n'en active qu'environ 48 milliards par requête. C'est comme avoir une immense équipe de spécialistes, mais ne convoquer que les trois ou quatre qui comptent pour une question donnée. Résultat : un modèle peut être énorme en connaissances stockées tout en restant relativement économe en calcul. Le chiffre "total" et le chiffre "actif" racontent alors deux histoires très différentes, et les communiqués marketing mettent souvent en avant le plus flatteur.
Ce qu'il faut retenir
Le nombre de paramètres est un indicateur de l'ampleur d'un modèle, sa capacité brute à emmagasiner du savoir. C'est une information utile, mais partielle et facile à mal interpréter. Un chiffre élevé impressionne, mais il ne dit rien à lui seul de la qualité des données, de la finesse de l'entraînement, ni de l'architecture qui décide comment ces paramètres sont réellement utilisés.
La prochaine fois qu'un laboratoire vous vend ses "mille milliards de paramètres", vous saurez lire entre les lignes. Demandez-vous : combien sont réellement actifs à chaque instant ? Sur quelles données le modèle a-t-il été entraîné ? Et surtout, que valent ses résultats sur des tests indépendants ? Car au bout du compte, ce qui compte n'est pas le nombre de boutons sur la console, mais la musique qui en sort.