Un benchmark, c'est l'équivalent d'un examen national pour les IA. Comme le bac, il pose les mêmes questions à tous les candidats et compare les notes. Et comme le bac, il a ses limites : une bonne note ne garantit pas qu'on soit intelligent dans la vraie vie, et certains apprennent surtout à réussir l'examen plutôt qu'à maîtriser la matière. Gardez cette image en tête, tout l'article tourne autour.
Chaque fois qu'un nouveau modèle d'IA sort, on vous sert une avalanche de pourcentages. "91,9% sur Terminal-Bench." "82,4% sur GPQA Diamond." "Premier sur l'indice Artificial Analysis." Ces chiffres décident des titres de presse, des cours de bourse, et de quel modèle les entreprises vont adopter. Mais que mesurent-ils vraiment ? Et méritent-ils la confiance qu'on leur accorde ? Plongeons dedans.
Définition simple
Un benchmark (en français on pourrait dire "test de référence") est un ensemble standardisé de questions ou de tâches qu'on soumet à différents modèles d'IA pour comparer leurs performances de manière équitable. L'idée est la même que pour n'importe quelle compétition : pour comparer des coureurs, il faut les faire courir sur la même distance, sur la même piste, avec le même chronomètre.
Sans benchmarks, chaque laboratoire dirait simplement "notre IA est la meilleure" sans preuve comparable. Les benchmarks fournissent un terrain commun, chiffré, reproductible. C'est ce qui permet de dire qu'un modèle est "meilleur" qu'un autre sur une compétence précise, au lieu de se fier au marketing.
Les grandes familles de benchmarks
Il en existe des centaines, mais on peut les regrouper par ce qu'ils mesurent. Voici les plus cités en 2026.
| Benchmark | Ce qu'il mesure | Exemple de question |
|---|---|---|
| MMLU | Culture générale et raisonnement sur 57 matières | QCM de niveau universitaire en droit, médecine, histoire... |
| GPQA Diamond | Raisonnement scientifique de niveau doctorat | Problèmes de physique ou chimie qu'un non-expert ne peut pas résoudre même avec Google |
| SWE-bench | Capacité à résoudre de vrais bugs logiciels | Corriger un vrai problème issu d'un projet open source GitHub |
| Terminal-Bench | Autonomie dans un terminal (ligne de commande) | Accomplir une tâche complète sans aide, étape par étape |
| HumanEval | Génération de code correct | Écrire une fonction qui passe une série de tests automatiques |
Vous remarquez une nuance importante : aucun benchmark ne mesure "l'intelligence" en général. Chacun teste une compétence précise. Un modèle peut écraser GPQA (science) et être moyen sur SWE-bench (code), comme nous l'avons vu récemment où Gemini dominait la science pendant que d'autres restaient devant sur le code.
Comment on lit un score
Un détail technique qui revient souvent : le "PASS@1". Ça signifie que le modèle a réussi la tâche du premier coup, sans deuxième essai. Un score de 70% en PASS@1 veut dire que sur 100 tâches, le modèle en a réussi 70 dès la première tentative. C'est plus exigeant que "PASS@5", où on lui laisse cinq essais et on garde le meilleur.
Autre notion : l'Elo, emprunté aux échecs. Plutôt que des questions fixes, on fait s'affronter les modèles deux par deux et des humains votent pour la meilleure réponse. Le score Elo monte ou descend selon les victoires. C'est utile parce que ça mesure la préférence réelle des utilisateurs, pas juste des bonnes réponses à un QCM.
Pourquoi les benchmarks mentent (souvent)
Voici la partie que le marketing ne vous dit pas. Les benchmarks ont des défauts profonds.
La contamination des données. Les modèles sont entraînés sur des milliards de textes aspirés d'internet. Or les questions de nombreux benchmarks traînent aussi sur internet. Résultat : un modèle peut avoir "vu" les réponses pendant son entraînement, et les réciter sans rien comprendre. C'est comme un élève qui aurait mémorisé le corrigé du bac : sa note ne reflète pas sa compréhension.
L'optimisation pour le test. Quand un benchmark devient le critère qui fait vendre, les laboratoires sont tentés d'entraîner spécifiquement leurs modèles pour y briller. Le score monte, mais la compétence réelle dans la vraie vie ne suit pas toujours. Les économistes appellent ça la loi de Goodhart : "quand une mesure devient un objectif, elle cesse d'être une bonne mesure."
Les scores annoncés par le vendeur. La plupart des chiffres d'un lancement sont fournis par le laboratoire lui-même, sans audit indépendant. C'est pour ça que sur Alyriaz, quand nous citons un benchmark de lancement, nous précisons toujours qu'il n'a pas été vérifié par un tiers. Un chiffre du fabricant est une indication, pas une vérité.
Quand vous voyez un score de benchmark, posez-vous trois questions. Qui l'a mesuré (le vendeur ou un tiers indépendant) ? Que mesure exactement ce test (et est-ce que ça correspond à votre usage réel) ? Et le modèle a-t-il pu voir les réponses pendant son entraînement ? Un bon score sur le bon benchmark, mesuré par un tiers, reste une info précieuse. Un bon score sorti d'un communiqué de presse mérite un haussement de sourcil.
Alors, à quoi ça sert ?
Malgré leurs défauts, les benchmarks restent irremplaçables. Ils sont le seul langage commun qui permet de comparer des modèles autrement qu'à l'instinct. Les meilleurs classements, comme ceux d'Artificial Analysis, agrègent plusieurs tests et privilégient les évaluations indépendantes, ce qui réduit les biais.
Le bon usage, c'est de les voir comme une boussole, pas comme une vérité absolue. Un benchmark vous dit dans quelle direction chercher. Mais le seul vrai test d'un modèle, c'est celui que vous ferez vous-même, sur vos propres tâches. Comme pour le bac : la note ouvre des portes, mais c'est dans la vie réelle qu'on voit ce que vaut quelqu'un.