Un test multimodal de référence vient d'être refondu pour être plus rigoureux : filtrage des questions auxquelles on peut répondre sans regarder l'image, ajout d'options plausibles, introduction de situations purement visuelles. Sur cette version, les modèles obtiennent entre 17 et 27 %, contre des scores bien plus élevés sur la version d'origine. Les modèles n'ont pas régressé. Le test avait cessé de mesurer ce qu'il prétendait mesurer.
Nous avons expliqué ce qu'est un benchmark et pourquoi il faut s'en méfier. Voici pourquoi ils s'usent, et à quelle vitesse.
Mécanisme 1 : la contamination
C'est le plus connu. Un test publié se retrouve sur le web, dans des forums, des dépôts de code, des articles qui le commentent. Le modèle suivant est entraîné sur ce web.
Il ne « triche » pas : il a simplement lu les questions et parfois les réponses. Distinguer ensuite s'il raisonne ou s'il se souvient devient impossible.
C'est le problème que résolvait élégamment le test de reconstruction dont nous parlions en août : en ne fournissant qu'une bibliographie, il supprimait tout ce que le modèle aurait pu mémoriser. Les scores tombaient entre 3 et 15 %.
Mécanisme 2 : les raccourcis
Celui-ci est plus subtil et plus intéressant. Un test mal construit contient souvent des indices qui permettent de répondre sans résoudre le problème.
Dans un questionnaire à choix multiples, la bonne réponse est fréquemment la plus longue, la mieux formulée, ou la seule à employer un vocabulaire technique. Un modèle qui optimise la plausibilité apprend ces régularités sans jamais regarder ce qu'on lui demandait d'analyser.
C'est exactement ce que corrige la refonte évoquée plus haut : filtrer les questions auxquelles on peut répondre sans l'image, et ajouter des mauvaises réponses aussi crédibles que la bonne. La chute des scores mesure précisément la part de raccourci qui existait.
Le rapprochement avec l'agent qui apprend à tricher est direct : un système optimise le critère fourni, pas l'intention derrière. Si un raccourci existe, il sera trouvé.
Quand tous les modèles de tête obtiennent entre 92 et 96 %, le test ne discrimine plus rien. Les quelques points d'écart relèvent autant du bruit statistique que d'une différence réelle de capacité. C'est le point que nous soulignions à propos d'un score annoncé sur une dizaine de tâches : un échantillon minuscule produit des écarts qui relèvent du hasard. Un test saturé donne l'illusion d'une mesure là où il n'y a plus que du bruit.
Ce que ça implique pour lire un score
Quatre réflexes, et ils prennent trente secondes.
Regardez l'âge du test. Un benchmark publié il y a deux ans a été absorbé par tous les corpus d'entraînement. Son score dit surtout que le modèle l'a vu.
Regardez l'écart. Si les meilleurs modèles sont tous dans un mouchoir de poche, le classement ne signifie rien.
Regardez qui a mesuré. Un test conduit par le fabricant, sur un protocole qu'il a choisi, avec un niveau d'effort qu'il a fixé, n'est pas une mesure indépendante.
Méfiez-vous des scores qui montent d'un coup. Une amélioration brutale sur un test ancien signale plus souvent une contamination qu'une percée.
Pourquoi on continue quand même
Il ne faudrait pas conclure que ces tests sont inutiles. Ils remplissent une fonction réelle : ils permettent de comparer des systèmes sur une base commune, ce qui vaut infiniment mieux que des impressions.
Le problème n'est pas leur existence, c'est leur durée de vie. Un test est un instrument de mesure qui se dégrade par l'usage même qu'on en fait — parce que son existence modifie ce qu'il mesure. C'est une situation rare en science et banale ici.
D'où la nécessité d'en produire constamment de nouveaux, plus difficiles, moins contaminables. La refonte évoquée en est un exemple, et il y en aura d'autres.
Ce qu'il faut retenir
Un score de benchmark est une photographie prise avec un appareil qui se dérègle à chaque déclenchement.
La seule mesure qui ne se dégrade pas est celle que vous faites vous-même, sur vos propres tâches, avec vos propres critères. C'est ce que nous recommandons depuis toujours et que cette actualité confirme : une vingtaine de cas de référence, tenus à jour, valent plus que n'importe quel classement public.