Sur deux des six évaluations mises en avant par OpenAI, le meilleur score de GPT-6 Sol est inférieur à celui de GPT-5.6 Sol, le modèle qu'il remplace : environ 68,8 % contre 72,7 % en codage agentique, 64,4 % contre 66,2 % en usage d'ordinateur. Ce n'est ni une erreur de mesure ni un aveu d'échec. C'est un arbitrage assumé, et le comprendre évite de choisir à l'envers.
Nous rapportions hier la sortie de Sol et Luna à des tarifs divisés par deux. Voici ce que cache la contrepartie.
Pourquoi un modèle plus récent peut régresser
Quatre mécanismes, et aucun ne relève de l'incompétence.
La taille. Un modèle conçu pour coûter moitié moins est souvent plus petit ou active moins de paramètres. Il perd en étendue de connaissances et en capacité à tenir un raisonnement long, exactement comme nous le décrivions dans notre guide des tailles.
La distillation. Beaucoup de modèles économiques sont produits en faisant apprendre un petit modèle sur les sorties d'un grand. Nous l'avons expliqué dans notre article sur ce procédé : l'élève reproduit remarquablement bien le maître sur ce qui est fréquent, et décroche sur les cas rares et difficiles. Or les tests exigeants sont faits de cas rares.
Le rééquilibrage. Améliorer une capacité en dégrade souvent une autre. Un modèle davantage entraîné à suivre des instructions peut perdre en créativité ; un modèle rendu plus prudent peut refuser des demandes légitimes. Il n'existe pas de progression uniforme sur tous les axes.
Les garde-fous. Nous avons relevé cette semaine qu'Anthropic signalait que ses propres dispositifs de sécurité avaient abaissé ses scores en redirigeant certaines tâches vers des modèles plus faibles. Une protection qui fonctionne coûte des points.
Un modèle qui perd quatre points et divise sa facture par onze gagne dans la quasi-totalité des usages réels. C'est exactement ce que montre le cas de cette semaine : sur un test d'automatisation, GPT-6 Sol atteint 33,2 % pour 27 centimes par tâche, là où un modèle plus capable obtient 30,3 % en coûtant près de quatre fois plus, et un autre 26,9 % en coûtant onze fois plus. Comparer des scores sans leur coût revient à comparer deux voitures sur leur vitesse de pointe en ignorant leur prix.
Quand la régression compte vraiment
Il ne faudrait pas conclure que le score ne compte jamais. Il y a trois situations où quatre points perdus sont rédhibitoires.
Quand vous êtes au bord du seuil. Si votre tâche passe à 72 % et échoue à 68 %, la baisse vous fait basculer du côté de l'inutilisable. Le prix n'a plus d'importance si le résultat ne sert pas.
Quand l'erreur coûte cher. Nous l'écrivions à propos de l'IA médicale : là où une erreur engage autre chose qu'un peu de temps, on ne l'échange pas contre une économie.
Quand la vérification coûte plus que le gain. Un modèle moins fiable qui oblige à relire systématiquement annule son avantage tarifaire en temps humain. C'est le calcul le plus souvent oublié.
Ce que ça dit du marché
Ce phénomène est le signe d'une segmentation, et elle est saine.
Pendant deux ans, chaque nouvelle version était censée être meilleure que la précédente sur tout. C'était possible tant que les modèles étaient loin de leurs limites. Aujourd'hui, les fournisseurs proposent des gammes : un sommet cher, un milieu de gamme, un modèle de volume — et chacun sacrifie quelque chose.
Nous l'avons décrit pour les gammes de modèles ouverts, et le mouvement est identique côté commercial. La question cesse d'être « quel est le meilleur modèle » pour devenir « quel est le bon modèle pour cette tâche-là ».
Ce qu'il faut faire
Ne migrez jamais sur la foi d'une annonce. Une nouvelle version n'est pas une amélioration garantie sur votre usage.
Testez au même niveau d'effort. Comparer un modèle à effort maximal et un autre à effort moyen ne compare rien. C'est l'erreur la plus fréquente, et nous l'avons détaillée dans notre article sur ce paramètre.
Mesurez trois choses, pas une. Le taux de réussite sur vos cas, le coût total, et le temps humain de vérification. Un seul de ces trois chiffres ne décide de rien.
Gardez l'ancien accessible. Tant qu'il n'est pas retiré, la possibilité de revenir en arrière vaut mieux qu'une migration irréversible. Nous l'écrivions à propos de la dépréciation : un modèle accessible par service existe tant que quelqu'un d'autre décide de le maintenir.
Ce qu'il faut retenir
Un numéro de version plus élevé n'est pas une promesse de supériorité. C'est le nom d'un produit, et ce produit répond à un cahier des charges qui n'est pas forcément le vôtre.
Ce qui change avec cette génération, c'est que les fournisseurs l'assument et publient les données qui le montrent — y compris quand elles ne les avantagent pas. C'est une bonne nouvelle, et cela déplace la responsabilité vers vous : les chiffres sont là, il faut les lire.