Quand vous lisez qu'un modèle obtient tel score, il y a presque toujours une mention en petits caractères : à effort maximal, à effort élevé, avec repli. Ce réglage peut faire varier le résultat de dizaines de points, et le coût d'un facteur cinq à dix. Deux tableaux qui comparent des modèles à des niveaux d'effort différents ne comparent rien. Et le réglage par défaut de votre accès n'est presque jamais celui qui a produit les chiffres annoncés.
Nous avons publié hier un tableau comparant GPT-6 Astra à ses concurrents. Voici la variable cachée qui décide de ce que ces chiffres valent.
Ce que règle ce paramètre
Les modèles récents produisent un brouillon interne avant de répondre, comme nous l'expliquions dans notre article sur le raisonnement. Le niveau d'effort détermine combien de ce brouillon le modèle est autorisé à produire.
À effort faible, le modèle réfléchit brièvement et répond. À effort maximal, il peut explorer plusieurs pistes, revenir sur ses étapes, vérifier, recommencer. Le même modèle, avec les mêmes paramètres, produit des résultats très différents selon ce curseur.
Les fournisseurs proposent généralement quatre ou cinq niveaux, avec des noms qui varient — faible, moyen, élevé, maximal, parfois un niveau supplémentaire réservé aux usages intensifs.
Ce que ça change concrètement
La qualité. Sur une tâche simple, l'écart est nul : réfléchir dix minutes à une question de vocabulaire n'améliore rien. Sur un problème difficile — un raisonnement long, un débogage complexe, une preuve — l'écart peut être considérable.
Le coût. Le brouillon interne est composé de tokens, et ces tokens sont facturés. Un effort maximal peut consommer cinq à dix fois plus de tokens qu'un effort faible pour la même question. C'est ce que nous décrivions avec un modèle consommant douze fois plus de tokens de raisonnement.
Le délai. Plus d'effort signifie plus de temps avant la première réponse. Pour une conversation, c'est perceptible. Pour un agent qui tourne en arrière-plan, c'est indifférent.
Voici le point pratique le plus important. Pour GPT-6 Astra, l'effort par défaut de l'accès programmatique est réglé sur faible. Les scores annoncés ont été obtenus à effort maximal. Autrement dit, si vous branchez le modèle sans toucher à ce paramètre, vous n'obtiendrez pas ce qui a été présenté, et vous conclurez peut-être qu'il est décevant. Ce n'est pas propre à ce modèle : c'est un choix courant, parce qu'un défaut économe protège les utilisateurs d'une facture surprise. Mais cela signifie que le modèle que vous testez n'est pas celui du communiqué, sauf si vous le réglez.
Pourquoi les comparaisons en dépendent
C'est ce qui explique une bonne partie des divergences entre les tableaux d'un fournisseur et ceux d'un évaluateur indépendant.
Un laboratoire teste son modèle au niveau qui l'avantage, ce qui est légitime tant que c'est indiqué. Un évaluateur indépendant doit choisir un niveau comparable pour tous, ce qui est difficile parce que les échelles ne correspondent pas d'un fournisseur à l'autre. Un « élevé » chez l'un peut ressembler à un « moyen » chez l'autre.
Quand nous écrivions hier que Fable 5.1 était le modèle le plus cher par tâche du classement indépendant, c'était à effort maximal. À effort moyen, le classement des coûts change. C'est pourquoi nous insistons sur la lecture prudente des benchmarks : un score sans son niveau d'effort est un chiffre sans unité.
Comment le régler
La règle est simple et rarement appliquée : ajustez l'effort à la difficulté, pas au modèle.
Pour de la classification, de l'extraction, de la reformulation : effort faible. Le résultat sera identique et la facture divisée par cinq.
Pour du raisonnement complexe, du code non trivial, de l'analyse longue : effort élevé ou maximal, en acceptant le coût et le délai.
Pour une architecture sérieuse, c'est un routage : les tâches simples partent à effort faible, les difficiles à effort élevé, et l'escalade se fait automatiquement quand le résultat à faible effort ne satisfait pas une vérification. C'est la logique que nous recommandons depuis des mois, appliquée à un curseur supplémentaire.
Ce qu'il faut retenir
Ce paramètre est probablement le plus sous-utilisé de tous. La plupart des utilisateurs laissent le défaut, et jugent le modèle sur ce que le défaut produit.
Cela a deux conséquences. Beaucoup paient trop cher pour des tâches simples. Et beaucoup concluent qu'un modèle ne vaut pas ce qu'on en dit, alors qu'ils ne l'ont jamais fait tourner au niveau qui a produit ce qu'on en dit.
Avant de comparer deux modèles, comparez d'abord un même modèle à deux niveaux d'effort sur votre propre tâche. Vous découvrirez souvent que l'écart entre les réglages dépasse l'écart entre les fournisseurs.