Un score de 66,4 % contre 57,9 % ne dit rien de ce que vous constaterez. Ce qui se voit à l'usage, ce sont trois choses : le temps que met une tâche, le nombre de fois qu'il faut s'y reprendre, et la facture à la fin du mois. Voici ce qui est rapporté sur ces trois points, et d'où viennent ces écarts.
Nous avons publié hier soir l'analyse de la sortie et des tarifs. Voici la partie pratique.
Le cas rapporté le plus parlant
Un testeur indique avoir fait auditer et corriger une base de code de 200 000 lignes en moins de trois heures. La même tâche aurait pris plus de vingt heures à Opus 5, en consommant deux fois et demie plus de tokens.
Ce chiffre vient d'un utilisateur cité par l'entreprise, sur une tâche que nous ne pouvons pas reproduire. Il faut donc le lire comme une illustration, pas comme une mesure. Mais l'ordre de grandeur est cohérent avec ce qui est annoncé par ailleurs, et il illustre bien pourquoi les gains se cumulent.
Pourquoi les gains se multiplient au lieu de s'additionner
C'est le point à comprendre, et il explique l'écart entre une baisse de 20 % sur le tarif et 40 % sur le coût réel.
Sur une tâche agentique, trois facteurs agissent en même temps.
Le prix par token baisse de 20 %.
Le nombre de tokens consommés baisse aussi, parce que le modèle atteint le résultat en moins d'étapes. Un agent qui trouve la bonne piste au troisième essai plutôt qu'au dixième ne coûte pas 20 % de moins : il coûte trois fois moins.
La part mise en cache est facturée 60 % moins cher. Or dans une boucle agentique, le contexte relu — la base de code, les instructions, l'historique — représente l'essentiel du volume. C'est le mécanisme que nous détaillions dans notre article sur la mise en cache.
Ces trois effets se multiplient. C'est pour cela qu'un usage conversationnel verra une amélioration modeste, et qu'un agent tournant en boucle verra un changement considérable.
Une société d'investissement rapporte deux choses. Le modèle a franchi sa suite d'évaluation au réglage d'effort le plus bas, là où il fallait auparavant monter. Et à un réglage plus élevé, il a identifié une erreur dans les consignes de cette suite d'évaluation, qu'aucun modèle précédent n'avait relevée. Ce second point est plus significatif qu'un score : repérer qu'une question est mal posée est une compétence différente de celle de bien y répondre, et c'est précisément ce qui manque à ces systèmes, comme nous l'écrivions à propos de leur tendance à valider ce qu'on leur présente.
La vitesse, et ce qu'elle débloque
Une génération plus de 30 % plus rapide n'est pas qu'un confort.
Pour une conversation, cela se remarque à peine. Pour un agent qui enchaîne trente étapes, chaque étape plus courte se cumule, et une tâche qui prenait une nuit peut tenir dans une matinée. C'est la différence entre un outil qu'on lance et qu'on oublie, et un outil avec lequel on travaille.
Nous l'avions développé à propos des modèles de diffusion textuelle : la latence décide de ce qui est possible, pas seulement de ce qui est agréable.
Le changement dont personne ne parlera
Anthropic indique avoir travaillé la forme des réponses : mettre l'information importante en tête, pour qu'elle soit saisissable d'un coup d'oeil.
Cela paraît cosmétique et ne l'est pas. Une réponse qui enterre sa conclusion sous trois paragraphes de préambule oblige à tout lire pour savoir si elle est utile. Sur des dizaines d'interactions par jour, le temps perdu dépasse largement les gains de vitesse de génération.
C'est le genre d'amélioration qui n'apparaît dans aucun benchmark et qui change l'expérience réelle. Nous notions le même phénomène à propos des réglages invisibles : une part de ce que vous percevez comme la qualité d'un modèle vient de choix de présentation.
Ce qui ne change pas
Trois réserves, pour ne pas raconter une histoire trop lisse.
Ce n'est pas plus capable, c'est moins cher. Le modèle est annoncé au niveau de Fable 5.1, pas au-dessus. Si vous butiez sur une limite de capacité, elle est probablement toujours là.
Les réglages d'effort comptent toujours autant. L'écart entre le réglage moyen et le maximum reste considérable, comme nous l'expliquions dans notre article sur ce paramètre. Un test au mauvais réglage ne vous dira rien d'utile.
Les gains dépendent entièrement de votre usage. Les 40 % annoncés valent pour un profil de charge donné. Sur du traitement de texte simple sans cache, l'économie se limitera aux 20 % du tarif.
Ce qu'il faut faire
La méthode, toujours la même, et elle prend une heure.
Reprenez vos vingt cas de référence. Faites-les passer sur l'ancien et le nouveau modèle, au même réglage d'effort. Comparez trois choses : le taux de réussite, le nombre de tokens consommés, et le temps total.
Si vous n'avez pas ces vingt cas, c'est le moment de les constituer. C'est le seul investissement qui sert à chaque sortie de modèle, et il y en aura d'autres : Anthropic annonce Sonnet 5.5 et Haiku 5.5 dans les semaines qui viennent.