Dépenser du calcul au moment de répondre

Pendant des années, améliorer un modèle voulait dire l'entraîner plus : plus de données, plus de paramètres, plus de calcul avant. Cette voie donne encore des gains, mais chers et lents à obtenir.

La bascule

L'autre levier est de dépenser du calcul au moment de la réponse. Le même modèle, à qui l'on donne le droit de produire dix mille tokens de raisonnement intermédiaire avant de conclure, résout des problèmes qu'il rate en répondant directement.

Rien n'a été réentraîné. On a seulement changé la quantité de calcul dépensée par question. C'est ce qu'on appelle le calcul à l'inférence.

Pourquoi ça marche

Un modèle produit un token à la fois, et chaque token représente une quantité de calcul fixe. Répondre « 47 » immédiatement à un problème en quatre étapes exige de tout faire tenir dans un seul passage. En écrivant les étapes, le modèle s'accorde des passages supplémentaires et se sert de son propre texte comme mémoire de travail.

Le raisonnement écrit n'est pas une explication pour vous : c'est l'espace de calcul du modèle. C'est pour ça qu'il est souvent caché, il n'est pas destiné à être lu.

Ce que ça a changé concrètement

Les gains les plus nets sont en mathématiques, en code et sur les problèmes à contraintes multiples : là où il existe une bonne réponse et où une étape ratée invalide tout. Sur la reformulation, le résumé ou la conversation, le gain est proche de zéro.

La conséquence économique

Un modèle qui produit dix mille tokens invisibles avant de répondre les facture. Une question peut coûter cent fois une question ordinaire. D'où le compromis assumé par tous les fournisseurs : deux familles de modèles, et à vous de choisir.