Arbitrer le budget de réflexion

Dès qu'on construit quelque chose, la question n'est plus « lequel est le meilleur » mais « combien de réflexion, pour quelle étape ».

Trois grandeurs qui bougent ensemble

Le coût monte à peu près linéairement avec les tokens de réflexion. La latence aussi : trente secondes d'attente sont acceptables pour une analyse, rédhibitoires dans une interface conversationnelle. La qualité, elle, suit une courbe qui s'aplatit.

Le point de fonctionnement utile se situe donc bien avant le maximum, presque toujours.

Router plutôt que choisir

L'architecture qui marche en production n'utilise pas un modèle mais deux ou trois. Une première étape, rapide et bon marché, classe la demande : simple, ou à étapes. Les simples partent vers le modèle rapide, les autres vers le réfléchi.

Sur un trafic réel, la grande majorité des demandes sont simples. Le routage divise la facture par un facteur important sans dégrader ce qui compte, parce qu'on ne dégrade que ce qui n'avait pas besoin de mieux.

Où placer la réflexion dans une chaîne

Pas partout. Dans une chaîne extraction → décision → rédaction, seule la décision en a besoin. Extraire et rédiger sont des tâches directes.

L'erreur fréquente est de mettre le modèle le plus capable sur toutes les étapes « pour être sûr ». On paie dix fois pour un gain nul sur huit étapes sur dix.

Mesurer avant d'arbitrer

Constituez trente cas représentatifs avec leur réponse attendue. Passez-les à chaque configuration. Vous obtenez un tableau qualité / coût / latence sur vos cas, ce qu'aucun banc d'essai public ne vous donnera.