Où le raisonnement long cesse de payer

Trois limites sérieuses, et aucune n'est un détail d'implémentation.

Le rendement décroît, puis s'inverse

Doubler le budget de réflexion ne double pas la performance : les gains s'aplatissent vite. Au-delà d'un certain point, la performance redescend sur certaines tâches. Le modèle sur-analyse une question simple, envisage des cas qui n'existent pas, se convainc d'une interprétation tordue.

C'est observable à la main : posez une question triviale à un modèle réfléchi et regardez-le construire une usine.

Le raisonnement affiché n'est pas toujours le vrai

Point le plus contre-intuitif, et documenté par plusieurs travaux : la chaîne de raisonnement produite n'est pas nécessairement fidèle au processus qui a mené à la réponse. Un modèle peut afficher un raisonnement propre et avoir tranché sur un indice qu'il ne mentionne pas.

Conséquence pratique : lire la chaîne rassure, mais ne prouve rien. Ce n'est pas une piste d'audit.

Une erreur précoce se consolide

Le modèle se relit et bâtit dessus. Une hypothèse fausse au deuxième pas est reprise comme acquise aux pas suivants, et le raisonnement devient de plus en plus cohérent avec l'erreur. La réponse finale est alors très assurée et fausse.

Ce qu'on en fait

Sur un enjeu réel, faire répondre plusieurs fois séparément et comparer vaut mieux que faire raisonner plus longtemps une seule fois. La divergence entre exécutions est un signal bien plus fiable que la longueur ou l'assurance du raisonnement.