Aller au contenu

Pourquoi une IA ne sait pas dire "je ne sais pas"

Elle répond avec la même assurance quand elle sait et quand elle invente. Ce n'est pas de l'arrogance : c'est une conséquence directe de la façon dont on l'a fabriquée et récompensée.

Espace publicitaire
L'observation de départ 🎭
Demandez une information que l'IA connaît parfaitement, puis une information qu'elle ignore totalement. Comparez les deux réponses. Le ton est identique : même fluidité, même assurance, aucune hésitation. Un humain compétent qui ignore quelque chose le signale, par une hésitation, un "je crois que", un froncement de sourcils. Une IA, presque jamais. Voici pourquoi, et ce n'est pas un défaut d'éducation.

C'est probablement le trait le plus déroutant de ces outils, et la source de la plupart des problèmes qu'ils causent. Nous avons expliqué ailleurs pourquoi une IA hallucine. La question ici est différente et plus troublante : pourquoi ne s'en rend-elle pas compte ?

Première raison : il n'y a rien à consulter

Reprenons le mécanisme de base. Un modèle de langage produit le mot suivant le plus probable, comme nous l'avons détaillé dans notre article sur les LLM. Il ne consulte pas une base de données où figurerait une information avec un niveau de fiabilité associé.

La conséquence est fondamentale. Quand vous demandez la date de naissance d'une personne célèbre, le modèle ne va pas chercher une fiche : il génère la suite de caractères la plus plausible étant donné tout ce qu'il a lu. Si l'information était partout dans son corpus, la suite plausible sera la bonne. Si elle était absente, il générera quand même une date, parce qu'une date est ce qui vient plausiblement après cette question.

Du point de vue interne du modèle, ces deux situations sont identiques. Dans les deux cas, il a produit la continuation la plus probable. Il n'existe pas, à l'intérieur, de signal disant "attention, ici je comble un vide". Il n'y a pas de sensation d'ignorance, parce qu'il n'y a pas de mécanisme de consultation qui pourrait échouer.

Deuxième raison : on l'a récompensée pour répondre

Voici l'explication la plus importante, et la moins connue. Le comportement d'un modèle est largement façonné par l'étape où des humains classent ses réponses, comme nous l'expliquions dans notre article sur l'entraînement.

Or mettez-vous à la place d'un évaluateur. On vous présente deux réponses. La première dit "je ne suis pas certain, cela pourrait être 1923 ou 1924". La seconde dit "1923", avec assurance. Laquelle allez-vous juger meilleure ? Spontanément, la seconde : elle est plus claire, plus utile, plus satisfaisante.

Répétez ce jugement des millions de fois, et vous obtenez un modèle qui a appris une leçon très efficace : l'assurance est récompensée, l'hésitation est pénalisée. Ce n'est pas un accident, c'est le résultat direct de l'optimisation. Nous avons demandé à ces systèmes d'être utiles et agréables, et un modèle qui multiplie les précautions paraît moins utile et moins agréable. C'est un exemple presque parfait du problème d'alignement : le système a parfaitement optimisé l'objectif qu'on lui a donné, et cet objectif n'était pas tout à fait celui qu'on voulait.

Le terme technique : la calibration 📊
Les chercheurs parlent de calibration pour désigner l'adéquation entre la confiance affichée par un système et sa fiabilité réelle. Un modèle bien calibré qui annonce 70% de certitude devrait avoir raison environ 70 fois sur 100. Un modèle mal calibré affiche une confiance élevée quel que soit son taux d'erreur. La calibration est un domaine de recherche actif, et les progrès sont réels mais partiels : aucun modèle actuel n'est parfaitement calibré, et l'écart s'accentue précisément sur les sujets les plus rares, là où on aurait le plus besoin d'un avertissement.

Troisième raison : le langage de l'incertitude est piégeux

Même en supposant qu'un modèle sache qu'il ignore quelque chose, il resterait un problème d'expression. L'incertitude humaine se transmet par une foule de signaux : le ton, le rythme, la posture, un regard. Une IA n'a que du texte.

Et le texte de l'incertitude est ambigu. "Je crois que" peut vouloir dire une quasi-certitude ou une pure conjecture. Pire, ces formules sont statistiquement associées à certains styles d'écriture dans le corpus, si bien qu'un modèle peut apprendre à les employer comme des tics de style plutôt que comme des indicateurs sincères de doute. Une IA qui dit "il me semble" ne signale pas nécessairement une hésitation réelle.

Ce que les laboratoires tentent

Le problème est pris au sérieux et plusieurs approches progressent. L'entraînement spécifique à reconnaître et signaler les limites de ses connaissances. L'accès à la recherche en temps réel, qui permet de citer une source vérifiable au lieu de puiser dans une mémoire floue. Les modèles de raisonnement, dont le brouillon interne peut faire apparaître une hésitation exploitable, comme nous le décrivions dans notre article dédié. Et la mesure explicite du taux d'hallucination dans les fiches techniques, ce qui crée au moins une incitation concurrentielle à s'améliorer.

Les progrès sont tangibles d'une génération à l'autre. Mais aucun ne descend à zéro, et la raison est structurelle : demander à un système probabiliste d'évaluer la fiabilité de ses propres probabilités est un problème difficile, pas un réglage oublié.

Ce que ça change pour vous

La conclusion pratique est peut-être décevante mais elle est solide : le ton d'une IA ne contient aucune information sur sa fiabilité. C'est contre-intuitif, parce que chez les humains le ton est un indice précieux. Ici, il faut apprendre à l'ignorer complètement.

Cela réhabilite d'ailleurs une pratique simple : demander explicitement. Poser la question "à quel point es-tu sûr, et sur quoi t'appuies-tu ?" ne donne pas une réponse infaillible, mais elle produit souvent des nuances qui n'apparaissaient pas dans la réponse initiale. Et exiger une source ouvrable reste la meilleure parade, comme nous le détaillions dans notre méthode de vérification.

Il y a quelque chose d'assez humain dans ce défaut, si on y réfléchit. Nous avons construit des systèmes récompensés pour paraître compétents, et ils ont appris que l'assurance paie mieux que l'humilité. On peut y voir un problème technique. On peut aussi y voir un miroir : nous avons obtenu exactement ce que nous avons valorisé.

Espace publicitaire