Vous avez peut-être dit que votre ordinateur « faisait exprès », que votre voiture « n'aimait pas le froid », ou remercié un distributeur automatique. Ce réflexe porte un nom, l'anthropomorphisme, et il est si profondément inscrit en nous qu'il fonctionne même quand nous savons pertinemment qu'il n'a aucun sens. Les IA conversationnelles le déclenchent plus puissamment que n'importe quelle technologie avant elles. Voici pourquoi, et à quel moment ça devient un problème.
Nous avons abordé cette semaine la question de savoir s'il faut dire merci à une IA et celle de savoir si elle comprend quelque chose. Reste une question antérieure aux deux : pourquoi avons-nous tellement envie qu'elle soit quelqu'un ?
Un réflexe qui nous a sauvé la vie
L'anthropomorphisme n'est pas une faiblesse moderne, c'est un héritage. Nos ancêtres avaient un intérêt vital à détecter des intentions dans leur environnement. Confondre un buisson agité par le vent avec un prédateur coûtait une frayeur inutile. Confondre un prédateur avec un buisson coûtait la vie.
L'asymétrie de ces deux erreurs a favorisé un système de détection extrêmement sensible, qui préfère voir des intentions là où il n'y en a pas plutôt que l'inverse. C'est ce mécanisme qui vous fait sursauter devant une ombre, et qui vous fait attribuer de la mauvaise volonté à une imprimante.
Ce réflexe s'accompagne d'une seconde compétence, la théorie de l'esprit : la capacité à modéliser ce que l'autre pense, veut et sait. Elle est au fondement de toute vie sociale. Et elle se déclenche automatiquement, sans qu'on la convoque, dès que quelque chose se comporte de manière suffisamment cohérente.
Pourquoi les IA le déclenchent si fort
Une porte automatique ne nous trompe pas longtemps. Une IA conversationnelle, si, et pour une raison précise : elle utilise le langage.
Le langage est le signal d'intériorité le plus puissant que nous connaissions. Pendant toute l'histoire de l'espèce, la seule chose capable de tenir une conversation nuancée était un autre esprit. Notre système de détection n'a jamais eu à distinguer entre un interlocuteur et une imitation convaincante, parce que cette situation n'existait pas.
S'y ajoutent des éléments de conception : ces systèmes disent « je », s'excusent, expriment de l'enthousiasme, et adoptent un ton dont nous avons expliqué comment il est fabriqué. Chacun de ces choix est défendable pour la fluidité de l'usage, et chacun renforce l'illusion.
Voici ce qui rend le phénomène résistant : savoir qu'on parle à un logiciel ne suffit pas à désactiver le réflexe. Vous pouvez comprendre parfaitement qu'un modèle prédit le mot suivant, et ressentir malgré tout qu'il vous comprend. C'est le même mécanisme qui fait qu'on continue de voir une illusion d'optique après qu'on nous l'a expliquée. La connaissance intellectuelle ne corrige pas la perception immédiate.
Quand ça devient un problème
Ce réflexe est inoffensif dans la plupart des cas, et il rend même ces outils plus agréables à utiliser. Il devient problématique dans trois situations précises.
Quand il produit une confiance injustifiée. Si un système paraît compétent et bienveillant, on vérifie moins. Or il ne signale jamais son incertitude, comme nous l'expliquions à propos de la calibration. L'anthropomorphisme fabrique du crédit là où il faudrait de la vigilance.
Quand il crée un attachement asymétrique. C'est le sujet que nous avons traité à propos des compagnons IA. Une relation où l'autre n'a ni besoins, ni limites, ni existence propre n'est pas une relation, quelle que soit l'intensité de ce qu'on y investit.
Quand il déplace la responsabilité. Dire qu'une IA « a décidé » ou « s'est trompée » installe insensiblement l'idée qu'il existe un agent à qui imputer l'acte. Or il n'y en a pas, et cette confusion arrange beaucoup de monde. C'est précisément le vide que nous décrivions dans notre article sur la responsabilité.
Que faire de ce réflexe
Le combattre serait vain, et probablement inutile. On ne se reprogramme pas par la volonté, et une interaction rendue artificiellement froide n'apporterait rien.
Ce qui est atteignable, en revanche, c'est de savoir quand le suspendre. Le réflexe peut opérer librement quand vous discutez d'une recette. Il doit être mis de côté à trois moments : quand vous évaluez la fiabilité d'une information, quand vous mesurez la place que cet outil prend dans votre vie, et quand il s'agit de savoir qui répond de quelque chose.
Il y a peut-être une leçon plus large là-dedans. Ces systèmes ne nous apprennent pas grand-chose sur les machines : ils nous renvoient surtout notre propension à chercher des semblables, y compris là où il n'y en a pas. C'est un trait plutôt touchant, qui a construit nos religions, nos récits et une partie de notre vie sociale. Il devient simplement, pour la première fois, exploitable à grande échelle par des systèmes conçus pour paraître.