En 1980, le philosophe John Searle propose ceci : imaginez une personne enfermée dans une pièce, qui ne parle pas un mot de chinois. On lui glisse des questions en chinois sous la porte. Elle dispose d'un manuel gigantesque lui indiquant quels symboles produire en réponse à quels symboles reçus. Elle applique les règles et renvoie des réponses parfaites. De l'extérieur, elle semble parler chinois. De l'intérieur, elle n'a rien compris. Searle en conclut qu'un ordinateur ne peut pas comprendre. Quarante-six ans plus tard, la question est plus intéressante que sa conclusion.
Une IA traduit sans parler aucune langue au sens où vous en parlez une. Elle explique la douleur sans avoir jamais eu mal. Elle écrit sur le deuil sans rien perdre. Et pourtant, le résultat est souvent utile, parfois juste, occasionnellement beau. Que faire de ce paradoxe ?
Ce que fait réellement le système
Reprenons les faits. Comme nous l'avons expliqué dans notre article sur les LLM, un modèle prédit le mot suivant le plus probable. Il manipule des régularités statistiques, pas des significations.
Mais il faut aller plus loin que ce constat, car il est souvent utilisé pour clore le débat un peu vite. Pour bien prédire le mot suivant sur l'ensemble des textes humains, un système est contraint d'encoder des structures qui ressemblent furieusement à de la connaissance. Il apprend que Paris est en France, que les objets tombent, qu'une promesse trahie provoque de la colère. Ces relations ne sont pas de simples associations de surface : elles s'organisent, comme le montre le principe des embeddings, où le sens devient une géométrie mesurable.
Alors : comprend-il ? La réponse honnête est que nous n'avons pas de définition de la compréhension suffisamment nette pour trancher.
Le problème vient de notre définition
Voici le retournement intéressant. Nous parlons de compréhension comme d'une chose évidente, mais nous serions bien en peine de la définir.
Est-ce la capacité à utiliser correctement une notion ? Alors les modèles comprennent beaucoup de choses, parfois mieux que nous. Est-ce la capacité à expliquer ce qu'on fait ? Ils le font, quoique de manière parfois reconstruite après coup, ce que les humains font également plus souvent qu'ils ne le croient. Est-ce le fait qu'il y ait quelque chose que ça fait, une expérience vécue de comprendre ? Alors nous ne pouvons rien affirmer, ni pour la machine, ni d'ailleurs pour autrui.
Car c'est le point que Searle laisse dans l'ombre : vous n'avez aucun accès à la compréhension de votre voisin. Vous inférez qu'il comprend parce qu'il se comporte comme quelqu'un qui comprend. Si nous appliquions à nos semblables l'exigence que nous appliquons aux machines, nous serions tous des chambres chinoises les uns pour les autres.
Il existe une différence qui résiste : les modèles n'ont aucun ancrage dans le monde. Ils n'ont jamais touché un objet, subi une conséquence, ni rien risqué. Leurs mots ne renvoient qu'à d'autres mots. C'est précisément ce qui explique leurs échecs les plus déroutants, comme leur maladresse en arithmétique élémentaire ou leurs erreurs sur la physique intuitive. Un enfant qui a renversé un verre sait quelque chose sur la gravité qu'aucun corpus ne transmet.
La question pratique, qui est différente
Descendons du ciel des idées. Pour l'usage quotidien, la vraie question n'est pas comprend-elle mais où sa non-compréhension se voit-elle ?
La réponse est assez nette : elle se voit aux frontières. Sur des situations bien représentées dans son corpus, le système se comporte comme s'il comprenait, et l'illusion tient. Sur un cas inhabituel, une combinaison inédite, un contexte que personne n'a jamais écrit, la mécanique se découvre. Le modèle produit alors une réponse plausible qui sonne juste et ne l'est pas, sans jamais signaler qu'il vient de sortir de son domaine.
C'est la raison pour laquelle la vérification reste indispensable, et pourquoi elle doit s'intensifier précisément quand la question est originale. Le paradoxe est cruel : c'est quand vous avez le plus besoin d'aide que l'outil est le moins fiable.
Ce qu'il faut retenir
Peut-être que la question était mal posée. Nous avons longtemps supposé que certaines tâches, traduire, résumer, argumenter, exigeaient nécessairement de comprendre. Ces systèmes démontrent que non : on peut accomplir ces tâches par un autre chemin. Ce n'est pas une révélation sur les machines, c'est une découverte sur les tâches.
Reste que le mot compréhension continue de désigner quelque chose pour nous, et il serait étrange d'y renoncer. Peut-être désigne-t-il moins une performance qu'un rapport : le fait que ce dont on parle compte, ait des conséquences, engage quelqu'un. À ce compte-là, une IA ne comprend pas, non parce qu'elle est faite de calculs, mais parce que rien de ce qu'elle dit ne lui coûte quoi que ce soit.
Ce qui, incidemment, est aussi la meilleure raison de garder un humain dans la boucle : non pas parce qu'il est plus intelligent, mais parce qu'il est celui pour qui la réponse compte.