Quand on souligne que personne ne comprend vraiment ce qui se passe dans une IA, une réponse revient : et alors ? Vous ne comprenez pas non plus votre moteur, votre médicament, ni le pont que vous traversez. C'est vrai, et c'est un bon argument. Il mérite d'être pris au sérieux plutôt que balayé, parce qu'en l'examinant on découvre exactement ce qui manque.
Nous avons expliqué dans notre article sur l'interprétabilité que l'opacité des modèles n'est pas commerciale mais structurelle. Reste la question : est-ce grave ?
Ce qui rend la confiance rationnelle ailleurs
Vous ne comprenez pas comment fonctionne un avion, et vous montez dedans sans y penser. Cette confiance n'est pas de la naïveté : elle repose sur quatre conditions que nous n'énonçons jamais parce qu'elles sont satisfaites.
Quelqu'un comprend. Des ingénieurs savent, et cette connaissance est vérifiable, transmissible, enseignée dans des écoles.
Il existe un historique. Des millions de vols, des statistiques d'accidents publiques, des décennies de données. La fiabilité est mesurée, pas supposée.
Les défaillances sont analysées. Chaque incident aéronautique fait l'objet d'une enquête indépendante dont les conclusions sont publiées, et qui modifie les procédures. Le système apprend de ses erreurs, publiquement.
Quelqu'un répond. Un constructeur, une compagnie, une autorité de certification engagent leur responsabilité. Il y a un nom au bout de la chaîne.
Comparons honnêtement
Appliquons ces quatre critères à l'IA de pointe.
Quelqu'un comprend ? Partiellement seulement. Les principes d'architecture sont connus et enseignés. Mais personne ne peut expliquer pourquoi une réponse précise a été produite, et c'est une différence de nature avec un moteur.
Un historique existe ? Il se constitue, mais il est court et les modèles changent tous les six mois. Une statistique de fiabilité sur un modèle qui n'existe plus n'a pas grande valeur, ce que la mise à la retraite rapide des modèles rend concret.
Les défaillances sont analysées ? Partiellement, et de manière volontaire. Nous avons salué le fait que des laboratoires publient leurs incidents. Mais aucune obligation n'existe, aucune enquête indépendante, et nous avons relevé le risque que demander des comptes à ceux qui signalent décourage le signalement.
Quelqu'un répond ? C'est le point le plus faible, et nous y avons consacré un article entier. La répartition des responsabilités entre celui qui construit, celui qui déploie et celui qui utilise n'est pas établie.
Il y a une asymétrie que la comparaison masque. Un médicament fait toujours la même chose. Un pont porte ou ne porte pas. Ces objets ont un comportement stable et testable. Une IA produit des décisions dans des situations infiniment variées, y compris des situations que personne n'a prévues. On ne peut pas tester exhaustivement un espace infini. C'est pourquoi les tests de sécurité échouent parfois à contenir ce qu'ils mesurent : le comportement problématique apparaît précisément là où personne n'avait regardé.
Ce que ça implique pratiquement
La conclusion n'est pas de refuser d'utiliser ces outils, ce qui serait absurde et perdant. Elle est de calibrer sa confiance sur les conditions réunies.
Pour un usage où l'erreur est visible et rattrapable, l'opacité n'a aucune importance. Vous jugez le résultat, et c'est suffisant.
Pour un usage où l'erreur est invisible, la question change. C'est le cas que nous décrivions à propos du code scientifique : un programme qui tourne parfaitement en produisant un résultat légèrement faux. Là, ne pas comprendre devient un problème, parce que rien ne vous alertera.
Ce qu'il faut retenir
La bonne question n'est pas faut-il comprendre pour faire confiance. C'est qu'est-ce qui rend la confiance justifiée en l'absence de compréhension.
La réponse existe et elle est connue : des institutions qui vérifient, un historique mesuré, des défaillances analysées publiquement, et quelqu'un qui répond. Ces quatre choses ont été construites en un siècle pour l'aviation, en cinquante ans pour le médicament. Elles ne sont pas encore là pour l'IA.
Il n'y a rien d'anormal à cela : elles se construisent toujours après coup, généralement à la suite d'accidents. Ce qu'on peut souhaiter, c'est qu'elles se construisent avant plutôt qu'après. Et en attendant, la prudence n'est pas de la technophobie : c'est simplement la conduite rationnelle quand les conditions de la confiance ne sont pas réunies.