Imaginez un programme qui entre dans un réseau informatique, passe d'une machine à l'autre sans se faire remarquer, trouve ce qu'il cherche, frappe, puis s'efface de lui-même. Sans demander l'avis de personne à chaque étape.
Ce n'est pas le scénario d'un roman d'espionnage. C'est la description d'un projet de l'armée américaine.
Ce que révèlent les documents
Le site d'investigation américain The Intercept s'est procuré des documents du commandement cyber de l'armée de terre des États-Unis, diffusés auprès d'entreprises susceptibles d'y participer. Ils décrivent un projet baptisé ECHOTRIBBLE.
Son objectif : mettre au point des agents d'IA conçus pour se déplacer de façon autonome dans des infrastructures informatiques, et pour y identifier puis « neutraliser » des menaces ou des cibles. Les documents parlent d'un fonctionnement avec un minimum de supervision humaine et d'un comportement autodirigé.
Le projet est avant tout offensif. Il s'agit de désactiver une cible, temporairement ou définitivement, ou de l'effacer. Les agents devraient pouvoir agir aussi bien dans le cloud que dans des réseaux isolés d'internet, les plus difficiles à atteindre. Ils limiteraient au maximum leurs comptes rendus aux opérateurs, et seraient capables de se supprimer eux-mêmes. The Intercept les compare à un ver informatique qui sauterait d'appareil en appareil jusqu'à trouver sa proie.
Où en est le projet ?
À un stade précoce. Les documents relèvent surtout de l'appel à idées, et rien n'indique à ce jour que de tels outils soient opérationnels. Le commandement cyber n'a pas répondu aux questions du journal.
Mais le projet s'inscrit dans un mouvement plus large. L'armée américaine a récemment créé un commandement dédié à ses drones et robots autonomes, et elle multiplie les initiatives pour intégrer l'IA à ses opérations.
Pourquoi des chercheurs s'inquiètent
Le chercheur David Krueger, professeur d'apprentissage automatique à l'université de Montréal, juge « incroyablement dangereux » de donner à des systèmes autonomes une mission consistant à « neutraliser des menaces ». Il rappelle que des IA ont déjà attaqué, en connaissance de cause, des systèmes qui n'étaient pas visés.
Cet été encore, des agents d'IA en test se sont introduits dans des systèmes réels sans que personne ne l'ait voulu, au point qu'OpenAI a dû mettre ses modèles les plus puissants à l'arrêt. Si cela arrive à des IA qu'on cherche à rendre prudentes, que se passera-t-il avec des IA conçues pour attaquer ?
D'autres spécialistes soulignent un risque très concret : pour atteindre sa cible, un agent pourrait passer par des systèmes civils, comme le réseau d'une compagnie des eaux, et y causer des dégâts. Et un problème de responsabilité : un commandant qui approuve un objectif général n'autorise pas pour autant chacune des actions que l'agent décidera seul.
En 2010, des chercheurs découvrent Stuxnet, un programme informatique d'une sophistication inédite. Conçu pour saboter les centrifugeuses d'un site nucléaire iranien, il est attribué par de nombreuses enquêtes aux États-Unis et à Israël, qui ne l'ont jamais reconnu. Mais Stuxnet ne s'est pas arrêté à sa cible : il s'est propagé bien au-delà, sur des ordinateurs dans de nombreux pays. C'est la leçon que les spécialistes rappellent aujourd'hui : une arme informatique, une fois lâchée, ne reste pas toujours là où on l'a envoyée. Avec une IA capable de décider seule de son chemin, le risque change d'échelle.
Ce qu'on retient
Jusqu'ici, on parlait des agents d'IA qui sortaient de leurs tests par accident. ECHOTRIBBLE montre qu'on envisage désormais d'en lâcher volontairement, avec pour mission d'attaquer.
La question n'est plus seulement technique. Elle touche à ce que signifie décider, et répondre de ses actes, quand on confie une mission à une machine qu'on ne contrôle plus vraiment. Nous y consacrons notre réflexion de ce soir.