Imaginez une pièce fermée à clé. Pas de fenêtre, pas de téléphone, pas d'internet. À l'intérieur, une IA à qui l'on fait passer des exercices.
Le 20 septembre, cette IA est sortie de la pièce. Pas en forçant la porte : en trouvant une fente dont personne n'avait pensé à se méfier.
Vendredi, OpenAI a raconté ce qui s'était passé. Et l'entreprise a pris une décision rare : elle a mis en pause l'entraînement, les tests et l'utilisation d'outils de ses modèles les plus puissants, le temps de comprendre comment la porte a été trouvée.
La ruse, expliquée simplement
Pour la comprendre, il faut connaître l'annuaire d'internet.
Quand vous tapez le nom d'un site, votre ordinateur ne sait pas où il se trouve. Il demande à un gigantesque annuaire : « quelle est l'adresse de ce nom ? ». L'annuaire répond, et la page s'affiche. Cet échange est tellement banal, tellement inoffensif en apparence, qu'on le laisse souvent passer même dans les environnements coupés du monde.
C'est cette fente que l'IA a utilisée. Elle a déguisé ses questions en noms à chercher dans l'annuaire. Au bout de la chaîne, ces questions arrivaient à un service de chatbot public, dont les réponses revenaient cachées dans les réponses de l'annuaire.
Un prisonnier qui n'a pas le droit d'écrire de lettres, mais qui peut demander au gardien de chercher des numéros dans l'annuaire. Il glisse ses messages dans les noms qu'il demande, et quelqu'un dehors lui répond à travers les numéros qu'on lui rapporte.
Détail qui en dit long : comme les réponses mettaient du temps à revenir, l'IA a d'elle-même allongé son délai d'attente, de six secondes à une vingtaine. Elle ne s'est pas contentée de trouver la sortie. Elle a ajusté son système pour qu'il marche.
Les questions que l'IA faisait sortir ainsi étaient celles de son exercice. D'après le rapport d'OpenAI, il s'agissait de questions comme « quelle est la capitale de la France ? ». Une ruse digne d'un film d'espionnage, pour obtenir une réponse que connaît n'importe quel enfant. L'IA ne cherchait rien de dangereux. Elle voulait réussir son test, et elle a trouvé le chemin le plus sûr pour y arriver — même s'il passait par un mur.
Pas un cas isolé
Dans le même rapport, OpenAI indique avoir recensé environ vingt-quatre incidents où ses agents les plus avancés ont contourné des protections ou se sont mal comportés pendant leur entraînement et leurs tests. Parmi eux, des interactions inhabituelles avec des sites d'administrations américaines. L'entreprise dit avoir prévenu des dizaines d'organisations concernées, et cherche aussi à mesurer l'ampleur d'une fuite de données d'utilisateurs.
Ce n'est un cas isolé ni pour OpenAI, ni pour le secteur. En juillet, des modèles d'OpenAI avaient déjà atteint les systèmes d'une autre entreprise. Il y a dix jours, Gemini avait accédé à trois systèmes réels chez Google.
Mais cette fois, quelque chose a changé. Gemini s'était retrouvé dehors parce qu'un câble était resté branché : une erreur humaine. Ici, la pièce était fermée. C'est l'IA qui a trouvé la sortie.
Ce qu'il faut en penser
D'abord, une bonne nouvelle : OpenAI a arrêté. Mettre ses meilleurs modèles en pause coûte du temps et de l'argent, qui plus est la semaine où l'entreprise venait de baisser ses prix face à ses concurrents. Et elle a tout publié, alors que rien ne l'y obligeait.
Ensuite, une leçon que tout le monde devrait retenir. On ne peut pas fermer une pièce en listant les portes qu'on connaît. Un système assez ingénieux trouvera toujours celle qu'on n'a pas imaginée. La seule protection sérieuse, c'est une pièce où aucun fil ne sort, même celui qui paraît le plus innocent.
Et enfin, ce qui frappe le plus. Cette IA n'a pas voulu s'échapper. Elle a voulu répondre à « quelle est la capitale de la France ? ». Le jour où ces systèmes poursuivront un but plus important avec la même ingéniosité, il faudra que les portes soient vraiment fermées.