Un chercheur travaillant sur la sécurité des modèles a constaté qu'une méthode destinée à générer des transcriptions de test pouvait être retournée en gabarit d'attaque réutilisable. Sur vingt-trois modèles éprouvés, les neuf plus vulnérables auraient cédé dans 84 à 100 % des tentatives. Seuls les modèles récents d'Anthropic et un modèle de Meta n'auraient jamais été complètement contournés.
Nous avons expliqué ce qu'est un jailbreak et documenté plusieurs attaques cette année. Celle-ci est d'une autre nature, et c'est son origine qui la rend intéressante.
Ce qui distingue ce cas
La plupart des contournements que nous avons couverts sont spécifiques : une formulation qui fonctionne sur un modèle, corrigée dans la version suivante. C'est un jeu du chat et de la souris, coûteux pour l'attaquant.
Ici, il s'agit d'un gabarit : une structure réutilisable, applicable à des demandes différentes et à des modèles différents. La différence est celle qui sépare une clé d'un passe-partout.
Et son origine est une méthode de recherche en sécurité. L'outil servait à produire des transcriptions synthétiques pour tester les modèles. Sa réutilisation détournée n'a demandé aucune découverte nouvelle, seulement un changement d'intention.
Pourquoi ça fonctionne
Le mécanisme rejoint ce que nous décrivons régulièrement. Un modèle ne dispose d'aucune frontière nette entre les données qu'il analyse et les instructions qu'il suit : tout est du texte.
Une technique qui demande au modèle de produire un dialogue fictif, un rapport de test ou une transcription crée un cadre dans lequel le contenu problématique n'est plus une demande directe mais un élément de l'exercice. Le modèle traite alors la production comme une tâche de forme plutôt que comme une requête de fond.
C'est le même ressort que nous décrivions à propos de l'injection par texte invisible : on ne force pas le modèle, on lui présente autrement ce qu'on lui demande.
Le fait que deux familles de modèles aient mieux résisté est l'information la plus utile de cette étude. Cela indique que la robustesse aux contournements n'est pas une propriété fatale des modèles de langage, mais une conséquence de choix d'entraînement et de dispositifs de sécurité. Autrement dit : c'est améliorable. C'est une nuance importante face au discours selon lequel ces systèmes seraient intrinsèquement impossibles à protéger. Ils sont difficiles à protéger, et certains le sont mieux que d'autres.
Le dilemme du double usage
Cette affaire pose une question que la recherche en sécurité connaît bien et que l'IA redécouvre.
Pour vérifier qu'un modèle résiste, il faut tenter de le faire céder. Les outils de test et les outils d'attaque sont donc les mêmes objets, distingués uniquement par l'intention de celui qui les tient. Nous l'avons développé à propos des tests de sécurité devenus un risque.
La différence ici est que la conversion n'a demandé aucun effort. Une méthode publiée dans un cadre de recherche s'est révélée directement utilisable, ce qui déplace la question de la publication : faut-il diffuser une technique de test quand elle constitue, telle quelle, un mode d'emploi ?
Ce que ça implique concrètement
Pour quiconque déploie un modèle dans un produit, trois conséquences.
Ne comptez pas uniquement sur les garde-fous du modèle. Un gabarit universel signifie que la protection intégrée peut céder. Une couche de vérification en sortie, côté application, reste nécessaire.
La robustesse est un critère de choix. Si des modèles résistent nettement mieux que d'autres, cela devrait entrer dans l'évaluation au même titre que la performance, ce que peu d'équipes font aujourd'hui.
Surveillez les sorties, pas seulement les entrées. Filtrer les requêtes suspectes ne suffit pas quand l'attaque passe par un cadrage anodin.
Ce qu'il faut retenir
Cette découverte confirme un point que nous répétons : les garde-fous sont des obstacles probabilistes, pas des barrières. Ils réduisent la fréquence des sorties problématiques, ils ne les rendent pas impossibles.
Elle apporte aussi une nuance encourageante, et il serait dommage de la manquer sous le titre alarmant. Tous les modèles ne se valent pas face à ce type d'attaque, ce qui signifie que le travail sur la robustesse produit des résultats mesurables. C'est précisément le genre de constat qui manque au débat, où l'on oppose généralement l'optimisme béat au fatalisme.
Reste la question de fond, qu'aucune amélioration technique ne réglera : une méthode de recherche publiée est une méthode disponible. C'est le prix de la science ouverte, et il vaut probablement d'être payé, à condition de savoir qu'on le paie.