Un modèle que vous pouvez interroger est un modèle dont vous pouvez extraire le savoir-faire. Ce n'est pas une faille de sécurité : c'est une propriété de ce que sont ces systèmes. Un modèle est fait pour répondre, et ses réponses contiennent son savoir. Le seul modèle inextractible est un modèle auquel personne n'accède.
Nous rapportions ce matin des accusations d'extraction à l'échelle industrielle. Voici comment ça marche, et pourquoi c'est si difficile à empêcher.
Le mécanisme
On interroge un modèle sur un très grand nombre de questions, on collecte ses réponses, et on entraîne un second modèle à les reproduire. C'est exactement la distillation que nous avons expliquée, appliquée à un modèle qu'on ne possède pas.
Ce qui rend l'opération redoutable, c'est qu'elle transmet bien plus que des réponses. Le second modèle apprend la manière de procéder du premier : comment il structure une explication, quels arbitrages il fait, comment il traite une ambiguïté.
Le rapport économique est frappant. Entraîner un modèle de pointe coûte des centaines de millions. Collecter quelques millions de réponses coûte quelques dizaines de milliers d'euros. On ne reproduit pas le modèle, on en récupère une fraction substantielle pour une fraction infime du prix.
Pourquoi les défenses échouent
Limiter le débit. On peut plafonner le nombre de requêtes par compte. L'attaquant répartit sur des centaines de comptes, passe par des revendeurs ou des plateformes de routage. Cela ralentit, cela n'empêche pas.
Détecter les schémas suspects. Une extraction produit une distribution de questions particulière : très diverse, très couvrante, sans lien avec un usage métier. C'est détectable, et cela se contourne en mélangeant du trafic légitime.
Marquer les sorties. On pourrait introduire un signal permettant de reconnaître ensuite qu'un modèle a appris sur ces réponses. Nous avons montré ce que valent les filigranes de texte : le signal se dégrade dès qu'on reformule, et l'entraînement lui-même le dilue.
Masquer le raisonnement. Certains fournisseurs chiffrent le brouillon interne pour ne pas exposer la méthode. Nous avons documenté comment ce chiffrement a été contourné.
Toute défense sérieuse dégrade le service pour les utilisateurs légitimes. Limiter le débit gêne les gros clients, qui sont les plus rentables. Filtrer les questions inhabituelles bloque les usages de recherche. Refuser les requêtes diverses pénalise exactement ceux qui explorent le plus. Un fournisseur doit donc arbitrer entre protéger son modèle et servir ses meilleurs clients. C'est un arbitrage commercial, et il penche presque toujours du même côté.
Ce que ça change dans la stratégie des laboratoires
Si l'on admet que les capacités fuient de toute façon, plusieurs choix deviennent lisibles.
Publier volontairement. C'est le calcul que nous avons décrit à propos des laboratoires qui diffusent leurs poids sous licence permissive. Si le savoir s'échappe, autant capter l'influence et l'écosystème plutôt que de tenter de retenir.
Se différencier ailleurs. Un modèle s'extrait ; une infrastructure, un corpus propriétaire, une relation client ne s'extraient pas. C'est exactement le déplacement que nous documentons, de l'éditeur construisant son modèle sur son corpus aux acteurs qui investissent dans les puces et les plateformes.
Accélérer. Si un modèle est extractible en quelques mois, la seule protection durable est d'en sortir un meilleur entre-temps. Cela explique en partie le rythme de publication actuel.
Ce qu'il faut retenir
L'extraction de modèle est un problème sans solution technique, et c'est ce qui le rend intéressant.
Il illustre une propriété générale de ces systèmes que nous rencontrons sous plusieurs formes : ce qui les rend utiles est exactement ce qui les rend vulnérables. Un modèle qui répond bien expose son savoir-faire. Un agent qui lit vos fichiers peut être détourné par leur contenu. Un assistant qui se souvient élargit sa surface d'attaque dans le temps.
Il n'existe pas de version puissante et sans surface. La question n'est donc jamais de supprimer le risque, mais de savoir lequel on accepte et ce qu'on met en face.