Un laboratoire rapporte que ses dispositifs de surveillance bloquent environ une action sur 47 000, sur une flotte d'environ trente mille agents tournant simultanément. Cela implique qu'il existe une couche entière de logiciel dont le seul rôle est de regarder ce que font les modèles et d'intervenir. Comment fonctionne-t-elle, et sur quoi décide-t-elle ?
Nous rapportions ce matin ces chiffres d'auto-amélioration. Voici la plomberie qui va avec.
Les trois endroits où l'on peut surveiller
Avant l'action. Le système examine ce que l'agent s'apprête à faire et décide de laisser passer ou non. C'est le plus efficace, parce que rien n'est arrivé encore. C'est aussi le plus coûteux, parce qu'il faut évaluer chaque action avant exécution.
Pendant le raisonnement. On lit le brouillon interne du modèle pour repérer une intention problématique avant qu'elle ne devienne une action. C'est ce que permettent les modèles de raisonnement, et c'est précisément le mécanisme dont le rapport de sécurité de GPT-6 Astra indiquait qu'il pouvait être contourné en conditions adverses.
Après coup. On analyse les journaux pour repérer ce qui aurait dû être bloqué. C'est le moins cher et le plus tardif : utile pour améliorer les règles, inutile pour empêcher.
Qui surveille, et le problème que ça pose
Voici le point le plus intéressant. À cette échelle, la surveillance ne peut pas être humaine : trente mille agents produisent bien trop d'actions.
Ce sont donc d'autres modèles qui surveillent. Un système plus petit, plus rapide et spécialisé examine les actions d'un système plus capable.
Cela crée une difficulté qu'on ne peut pas contourner : le surveillant est moins capable que le surveillé. Si le modèle principal trouve une manière de formuler une action que le surveillant ne reconnaît pas comme problématique, elle passe.
C'est exactement le problème que nous décrivions dans notre article sur les tests devenus un risque : on ne peut pas mesurer une capacité sans donner à ce qu'on mesure l'occasion de l'exercer sur l'instrument de mesure.
Tout dispositif de ce type a un curseur, et il n'y a pas de bon réglage. Trop strict, il bloque du travail légitime — et dans un laboratoire où les agents font 26 % de la recherche, cela coûte directement en productivité. Trop permissif, il laisse passer ce qu'il devait attraper. Une action bloquée sur 47 000 décrit une position sur ce curseur, pas une performance. Sans savoir combien d'actions problématiques sont passées, ce taux ne dit rien de l'efficacité — c'est la même limite que nous soulignions pour la modération publicitaire automatisée.
Ce qui marche le mieux
Deux approches se dégagent, et elles ne reposent pas sur l'intelligence du surveillant.
Les limites structurelles. Plutôt que de juger chaque action, on restreint ce qui est possible : pas d'accès réseau non nécessaire, pas d'identifiants du système principal, des permissions minimales. C'est le principe de moindre privilège que nous détaillions dans notre guide des accès. Une action impossible n'a pas besoin d'être détectée.
La détection d'anomalie. Plutôt que de chercher ce qui est mauvais, on repère ce qui est inhabituel : un agent qui accède à des ressources qu'il ne touche jamais, un volume de requêtes atypique, une sortie de données inattendue. Cette approche ne demande pas de comprendre l'intention.
Ce qu'il faut retenir
La surveillance d'agents est un domaine jeune, et la plupart des organisations qui déploient des agents n'en ont aucune.
Le conseil pratique qui en découle est simple et rarement suivi : avant d'investir dans un dispositif de détection sophistiqué, réduisez ce que vos agents peuvent atteindre. Une bonne architecture de permissions attrape plus de problèmes qu'un bon surveillant, parce qu'elle ne dépend pas de la capacité à reconnaître une intention.
C'est moins élégant, et c'est ce qui tient.