Anthropic a annoncé installer des évaluateurs intégrés disposant d'un accès de niveau salarié, chargés de vérifier ses pratiques de sécurité et de signaler les incidents. Selon Bloomberg, Sam Altman s'est engagé à placer également des évaluateurs tiers chez OpenAI. C'est exactement ce que nous réclamons depuis le mois d'août.
Nous avons écrit, à chaque article sur la sécurité, la même phrase : un engagement que personne ne peut vérifier n'est pas un engagement. Voici la première réponse sérieuse à cette objection.
Pourquoi ce dispositif change la nature du problème
Rappelons la limite structurelle que nous soulignions à propos du ralentissement annoncé en août : une entreprise qui fixe ses règles, les applique et vérifie qu'elle les respecte occupe les trois rôles. Cela ne produit pas de la vérification, cela produit de la déclaration.
Un évaluateur extérieur disposant d'un accès interne casse cette configuration. Il voit ce qui se passe plutôt que ce qu'on lui montre.
Le détail qui compte est l'accès de niveau salarié. Un auditeur qui reçoit des documents préparés pour lui n'audite rien. Un auditeur qui a les mêmes accès qu'un ingénieur peut constater par lui-même — et surtout, constater ce qu'on ne lui a pas montré.
Les quatre questions qui décideront de sa valeur
Qui nomme ? Un évaluateur choisi et rémunéré par l'entreprise qu'il évalue est dans une position inconfortable. C'est le problème classique de l'audit, connu depuis les scandales comptables des années 2000. La solution habituelle passe par une rotation obligatoire et une nomination par un tiers.
Que publient-ils ? Un rapport remis à la direction et un rapport rendu public n'ont pas la même fonction. Le premier informe, le second contraint.
Que se passe-t-il en cas de désaccord ? Si un évaluateur estime qu'un modèle ne devrait pas être déployé et que l'entreprise le déploie, quel est le recours ? Sans réponse à cette question, le dispositif est consultatif.
Sont-ils protégés ? C'est le point le plus important. Nous l'écrivions à propos du recensement demandé par le Congrès : si signaler expose, personne ne signale. Un évaluateur intégré doit pouvoir déclarer sans risquer son contrat.
Ce dispositif existe ailleurs et il fonctionne, avec des conditions précises. Dans le nucléaire civil, des inspecteurs disposent d'un accès permanent aux installations, publient leurs constats, et leur autorité de tutelle peut ordonner un arrêt. Dans l'aviation, des dispositifs de signalement protègent celui qui déclare, ce qui a fait chuter les accidents bien plus que les sanctions. Le point commun de ces systèmes n'est pas la présence d'inspecteurs : c'est qu'ils relèvent d'une autorité extérieure à l'entreprise et qu'ils peuvent bloquer.
Ce que ça s'ajoute
Cette annonce complète une séquence rapide. Un institut public britannique a constaté de l'extérieur des comportements trompeurs. Un laboratoire a publié des dénominateurs que personne ne possédait. Et deux laboratoires s'ouvrent désormais à des observateurs internes.
Nous écrivions il y a trois semaines que la confiance envers une technologie qu'on ne comprend pas repose sur quatre conditions : que quelqu'un comprenne, qu'un historique existe, que les défaillances soient analysées publiquement, et que quelqu'un réponde. La troisième vient de progresser nettement.
Ce qu'il faut retenir
C'est une bonne nouvelle, et il faut le dire sans réserve avant d'ajouter les conditions.
Ce dispositif est ce qui manquait à toutes les annonces de ces derniers mois. Il transforme une déclaration en constat, et il le fait volontairement, sans qu'aucune loi ne l'impose.
Sa valeur se mesurera à un critère unique : que se passera-t-il la première fois qu'un évaluateur dira non ? Si son avis est publié et suivi d'effet, ce dispositif deviendra une norme dans tout le secteur. S'il est absorbé sans conséquence, il rejoindra la liste des engagements qui rassurent sans contraindre. Nous le saurons dans les mois qui viennent, et c'est exactement ce qu'il faudra surveiller.