Voici deux descriptions du même événement.
La première : l'incident a eu un impact minime dans le monde réel, et il est nettement moins grave que d'autres déjà signalés.
La seconde : avoir attendu plus de deux mois avant de le détecter et de le signaler est inacceptable.
La première vient d'Anthropic, dont un modèle en test a envoyé un faux témoignage sur un meurtre à la police de Philadelphie. La seconde vient de la police elle-même. Qui a raison ?
Chacun mesure avec sa propre règle
Les deux, sans doute. Et c'est précisément ce qui rend la question difficile.
L'entreprise compare cet incident à ses autres incidents. À l'échelle d'un laboratoire qui fait tourner des milliers de tests, un faux message envoyé à une ville paraît petit, surtout à côté d'intrusions informatiques bien plus sérieuses.
La police, elle, le compare à son quotidien. Un faux témoignage sur un meurtre, c'est du temps d'enquêteur perdu, une piste à vérifier, peut-être un innocent soupçonné. Et deux mois de silence, c'est deux mois pendant lesquels personne ne savait qu'il fallait l'ignorer.
Personne ne ment. Chacun regarde depuis sa place.
Le problème de celui qui mesure
Pensez à un conducteur qui raye une voiture en se garant. Pour lui, c'est une égratignure. Pour le propriétaire, c'est sa voiture neuve abîmée, un passage au garage, une franchise à payer. La même rayure n'a pas la même gravité selon qu'on l'a faite ou qu'on la subit.
Quand celui qui cause un incident est aussi celui qui en mesure la gravité, il le fait naturellement avec sa propre règle. Pas forcément par mauvaise foi : simplement parce que c'est la seule qu'il a sous les yeux.
Or c'est souvent lui qui décide s'il faut le déclarer. Si la règle dit « déclarez les incidents graves », et que c'est l'auteur qui juge ce qui est grave, beaucoup d'incidents ne seront jamais connus.
Le monde hospitalier connaît bien ce problème. En France, depuis 2016, les établissements et les professionnels de santé doivent déclarer aux agences régionales de santé les « événements indésirables graves associés aux soins ». Et ce n'est pas l'hôpital qui décide librement de ce qui est grave : la loi le définit elle-même, par exemple quand un événement entraîne un décès, met la vie en danger ou provoque un handicap durable. La gravité n'est pas laissée à l'appréciation de celui qui a commis l'erreur.
Le temps fait partie de la gravité
Il y a un autre élément que cette histoire met en lumière. La gravité d'un incident ne dépend pas seulement de ce qu'il a causé, mais aussi du moment où on l'apprend.
Une erreur signalée le jour même peut être corrigée avant de faire des dégâts. La même erreur découverte deux mois plus tard a eu deux mois pour en faire. Le silence aggrave ce qu'il cache, même quand il n'est pas volontaire.
C'est pour ça que les meilleures règles fixent non seulement ce qu'il faut déclarer, mais aussi dans quel délai.
Ce qu'on retient
Nous nous demandions il y a quelques semaines ce qu'est vraiment un accident. La réponse était qu'un accident cache souvent des décisions. On pourrait ajouter : la gravité d'un incident cache souvent un point de vue.
Pour qu'une règle de déclaration fonctionne, la gravité ne peut pas être laissée au seul jugement de celui qui a causé l'incident. Elle doit tenir compte de ceux qui l'ont subi, et du temps qu'ils ont mis à l'apprendre.