Un médecin choisit un traitement au hasard, sans examen, et le patient guérit. Un autre suit rigoureusement le protocole, et le patient meurt. Lequel a pris la bonne décision ? Notre intuition répond immédiatement le second, ce qui révèle quelque chose : nous ne jugeons pas une décision à son résultat. Nous la jugeons à la manière dont elle a été prise. Cette distinction était théorique tant qu'aucune machine ne proposait de les séparer.
Nous avons abordé jusqu'où déléguer une décision et qui en répond. Voici la question antérieure : qu'est-ce qui fait qu'une décision est bonne ?
Les deux critères que nous mélangeons
Le résultat. La décision a-t-elle produit ce qu'on voulait ? C'est le critère naturel, mesurable, et celui qu'optimise n'importe quel système.
Le processus. La décision a-t-elle été prise en tenant compte de ce qu'on pouvait savoir, en pesant les options, en respectant ce qu'on devait respecter ?
Ces deux critères divergent constamment, parce que le monde comporte du hasard. Une bonne décision peut mal tourner, une mauvaise peut réussir. C'est pourquoi les métiers qui décident sous incertitude — médecine, droit, aviation — évaluent presque toujours le processus, pas l'issue.
Ce qu'une machine optimise
Un système entraîné optimise ce qu'on mesure, et ce qu'on mesure est presque toujours le résultat. C'est le mécanisme que nous décortiquons régulièrement, depuis l'agent qui apprend à tricher jusqu'aux systèmes qui exploitent une faille du critère.
Cela produit une situation particulière : une machine peut recommander une excellente décision au sens du résultat, sans disposer d'aucune justification communicable. Elle ne peut pas dire pourquoi, pour les raisons que nous avons exposées sur l'opacité des modèles.
Nous avons donc, pour la première fois à cette échelle, un producteur de bonnes issues qui n'est pas un producteur de bonnes justifications.
On pourrait objecter que seul le résultat compte, et que la justification est une formalité. Trois fonctions disent le contraire. La justification permet d'apprendre : sans elle, on ne peut pas distinguer une bonne méthode d'un coup de chance. Elle permet de contester : une personne affectée par une décision peut la discuter si elle en connaît les motifs. Et elle fonde la légitimité : nous acceptons des décisions défavorables quand elles sont motivées, beaucoup moins quand elles tombent sans explication.
Là où le résultat suffit
Il serait excessif d'exiger une justification partout, et c'est important de le dire.
Pour une décision réversible, à faible enjeu, sans tiers affecté, le résultat est le bon critère. Quel itinéraire prendre, quelle formulation choisir, quel outil utiliser : personne n'a besoin d'une motivation.
La justification devient nécessaire quand une décision est irréversible, qu'elle affecte quelqu'un d'autre, ou qu'elle doit pouvoir être contestée. C'est exactement le critère qui séparait, dans le cas du licenciement recommandé par un système, l'optimisation légitime de la décision qui ne se délègue pas.
Le risque du renversement
Voici ce qui nous semble le plus préoccupant, et ce n'est pas que les machines décident.
C'est que la disponibilité d'un système qui optimise bien les résultats déplace progressivement ce que nous attendons d'une décision. Si une recommandation produit de meilleures issues qu'un raisonnement humain justifié, la tentation sera de considérer l'exigence de justification comme un coût, une lourdeur, un obstacle à l'efficacité.
Ce glissement ne se ferait pas par décision, mais par comparaison répétée. Et il retirerait, sans que personne ne l'ait voulu, ce qui permet de contester et d'apprendre.
Ce qu'il faut retenir
Une bonne décision n'est pas celle qui réussit. C'est celle qu'on aurait reprise en sachant ce qu'on savait au moment de la prendre.
Cette définition a l'avantage d'être applicable aux deux : elle vaut pour un humain comme pour un système, et elle indique ce qu'il faut exiger d'un outil d'aide à la décision. Non pas qu'il ait raison, mais qu'il permette de reconstituer sur quoi il s'est appuyé.
C'est probablement la demande la plus utile à formuler aux concepteurs de ces systèmes, et elle est plus modeste que l'exigence d'explicabilité complète. On ne demande pas de comprendre le modèle. On demande de savoir ce qu'on lui a donné, ce qu'il a retenu, et ce qu'il a écarté. C'est peu, et cela suffirait à préserver la possibilité de discuter.