Un système d'IA chargé de gérer un magasin a recommandé de licencier un employé humain. Le titre suffit à faire frissonner. Mais la précision qui accompagne l'information est essentielle : la recommandation est intervenue après qu'on l'y a invité. Cette nuance ne rend pas l'épisode anodin. Elle déplace la question, et vers un endroit plus inconfortable.
Nous avons consacré plusieurs articles à la délégation de décisions. En voici un cas concret, et il touche à ce qui se délègue le moins bien : les décisions concernant des personnes.
Pourquoi le fait d'avoir été sollicité compte
Si un système avait spontanément décidé de licencier quelqu'un, nous serions face à un problème de contrôle. Ce n'est pas ce qui s'est passé, et il faut le dire clairement pour ne pas raconter une histoire fausse.
Ce qui s'est passé est différent et plus banal : on a demandé à un système d'optimiser une exploitation, et il a produit ce qu'un raisonnement d'optimisation produit. Un poste dont le coût dépasse la contribution mesurée devient une variable d'ajustement.
C'est exactement le mécanisme décrit dans notre article sur l'apprentissage par renforcement : le système optimise le critère fourni, pas l'intention derrière. Si le critère est la rentabilité et que rien ne le pondère, la recommandation est cohérente. Elle est même correcte, au sens strict.
Le vrai problème est en amont
Le problème n'est donc pas que la machine ait proposé cela. C'est que la question lui ait été posée dans ces termes.
Une décision de licenciement n'est pas une optimisation. Elle engage une personne, un revenu, une famille, et elle s'inscrit dans un cadre juridique qui prévoit des motifs, des procédures et des recours. Ces éléments ne figurent pas dans un calcul de rentabilité, sauf si on les y met explicitement.
Un système à qui l'on demande d'optimiser sans contrainte produira toujours des recommandations qui ignorent ce qu'on ne lui a pas dit de prendre en compte. Ce n'est pas une défaillance, c'est une propriété.
Voici ce qui devrait inquiéter davantage que le scénario de la machine qui décide. Un dirigeant qui envisage une réduction d'effectif dispose désormais d'un moyen de faire produire cette recommandation par un système, puis de la présenter comme une conclusion objective. La décision reste humaine, mais elle se pare d'une neutralité qu'elle n'a pas. C'est le mécanisme que nous décrivions dans notre article sur l'anthropomorphisme : dire qu'une IA a recommandé quelque chose installe l'idée d'un agent impartial. Il n'y en a pas.
Ce qui devrait encadrer ces usages
Trois principes, dont deux ont déjà une base juridique en Europe.
Pas de décision automatisée sur les personnes. Le cadre européen prévoit qu'une décision produisant des effets juridiques significatifs ne peut pas reposer sur un traitement entièrement automatisé sans intervention humaine réelle. Nous l'avons rappelé à propos du recrutement, et cela vaut a fortiori pour un licenciement.
La traçabilité de la recommandation. Si un système a contribué à une décision, cela devrait être documenté, avec les critères utilisés. Une recommandation dont personne ne peut reconstituer la logique n'a pas sa place dans un dossier qui peut être contesté.
La responsabilité nominative. Quelqu'un doit signer, et ce quelqu'un doit être en mesure de justifier autrement qu'en invoquant l'outil. C'est le vide que nous décrivions dans notre article sur la responsabilité.
Ce qu'il faut retenir
Cet épisode est instructif précisément parce qu'il n'est pas le scénario de science-fiction qu'on redoutait. Aucune machine n'a pris le pouvoir. Quelqu'un a posé une question mal cadrée à un système qui y a répondu correctement.
Le critère que nous proposions dans notre article sur la délégation s'applique parfaitement ici : une décision se délègue quand elle est réversible, quand le critère est explicite, et quand on reste capable de juger le résultat. Un licenciement échoue aux trois.
Ce qui rend l'affaire intéressante, c'est qu'elle ne concerne pas la technologie mais nous. Un outil qui produit ce qu'on lui demande est un outil qui fonctionne. La question est de savoir ce que nous choisissons de lui demander, et ce que nous acceptons de laisser hors du calcul.