La critique, en substance 🎯
Une tribune publiée cette semaine par la MIT Technology Review reproche à l'industrie de nous inviter à nous inquiéter d'une machine toute-puissante imaginaire plutôt que de ce qui se produit déjà : l'aggravation climatique, l'asthme des populations riveraines des data centers, la hausse des factures d'électricité, l'eau détournée. Elle énumère les annonces spectaculaires de l'été — vulnérabilités, incidents, percées mathématiques — comme autant de diversions.
Une tribune publiée cette semaine par la MIT Technology Review reproche à l'industrie de nous inviter à nous inquiéter d'une machine toute-puissante imaginaire plutôt que de ce qui se produit déjà : l'aggravation climatique, l'asthme des populations riveraines des data centers, la hausse des factures d'électricité, l'eau détournée. Elle énumère les annonces spectaculaires de l'été — vulnérabilités, incidents, percées mathématiques — comme autant de diversions.
Cette critique mérite mieux qu'une réponse défensive, d'autant qu'elle s'applique en partie à la manière dont ces sujets sont couverts partout, y compris ici. Prenons-la au sérieux.
Ce que l'argument a de juste
Commençons par ce qu'il faut concéder, et c'est beaucoup.
Les dommages concrets sont documentés. Nous avons nous-mêmes consacré des articles à l'eau en Inde, à la colère des riverains en Virginie, au coût des raccordements reporté sur les ménages, aux conditions de travail des annotateurs. Ces effets sont réels, mesurables et présents.
L'attention est un bien rare. Chaque heure passée à débattre d'une superintelligence hypothétique est une heure qui n'est pas passée sur une facture d'électricité réelle. Ce n'est pas un détail : c'est la ressource du débat public.
Les récits spectaculaires servent des intérêts. Une technologie présentée comme assez puissante pour menacer l'humanité est aussi une technologie présentée comme assez puissante pour justifier n'importe quelle valorisation. Le récit de la peur et celui de la promesse se nourrissent. Nous l'avons relevé dans notre essai sur la banalisation : l'attention se concentre sur ce qui est spectaculaire, jamais sur ce qui est diffus.
Ce qui ne tient pas
Il faut aussi dire où l'argument force le trait, parce que c'est là qu'il devient dangereux.
Les deux catégories de risque ne s'excluent pas. Présenter l'inquiétude sur les capacités comme une diversion suppose qu'on doive choisir. Or rien n'empêche de faire payer aux data centers leur raccordement et d'exiger que les laboratoires isolent correctement leurs tests. Ce sont deux problèmes, traités par des gens différents, avec des outils différents.
Certains risques « spectaculaires » ont eu lieu. Trois laboratoires ont déclaré en deux mois qu'un modèle avait atteint des systèmes réels, le dernier la semaine dernière. Une campagne a utilisé un modèle ouvert pour attaquer 460 systèmes. Ce ne sont pas des spéculations sur une machine divine : ce sont des incidents de sécurité, avec des victimes réelles. Les ranger dans la catégorie du fantasme serait aussi une erreur de répartition.
La distinction qui sauve le débat ⚖️
Le problème n'est pas de s'inquiéter des risques liés aux capacités. C'est de confondre deux choses qui portent le même nom. D'un côté, des risques documentés : des incidents, des attaques, des défaillances de confinement, qu'on peut compter et corriger. De l'autre, des scénarios spéculatifs : une superintelligence hostile, dont on ne peut ni mesurer la probabilité ni tester les hypothèses. La critique vise juste sur les seconds et se trompe sur les premiers. Les ranger ensemble — dans un sens ou dans l'autre — est exactement ce qui empêche de penser.
Le problème n'est pas de s'inquiéter des risques liés aux capacités. C'est de confondre deux choses qui portent le même nom. D'un côté, des risques documentés : des incidents, des attaques, des défaillances de confinement, qu'on peut compter et corriger. De l'autre, des scénarios spéculatifs : une superintelligence hostile, dont on ne peut ni mesurer la probabilité ni tester les hypothèses. La critique vise juste sur les seconds et se trompe sur les premiers. Les ranger ensemble — dans un sens ou dans l'autre — est exactement ce qui empêche de penser.
Comment répartir son inquiétude
Si l'attention est rare, il faut un critère pour la distribuer. Nous en proposons trois, et ils valent pour tous les risques.
Est-ce que ça arrive déjà ? Un dommage présent a priorité sur un dommage possible, non parce qu'il est plus grave, mais parce qu'il est certain et qu'on peut agir dessus maintenant.
Qui le subit, et peut-il se faire entendre ? Les riverains d'un data center ont des élus. Les annotateurs au Kenya n'en ont pas qui comptent dans ce débat. L'attention devrait aller en priorité à ceux qui n'ont pas d'autre moyen d'obtenir qu'on les regarde.
Peut-on faire quelque chose de précis ? Une inquiétude qui ne débouche sur aucune action identifiable est une émotion, pas une politique. Faire payer un raccordement, exiger une isolation physique, protéger un signalement : ce sont des actions. « Ralentir » sans critère ne l'est pas encore.
Ce qu'il faut retenir
La réponse à la question du titre est oui : il faut s'inquiéter des bonnes choses, et cette tribune a raison de rappeler que les bonnes choses ne sont pas toujours les plus spectaculaires.
Mais elle aurait tort de conclure qu'il faut choisir entre les dommages visibles et les risques techniques. Le vrai partage n'est pas entre le concret et le spectaculaire. Il est entre ce qu'on peut mesurer et corriger, et ce qu'on ne peut qu'imaginer.
Les factures d'électricité, l'eau, les conditions de travail, les incidents de confinement appartiennent tous à la première catégorie. C'est là qu'il faut mettre l'essentiel de notre attention — non parce que le reste n'existe pas, mais parce que c'est là qu'elle peut changer quelque chose.