À la racine de la plupart des sites web se trouve un fichier de quelques lignes appelé robots.txt. Il date de 1994, il n'a aucune valeur juridique, et il fonctionne uniquement parce que tout le monde a longtemps accepté de le respecter. C'est devenu l'instrument central du conflit entre les éditeurs et les laboratoires d'IA.
Nous rapportions ce matin un blocage par défaut des robots à usage mixte. Voici comment fonctionne le dispositif qu'il complète.
Le principe
Un site publie à une adresse convenue un fichier listant les robots autorisés et les parties du site qu'ils peuvent parcourir. Chaque robot s'identifie par un nom, et le fichier peut lui accorder ou lui refuser l'accès, en totalité ou par section.
Le point essentiel, et il surprend toujours : ce fichier n'empêche rien techniquement. Il exprime une préférence. Un robot qui décide de l'ignorer accède au contenu exactement comme s'il n'existait pas.
Le système a fonctionné trente ans parce que l'intérêt était partagé. Un moteur de recherche qui ignorait ces préférences risquait sa réputation, et les sites avaient intérêt à être indexés. Cet équilibre reposait sur un échange : je te laisse parcourir, tu m'envoies des visiteurs.
Pourquoi ça ne suffit plus
Trois raisons ont rompu cet équilibre.
L'échange a disparu. Un robot qui collecte pour entraîner un modèle ne renvoie aucun visiteur. Nous l'avons documenté dans notre article sur le journalisme : le trafic de référence s'effondre quand la réponse est donnée directement.
Les robots se sont multipliés. Il ne s'agit plus de quelques moteurs identifiables mais de dizaines d'acteurs, dont certains changent de nom, passent par des intermédiaires ou ne s'identifient pas.
Les usages se sont mélangés. C'est le point que traite le blocage annoncé : un même robot peut indexer, collecter pour l'entraînement et récupérer du contenu pour un agent. Le fichier ne permet pas de distinguer ces trois usages, parce qu'il a été conçu à une époque où le second et le troisième n'existaient pas.
Indexer : parcourir pour alimenter un moteur de recherche. L'éditeur y gagne des visiteurs.
Collecter pour l'entraînement : intégrer le contenu dans un corpus qui servira à construire un modèle. L'éditeur n'y gagne rien, sauf accord de licence.
Récupérer pour un agent : lire une page en direct pour répondre à une question précise, comme nous l'expliquions dans notre article sur la recherche web. C'est le cas ambigu : l'éditeur est cité, parfois avec un lien, et rarement visité.
Ce qui remplace ou complète
Le blocage au niveau réseau. Plutôt que de demander poliment, on refuse la connexion. C'est ce que permet un fournisseur d'infrastructure placé devant le site, et c'est efficace parce que cela ne dépend plus de la bonne volonté du robot.
Les accords de licence. La voie négociée, qui se développe rapidement. Nous l'avons vue dans la musique et dans l'édition. Le blocage technique est ce qui rend la négociation possible : on ne négocie pas ce qu'on peut prendre.
Les péages. Certains dispositifs facturent l'accès des robots à la requête, ce qui transforme la collecte en transaction plutôt qu'en conflit.
Ce qu'il faut retenir
Ce fichier est un bel exemple de ce qui arrive à une norme fondée sur la réciprocité quand la réciprocité disparaît.
Il a parfaitement fonctionné tant que les deux parties y gagnaient. Il est devenu inopérant dès qu'une partie a pu prendre sans rendre. Ce n'est pas un problème technique : aucune amélioration du format ne le réglerait.
Ce qui le remplace est plus efficace et moins souhaitable : un pouvoir exercé par ceux qui contrôlent l'infrastructure, plutôt qu'une convention respectée par tous. C'est le prix d'un accord qui a cessé d'être tenu.