SociétéGlossaire de l'IA
Robots.txt
Petit fichier texte placé à la racine d'un site web pour indiquer quels robots ont le droit de le parcourir et quelles pages ils doivent éviter. Né il y a une trentaine d'années pour les moteurs de recherche, il sert désormais aux éditeurs à refuser la collecte de leurs contenus pour entraîner des IA. Mais il repose sur la bonne volonté des robots : rien ne les oblige techniquement à le respecter.
Autrement dit
Un panneau « propriété privée » à l'entrée d'un jardin : la plupart des passants le respectent, mais il ne ferme aucune porte.
Nos articles qui en parlent
- Comment un site dit oui ou non aux robots d'IA
Le fichier robots.txt permet à un site d'indiquer quels robots peuvent le parcourir. On explique son fonctionnement, pourquoi il ne suffit plus, et ce qui le remplace.
Voir aussi
Dans la même famille : Société
Retrouver ce terme dans le glossaire complet →Tous les termes