Les biais : un reflet déformé des données

Un modèle apprend sur des textes et des images produits par des humains, majoritairement en anglais, majoritairement issus de certains pays et de certains milieux. Il en reproduit les régularités, y compris celles qu'on préférerait ne pas voir. Ce n'est pas une opinion du modèle : c'est une statistique qui s'exprime.

D'où viennent les biais

• Les données. Ce qui est sur-représenté devient la norme : un « médecin » généré en image est plus souvent un homme, une « famille » ressemble à une famille occidentale.
• La langue et le pays par défaut. Le web est d'abord anglophone et américain. Posez une question de droit du travail sans préciser le pays : la réponse part souvent de règles qui ne sont pas les vôtres. Les performances sont aussi plus faibles dans les langues moins présentes en ligne.
• Le réglage. Les préférences des évaluateurs et les consignes des laboratoires façonnent un ton, des sujets évités, une manière de nuancer. Corriger un biais peut en créer un autre.

Pourquoi on ne le voit pas sur une réponse isolée

Une réponse prise seule paraît toujours raisonnable. Le biais n'apparaît qu'en comparant : mille descriptions de candidats, mille images, mille lettres de recommandation. C'est ce qui le rend dangereux dans les usages répétés et automatiques, et presque invisible dans l'usage ponctuel.

Le mesurer : les tests par paires

La méthode la plus simple et la plus parlante : prendre le même dossier, ne changer qu'un seul élément (le prénom, le genre, l'âge, l'adresse), et comparer les réponses. Si le score, le ton ou la recommandation changent, le biais est démontré sur votre cas, pas dans l'absolu.

Quand la loi s'en mêle

Le règlement européen sur l'IA classe à haut risque les systèmes utilisés pour recruter, trier des candidatures ou évaluer des salariés, comme ceux qui évaluent la solvabilité d'une personne pour un crédit. Ces usages imposent notamment documentation, contrôle humain et surveillance des résultats. Un modèle généraliste branché sur des CV n'échappe pas à ces règles parce qu'il est généraliste.