Du texte brut à l'assistant : fine-tuning et RLHF

Un modèle tout juste pré-entraîné sur internet est un complétiste brut : demande-lui « Quelle est la capitale de la France ? » et il pourrait répondre… par trois autres questions de géographie, car les listes de questions abondent dans ses données. Pour en faire un assistant utile et sûr, il faut deux étapes de plus.

Étape 2 : le fine-tuning supervisé

On ré-entraîne le modèle sur des dizaines de milliers de dialogues exemplaires, souvent rédigés par des humains : question → réponse idéale. Le modèle apprend le format assistant : répondre à la question posée, structurer, adopter le bon ton.

Étape 3 : le RLHF

Le RLHF (apprentissage par renforcement à partir de préférences humaines) affine le comportement : le modèle génère plusieurs réponses à une même question ; des humains les classent de la meilleure à la pire ; un modèle de récompense apprend à prédire ces préférences ; puis le LLM est optimisé pour maximiser cette récompense. Résultat : plus utile, plus honnête, moins nocif. C'est ce qui a transformé les curiosités de laboratoire en produits utilisables par tous, c'est aussi ce qui donne aux IA leur tendance à la flatterie, car les humains notent mieux ce qui leur plaît.

L'alignement, le chantier permanent

Faire en sorte que l'IA fasse ce qu'on veut vraiment, pas juste ce qu'on a mesuré, s'appelle l'alignement. Refuser d'aider à fabriquer une arme mais expliquer la chimie à un étudiant ; être honnête sans être blessant ; aider sans flatter : ces équilibres sont réglés par ces étapes, et aucun laboratoire ne les considère comme résolus.