Former une IA, c'est un peu comme former un humain de sa naissance à son premier emploi. Il y a d'abord l'enfance, où l'on absorbe le monde en vrac, sans but précis (le pré-entraînement). Puis l'école et la formation, où l'on apprend à accomplir des tâches précises (le fine-tuning). Enfin, l'expérience du métier, où un mentor nous corrige pour qu'on devienne vraiment utile et agréable à travailler avec (le RLHF). Un LLM traverse ces trois âges, mais en quelques mois et sur des serveurs.
On entend souvent qu'une IA a été "entraînée", comme si c'était une seule opération mystérieuse. En réalité, transformer un tas de données brutes en un assistant capable de vous répondre poliment et utilement passe par plusieurs étapes bien distinctes. Les comprendre, c'est saisir d'où viennent à la fois les forces et les défauts des IA que vous utilisez. Faisons le voyage.
Étape 1 : le pré-entraînement, l'enfance sauvage
La première phase s'appelle le pré-entraînement (pre-training). C'est de loin la plus longue et la plus coûteuse. On expose le modèle à une quantité gigantesque de texte, des milliers de milliards de mots issus de livres, de sites web, de code, et on lui fait faire une seule chose, répétée sans fin : prédire le mot suivant, comme nous l'expliquions dans notre article sur les LLM.
À la fin de cette étape, le modèle a absorbé une quantité stupéfiante de connaissances et de structures de langage. Mais il est encore brut, sauvage, inutilisable tel quel. Si vous lui écrivez une question, il pourrait tout aussi bien y répondre que la compléter par dix autres questions, parce qu'il a seulement appris à continuer du texte, pas à dialoguer. C'est un cerveau immense, mais sans manières ni intention.
Étape 2 : le fine-tuning, l'école du métier
Vient ensuite le fine-tuning (ajustement fin, ou affinage). On prend le modèle brut et on le spécialise en lui montrant des milliers d'exemples de la tâche qu'on veut lui voir accomplir. Pour un assistant conversationnel, on lui montre des exemples de bonnes questions suivies de bonnes réponses. Le modèle apprend alors le format attendu : recevoir une question, y répondre directement et utilement.
C'est aussi à cette étape qu'on peut spécialiser un modèle pour un domaine précis. Un modèle affiné sur du code médical deviendra excellent en terminologie médicale. Un modèle affiné sur des données juridiques brillera en droit. Le fine-tuning transforme le généraliste sauvage en professionnel orienté vers un usage. C'est ce qui explique qu'à partir d'un même modèle de base, on puisse créer plusieurs versions spécialisées.
La qualité du fine-tuning fait souvent plus de différence que la taille brute du modèle. Un modèle moyen mais très bien affiné pour une tâche précise peut dépasser un modèle géant mal ajusté. C'est une des raisons pour lesquelles il ne faut jamais juger un modèle uniquement à son nombre de paramètres : la manière dont il a été éduqué compte autant que la taille de son cerveau.
Étape 3 : le RLHF, le mentor qui affine le caractère
La dernière étape porte un sigle qu'on croise souvent : RLHF, pour Reinforcement Learning from Human Feedback, soit apprentissage par renforcement à partir de retours humains. C'est l'étape qui donne à l'IA son caractère, sa politesse, son sens de ce qui est utile ou dangereux.
Le principe : on fait générer au modèle plusieurs réponses possibles à une même question, et des évaluateurs humains classent ces réponses de la meilleure à la pire. Le modèle apprend progressivement à produire le type de réponses que les humains préfèrent. C'est le mentor qui, sur le terrain, dit "cette réponse-là est meilleure, plus claire, plus honnête", et façonne peu à peu le comportement de l'IA.
Cette étape est puissante mais délicate. Si les évaluateurs récompensent trop les réponses flatteuses, le modèle peut apprendre à dire ce qu'on veut entendre plutôt que la vérité, un travers qu'on appelle la sycophancy et que nous avons abordé dans notre article sur l'alignement. Le RLHF est donc à la fois l'outil qui rend l'IA agréable, et celui qui peut introduire des biais subtils selon la façon dont on l'applique.
Ce qu'il faut retenir
Une IA moderne est donc le produit d'un voyage en trois temps : elle absorbe le monde en vrac (pré-entraînement), apprend à accomplir des tâches (fine-tuning), puis affine son caractère au contact de préférences humaines (RLHF). Chaque étape laisse sa marque, ses forces et ses biais, dans le comportement final que vous observez.
Comprendre cela éclaire beaucoup de choses. Pourquoi une IA connaît des faits jusqu'à une certaine date (sa date de coupure, fixée à la fin du pré-entraînement). Pourquoi deux modèles issus des mêmes données peuvent avoir des personnalités si différentes (leur fine-tuning et leur RLHF diffèrent). Et pourquoi la manière d'éduquer une IA est devenue un art aussi stratégique que la construction du modèle lui-même. Derrière chaque réponse fluide que vous recevez, il y a ce long voyage d'apprentissage.