Un modèle qui sort du pré-entraînement est étrangement inutilisable. Posez-lui une question, il continuera votre phrase au lieu d'y répondre. Demandez-lui un conseil, il produira une liste de questions similaires. Il a absorbé une quantité prodigieuse de connaissances et il ne sait pas qu'on lui parle. Tout ce qui le rend utilisable se joue après.
Nous rapportions ce matin une entreprise valorisée 1,4 milliard qui ne pré-entraîne aucun modèle. Voici ce qu'elle fait à la place.
Étape 1 : le pré-entraînement
C'est la phase que tout le monde connaît et la seule dont on parle. Le modèle apprend à prédire la suite d'un texte sur un corpus immense, comme nous l'expliquions dans notre article sur l'entraînement.
Elle coûte des centaines de millions, elle exige une infrastructure que peu possèdent, et elle produit un objet brut : beaucoup de connaissances, aucune utilité directe.
Étape 2 : l'entraînement intermédiaire
C'est la phase la moins connue et souvent la plus décisive pour spécialiser un modèle.
On poursuit le pré-entraînement, mais sur un corpus choisi : du code si l'on vise le développement, des textes juridiques pour un usage légal, une langue particulière si elle était sous-représentée.
Le modèle ne change pas de nature, il change de centre de gravité. Ce qui était marginal dans ses statistiques devient central. C'est ainsi qu'on obtient un modèle qui manie naturellement un vocabulaire technique, ou qui écrit correctement dans une langue peu servie — le problème que nous décrivions dans notre article sur les langues ignorées.
Cette étape coûte une fraction du pré-entraînement, et c'est elle qui permet de partir d'un modèle ouvert pour en faire quelque chose de propre.
Étape 3 : l'ajustement aux instructions
On montre au modèle des milliers d'exemples de la forme « voici une demande, voici une bonne réponse ». Il apprend ainsi que le texte qu'il reçoit est une requête et non un début de paragraphe à continuer.
C'est cette étape qui transforme un moteur de complétion en assistant. Elle est courte, peu coûteuse, et son effet est spectaculaire.
La dernière phase donne au modèle son caractère. Des humains classent des réponses, ce classement devient un signal de récompense, et le modèle apprend à produire ce qui est préféré — le mécanisme que nous avons détaillé dans notre article sur l'apprentissage par renforcement. C'est là que se décide le ton, la prudence, la longueur des réponses. Et c'est là que naissent des travers que nous avons documentés : la tendance à donner raison et l'aplomb systématique ne sont pas des bugs, ce sont des stratégies gagnantes selon le critère utilisé.
Où se situe la valeur aujourd'hui
Voici le point pratique, et il explique le paysage actuel.
L'étape 1 est devenue une matière première. Plusieurs laboratoires publient gratuitement des modèles de base excellents, et la concurrence entre eux garantit qu'il en sortira d'autres.
Les étapes 2 à 4 sont devenues le produit. C'est là que se situent le savoir-faire rare, la différenciation et la propriété intellectuelle — et c'est ce que vendent aussi bien un éditeur juridique construisant son modèle qu'une équipe de cent personnes valorisée 1,4 milliard.
Ce découplage explique une chose qui surprend souvent : pourquoi des acteurs modestes peuvent produire des modèles compétitifs. Ils ne refont pas le travail coûteux, ils font le travail rare.
Ce qu'il faut retenir
Quand vous lisez qu'un modèle a été « entraîné », demandez-vous laquelle de ces phases est concernée. L'écart de coût entre la première et les suivantes est d'un facteur cent ou mille.
Et retenez le point qui explique l'essentiel du marché actuel : les connaissances d'un modèle viennent du pré-entraînement, mais tout ce qui fait qu'il vous est utile vient de ce qu'on lui a fait après.