Un professeur expérimenté ne se contente pas de donner la bonne réponse. Il montre son hésitation, explique pourquoi telle option était presque bonne, signale les pièges. Un élève qui apprend d'un professeur progresse plus vite qu'un élève qui apprend seul d'un corrigé, parce qu'il reçoit bien plus d'information que la seule solution. La distillation applique exactement ce principe entre deux modèles.
Nous mentionnons ce terme régulièrement sans l'avoir jamais expliqué. Or c'est l'une des techniques qui rendent possible ce que nous décrivons souvent : des modèles utiles qui tiennent sur une machine ordinaire.
Le principe
On dispose d'un grand modèle très performant, appelé le professeur. On veut obtenir un modèle bien plus petit, l'élève, qui fasse presque aussi bien.
La méthode naïve consisterait à entraîner le petit modèle sur les mêmes données que le grand. Cela fonctionne mal : le petit n'a pas la capacité d'absorber autant, et il apprend une version dégradée.
La distillation procède autrement. On fait travailler le professeur, et on entraîne l'élève à reproduire non pas ses réponses, mais sa distribution complète de probabilités.
Pourquoi c'est bien plus riche
Voici le point central. Quand un modèle produit un mot, il ne choisit pas simplement le meilleur : il calcule une probabilité pour tous les mots possibles, comme nous l'expliquions dans notre article sur les LLM.
Supposons la phrase « le chat boit du ». Le professeur attribue peut-être 70 % à « lait », 20 % à « eau », 5 % à « thé », et presque rien à « béton ». Cette répartition contient énormément d'information : elle dit que lait et eau sont tous deux plausibles, que thé est marginal mais concevable, et que béton est absurde.
Un entraînement classique n'apprendrait que « lait ». La distillation transmet toute la nuance. L'élève apprend non seulement la bonne réponse, mais la structure du problème telle que le professeur la perçoit.
C'est la technique derrière les modèles compacts dont nous parlons souvent. Le modèle agentique de Meta tenant sur une seule carte graphique est distillé à partir d'un modèle plus grand. Sans cette méthode, il faudrait choisir entre un modèle géant inaccessible et un petit modèle médiocre. La distillation permet une troisième voie : un modèle petit qui a été formé par un grand.
La différence avec la compression
Il ne faut pas confondre avec la quantization, que nous avons expliquée séparément.
La quantization garde le même modèle et réduit la précision de chaque paramètre : les mêmes cases, écrites plus grossièrement.
La distillation crée un modèle différent, avec beaucoup moins de paramètres, entraîné à imiter le premier. Ce n'est pas une compression, c'est un transfert.
Les deux se combinent d'ailleurs : on distille d'abord vers un modèle plus petit, puis on compresse celui-ci.
Les limites
Le plafond du professeur. Un élève ne dépasse pas son maître. La distillation propage aussi les défauts : si le professeur a un biais ou une lacune, l'élève l'hérite.
La perte sur les cas rares. Un petit modèle reproduit bien les comportements fréquents et se dégrade sur les situations inhabituelles. C'est précisément là que les écarts se voient : sur le raisonnement long, les problèmes inédits, les enchaînements complexes.
La question juridique. Distiller à partir d'un modèle qu'on n'a pas construit, en interrogeant massivement son interface de programmation, est explicitement interdit par les conditions d'utilisation de la plupart des fournisseurs. C'est un sujet de contentieux récurrent dans le secteur, et il est loin d'être tranché.
Ce qu'il faut retenir
La distillation explique une chose qui surprend souvent : pourquoi les petits modèles s'améliorent si vite. Ils ne progressent pas seulement grâce à de meilleures données ou à de meilleures architectures. Ils progressent parce que les grands modèles progressent, et qu'ils apprennent d'eux.
Cela a une conséquence qu'on mesure mal. Chaque avancée au sommet finit par redescendre, avec un décalage de quelques mois, vers ce qu'on peut faire tourner chez soi. La course aux modèles géants, qu'on peut trouver démesurée, alimente indirectement la démocratisation qu'on appelle par ailleurs de ses voeux.