Vers 2020, des chercheurs ont constaté quelque chose d'inhabituel en informatique : la performance d'un modèle de langage suivait une relation prévisible avec trois quantités — sa taille, le volume de données et la puissance de calcul consacrée à son entraînement. Prévisible signifie qu'on pouvait estimer à l'avance ce que donnerait un modèle dix fois plus grand. Cette prévisibilité a justifié des investissements de plusieurs milliards.
Ces relations expliquent la course des cinq dernières années, et leur essoufflement explique ce que nous observons aujourd'hui.
Ce que ces lois disent
Elles décrivent une régularité empirique : quand on augmente conjointement la taille du modèle, la quantité de données et le calcul, l'erreur du modèle diminue de manière régulière.
Deux précisions importantes. D'abord, ce sont des observations, pas des théorèmes : personne n'a démontré pourquoi cela fonctionne, on l'a constaté. Ensuite, les gains sont décroissants : chaque amélioration coûte davantage que la précédente. Passer de médiocre à correct est bien moins cher que passer d'excellent à légèrement meilleur.
Le point qui a changé la donne est ailleurs : les capacités émergentes. Certaines aptitudes n'apparaissent pas progressivement mais d'un coup, au-delà d'une certaine échelle. Un modèle ne sait pas faire quelque chose, puis en sait. C'est ce qui a rendu la course irrésistible : personne ne voulait rater le seuil suivant.
Les trois murs
Les données. On a largement épuisé le texte de qualité disponible. C'est pourquoi les laboratoires achètent des livres imprimés et pourquoi l'annotation experte vaut vingt milliards. La ressource n'est plus abondante.
Le coût. Les gains décroissants finissent par rencontrer un budget. Multiplier par dix un entraînement qui coûte déjà des centaines de millions pour gagner quelques points devient difficile à justifier, surtout devant des actionnaires.
Le matériel. Nous avons documenté la pénurie de mémoire, les contraintes électriques et l'opposition aux data centers. La contrainte n'est plus seulement financière, elle est physique.
Tout ce que nous couvrons depuis des mois s'éclaire à la lumière de cet essoufflement. Le mélange d'experts permet d'augmenter les paramètres sans augmenter le calcul. Le raisonnement au moment de la réponse déplace l'effort de l'entraînement vers l'inférence. La distillation transfère les capacités vers des modèles plus petits. Et les modèles verticaux misent sur des données que personne d'autre n'a. Aucune de ces voies ne consiste à faire plus gros.
Ce que ça implique
Le ralentissement des lois d'échelle a des conséquences observables, et elles expliquent l'état actuel du marché.
La convergence. Si tout le monde bute sur les mêmes limites, les écarts se réduisent. C'est ce que montre notre comparatif entre modèles américains et chinois : trois points séparent le sommet du cinquième.
Le déplacement vers l'efficacité. Quand on ne peut plus gagner en puissance, on gagne en coût. D'où les baisses de prix et les puces spécialisées.
Le retour de l'ingénierie. Ce qui différencie n'est plus la taille du modèle mais ce qu'on construit autour : outils, mémoire, orchestration, données propres.
Ce qu'il faut retenir
Une nuance s'impose pour finir, parce qu'on lit souvent que ces lois seraient « mortes ». Elles ne le sont pas. Elles fonctionnent toujours, simplement le coût du prochain palier dépasse ce que les acteurs sont prêts à payer.
C'est une différence importante. Un mur physique interdit de continuer. Un mur économique attend qu'on trouve moins cher. Si le coût du calcul baisse suffisamment, la course pourrait reprendre.
En attendant, cette pause profite plutôt à l'utilisateur. Une période où l'on ne peut plus gagner par la force est une période où l'on gagne par l'ingéniosité, et l'ingéniosité produit des modèles qui tiennent sur une carte graphique plutôt que dans un data center.