TechniqueGlossaire de l'IA
Lois d'échelle (scaling laws)
Les régularités observées entre la taille d'un modèle, la quantité de données, la puissance de calcul et ses performances : en augmentant ces ingrédients, les résultats progressent de façon assez prévisible. Elles ont justifié la course au « toujours plus gros », mais chaque gain demande des ressources de plus en plus importantes, et leur ralentissement fait débat.
Autrement dit
Arroser plus pour récolter plus : ça marche longtemps, mais chaque panier supplémentaire demande davantage d'eau que le précédent.
Nos articles qui en parlent
- Un modèle qui écrit un texte d'un seul coup au lieu de mot en mot
Les modèles de diffusion appliqués au texte génèrent l'ensemble d'une réponse en parallèle plutôt que mot par mot. On explique le principe, ses avantages de vitesse et ses limites.
- Les lois d'échelle : pourquoi « plus gros » a marché, et pourquoi ça ralentit
Les lois d'échelle décrivent une relation prévisible entre taille, données, calcul et performance. On explique ce qu'elles disent réellement et pourquoi le secteur cherche aujourd'hui d'autres leviers.
Voir aussi
Dans la même famille : Technique
Retrouver ce terme dans le glossaire complet →Tous les termes