MoE, distillation, quantization : l'ingénierie de l'efficacité

Les modèles grossissent, mais les factures d'électricité aussi. Toute une ingénierie s'est développée pour obtenir un maximum d'intelligence par euro dépensé. Trois techniques dominent, vous les croiserez dans toutes les annonces de modèles.

MoE : n'activer que les spécialistes utiles

Un modèle Mixture of Experts remplace certaines couches par des dizaines de sous-réseaux « experts ». Pour chaque token, un routeur n'active que les quelques experts pertinents. Résultat : un modèle aux centaines de milliards de paramètres au total, dont seule une petite fraction calcule à chaque instant. C'est l'architecture des géants récents, dont les grands modèles ouverts chinois comme DeepSeek ou Kimi : l'intelligence d'un colosse, le coût de calcul d'un modèle moyen.

Distillation : le grand forme le petit

La distillation fait apprendre à un petit modèle (« l'élève ») à imiter les réponses d'un grand (« le professeur »). L'élève capte une grande partie du savoir-faire pour une fraction du coût d'exécution. C'est pour ça que les « mini » modèles récents surclassent les gros modèles d'il y a deux ans.

Quantization : compresser les nombres

Les paramètres sont des nombres stockés avec une certaine précision. La quantization réduit cette précision (de 16 bits à 8, 4, parfois moins) : modèle 2 à 4 fois plus petit et plus rapide, pour une perte de qualité souvent minime. C'est ce qui permet de faire tourner de vrais LLM sur un ordinateur portable, voire un téléphone.