TechniqueGlossaire de l'IA
MoE
« Mixture of Experts » : le modèle est découpé en spécialistes et n'active que les plus pertinents pour chaque demande. Énorme capacité, coût réduit, l'astuce derrière DeepSeek ou Kimi.
Autrement dit
Un cabinet d'experts où seuls les 2 spécialistes concernés se lèvent pour votre question.
Nos articles qui en parlent
- Mistral dévoile Large 4, son géant à 1 000 milliards
Mistral présente Large 4, un modèle de 1 000 milliards de paramètres entraîné en Europe, bientôt en accès libre. Un bond réel, et un écart qui reste.
- Six cents milliards de paramètres à un dollar le million de tokens
StepFun a lancé Step 5 Preview, un modèle de 600 milliards de paramètres avec un million de tokens de contexte, facturé 1 dollar en entrée. On situe ce tarif dans le paysage actuel.
- Modèle dense ou mélange d'experts : deux philosophies, deux usages
Un modèle dense utilise tous ses paramètres à chaque requête, un mélange d'experts n'en active qu'une fraction. On explique pourquoi ce choix d'architecture détermine les usages possibles, notamment en local.
- C'est quoi un "Mixture of Experts" ? L'architecture qui explique pourquoi les modèles géants ne coûtent pas si cher
Mixture of Experts, ou mélange d'experts : cette architecture permet à un modèle de compter des milliers de milliards de paramètres tout en n'en activant qu'une petite fraction par requête. On explique le mécanisme, pourquoi il domine désormais, et ce qu'il implique quand on lit une fiche technique.
- C'est quoi "1 500 milliards de paramètres" ? Le chiffre qu'on brandit sans jamais l'expliquer
Grok 4.5 et ses 1 500 milliards de paramètres, LongCat et ses 1 600 milliards : le nombre de paramètres est brandi comme un argument de puissance. On explique ce qu'est réellement un paramètre, pourquoi il compte, et surtout pourquoi un plus grand nombre ne garantit pas un meilleur modèle.
- DeepSeek V4 : L'architecte logiciel ultra-rapide
Le nouveau modèle de DeepSeek rebat les cartes mondiales de l'IA. Multimodal, open-weight, et pensé comme un véritable « architecte senior » plutôt qu'un simple assistant.
Pour aller plus loin à l'Académie
Voir aussi
Dans la même famille : Technique
Retrouver ce terme dans le glossaire complet →Tous les termes