TechniqueGlossaire de l'IA
Attention parcimonieuse (sparse attention)
Famille de techniques où chaque mot ne « regarde » plus tous les autres mots du texte, mais seulement une sélection : ses voisins proches ou les passages jugés importants. Objectif : casser le coût quadratique de l'attention classique, qui explose avec la longueur du texte, et rendre les très longs contextes abordables.
Autrement dit
Dans une réunion à mille personnes, n'écouter que ses voisins et les intervenants clés plutôt que d'essayer de suivre tout le monde en même temps.
Nos articles qui en parlent
- C'est aujourd'hui : les quotas hebdomadaires entrent en vigueur
Les limites d'usage hebdomadaires annoncées pour un outil de codage agentique prennent effet aujourd'hui. On explique le mécanisme et ce qu'il faut vérifier.
- SubQ : la startup qui pourrait avoir tué le transformer
Depuis 2017 et la publication du papier "Attention is All You Need", tous les grands modèles d'IA sont basés sur l'architecture transformer. SubQ, lancé le 5 mai 2026, est le premier modèle commercial à briser ce paradigme. Voici ce que ça change techniquement, et pourquoi la communauté IA est très divisée sur les implications.
- DeepSeek V4 : la Chine sort son arme open source contre OpenAI et Anthropic
Le 24 avril, DeepSeek a sorti V4-Pro et V4-Flash, deux modèles open source qui rivalisent avec Claude Opus 4.7 et GPT-5.5 pour une fraction du prix. Et ils tournent sur des puces chinoises. Voici ce que ça change vraiment.
Voir aussi
Dans la même famille : Technique
Retrouver ce terme dans le glossaire complet →Tous les termes