Aller au contenu

AvancéLeçon 1 sur 510 min de lecture

Le Transformer : l'architecture qui a tout changé

Un cours de l'Académie : Sous le capot des LLM

Aller au quiz ↓

En 2017, un article de recherche intitulé « Attention Is All You Need » introduit le Transformer. Toute l'IA générative moderne, GPT, Claude, Gemini, les générateurs d'images, descend de cet article. Comprendre son idée centrale, c'est comprendre l'époque.

Le problème d'avant

Les modèles de langage précédents lisaient le texte mot après mot, en essayant de retenir ce qui précédait. Résultat : sur une longue phrase, le début se diluait, et surtout, impossible de paralléliser efficacement le calcul.

L'idée géniale : l'attention

Le Transformer regarde tous les mots en même temps, et calcule pour chaque mot des scores d'attention : à quel point chaque autre mot du texte est pertinent pour l'interpréter. Dans « La clé que j'avais posée sur la table a disparu, elle était dorée », le mécanisme d'attention relie fortement « elle » et « dorée » à « clé », malgré la distance. Chaque mot construit ainsi sa représentation en « consultant » les mots qui comptent pour lui, sur des dizaines de couches successives.

Pourquoi ça a tout déclenché

  • Parallélisable : tous les mots se traitent en même temps → parfait pour les GPU → entraînements géants possibles.
  • Longue portée : les liens entre mots éloignés ne se perdent plus.
  • Généraliste : la même architecture marche pour le texte, les images (découpées en patchs), l'audio, les protéines…
Analogie. L'ancienne méthode lisait un roman policier page par page en espérant tout retenir. Le Transformer, c'est le tableau du détective : tous les indices affichés en même temps, reliés par des ficelles rouges, chaque indice éclairé par tous les autres, quel que soit le chapitre où il est apparu.

À retenir

  • Le Transformer (2017) est l'architecture de base de toute l'IA générative.
  • L'attention = chaque mot pondère la pertinence de tous les autres.
  • Sa parallélisation a rendu possibles les entraînements à l'échelle d'internet.

Les notions clés

Validez la leçon

Un quiz de 4 questions : 3 bonnes réponses suffisent, et un exercice pour pratiquer. Il s'ouvre dans l'Académie, sur cette même leçon.

Faire le quiz et valider la leçon Gratuit. Avec un compte, votre progression est enregistrée et mène à l'attestation du cours.

Le cours : Sous le capot des LLM

  1. Le Transformer : l'architecture qui a tout changé10 min
  2. Du texte brut à l'assistant : fine-tuning et RLHF10 min
  3. Embeddings et RAG : brancher l'IA sur vos données10 min
  4. MoE, distillation, quantization : l'ingénierie de l'efficacité9 min
  5. Évaluer une IA : benchmarks, limites et esprit critique9 min

Toute l'Académie →Le glossaire de l'IA