Modèle, LLM, entraînement : les mots du moteur

Trois mots qui reviennent dans chaque article, et qui décrivent en réalité la même chose vue sous trois angles.

Un modèle

Le programme lui-même, une fois qu'il a fini d'apprendre. C'est le moteur. ChatGPT est un service ; GPT-5 est le modèle qui tourne dedans. On peut changer de moteur en gardant la même voiture, et c'est exactement ce qui se passe à chaque nouvelle version.

Un LLM

« Large Language Model », qu'on traduit par grand modèle de langage. C'est le type de moteur dont on parle depuis 2022 : un modèle spécialisé dans le texte. Il prédit le mot suivant, encore et encore, et c'est de là que sort tout le reste.

L'entraînement

La période, longue et très coûteuse, pendant laquelle le modèle apprend en lisant. Elle se fait une fois, avant. Quand vous discutez avec lui, il n'apprend plus : il applique ce qu'il sait déjà.

C'est ce qui explique qu'il puisse ignorer un événement récent : il n'était pas encore né quand c'est arrivé.

Les paramètres

Le nombre qu'on voit passer, « 70 milliards de paramètres ». Ce sont les réglages internes ajustés pendant l'entraînement. Plus il y en a, plus le modèle peut être fin, mais ce n'est pas une note de qualité : un petit modèle bien entraîné bat souvent un gros mal entraîné.