Les LLM : la machine à prédire les mots

ChatGPT, Claude, Gemini, DeepSeek… tous appartiennent à la même famille : les LLM (Large Language Models, grands modèles de langage). Leur secret est d'une simplicité déconcertante.

Un seul talent : prédire la suite

Un LLM a été entraîné sur une tâche unique : deviner le prochain mot. On lui donne « Le ciel est » et il doit proposer « bleu ». Des milliers de milliards de fois, sur tout ce que l'humanité a écrit. Pour devenir vraiment bon à ce jeu, le modèle a été obligé d'absorber la grammaire, les faits, la logique, les styles, car on ne peut pas bien compléter une phrase de droit ou de physique sans avoir capté quelque chose de ces domaines.

Quand vous discutez avec une IA, elle ne fait que ça : prédire le mot suivant, puis le suivant, puis le suivant… La conversation entière est une prédiction en chaîne.

Les tokens, la monnaie du langage

Le modèle ne voit pas des mots mais des tokens : des fragments de texte (un mot court, un bout de mot long, une ponctuation). « Anticonstitutionnellement » sera découpé en plusieurs tokens ; « le » en un seul. Tout se mesure en tokens : la longueur de votre question, celle de la réponse, le prix des services d'IA, et la taille de la mémoire de travail du modèle.

Pourquoi ça paraît intelligent

Parce qu'à force de prédire du texte humain, le modèle imite remarquablement le raisonnement humain qui a produit ce texte. C'est un débat ouvert : imiter le raisonnement, est-ce raisonner ? Quoi qu'il en soit, retenez que le LLM ne « sait » pas qu'il vous répond, il complète un texte, brillamment.