C'est quoi un token ? Et pourquoi c'est probablement le concept le plus important pour comprendre l'IA

Le mot que tout le monde utilise sans savoir ce que c'est

Vous lisez nos articles. À chaque fois qu'on parle d'un nouveau modèle d'IA, on évoque sa "fenêtre de contexte en tokens". Gemini 3.5 : 1 million de tokens. SubQ : 12 millions de tokens. Le prix de ChatGPT : 5 dollars par million de tokens en entrée. Vous vous demandez probablement : "qu'est-ce que c'est exactement, un token ?"

Et vous n'êtes pas seul. La plupart des utilisateurs réguliers d'IA n'ont jamais pris le temps de comprendre ce concept, alors qu'il est la brique fondamentale de tout ce qui se passe dans ChatGPT, Claude, Gemini ou n'importe quel autre modèle conversationnel. Comprendre les tokens, c'est comprendre comment une IA "lit", "comprend" et "écrit" du texte.

Cet article est une explication accessible, sans jargon, avec des exemples concrets. 6 minutes de lecture qui vont probablement changer votre façon de voir l'IA pour le reste de votre vie. Dans la continuité de notre article sur le fonctionnement fondamental des LLM, on creuse ici un concept précis qui sous-tend toute la technologie.

Le concept en une phrase

Un token est l'unité de base avec laquelle une IA traite le texte. C'est comme les Lego du langage pour les modèles d'IA. Un token peut être un mot entier ("chat"), un fragment de mot ("anti", "national", "isme"), un signe de ponctuation, un espace, ou même un caractère seul.

L'IA ne lit pas vos mots. Elle lit des séquences de tokens. Et quand elle vous répond, elle ne produit pas des phrases : elle produit des séquences de tokens qui forment des phrases. Pour vous, c'est un détail technique. Pour l'IA, c'est toute son existence.

Comment un texte devient des tokens : un exemple concret

Prenons une phrase simple en français : "Alyriaz est un média qui décrypte l'intelligence artificielle."

Voici comment GPT-5 ou Claude la "découpe" en tokens :

Plusieurs observations s'imposent.

Premièrement, un mot rare comme "Alyriaz" est découpé en plusieurs tokens (Aly + riaz), parce que le mot n'existait pas quand le modèle a été entraîné. Le modèle décompose en fragments qu'il connaît.

Deuxièmement, les mots fréquents comme "est", "un", "qui" deviennent un seul token, parce qu'ils apparaissent des millions de fois dans le corpus d'entraînement. Le modèle les a "appris" comme un bloc.

Troisièmement, chaque token a un identifiant numérique unique. C'est ce que voit réellement le modèle : des suites de numéros. Le texte humain est juste l'interface pour nous, humains.

Quatrièmement, les espaces et la ponctuation comptent. Un espace avant un mot fait partie du token. C'est pour ça que vous voyez " est" avec un espace devant.

Pourquoi les tokens ne sont pas des mots

Voici une question naturelle : pourquoi ne pas juste utiliser les mots ? Pourquoi cette complexité ? Trois raisons techniques importantes.

Raison 1 : la gestion des mots inconnus. Si le modèle ne connaissait que des mots entiers, il serait incapable de traiter les noms propres, les néologismes, les fautes de frappe, les marques commerciales, les termes techniques. Avec les tokens fragmentés, il peut décomposer n'importe quel texte en éléments qu'il connaît.

Raison 2 : l'efficacité multilingue. Les modèles modernes parlent des dizaines de langues. Plutôt que d'avoir un dictionnaire de mots pour chaque langue (ce qui serait gigantesque), les tokens permettent une approche unifiée. Les fragments communs (préfixes, suffixes, racines) sont partagés. Un modèle économise massivement en mémoire grâce à cette factorisation.

Raison 3 : la cohérence morphologique. En français, "manger", "mangé", "mangeais", "mangerons" sont des variations du même verbe. Les tokens permettent au modèle d'apprendre que "mang" est une racine commune, et que les terminaisons changent selon le temps. Plus efficient que de mémoriser chaque forme séparément.

Comment l'IA "comprend" les tokens : le secret du contexte

Maintenant qu'on sait ce qu'est un token, comment l'IA en fait quelque chose ? C'est là que la magie opère, et c'est ce qui distingue radicalement l'IA des moteurs de recherche classiques.

Chaque token est associé à un vecteur mathématique de plusieurs milliers de dimensions. Un vecteur, en mathématiques, est une suite de nombres qui représente une position dans un espace abstrait. Imaginez ça comme des coordonnées dans un GPS, mais avec 4 096 dimensions au lieu de 2 (latitude/longitude). Chaque token a sa "position" dans cet espace ultra-multidimensionnel.

L'intérêt : les tokens proches dans cet espace ont des significations proches. Le vecteur de "chat" est proche de celui de "chien" (animaux domestiques), un peu plus loin de "lion" (félin sauvage), encore plus loin de "voiture" (objet inanimé). Les distances entre tokens portent du sens. C'est ce que les chercheurs appellent les embeddings (en français : plongements vectoriels).

Quand vous tapez une question à ChatGPT, le modèle :

1. Découpe votre question en tokens
2. Convertit chaque token en son vecteur
3. Calcule les relations entre tous ces vecteurs (c'est le mécanisme d'attention, que nous avons documenté dans notre article sur SubQ et la fin du transformer)
4. Génère le token suivant le plus probable, étant donné tout le contexte
5. Répète l'opération token après token jusqu'à former une réponse complète

C'est techniquement vertigineux, mais conceptuellement simple : l'IA prédit le prochain token le plus probable, encore et encore. Quand vous lui parlez de cuisine, elle prédit des tokens cohérents avec la cuisine. Quand vous lui parlez de physique, des tokens cohérents avec la physique. La capacité à maintenir cette cohérence sur des milliers de tokens, c'est ce qui rend les modèles modernes impressionnants.

Pourquoi les tokens limitent ce que l'IA peut faire

Cette explication permet maintenant de comprendre plusieurs phénomènes qui peuvent paraître mystérieux.

Pourquoi les modèles ont une "fenêtre de contexte" limitée. Le calcul d'attention sur tous les tokens d'un texte demande des ressources qui augmentent (au carré sur les transformers classiques, comme expliqué dans notre article SubQ). Plus le contexte est long, plus c'est cher et lent. C'est pourquoi GPT-5 limite à 200 000 tokens, Claude Opus 4.7 à 1 million de tokens, Gemini 3 à 1 million également. Au-delà, le coût devient prohibitif.

Pourquoi le prix est en tokens et pas en mots. Parce que c'est le coût technique réel. Une requête de 100 tokens coûte 10 fois moins qu'une de 1 000 tokens. Les API IA facturent ce qu'elles dépensent vraiment, pas une approximation en mots.

Pourquoi les langues "minoritaires" coûtent plus cher. Les modèles ont été optimisés sur l'anglais, qui domine internet. En anglais, le ratio est environ 1 token = 0,75 mot. En français, 1 token = 0,7 mot. En japonais, en arabe, en thaï, le ratio peut tomber à 1 token = 0,3 mot, parce que les caractères non latins sont moins bien représentés dans le vocabulaire des modèles. Conséquence : écrire en japonais coûte 2 à 3 fois plus cher qu'écrire en anglais sur ChatGPT. C'est un biais commercial peu connu mais réel.

Pourquoi les hallucinations existent. Le modèle prédit le token suivant le plus probable. "Plus probable" ne signifie pas "exact" ou "vrai". Si plusieurs tokens sont presque équivalents en probabilité, le modèle en choisit un au hasard pondéré. Si la suite la plus probable est plausible mais incorrecte (par exemple, citer un livre qui n'existe pas mais qui "sonne juste"), le modèle hallucine. C'est intrinsèque à son fonctionnement, pas un bug.

Pourquoi les modèles "oublient" en cours de conversation. La fenêtre de contexte est limitée. Si votre conversation devient trop longue (plusieurs centaines de messages), les premiers messages sortent de la fenêtre et le modèle ne les voit plus. Il n'a aucune mémoire au-delà du contexte courant, sauf si l'entreprise lui ajoute une mémoire externe (comme la fonction Memory de ChatGPT introduite en 2024).

Le détail qui fait dériver les modèles : les biais de tokenisation

Voici un point peu connu mais important. La manière dont une phrase est découpée en tokens influence ce que le modèle comprend. Et cette tokenisation n'est pas neutre culturellement.

Le vocabulaire des modèles (les ~50 000 à 200 000 tokens qu'ils connaissent) a été construit à partir du corpus d'entraînement. Comme la majorité du corpus est en anglais, les mots anglais courants sont des tokens uniques, économiques à traiter. Les mots français courants sont aussi des tokens uniques. Mais les mots en arabe, en swahili, en mongol sont souvent découpés en plusieurs tokens, chacun étant peu fréquent.

Conséquence : le modèle "comprend" mieux les langues sur-représentées. Sur des tests scientifiques, GPT-5 obtient 92% de réussite en anglais, 87% en français, 78% en russe, 65% en arabe, et chute drastiquement pour les langues moins représentées comme le wolof, le quechua ou le tibétain.

Ce biais a été plusieurs fois dénoncé par des chercheurs indépendants. Il a des conséquences réelles : un étudiant qui apprend en swahili a accès à une IA moins compétente qu'un étudiant qui apprend en anglais. C'est ce que les chercheurs appellent l'"inequity by tokenization" (inégalité par tokenisation). Comme nous l'avons exploré dans notre article sur les modèles chinois, les modèles produits en Chine compensent en partie ce biais pour leurs propres langues, mais pas pour le reste du monde.

Comment compter les tokens dans vos textes

Pour avoir une idée concrète, plusieurs outils gratuits permettent de compter les tokens d'un texte donné. OpenAI propose Tokenizer sur platform.openai.com/tokenizer, qui montre exactement comment GPT découperait n'importe quel texte. Anthropic a un outil similaire pour Claude. Hugging Face (la plus grande plateforme d'hébergement de modèles open source) propose des "tokenizer comparators" qui montrent comment différents modèles découperaient le même texte.

Ces outils vous permettent de comprendre, pour vos propres usages :

• Si vous voulez résumer un livre, combien de tokens il représente, donc s'il rentre dans le contexte de votre modèle
• Combien va vous coûter une session d'utilisation via API
• Quel modèle est plus économique pour votre langue (le français consomme moins de tokens chez Mistral que chez OpenAI, par exemple)

Pourquoi les progrès récents tournent autour des tokens

Comprendre les tokens permet aussi de comprendre les frontières actuelles de l'IA et où se dirige la recherche.

L'augmentation du contexte. Passer de 4 000 tokens (GPT-3 en 2020) à 12 millions de tokens (SubQ en 2026) en 6 ans représente un facteur 3 000. C'est ce qui a permis le passage d'IA qui "oubliaient tout en 5 minutes" à des IA qui peuvent lire des livres entiers. Cette augmentation continue.

La baisse des coûts par token. En 2022, GPT-3 coûtait 60 dollars par million de tokens en sortie. En 2026, plusieurs modèles équivalents coûtent moins de 1 dollar. Cette baisse de 60 fois en 4 ans démocratise massivement l'accès à l'IA. Elle continue.

L'amélioration de la tokenisation multilingue. Plusieurs modèles (Mistral en France, Qwen en Chine, Llama 4 chez Meta) travaillent à mieux représenter les langues non anglaises. Comme nous l'avons exploré dans notre article sur la position française en IA, c'est l'un des axes d'innovation européenne pour égaliser les coûts et les performances entre langues.

Les architectures sub-quadratiques. Comme nous l'avons documenté dans notre article sur SubQ, le grand défi technique est de pouvoir traiter beaucoup plus de tokens sans exploser les coûts. Les nouvelles architectures attaquent ce problème de plein fouet.

Les tokens multimodaux. Les modèles modernes ne traitent plus seulement du texte. Une image est aussi convertie en tokens (chaque "patch" d'image devient un token). De même pour la voix, la vidéo. C'est ce qui permet à Claude ou Gemini d'analyser une image que vous leur uploadez : ils la tokenisent et la traitent avec le même mécanisme que pour le texte. La frontière entre textuel et visuel devient une frontière entre types de tokens.

L'application pratique pour vous

Maintenant que vous comprenez les tokens, comment l'utiliser dans votre vie quotidienne ?

Pour économiser sur les coûts d'API. Si vous utilisez l'IA professionnellement (via API plutôt que via l'interface web), comptez vos tokens. Un prompt verbeux de 500 tokens coûte 5 fois plus qu'un prompt précis de 100 tokens, pour souvent une qualité équivalente. La concision paie.

Pour mieux gérer les conversations longues. Si vous voyez que votre IA commence à "oublier" des éléments mentionnés au début, c'est que la conversation dépasse sa fenêtre de contexte. Recommencer une nouvelle conversation avec un résumé des points importants vaut souvent mieux que continuer une session qui dérive.

Pour choisir le bon modèle. Si vous avez besoin d'analyser un long document (un contrat de 100 pages, un livre, une codebase), choisissez un modèle avec un grand contexte (Claude Opus à 1M tokens, Gemini Flash à 1M tokens, SubQ à 12M tokens si validé). Si vous avez juste besoin de réponses courtes et fréquentes, un modèle avec 32k tokens suffit et coûte moins cher.

Pour comprendre les limites du modèle. Une IA qui hallucine un détail factuel n'est pas "défaillante" : elle fait ce que sa nature de prédicteur de tokens lui impose. Vérifier systématiquement les faits importants est obligatoire, pas optionnel. Comme nous l'avons exploré dans notre article sur les démos truquées, l'IA n'est pas une source de vérité, c'est un outil de génération probabiliste.

Ce que vous savez maintenant

Vous savez désormais que :

• Un token est un fragment de texte (souvent un demi-mot), pas un mot complet
• L'IA ne voit pas vos mots, elle voit des suites d'identifiants numériques associés à des vecteurs mathématiques
• Elle prédit le token suivant le plus probable, encore et encore, jusqu'à former une réponse
• La fenêtre de contexte est le nombre maximal de tokens qu'elle peut traiter en une fois
• Les langues moins représentées coûtent plus de tokens et sont moins bien comprises
• Les progrès récents tournent autour de l'augmentation du contexte, la baisse des coûts, l'amélioration multilingue, et les architectures sub-quadratiques

Vous avez maintenant les bases pour comprendre la plupart des actualités IA techniques. Quand on parle de "200 000 tokens chez Claude" ou de "fenêtre de contexte étendue à 1 million", vous savez exactement de quoi il s'agit. Vous savez pourquoi certains usages sont chers et d'autres pas. Vous savez pourquoi votre IA hallucine et pourquoi elle ne se rappelle pas de votre conversation d'il y a 3 semaines.

Pour aller plus loin, vous pouvez consulter notre article fondamental sur le fonctionnement des LLM, qui couvre les autres concepts essentiels (entraînement, inférence, fine-tuning), et notre analyse de SubQ et la fin du transformer, qui montre comment les architectures nouvelles bousculent ces fondamentaux. La technologie devient transparente quand on comprend ses briques de base. Et les briques de base de l'IA, ce sont les tokens.