TechniqueGlossaire de l'IA
Tokenizer
Le programme qui découpe un texte en tokens avant qu'un modèle ne le lise, selon des fragments appris d'après leur fréquence. Ses effets sont très concrets : changer de tokenizer peut faire consommer nettement plus de tokens pour un même texte (donc coûter plus cher), le français est souvent découpé en plus de morceaux que l'anglais, et les nombres sont tronçonnés sans lien avec leur valeur.
Autrement dit
Le massicot qui découpe une page en bandelettes avant de la donner à lire : selon la lame, la même page donne plus ou moins de morceaux.
Nos articles qui en parlent
- Le classement des modèles au 23 septembre 2026
État des lieux du paysage des modèles au 23 septembre 2026, après la sortie simultanée d'Opus 5.5 et de GPT-6 Sol et Luna : qui est devant sur quoi, à quel prix, et comment lire des classements devenus difficilement comparables.
- Les langues que les grands modèles ignorent
Les modèles de pointe fonctionnent mal dans la plupart des langues du monde. On explique pourquoi, ce que ça coûte à des centaines de millions de personnes, et pourquoi des acteurs locaux s'en emparent.
- C'est aujourd'hui : la hausse de Sonnet 5 prend effet, et elle est plus forte que 50 %
Le tarif promotionnel de Claude Sonnet 5 se termine aujourd'hui. On explique pourquoi la hausse réelle dépasse les 50 % affichés, et ce qu'il faut vérifier concrètement dans vos coûts.
- Pourquoi une IA capable de résoudre une conjecture mathématique se trompe en additionnant deux nombres
Les IA excellent en mathématiques avancées et échouent parfois sur des calculs élémentaires. On explique pourquoi : elles ne calculent pas, elles prédisent du texte, et les nombres sont découpés d'une manière qui rend l'arithmétique étonnamment difficile.
- Le 1er septembre, Claude Sonnet 5 augmente de 50 %. Et il y a un piège que presque personne ne mentionne
Le tarif promotionnel de Claude Sonnet 5 se termine le 31 août 2026 : le 1er septembre, entrée et sortie augmentent de 50 %. Mais le vrai piège est ailleurs : le nouveau tokenizer compte davantage de tokens pour un texte identique. On explique le calcul réel et comment s'y préparer maintenant.
- Pourquoi votre français coûte plus cher que l'anglais quand vous utilisez une IA
À contenu équivalent, écrire en français consomme plus de tokens qu'en anglais, ce qui augmente le coût et réduit la place disponible dans la fenêtre de contexte. On explique pourquoi cette inégalité existe, ce qu'elle change concrètement, et comment la limiter.
Voir aussi
Dans la même famille : Technique
Retrouver ce terme dans le glossaire complet →Tous les termes