Évaluer une IA : benchmarks, limites et esprit critique

« Le nouveau modèle X écrase GPT sur tel benchmark ! » Chaque semaine apporte son annonce triomphale. Dernière leçon : apprendre à lire ces chiffres, et à vous en méfier juste ce qu'il faut.

C'est quoi, un benchmark ?

Un benchmark est un jeu de questions standardisé : culture générale et raisonnement (MMLU), maths de compétition (AIME), code réel (SWE-bench, où le modèle doit corriger de vrais bugs de vrais logiciels), etc. Même épreuve pour tous les modèles → comparaison possible. C'est indispensable… et piégeux.

Les trois pièges classiques

• La contamination. Les benchmarks publics finissent dans les données d'entraînement : le modèle a potentiellement « vu les réponses ». Un score peut mesurer la mémoire plus que l'intelligence.
• La cible qui devient le but. Les laboratoires optimisent pour les benchmarks en vogue ; un point de plus sur un score ne se traduit pas forcément en utilité réelle.
• La moyenne qui cache tout. Un modèle « meilleur en moyenne » peut être pire sur votre tâche précise : le français juridique, votre framework de code, votre domaine métier.

Les compléments indispensables

Les classements par votes humains en aveugle (deux réponses anonymes, on choisit la meilleure) mesurent la préférence réelle. Les évaluations de sécurité testent les comportements à risque avant déploiement. Et le meilleur benchmark du monde reste le vôtre : gardez une petite liste de vos tâches typiques et faites-la passer à chaque nouveau modèle.

Fin du cours

Transformer, RLHF, RAG, MoE, benchmarks : vous disposez maintenant du vocabulaire et des concepts pour lire n'importe quelle annonce d'IA en séparant le signal du marketing. Le fil d'articles d'Alyriaz est votre entraînement continu.