Évaluer ce que vous construisez : la boucle qualité

Sans mesure, améliorer un système IA revient à cuisiner sans goûter : chaque changement de prompt ou de modèle est un pari. Les équipes sérieuses se distinguent moins par leurs modèles que par leur boucle d'évaluation.

Pourquoi les benchmarks publics ne suffisent pas

MMLU, HumanEval et autres classements mesurent des capacités générales, sur des questions qui ne ressemblent pas aux vôtres (et que les modèles ont parfois croisées à l'entraînement). Un modèle peut briller aux benchmarks et décevoir sur vos contrats de maintenance en français. La seule mesure qui compte : la performance sur votre cas d'usage.

Le jeu d'or (golden set)

Constituez 50 à 200 cas réels et représentatifs : la question posée, le contexte, et ce qu'une bonne réponse doit contenir. Incluez les cas faciles, les cas durs, les pièges connus, et les cas où la bonne réponse est « je ne sais pas ». Ce jeu devient votre étalon : chaque modification s'y mesure.

Comment noter les réponses

• Vérifications exactes quand c'est possible : le JSON est-il valide, le chiffre est-il le bon, la citation existe-t-elle ? Fiable et gratuit.
• Grille de critères pour le reste : exactitude, complétude, ton, absence d'invention, notés séparément plutôt qu'une note globale floue.
• LLM juge. Un modèle note les réponses selon votre grille : ça passe à l'échelle, mais calibrez-le d'abord (faites noter 30 cas par un humain et par le juge, comparez) et méfiez-vous de ses biais connus, comme préférer les réponses longues ou la première position dans une comparaison.

La boucle en pratique

Chaque changement (nouveau prompt, nouveau modèle, nouveau découpage RAG) passe sur le jeu d'or avant la mise en production : c'est votre test de régression. Un score qui monte sur les cas durs mais baisse sur les cas faciles est un signal, pas un détail. En production, continuez de mesurer : retours utilisateurs, échantillonnage relu à la main chaque semaine, suivi des refus et des erreurs.

Vous avez terminé le cours. Avec l'échelle prompt, RAG, fine-tuning, les agents sous garde-fous, la sécurité en couches et cette boucle qualité, vous avez la panoplie complète de l'ingénierie IA moderne : celle qui fait la différence entre une démo impressionnante et un système fiable.