Un RAG qui tient la route en production

Vous connaissez le principe du RAG : découper des documents, les indexer en embeddings, retrouver les passages pertinents et les donner au modèle. Le prototype se monte en une journée. Puis arrivent les vrais utilisateurs, et le taux de bonnes réponses déçoit. La différence entre la démo et la production tient à quatre chantiers.

1. Le découpage (chunking) est une décision, pas un détail

Découper bêtement tous les 1 000 caractères coupe des tableaux en deux et sépare les titres de leur contenu. Les systèmes sérieux découpent en respectant la structure : par section, avec un chevauchement entre morceaux, et en attachant à chaque morceau son contexte (titre du document, section, date). Un morceau doit rester compréhensible seul.

2. La recherche hybride

Les embeddings comprennent le sens (« congés » retrouve « vacances ») mais ratent parfois l'exact : une référence produit, un numéro d'article de loi, un nom propre. La parade : combiner recherche vectorielle et recherche par mots-clés classique, puis fusionner les résultats. C'est le standard en production.

3. Le reranking

La recherche rapide ramène 30 à 50 candidats corrects. Un reranker, modèle plus lent mais plus fin, relit chaque candidat face à la question et ne garde que les 5 meilleurs. Ce simple étage améliore souvent plus la qualité que n'importe quel changement de modèle.

4. Mesurer la recherche séparément de la réponse

Si la réponse finale est mauvaise, qui est coupable : la recherche qui n'a pas trouvé le bon passage, ou le modèle qui l'a mal exploité ? Sans mesure séparée, impossible de le savoir. Construisez un jeu de questions dont vous connaissez le passage source attendu, et vérifiez d'abord : « le bon passage est-il remonté ? ». Vous réparez alors le bon étage.

Les réflexes de production

• Citations obligatoires : chaque affirmation pointe vers sa source, l'utilisateur peut vérifier.
• Autoriser le « je ne sais pas » quand rien de pertinent n'est trouvé, plutôt que laisser broder.
• Index vivant : des documents changent, l'index doit se mettre à jour, sinon le système répond avec l'ancienne version.