Quand le contexte ne suffit plus : aller chercher l'information

Le niveau Débutant explique ce qu'est la fenêtre de contexte et pourquoi le milieu d'un long texte est moins bien traité. Reste la question pratique : que fait-on quand la documentation pèse dix mille pages ?

Tout coller ne passe pas à l'échelle

Même avec une très grande fenêtre, envoyer dix mille pages à chaque question est lent, cher, et de mauvaise qualité : l'information utile est noyée dans du bruit que le modèle doit traverser.

Le principe : chercher d'abord, répondre ensuite

On découpe la documentation en morceaux. À chaque question, un système va d'abord chercher les cinq ou dix morceaux les plus pertinents, et eux seuls sont envoyés au modèle avec la question.

C'est ce qu'on appelle la recherche augmentée, ou RAG. Le modèle ne connaît toujours pas votre documentation : on la lui met sous les yeux, au bon moment, en petite quantité.

Comment la recherche trouve

Chaque morceau est transformé en une liste de nombres qui représente son sens, pas ses mots. Une question sur « résilier mon contrat » retrouve un passage parlant de « dénonciation de l'engagement », sans qu'aucun mot ne coïncide. C'est ce qui distingue cette recherche d'un simple « Ctrl+F ».

Là où ça se joue vraiment

Contrairement à ce qu'on imagine, la qualité ne dépend presque pas du modèle. Elle dépend du découpage. Des morceaux trop petits perdent le contexte : on retrouve une phrase sans savoir de quel article elle vient. Trop gros, ils ramènent du bruit. Un découpage qui suit la structure du document, avec le titre de section conservé dans chaque morceau, vaut mieux que n'importe quel changement de modèle.

Le contrôle indispensable

Exigez toujours les passages sources avec la réponse. Sans eux, vous ne pouvez pas distinguer une réponse fondée d'une réponse inventée à partir de morceaux mal choisis. Une réponse sans source, dans ce dispositif, ne vaut rien.

Quand ce n'est pas la solution

Si la question porte sur l'ensemble d'un corpus, « quelles sont les grandes tendances de ces trois cents rapports », la recherche par morceaux échoue par construction : elle ramène dix passages, pas une vue d'ensemble. Il faut alors résumer document par document, puis travailler sur les résumés.