Un contexte stable, pour le cache et pour la cohérence

La plupart des fournisseurs facturent beaucoup moins cher, et servent plus vite, un début de requête déjà vu récemment : c'est la mise en cache du préfixe. Pour un agent qui renvoie à chaque étape un contexte qui ne fait que s'allonger, c'est le levier économique majeur. Mais il obéit à une règle sans exception : le cache ne vaut que jusqu'au premier caractère qui change.

Les erreurs qui tuent le cache

• Un horodatage en tête du prompt système, précis à la seconde : chaque requête a un préfixe neuf, rien n'est jamais réutilisé.
• Une sérialisation instable : un objet JSON dont l'ordre des clés varie d'un appel à l'autre produit un texte différent pour un contenu identique.
• Réécrire le passé : modifier, résumer ou réordonner des étapes anciennes au milieu de l'historique invalide tout ce qui suit.
• Changer la liste des outils en cours de route : les définitions d'outils sont placées au début du contexte, y toucher invalide presque tout.

Les règles de construction

• Du plus stable au plus variable : consignes et définitions d'outils d'abord, documents de référence ensuite, puis l'historique, et la demande du moment à la fin.
• Un historique qui ne fait que s'allonger : on ajoute à la fin, on ne modifie pas ce qui précède.
• Une date à la bonne granularité : le jour suffit presque toujours, et il se place après les parties stables.
• Restreindre plutôt que retirer : si un outil ne doit plus servir à un moment donné, mieux vaut en empêcher l'usage (par une contrainte au décodage ou une règle dans votre code) que l'ôter de la liste.

La cohérence y gagne aussi

Un contexte qui se réécrit sans cesse ne trouble pas que le cache. Si un outil disparaît alors que l'historique y fait référence, le modèle peut tenter de l'appeler quand même, ou s'embrouiller sur ce qui a été fait. Un historique en ajout seul est aussi une trace fidèle de ce qui s'est passé, pour le modèle comme pour vous en cas d'incident.

Mesurer

Les réponses des fournisseurs indiquent en général combien de tokens ont été lus depuis le cache. Suivez ce taux par type de tâche : une chute brutale après une mise en production signale presque toujours un caractère qui s'est mis à bouger en tête de contexte.