Tenir la facture

Un prototype coûte quelques euros. Le même système à l'échelle réelle peut coûter mille fois plus, et la surprise arrive toujours au premier relevé complet.

Les trois postes, par ordre d'importance

Le contexte réémis. Dans une conversation, l'historique repart en entier à chaque tour. Vingt échanges, c'est une croissance quadratique du coût cumulé. C'est le premier poste, et de loin, sur tout produit conversationnel.

Les tokens de sortie. Trois à cinq fois le prix de l'entrée. Une consigne de concision est une décision budgétaire.

Le raisonnement invisible. Sur un modèle réfléchi, il peut représenter l'essentiel de la facture pour une réponse courte.

Les leviers, du plus rentable au moins

Le cache de préfixe. Placez tout ce qui est stable, instructions, exemples, schémas, strictement en tête et à l'identique. La réduction est considérable et ne coûte qu'un peu de discipline. Un caractère qui change annule le bénéfice.

Le routage. Classer la demande et n'envoyer au modèle cher que ce qui le mérite. Sur un trafic réel, la majorité des demandes ne le méritent pas.

La compression de l'historique. Au-delà de N tours, résumer les anciens plutôt que les réémettre.

Le traitement par lots. Pour tout ce qui n'est pas interactif, les tarifs différés sont nettement plus bas. Un rapport nocturne n'a pas besoin de répondre en deux secondes.

Le garde-fou indispensable

Un plafond de dépense par utilisateur et par période, appliqué côté serveur. Sans lui, une boucle mal écrite ou un usage abusif produit une facture à quatre chiffres en une nuit, et vous l'apprendrez le lendemain.