La fenêtre de contexte : sa mémoire de travail

C'est la caractéristique la plus souvent mise en avant dans les annonces, et la plus mal comprise.

De quoi il s'agit

La fenêtre de contexte est la quantité de texte qu'il peut avoir sous les yeux en même temps : votre question, toute la conversation, et les documents collés. On l'exprime en tokens, ces morceaux de mots. Cent mille tokens représentent environ soixante-quinze mille mots, soit un roman court.

Ce que ça change

Une grande fenêtre permet de coller un long rapport et de poser des questions dessus, ou de tenir une conversation très longue sans que le début se perde.

Quand la limite est atteinte, le plus ancien sort. Il ne l'oublie pas par distraction : il ne le voit plus. C'est pour ça qu'une longue conversation finit par « perdre » une consigne donnée au début.

La nuance qu'on ne dit jamais

Grande fenêtre ne veut pas dire bonne lecture. Un modèle capable d'ingérer un million de tokens n'y prête pas la même attention partout : ce qui est au milieu d'un très long texte est moins bien traité que ce qui est aux extrémités. La capacité annoncée est un maximum technique, pas une garantie de qualité.

Ce qu'on en fait

Placez l'essentiel au début ou à la fin de ce que vous collez. Et rappelez la consigne importante dans votre dernier message plutôt que de compter sur celle du début.