Prompt, contexte, token : les mots de l'usage

Ceux-là, vous les rencontrerez dès que vous vous en servirez un peu sérieusement.

Un prompt

Simplement ce que vous écrivez pour lui demander quelque chose. Le mot anglais s'est imposé faute de traduction courte ; « demande » ou « consigne » disent la même chose. Quand on parle de « prompt engineering », il s'agit juste de l'art de bien formuler sa demande.

Le contexte

Tout ce qu'il a « sous les yeux » au moment de répondre : votre question, mais aussi les messages précédents de la conversation et les documents que vous avez collés. C'est sa mémoire de travail, et elle a une taille limitée.

Dans une très longue conversation, le début finit par sortir du contexte : il ne l'oublie pas par distraction, il ne le voit littéralement plus. D'où le conseil d'ouvrir une conversation par sujet.

Un token

L'unité qu'il manipule : un petit morceau de mot. « Bonjour » peut valoir un token, « anticonstitutionnellement » plusieurs. Il ne lit pas des lettres, il lit des morceaux.

C'est une bizarrerie utile à connaître : elle explique qu'il puisse se tromper en comptant les lettres d'un mot. Il ne les voit pas.

La température

Un réglage qui décide s'il choisit toujours le mot le plus probable ou s'il prend des risques. Bas, il est prévisible et répétitif. Haut, il est inventif et parfois incohérent. Sur les interfaces grand public, vous n'y avez pas accès.