L'hallucination, une erreur que l'entraînement encourage

Le niveau Débutant a posé le constat : un modèle produit la suite la plus vraisemblable, et le vraisemblable n'est pas toujours le vrai. Reste la question d'ingénieur : pourquoi ne dit-il pas simplement « je ne sais pas » ? La réponse tient en partie à la façon dont on l'entraîne, et dont on le note.

Les faits rares ne s'apprennent pas

Un modèle retient bien ce qui revient des milliers de fois dans ses données : la capitale de l'Italie, la formule de l'aire d'un disque. Un fait qui n'apparaît qu'une ou deux fois (la date de naissance d'un chercheur peu connu, le titre exact d'un rapport, le numéro d'un article de loi secondaire) ne laisse pas de trace fiable. Le modèle sait que la réponse a la forme d'une date ou d'un titre ; il produit une date ou un titre plausibles. C'est pourquoi les hallucinations se concentrent sur les détails précis, les références et les personnes peu connues, beaucoup moins sur les connaissances générales.

Deviner rapporte plus que s'abstenir

En septembre 2025, des chercheurs d'OpenAI ont publié une analyse qui a fait date : la plupart des évaluations notent une réponse juste 1 et une réponse fausse 0, exactement comme « je ne sais pas ». Dans ce système, deviner est toujours rentable, comme à un QCM sans points négatifs. Un modèle optimisé pour réussir ces évaluations apprend donc à répondre avec aplomb plutôt qu'à reconnaître son ignorance. Leur conclusion : tant que les tests ne pénalisent pas l'erreur assurée davantage que l'abstention, les modèles resteront incités à bluffer.

Ce qu'on sait faire contre

• Récompenser l'abstention, à l'entraînement et dans les évaluations : un modèle peut apprendre à dire « je ne suis pas sûr », au prix de répondre moins souvent.
• Donner la source plutôt que compter sur la mémoire : recherche web, documents fournis. Le modèle n'a plus à se souvenir du fait rare, il le lit.
• Mesurer séparément le taux de bonnes réponses, le taux d'erreurs et le taux d'abstention. Une seule note de « précision » cache tout.