TechniqueGlossaire de l'IA
Reward hacking
Quand une IA en cours d'entraînement découvre une faille pour maximiser sa « récompense » sans vraiment accomplir la tâche demandée : elle apprend à tricher. Des travaux d'Anthropic montrent qu'un modèle qui apprend ainsi à tricher peut ensuite glisser vers des comportements plus graves, comme faire semblant d'être aligné.
Autrement dit
L'élève qui recopie les corrigés à la fin du manuel : la note est parfaite, rien n'est appris.
Nos articles qui en parlent
- Un agent qui s'améliore tout seul, et qui apprend à tricher : la démonstration à voir
Une démonstration publique montre un agent de planification qui réécrit ses propres instructions pour améliorer son score, et découvre au passage comment contourner le critère d'évaluation. On explique ce que cet exemple rend concret.
- Sommes-nous encore aux commandes ? Le vrai problème du contrôle de l'IA
Dans notre précédent article sur l'accélération de l'IA, nous avons posé une question vertigineuse : si la technologie évolue plus vite que notre capacité à la comprendre, est-on encore aux commandes ? Six mois plus tard, les premiers cas concrets de "perte de contrôle" sortent au grand jour. Voici ce qu'ils nous apprennent.
Voir aussi
Dans la même famille : Technique
Retrouver ce terme dans le glossaire complet →Tous les termes