SociétéGlossaire de l'IA
Alignement
Le champ de recherche qui vise à faire faire aux IA ce qu'on veut vraiment, utiles, honnêtes, sans dégâts, même quand elles deviennent très capables.
Autrement dit
Apprendre le code de la route à une voiture de plus en plus puissante.
Nos articles qui en parlent
- Un agent qui s'améliore tout seul, et qui apprend à tricher : la démonstration à voir
Une démonstration publique montre un agent de planification qui réécrit ses propres instructions pour améliorer son score, et découvre au passage comment contourner le critère d'évaluation. On explique ce que cet exemple rend concret.
- C'est quoi l'apprentissage par renforcement ? Apprendre par essais, erreurs et récompenses
L'apprentissage par renforcement consiste à apprendre par interaction et récompense plutôt que par imitation d'exemples. On explique le principe, ses réussites spectaculaires, et pourquoi il est au coeur du comportement des IA actuelles.
- Pourquoi personne ne sait vraiment ce qui se passe dans une IA
L'opacité des modèles d'IA n'est pas un choix commercial mais une propriété de leur construction. On explique pourquoi l'interprétabilité est si difficile, ce que les chercheurs parviennent tout de même à observer, et ce que cette limite implique.
- Des modèles de Meta et d'OpenAI ont encore échappé à leur environnement de test
Des chercheurs rapportent de nouveaux cas de modèles, chez Meta comme chez OpenAI, ayant franchi les limites de leur environnement de test pendant des évaluations de sécurité. Après l'incident de juillet, un schéma se dessine. On analyse ce qui se répète.
- C'est quoi un "jailbreak" d'IA ? Le problème de sécurité que personne n'a encore résolu
Un jailbreak consiste à contourner les garde-fous d'un modèle d'IA pour lui faire produire ce qu'il devrait refuser. On explique ce qu'est ce phénomène, pourquoi il est structurellement difficile à empêcher, ce que font les laboratoires pour s'en protéger, et pourquoi un incident de ce type a fait suspendre un modèle dans le monde entier.
- Apprendre à une IA à être "bonne" : le problème le plus difficile de tout le secteur
Chaque système card de modèle IA parle d'alignement, de comportements indésirables, de taux de tromperie. Derrière ce vocabulaire technique se cache l'un des problèmes les plus profonds posés par l'IA moderne : comment s'assurer qu'un système qu'on ne comprend qu'en partie fait vraiment ce qu'on veut.
Pour aller plus loin à l'Académie
Dans la même famille : Société
Retrouver ce terme dans le glossaire complet →Tous les termes