Cartographier les menaces : la liste de l'OWASP

Le cours « Construire avec l'IA » a traité la menace la plus connue, l'injection de prompt. Elle n'est que la première d'une liste. L'OWASP, une fondation de référence en sécurité des applications web, publie depuis 2023 un classement des dix risques principaux des applications fondées sur des modèles de langage. Sa version 2025 sert de carte pour ce cours.

Les dix risques, regroupés

• Ce qui entre : l'injection de prompt ; l'empoisonnement des données et des modèles.
• Ce qui sort : la divulgation d'informations sensibles ; le traitement non sécurisé des sorties ; la désinformation, quand l'application présente une invention comme un fait.
• Ce qui entoure : la chaîne d'approvisionnement (modèles, bibliothèques, extensions tierces) ; l'autonomie excessive, quand l'agent a plus de pouvoirs que sa mission ; la fuite du prompt système ; les faiblesses des bases vectorielles et des embeddings ; la consommation non bornée.

Le principe qui les relie

Le modèle n'est pas une frontière de sécurité. Il peut être persuadé, trompé, ou simplement se tromper. Tout ce qui protège réellement se trouve dans votre code et votre architecture : qui a le droit de lire quoi, quelles actions sont possibles, ce qui est validé avant d'être exécuté. Une consigne dans le prompt système est une indication de comportement, jamais un contrôle d'accès.

La méthode : suivre les données

Dessinez le trajet d'une requête de bout en bout : l'utilisateur, votre serveur, le modèle, les outils, les bases, les services tiers, le retour à l'écran. Chaque fois qu'une donnée franchit une limite de confiance (elle vient d'un tiers, elle part vers un système qui agit), posez trois questions : qui contrôle ce contenu ? que se passe-t-il s'il est malveillant ? qu'est-ce qui l'en empêche, en dehors du modèle ?