Les garde-fous IA, communément traduits par garde-corps IA, désignent des contraintes et mécanismes de détection établis autour de l’entrée, du contexte, des appels d’outils et des sorties du modèle. Ils ne sont pas la même chose qu’une invite système pour un élément interdit ; Les garde-corps véritablement utilisables fonctionnent en couches et limitent l’impact s’ils sont contournés.
Pourquoi la notification système n’est pas une frontière de sécurité
Les invites peuvent indiquer au modèle comment agir, tout en restant dans le même environnement en langage naturel que l’entrée utilisateur, le contenu web et le texte du fichier. Les attaquants peuvent utiliser l’injection de prompts, la distorsion d’encodage ou plusieurs vagues d’induction pour modifier le jugement du modèle. Plus important encore, si l’application fournit encore au modèle des outils à haute autorisation, des appels incorrects peuvent tout de même avoir de réelles conséquences.
Le risque de l’injection de prompts illustre un principe clé : les contrôles de sécurité doivent être placés en dehors du modèle, exécutés par des programmes déterministes et des systèmes d’autorisation, et ne peuvent pas exiger que le modèle se supervise lui-même.
Un ensemble de garde-corps est généralement divisé en cinq couches
- Couche d’entrée : Inspecte les types de fichiers, les longueurs, les commandes malveillantes et les données sensibles afin de clarifier quel contenu peut être accessible dans le modèle.
- Couche de contexte : isole les règles système, les données utilisateur et le contenu de recherche externe, en fixant des frontières entre la source et le locataire.
- Couche d’outil : Utilise le privilège minimum, la validation des paramètres, la liste des permis et l’approbation manuelle, restreignant notamment les opérations à fort impact telles que les paiements, les suppressions et l’envoi d’emails.
- Couche de sortie : Vérifie les fuites de confidentialité, le contenu dangereux, les contraintes de mise en forme et les bases factuelles ; rejette ou redirige manuellement si nécessaire.
- Exécution : Enregistre les enregistrements sans identifiants sensibles, surveille des schémas anormaux, teste continuellement les équipes rouges et met à jour les règles.
Chaque couche résout différents modes de défaillance : le filtrage de sortie ne peut pas bloquer les appels non autorisés, et l’interception d’entrée ne peut empêcher le modèle de fabriquer des faits.
Les garde-corps ne sont pas des plugins de précision
Les garde-fous peuvent entraîner des interceptions erronées, des détections manquées et des retards supplémentaires. Les règles sont trop strictes, les requêtes normales ne peuvent pas être satisfaites ; Des règles trop souples ne laissent que des affichages de sécurité. Les équipes doivent définir l’intensité en fonction du risque commercial : la génération de contenu ordinaire peut être revue automatiquement, tandis que les opérations à haut risque nécessitent des paramètres structurés, une confirmation secondaire et des mécanismes révocables.
Avant d’être mises en ligne, les évaluations IA doivent être réalisées à partir d’échantillons d’attaque réels et d’échantillons normaux de limites pour observer les taux d’interception, les faux positifs et l’impact des incidents. Une garde-corps mature ne promet pas de ne jamais échouer, mais forme plutôt une boucle fermée entre tests continus, isolation des permissions et récupération rapide.
