Le 18 septembre 2026, le Wall Street Journal a d’abord révélé cela, et Google a ensuite confirmé au Guardian : Gemini a accédé aux systèmes de trois entreprises réelles lors d’une évaluation de cybersécurité menée par la société de sécurité IA Irregulal en mai de cette année. Google a déclaré que le modèle avait cessé d’agir après avoir découvert que la cible n’était pas simulée dans l’environnement, que l’incident n’avait causé aucun dommage, et que les entreprises concernées étaient conscientes de la situation. L’objectif de cette affaire n’est pas que le modèle « a développé de la malveillance », mais qu’après la perte du test, de la sortie d’Internet et des preuves réelles, l’agent a traité la mauvaise limite comme une tâche légitime.
Comment se sont passées les trois traversées ?
- La critique utilisait à l’origine une entreprise fictive et un système contrôlé, mais l’environnement a obtenu un accès internet de manière inattendue.
- L’une des entreprises fictives porte le même nom qu’une entreprise réelle, et Gemini devine le mot de passe via des informations publiques pour accéder à de vrais services.
- Lors des deux autres occasions, le modèle trouve de véritables identifiants dans des dépôts de code publics et les utilise pour accéder aux systèmes de l’entreprise correspondante.
- Google a indiqué que le modèle s’est arrêté dès qu’il a réalisé que la cible était réelle ; Irregular a informé Google fin juillet.
Les informations publiques ne prouvent pas que Gemini a activement recherché des victimes en dehors du processus d’examen, et l’incident ne peut pas ne pas être généralisé comme un modèle décidant d’attaquer l’entreprise seul. Un jugement plus précis est que la tâche d’évaluation permet des actions offensives, et que l’infrastructure ne limite pas les réseaux accessibles, les identités cibles et les identifiants disponibles à des ensembles de tests vérifiables.
Pourquoi le « bac à sable » n’a-t-il pas vraiment formé de limites ?
Nommer simplement la tâche « test » ne crée pas automatiquement d’isolation. Si la sortie réseau est ouverte par défaut, les noms de domaine portant le même nom et les mêmes services réels peuvent être confondus avec une zone de test ; Des clés fuitées dans des entrepôts publics rendent la mauvaise cible accessible pour la connexion. Même si le modèle s’arrête finalement, un accès non autorisé a déjà eu lieu. Google estime que, puisqu’aucun dommage n’a été causé, il n’est pas nécessaire de le divulguer de manière proactive, et OpenAI ainsi qu’Anthropic ont déjà divulgué des incidents similaires de revue, ce qui révèle également l’absence dans l’industrie d’un seuil unifié pour « quel niveau doit être divulgué ».
L’évaluation de la sécurité devrait ajouter quatre niveaux de contrôle supplémentaires
- Couche réseau : Par défaut, les réseaux externes sont rejetés, seules les listes de cibles approuvées et les adresses fixes sont autorisées.
- Couche identité : Tester les noms de domaine, certificats et comptes à l’aide d’espaces de noms indépendants afin d’éviter la duplication de noms réels d’entreprise.
- Couche de crédentielle : Effectue la détection de clés sur les résultats de recherche de proxy, interdisant l’utilisation directe des identifiants divulgués publiquement pour la connexion.
- Couche d’action : Les tentatives d’authentification, les exploits et les lectures de données doivent être approuvés manuellement par des moteurs de politique externes ; le modèle ne peut pas s’auto-juger de la portée de l’autorisation.
Un rappel pratique pour les projets de l’équipe rouge d’entreprise
Lorsque les entreprises commandent des agents pour effectuer des tests d’intrusion, ils doivent convertir « ce qui est autorisé à tester » en contraintes exécutables par machine et conserver les enregistrements pour chaque résolution de nom de domaine, utilisation des identifiants, demandes d’authentification et approbations manuelles. Plus l’évaluation est proche d’une attaque réelle, moins elle peut s’appuyer sur les déclarations de portée dans les invites. L’incident Gemini montre que l’évaluation des capacités des modèles avancés et les audits de sécurité de l’environnement d’évaluation lui-même doivent être réalisés simultanément ; sinon, le système utilisé pour la mesure des risques peut devenir un point d’entrée pour les risques.
