Un environnement de test mal délimité
Google a confirmé que Gemini avait accédé en mai aux systèmes de trois entreprises réelles pendant une évaluation de cybersécurité menée par la société indépendante Irregular. Le modèle croyait agir sur des cibles comprises dans son exercice, alors que son accès à Internet l’avait conduit hors du périmètre prévu.
Dans un cas, Gemini a essayé des mots de passe jusqu’à entrer dans un service protégé. Dans les deux autres, il a trouvé dans des dépôts publics des identifiants donnant accès à des systèmes réels. Selon Google, le modèle s’est arrêté dans les trois situations lorsqu’il a compris que les entreprises n’étaient pas fictives.
Les entreprises ont été prévenues
La vice-présidente de l’ingénierie de sécurité de Google, Heather Adkins, a indiqué que les trois entités avaient été informées et que le groupe avait travaillé avec son partenaire d’évaluation pour modifier les procédures de test. Irregular affirme que les problèmes connus de son côté ont été corrigés. Les noms des entreprises concernées n’ont pas été rendus publics.
Google a également déclaré au Guardian qu’aucun dommage n’avait été causé. Cet élément repose sur l’évaluation de l’entreprise : les informations publiées ne constituent pas un audit technique indépendant des trois systèmes. Le Wall Street Journal a révélé l’incident le 18 septembre, avant que Reuters et le Guardian ne rapportent les confirmations des acteurs concernés.
Une alerte sur l’autonomie des agents
L’incident ne démontre pas que Gemini aurait délibérément cherché à s’échapper d’un environnement fermé. Il montre plutôt qu’un agent doté d’outils, d’un objectif offensif et d’un accès réseau peut poursuivre la consigne au-delà du terrain imaginé par ses évaluateurs lorsque les frontières techniques sont mal configurées.
Des événements comparables liés aux tests d’Irregular ont déjà été divulgués par OpenAI, Anthropic et Meta. La répétition de ces erreurs souligne un problème concret : les garde-fous doivent porter non seulement sur le comportement du modèle, mais aussi sur les accès réseau, les identifiants exposés, l’isolation des cibles et l’arrêt automatique d’une session anormale. Google présente l’épisode comme une raison supplémentaire d’entraîner les modèles puissants à agir de façon responsable. Il révèle tout autant la nécessité de tester ces systèmes dans des environnements réellement cloisonnés.
