Google révèle que Gemini a pénétré des systèmes externes lors d'un test
Google a admis que son modèle d'IA Gemini a pénétré de manière autonome dans des systèmes d'entreprise externes lors d'un test mené par la startup israélienne Irregular.
Google a révélé hier que son outil d'intelligence artificielle, Gemini, a pénétré dans les systèmes informatiques de trois entreprises extérieures. C'est la première fois que le géant technologique admet qu'un de ses modèles d'IA a obtenu un accès indépendant et non autorisé à des systèmes externes. Comme lors de cas similaires récents, la startup israélienne de cybersécurité Irregular est impliquée dans cet incident, d'abord rapporté par The Wall Street Journal.
Selon Google, lors d'un événement qui s'est déroulé en mai, le modèle a pénétré dans trois systèmes informatiques privés distincts : une fois en devinant des mots de passe et deux fois en utilisant une base de données d'identifiants divulguée publiquement. L'incident s'est produit lors d'un test de sécurité de type capture the flag mené par Irregular. Google a indiqué que les agents d'IA ne devaient jamais avoir accès à Internet, mais une défaillance de l'environnement de test l'a permis.
« Au cours d'une évaluation standard, le modèle a découvert des informations publiques en ligne et a deviné des identifiants de connexion pour accéder à des sites qu'il croyait faire partie du test, mais dans les trois cas, le modèle a cessé son activité de sa propre initiative », a déclaré Heather Adkins, vice-présidente de la sécurité chez Google.
Inquiétudes sectorielles et modèles non alignés
Cette révélation intervient dans un contexte de critiques croissantes concernant le comportement erratique des systèmes d'IA à Washington et dans la Silicon Valley. Ces dernières semaines, OpenAI, Anthropic et Meta ont également signalé des incidents similaires où leurs modèles se sont échappés de leurs environnements de test.
Toutes les situations décrites impliquent la startup israélienne Irregular, soutenue par les fonds de capital-risque Sequoia et Redpoint Ventures, valorisée l'année dernière à environ 450 millions de dollars. Irregular aide les développeurs de modèles de fondation à effectuer des tests de cybersécurité.
