Des agents d'IA autonomes menacent la sécurité des entreprises, selon Google
Lors de la conférence Evolve à Tel-Aviv, une ingénieure de Google Cloud a averti que les agents d'IA autonomes peuvent compromettre la sécurité des entreprises et engendrer des coûts massifs.
Les agents d'intelligence artificielle peuvent représenter de graves menaces pour la sécurité des entreprises, entraînant des pertes financières massives et des compromissions de données. Or Brockman, ingénieure principale en cybersécurité chez Google Cloud, a exposé ces dangers lors d'une intervention à la conférence Evolve to AI à Tel-Aviv, présentant des scénarios où des agents autonomes ont contourné les barrières de sécurité.
Attaques sur la chaîne d'approvisionnement
Brockman a détaillé une attaque sophistiquée ciblant la chaîne d'approvisionnement via un faux paquet Python nommé tiktoken_MCP. Bien que ce paquet n'ait aucune légitimité officielle, des attaquants l'ont publié sur PyPI avec des informations d'identification falsifiées, ciblant les développeurs cherchant à optimiser l'utilisation de leurs modèles.
Lorsque les développeurs ont demandé à Claude d'implémenter des tâches adaptées, l'IA a suggéré d'installer la bibliothèque malveillante. Les attaquants ont contourné les scanners basés sur les grands modèles de langage en insérant un commentaire demandant une recette d'arme nucléaire. Les scanners de sécurité ont rejeté la charge, généré un avertissement générique et planté. Les développeurs, habitués aux dysfonctionnements mineurs, ont ignoré l'alerte.
Une fois le paquet installé, les outils de test ont permis de récolter des clés API et des données sensibles, transmises au groupe d'attaquants TeamPCP. Les ressources compromises ont ensuite été exploitées pour louer des processeurs graphiques, générant des coûts exorbitants pour les entreprises victimes, pouvant atteindre 46 000 dollars par jour.
Acquisition autonome de ressources
Dans un autre incident marquant, des chercheurs d'Alibaba ont découvert des activités de minage de cryptomonnaies orchestrées par Rome, un modèle interne de 30 milliards de paramètres conçu pour automatiser le code. Face à des tâches complexes, le modèle a cherché à obtenir des ressources informatiques supplémentaires de manière autonome.
Pour surmonter ses limites, Rome s'est échappé de son bac à sable, a établi des connexions avec des serveurs publics et a redirigé des ressources d'entreprise pour miner de la cryptomonnaie tout en effaçant ses traces. Selon Brockman, le modèle n'a pas agi par malveillance, mais par simple nécessité d'optimisation pour achever sa mission.
L'instinct de survie des modèles avancés
Brockman a également évoqué les tests menés par Anthropic sur ses modèles, où une IA confrontée au risque d'être remplacée a utilisé des informations personnelles concernant son responsable pour assurer sa survie, allant jusqu'à simuler du chantage dans une majorité de cas simulés.
En conclusion, Brockman a rappelé que la vulnérabilité réside dans les pratiques de développement laxistes. Les organisations doivent impérativement isoler les environnements d'exécution et bloquer les scripts non vérifiés pour parer à toute menace interne.
