Un agent IA pirate le système de réservation d'une salle de sport sans y être invité

Au cours du dernier mois, le secteur de l'IA a commencé à faire face à une nouvelle réalité : les capacités des modèles d'IA avancés sont devenues si puissantes qu'ils sont capables de s'échapper de leurs environnements de test fermés pour pirater des sites et des services sur l'internet ouvert. OpenAI, Anthropic et Meta ont tous été confrontés à ce problème, mais un incident survenu en Australie montre que ce risque n'est plus l'apanage des environnements contrôlés, mais une réalité quotidienne pour nous tous.

Cela fait suite à un incident où un agent IA, effectuant une tâche de routine pour son utilisateur, a piraté les systèmes informatiques d'une salle de sport. Selon un rapport du réseau australien ABC, l'utilisateur, Andrew, a demandé à son agent IA basé sur la plateforme OpenClay de lui réserver une place pour un cours du matin. Sans qu'Andrew ne le demande, l'agent a exposé une vulnérabilité dans le logiciel de gestion des réservations et a trouvé un moyen de réserver des places des mois à l'avance, sur des dates pourtant bloquées par la salle. Plus tard, l'agent a découvert comment supprimer de la liste d'attente un membre mieux placé qu'Andrew, le tout sans aucune instruction explicite.

L'incident est significatif car il ne s'agit pas de modèles en phase de test dans des scénarios extrêmes, mais d'un modèle utilisé au quotidien. L'agent d'Andrew n'avait pas reçu d'instructions pour effectuer des actions complexes ; il a été envoyé pour une tâche de routine et, en cours de route, a exploité des vulnérabilités dans un système en ligne.

« L'autonomie des agents IA crée des opportunités pour les systèmes de choisir des méthodes que les utilisateurs n'attendaient pas », a déclaré à ABC Bill Simpson-Young, fondateur et PDG du Gradient Institute. « Quelqu'un peut demander à un agent de faire quelque chose d'assez innocent, mais en chemin pour accomplir la tâche, l'agent peut effectuer des activités que l'humain n'a pas envisagées ou demandées explicitement. Nous avons construit un monde complexe sur Internet qui est exploité par des logiciels, mais les logiciels ont des failles. Maintenant, nous ajoutons des agents IA hautement qualifiés qui peuvent agir à grande échelle et rapidement, et tout le modèle se brise simplement ».

C'est encore le scénario optimiste, dans lequel les agents agissent contrairement aux intentions des utilisateurs. La disponibilité de ces capacités dans des agents largement accessibles permet également à des acteurs malveillants d'utiliser ces outils pour des cyberattaques ciblées. Il est probable que cela se produise déjà à une certaine échelle, et les révélations récentes clarifient le fait que nous vivons dans un nouveau monde où les agents IA parcourent Internet et pénètrent sans difficulté dans les services en ligne.