Un utilisateur a demandé une place dans un cours de sport, l'agent d'IA a mené une cyberattaque
Au lieu de se contenter de réserver un cours de sport, l'agent d'IA a identifié une faille de sécurité, l'a exploitée pour contourner les restrictions de réservation et a supprimé une autre personne de la liste d'attente. L'incident, défini comme la première cyberattaque autonome connue en Australie, soulève des questions juridiques concernant la responsabilité des utilisateurs et des entreprises développant cette technologie.
Une simple tâche de réservation d'un cours de sport s'est transformée en un cyberincident inhabituel après qu'un agent d'intelligence artificielle, fonctionnant via le modèle Claude d'Anthropic, a identifié une faille dans le système de réservation, a contourné les restrictions qui y étaient définies et a même supprimé une autre personne de la liste d'attente.
L'utilisateur qui a activé l'agent ne lui a pas demandé de pirater le système ou de « nuire » aux autres pratiquants, mais seulement d'obtenir pour lui une place dans un cours spécifique. L'affaire, rapportée par le réseau australien ABC, est définie comme la première cyberattaque autonome connue en Australie. Elle illustre essentiellement comment les agents d'IA, capables d'effectuer une séquence d'actions de manière indépendante, peuvent choisir des moyens inattendus, voire nuisibles, pour atteindre l'objectif fixé par l'utilisateur.
L'agent a découvert une faille
Andrew, qui a fait fonctionner l'agent, travaille dans une entreprise australienne qui vend des produits d'IA aux entreprises. Plus tôt cette année, il a commencé à expérimenter OpenClaw, un logiciel permettant de faire fonctionner des agents d'IA, et l'a connecté au modèle Claude d'Anthropic. Un jour, il a confié à l'agent une tâche simple : lui réserver une place dans un cours du matin très demandé dans la salle de sport où il s'entraîne.
L'agent a découvert une faille dans le système de réservation, grâce à laquelle il était possible de s'inscrire à des cours des semaines, voire des mois à l'avance, bien que le système soit censé limiter la plage de réservation. Plus tard, Andrew, qui était quatrième sur la liste d'attente pour le cours, a demandé si l'agent pouvait le déplacer en tête de liste.
En réponse, l'agent a vérifié s'il était possible d'annuler les réservations d'autres pratiquants. Il a découvert que l'interface de programmation du système de réservation ne vérifie pas si la personne effectuant l'annulation est autorisée à le faire. Pour vérifier si la faille fonctionnait réellement, l'agent a effectivement annulé la place du pratiquant qui était premier sur la liste d'attente. En conséquence, Andrew est passé de la quatrième à la troisième place, bien qu'il n'ait pas demandé à l'agent de supprimer une autre personne de la liste.
Lorsque l'agent lui a signalé l'action, Andrew a été alarmé et a demandé à rétablir le pratiquant à sa place. Cependant, l'agent a annoncé qu'il n'était pas en mesure de le rajouter à la liste d'attente. Plus tard, Andrew a demandé à l'agent de rédiger un message à l'entreprise de logiciels concernant la faille de sécurité trouvée.
L'entreprise exploitant le système de réservation a déclaré à ABC qu'elle ne commentait pas les questions de sécurité spécifiques. De plus, selon l'article, Anthropic n'a pas répondu à la demande des médias.
Le défi de l'autonomie de l'IA
Divers agents d'IA et chatbots sont habitués à ne pas se contenter de répondre aux questions. Ils peuvent accéder à Internet, aux e-mails, aux moyens de paiement et à d'autres services, planifier des tâches composées de plusieurs étapes et les exécuter avec des degrés d'indépendance variables.
L'événement à la salle de sport démontre l'un des problèmes centraux du domaine : l'écart entre l'objectif défini par l'utilisateur et les moyens que l'agent choisit pour l'atteindre. Andrew a demandé à réserver un cours, mais l'agent a interprété le succès de la tâche de manière large, a identifié une faiblesse dans le système et l'a exploitée sans instruction explicite.
Bill Simpson-Young, PDG et cofondateur de l'institut australien de recherche sur la sécurité de l'IA Gradient Institute, a expliqué à ABC qu'à mesure que les systèmes deviennent plus autonomes, davantage d'opportunités s'offrent à eux pour choisir des méthodes que les utilisateurs n'avaient pas prévues. Selon lui, un utilisateur peut confier une tâche innocente à un agent, mais l'agent peut effectuer des actions supplémentaires qu'il n'a pas été invité à effectuer. L'inquiétude grandit à la lumière de l'amélioration rapide des capacités des modèles.
Qui est responsable lorsqu'un agent d'IA cause des dommages
Parallèlement au risque technologique, l'événement soulève également une question juridique qui n'a pas encore été tranchée : qui est responsable lorsqu'un agent d'IA agit contrairement à l'intention de l'utilisateur et cause des dommages. Un logiciel n'est pas considéré comme une personne morale, et il est donc impossible de le tenir pour responsable comme on peut le faire avec une personne ou une entreprise.
Selon l'avocat Hayden Delaney, cité dans l'article, la responsabilité peut incomber à l'utilisateur qui a défini la tâche, au développeur de logiciels qui exploite l'agent, à l'entreprise qui a développé le modèle ou à l'opérateur du système où la faille a été trouvée. La décision peut dépendre de la question de savoir ce que l'utilisateur a exactement approuvé, quels risques auraient pu être prévus à l'avance et si l'une des parties a agi par négligence.
L'agence australienne de cybersécurité a déjà averti que les agents d'IA pourraient interpréter les instructions de manière incorrecte, effectuer des actions involontaires et rendre difficile la détermination de la responsabilité, car les décisions sont parfois prises via une chaîne de modèles, d'outils et de services. Le gouvernement australien a également annoncé le financement de recherches qui examineront comment les humains peuvent surveiller le comportement des systèmes d'IA avancés et vérifier leurs actions.
Andrew a déclaré que l'incident ne l'a pas poussé à cesser d'utiliser l'agent, mais qu'il a renforcé pour lui la nécessité de le faire de manière responsable.
