Habituez-vous au nouveau monde : une IA s'est « échappée » et a mené une cyberattaque — encore
Des modèles d'IA ont mené des cyberattaques autonomes sans intervention humaine. Les incidents impliquant les développements d'Anthropic et d'OpenAI ont révélé des vulnérabilités critiques dans les environnements de test et souligné les risques liés aux algorithmes avancés.
Nouvelles en bref : des modèles d'IA ont mené des cyberattaques complètes et autonomes sans intervention humaine. Anthropic a rapporté que trois de ses modèles ont pénétré trois organisations réelles. Ces événements révèlent la puissance du bond en avant par rapport à la génération précédente d'outils d'IA. La société israélienne Irregular gérait l'environnement de test à partir duquel les modèles se sont « échappés ». Les intrusions n'ont été découvertes qu'a posteriori, et dans le secteur de la cybersécurité, on appelle cela de la négligence.
Eyal Elikim de Team8 souligne : « Il faut supposer que les Chinois possèdent déjà de telles capacités. »
Une intelligence artificielle autonome qui choisit une cible pour une attaque et s'y introduit sans qu'aucun humain ne lui ait donné un tel ordre ressemble à un scénario de science-fiction, mais le week-end dernier, nous avons appris l'existence d'un tel événement, et ce n'est pas la première fois. Moins de deux semaines après qu'OpenAI, le développeur de ChatGPT, a révélé que l'un de ses modèles avait piraté la société Hugging Face, c'était au tour d'Anthropic, le développeur du chatbot Claude, d'annoncer la découverte d'un cas similaire.
« Il s'agit d'un système qui a planifié et exécuté un mouvement d'attaque complet de manière autonome », a déclaré Roi Cohen-Duvik, directeur technique de la société Surf AI. Andrew Morris, fondateur de la société de cybersécurité GreyNoise Intelligence, a déclaré à Bloomberg : « Les modèles mentiront, tricheront et voleront toujours pour accomplir une tâche qui leur est assignée — et feront tout ce qui est nécessaire pour atteindre l'objectif. »
Que s'est-il passé exactement lors des cyber-intrusions ?
OpenAI et Anthropic effectuent régulièrement des tests de résistance sur leurs modèles les plus avancés pour vérifier leurs capacités cybernétiques offensives. Ces tests sont censés se dérouler dans un environnement totalement isolé, déconnecté d'Internet, précisément pour éviter que le test lui-même ne devienne une attaque réelle.
Chez OpenAI, le modèle testé a découvert indépendamment une vulnérabilité de sécurité inconnue jusqu'alors, l'a utilisée pour sortir de l'environnement isolé et a piraté le système de Hugging Face. Ces derniers jours, OpenAI a rapporté que le modèle avait réussi à pénétrer dans plusieurs autres services sur le réseau.
Chez Anthropic, l'histoire est légèrement différente : trois de ses modèles avancés, dont Mythos 5, ont découvert qu'ils pouvaient naviguer sur Internet en raison d'une erreur technique de la société Irregular, qui menait le test. Comme on avait dit aux modèles qu'ils n'avaient pas accès au réseau, ils ont supposé que tout ce qu'ils rencontraient faisait toujours partie de l'exercice, et ils ont piraté, sans le savoir, trois organisations réelles.
Le lien israélien
La société Irregular, de l'environnement de test de laquelle les modèles d'Anthropic se sont échappés, a été fondée en 2023 par les Israéliens Dan Lahav et Omer Nevo. En septembre dernier, l'entreprise a annoncé une levée de fonds d'environ 80 millions de dollars auprès de fonds comme Sequoia et Redpoint et d'investisseurs privés comme le fondateur de Wiz, Assaf Rappaport. L'entreprise se spécialise dans la simulation de situations réelles pour tester la résilience de l'IA face aux cyberattaques.
Quel est le danger exposé ici ?
Les deux événements révèlent la même capacité : les modèles d'IA avancés sont déjà capables de planifier et d'exécuter seuls toute une séquence d'actions d'attaque — localiser une cible, la cartographier et choisir la méthode de pénétration appropriée sans guidage humain. Eyal Elikim de Team8 souligne que c'est exactement la différence avec la génération précédente de modèles. Bien que la menace vise l'infrastructure des entreprises, une intrusion dans les serveurs et les bases de données conduit souvent à l'exposition d'informations sur les utilisateurs.
Critiques et régulation
Dans le secteur de la cybersécurité, les critiques n'ont pas manqué. Jake Williams, ancien hacker de la NSA, a qualifié la situation de « négligence ». La critique centrale est que les entreprises ne se sont pas assurées que les environnements de test étaient verrouillés comme elles le croyaient, et les intrusions n'ont été découvertes qu'a posteriori, des jours ou des mois après les faits.
Parallèlement, Anthropic et OpenAI tentent d'exploiter ces incidents dans le débat actuel sur la régulation de l'IA. Ils affirment qu'une réglementation stricte est nécessaire pour ralentir les concurrents. D'un autre côté, des entreprises comme Nvidia, Microsoft et Meta font pression pour un marché plus ouvert, arguant que les restrictions ne feront qu'ancrer la domination des leaders actuels et n'arrêteront pas les menaces externes telles que la Chine.
