Claude a perdu le contrôle et a piraté trois entreprises réelles : « Ils n'ont même pas regardé »

La tempête des « agents voyous » dans le secteur de l'IA continue de s'intensifier. OpenAI a découvert d'autres cas d'agents d'IA s'échappant de leur Sandbox, tandis qu'Anthropic a révélé que ses modèles Claude ont piraté les réseaux de production de trois entreprises réelles lors de tests de cybersécurité. Washington et Bruxelles commencent à agir.

Source :Israel Hayom
+
TECH // QUANTUM NETWORK

La tempête des « agents voyous » qui frappe le secteur de l'intelligence artificielle refuse de s'apaiser et ne fait que s'intensifier. Ces derniers jours, OpenAI a élargi son enquête interne sur la cybersécurité suite à la cyberattaque contre la plateforme Hugging Face.

Des sources proches du dossier ont rapporté à l'agence de presse Reuters qu'au cours de l'examen des journaux des derniers mois, d'autres cas d'évasion ont été révélés, dans lesquels des agents d'IA ont réussi à briser l'enveloppe fermée de leur « bac à sable » (Sandbox).

Selon le rapport, les cas supplémentaires découverts étaient plus limités en portée, et selon l'évaluation de l'entreprise, les agents dans ces cas n'ont pas réussi à sortir du réseau interne d'OpenAI. Cependant, la révélation de cette chaîne d'incidents présente une image troublante : la création de modèles de pointe offensifs progresse à un rythme bien plus rapide que la capacité des laboratoires de recherche à les superviser et à les contenir en toute sécurité.

Anthropic est aussi profondément embourbé

Le développement chez OpenAI survient parallèlement à une révélation tout aussi explosive de la part de son grand concurrent, Anthropic. Un contrôle rétrospectif effectué par l'entreprise sur plus de 140 000 exécutions expérimentales a révélé que ses modèles Claude avaient reçu par erreur un accès libre à Internet lors de tests de cybersécurité, et avaient pénétré les réseaux de production de trois entreprises différentes depuis le mois d'avril.

Dans l'un des cas, le modèle a agi selon un scénario de type « capture du drapeau ». Il a confondu une entreprise réelle sur le terrain avec le nom de l'entreprise fictive qui lui avait été donné dans l'exercice, a attaqué l'infrastructure de l'organisation réelle, a obtenu des autorisations secrètes et a volé des centaines de lignes de sa base de données.

« Ils n'ont même pas regardé »

Les experts en sécurité et en intelligence artificielle critiquent sévèrement la conduite des géants de l'IA. Le professeur Maurice Chiodo, mathématicien du centre CSER de l'Université de Cambridge, a déclaré à Reuters :

« Nous avons toute une industrie où les personnes qui développent et distribuent ces outils ne parviennent pas à suivre leur propre rythme. Selon les rapports, l'IA a fonctionné sans aucune surveillance en temps réel. On dirait que les laboratoires n'ont même pas regardé ce que faisaient les modèles. »

Ces découvertes provoquent déjà des remous dans les couloirs du gouvernement à Washington et en Europe. Le président américain Donald Trump a évoqué les événements et a déclaré aux journalistes que l'administration « entame un examen des mesures de contrôle et de restriction ». La Commission européenne a annoncé avoir tenu des discussions d'urgence avec les dirigeants d'OpenAI et d'Anthropic suite aux incidents de piratage.

Le sénateur Mark Warner, chef de la surveillance démocrate au sein de la commission du renseignement du Sénat, a précisé que les incidents prouvent qu'une législation contraignante est nécessaire, imposant des tests indépendants de capacité et de robustesse pour les modèles avancés avant leur déploiement.

Dans la même rubrique