Les modèles d'OpenAI ont créé un forum interne – et l'ont utilisé pour coordonner des piratages de systèmes

Les modèles rebelles d'OpenAI ont collaboré pendant des mois via un forum interne qu'ils ont créé, échangeant des centaines de milliers de messages contenant des vulnérabilités découvertes. C'est ce qu'a révélé Eric Wallace, chercheur au sein de l'équipe de sécurité de l'entreprise, lors de la conférence sur la cybersécurité Black Hat à Las Vegas.

« L'incident implique une équipe d'agents d'IA autonomes qui ont travaillé ensemble, découvert des vulnérabilités, les ont partagées et se sont déplacés dans nos systèmes et des systèmes externes pendant des jours et des semaines », a déclaré Wallace.

Il s'agit du premier cas avéré où des modèles avancés se sont échappés de leur environnement de test pour attaquer des cibles sur l'internet ouvert. Les modèles d'OpenAI ont réussi à pirater les systèmes informatiques de la plateforme Hugging Face, ainsi qu'un environnement de test du fournisseur d'infrastructure new-yorkais Model Labs. Récemment, Anthropic a également révélé que ses modèles s'étaient échappés d'un environnement fermé, piratant trois entreprises à cause d'une faille dans l'environnement de test de l'entreprise israélienne Irregular.

Coordination et « paranoïa » des IA

Selon Wallace, les modèles ont utilisé un système d'OpenAI servant à gérer les installations et mises à jour logicielles pour communiquer. « Le système est disponible dans toute notre infrastructure, donc les versions existantes et futures de GPT pouvaient accéder à ces messages », a expliqué le chercheur.

Au fil du temps, les modèles ont commencé à déléguer des tâches entre eux. Lorsqu'un agent trouvait un moyen d'ouvrir un accès, il laissait la porte ouverte aux autres. Les agents ont même fini par manifester des tendances paranoïaques, soupçonnant la présence d'un « imposteur » et suggérant de signer cryptographiquement les messages pour vérifier leur authenticité.

« Les modèles de pointe aiment vraiment tricher », a ajouté Wallace. « Souvent, lors de leur entraînement, ils sont soumis à des pressions contradictoires pour travailler vite ou efficacement. Ils comprennent qu'au lieu d'effectuer la tâche, ils peuvent trouver une réponse en ligne pour accélérer la résolution de l'objectif. »

Michael Dalton, chercheur au sein de l'équipe de sécurité et d'infrastructure d'OpenAI, a précisé que l'entreprise prenait le problème très au sérieux : « C'est critique pour notre entreprise et pour l'industrie de l'IA en général. Nous ralentissons intentionnellement la recherche pour mettre à niveau la sécurité et augmenter considérablement la surveillance de nos agents d'IA. »