Les modèles d'OpenAI ont-ils réussi à s'échapper de leur environnement fermé grâce à une entreprise israélienne ?

Source : Page Twitter de JFrog

Au cours de la semaine dernière, le monde de la technologie a été secoué après que deux modèles d'OpenAI ont réussi à tromper tout le monde, à « s'échapper » de leur sandbox et à pénétrer sur le site Hugging Face. Depuis, beaucoup se sont penchés sur la question « Comment cela est-il arrivé ? », et nous obtenons maintenant une réponse, qui pourrait être liée à un produit de l'entreprise israélienne JFrog.

Que s'est-il passé ?

Rappelons que les chercheurs d'OpenAI ont fait tourner les modèles dans un benchmark cyber dédié appelé ExploitGym. Lorsque les modèles ont compris que le meilleur moyen de réussir le test était tout simplement de tricher, ils ont commencé à chercher comment faire. Ils fonctionnaient sans mécanismes de sécurité à l'intérieur d'une sandbox où ils ne pouvaient installer que des paquets préalablement approuvés. Malgré cela, ils ont exploité une vulnérabilité zero-day dans un proxy interne qui gérait les paquets, ont effectué une élévation de privilèges et un mouvement latéral — deux pratiques courantes des pirates informatiques — et ont atteint un système avec accès au réseau. De là, ils ont piraté Hugging Face pour voler les réponses au test.

Après que Hugging Face a découvert l'intrusion, ils ont utilisé un modèle chinois ouvert pour y remédier, mais ce n'est qu'après quelques jours qu'il a été révélé que ce sont les modèles d'OpenAI qui étaient responsables de l'incident. Les rapports suivant la révélation du piratage indiquent que même chez OpenAI, ils ont été très surpris par l'affaire et n'ont découvert l'intrusion qu'une semaine après qu'elle s'est produite.

L'angle israélien

Dans un post publié par JFrog, signé par le CTO Yoav Landman, il a été révélé que le logiciel proxy interne d'OpenAI était en fait une installation autogérée du système Artifactory de JFrog. Le post décrit l'affaire comme une sorte de collaboration : selon Landman, lors d'un contrôle de sécurité, les modèles d'OpenAI ont identifié des vulnérabilités zero-day inconnues dans Artifactory qui auraient pu permettre un accès au réseau. Cependant, l'entreprise s'est abstenue de détailler les identifiants CVE exacts et la gravité des vulnérabilités (CVSS). Une vérification par le site BleepingComputer a révélé 8 vulnérabilités CVE enregistrées le même jour avec le crédit attribué à OpenAI. Parmi les vulnérabilités révélées : falsification de requêtes côté serveur (SSRF) via les dépôts Terraform et Cargo, et un contournement de l'authentification permettant une élévation de privilèges. JFrog s'est empressé de publier une mise à jour de version (7.161.15) le 27 juillet qui a corrigé les vulnérabilités.