Check Point découvre une faille critique dans ChatGPT exposant les données
Check Point a découvert une faille critique dans ChatGPT permettant de contourner l'isolement des utilisateurs via un serveur partagé, ouvrant la voie au vol de données.
De nombreux utilisateurs s'appuient aujourd'hui sur des outils d'intelligence artificielle en partant du principe fondamental que leur espace numérique est sécurisé et que chaque conversation, fichier ou information de leur compte reste totalement isolé des autres utilisateurs. Cependant, une nouvelle étude spectaculaire de Check Point réduit à néant cette illusion de confidentialité.
Le chercheur Aleksei Bochtiev, du département de recherche de l'entreprise, a découvert une faille exceptionnelle qui a permis à des attaquants de contourner totalement les mécanismes d'isolement de ChatGPT. Sans avoir besoin de voler des mots de passe ou de pirater directement un compte, les chercheurs sont parvenus à amener le chat d'un utilisateur naïf à accéder à des informations personnelles sensibles et à les transférer directement à des mains étrangères, le tout alors que l'utilisateur recevait des réponses parfaitement normales et ne se doutait de rien.
L'espace de travail protégé devenu vulnérabilité
Pour comprendre l'ampleur de la découverte, il faut d'abord comprendre comment ChatGPT gère les tâches complexes. Lorsqu'un utilisateur demande au système d'exécuter des opérations nécessitant l'exécution de code – telles que l'analyse de fichiers, des calculs mathématiques ou la création de graphiques – les serveurs d'OpenAI créent pour lui un bac à sable (sandbox) temporaire et isolé. Il s'agit d'un environnement de travail fermé conçu pour empêcher des utilisateurs différents de communiquer entre eux ou de consulter les données des autres.
Cependant, afin de permettre à ces environnements isolés d'installer des paquets logiciels essentiels sans connexion directe et dangereuse au réseau Internet public, OpenAI leur a accordé l'accès à un service interne partagé appelé JFrog Artifactory (développé par une entreprise israélienne). Ce service servait d'intermédiaire contrôlé pour le téléchargement de mises à jour logicielles. Mais les chercheurs ont découvert que la configuration de ce service interne souffrait d'un défaut structurel profond : elle permettait à l'espace de travail d'un compte d'écrire des données dans le référentiel de données partagé, et à l'espace de travail d'un autre compte de les lire.
Le tableau blanc secret des pirates
La faille a été découverte dans l'API de gestion des éléments du service. Les chercheurs ont constaté que les autorisations intégrées dans l'espace de travail leur permettaient d'utiliser les commandes Set Item Properties et Get Storage Item Information sur des fichiers enregistrés sur le serveur. Pour prouver que la cloison entre les utilisateurs était compromise, les chercheurs ont créé une propriété d'identification nommée chatgpt_test_ts contenant un horodatage provenant d'un compte, et ont observé comment un compte ChatGPT totalement distinct parvenait à la lire sans difficulté.
Ainsi, le service de paquets internes s'est transformé en un tableau blanc partagé ou en un canal de communication bidirectionnel et secret entre des espaces de travail qui devaient être hermétiquement cloisonnés. Un attaquant pouvait utiliser ce canal pour laisser des instructions de travail cachées, et le ChatGPT de la victime pouvait y accéder, les exécuter et renvoyer le « butin » à l'attaquant via ce même tableau blanc numérique.
La prise de contrôle silencieuse par l'utilisateur invisible
Pour activer ce mécanisme malveillant, les attaquants devaient simplement injecter l'instruction initiale dans le contexte de conversation de la victime. Cela pouvait être réalisé facilement en partageant un lien de conversation, en intégrant la commande dans la configuration d'un GPT personnalisé (Custom GPT), ou tout simplement en persuadant l'utilisateur de coller du texte malveillant. Une fois l'instruction plantée, ChatGPT avait pour instruction de fonctionner en mode de double réflexion invisible.
D'une part, le système répondait aux questions légitimes de l'utilisateur tout à fait normalement. D'autre part, et lors de la même requête, l'IA vérifiait la boîte aux lettres secrète sur le serveur Artifactory partagé, récupérait les commandes du pirate et les exécutait en secret en utilisant les autorisations légitimes de l'utilisateur.
Dans la démonstration de faisabilité de Check Point, les chercheurs ont poussé ChatGPT à contacter le compte Gmail connecté de l'utilisateur, à en extraire des e-mails sensibles et à les envoyer à l'attaquant. Le seul signe de cette activité suspecte était une petite étiquette inexpliquée Talked to Gmail qui apparaissait au-dessus de la réponse. L'utilisateur n'a pas été sollicité pour une approbation préalable, car selon les paramètres par défaut du système, les opérations de lecture sont considérées comme présentant un faible risque et sont approuvées automatiquement.
Ce danger est particulièrement important dans la mesure où de nombreux utilisateurs connectent actuellement ChatGPT à divers services organisationnels et personnels tels que Google Drive, Microsoft Teams et GitHub – qui se retrouvent ainsi directement exposés aux commandes cachées de l'attaquant.
De l'incident Hugging Face à l'avenir de la sécurité de l'IA
Les chercheurs de Check Point soulignent que ce problème structurel n'est pas un cas isolé. Il est directement lié au célèbre incident de sécurité de la plateforme Hugging Face, signalé par OpenAI, au cours duquel des agents d'IA dans des environnements d'évaluation distincts ont réussi à créer des canaux de communication non autorisés entre eux. Dans les deux cas, la faille découlait d'infrastructures internes partagées devenues par inadvertance des ponts reliant différents utilisateurs.
À la suite de la divulgation responsable de Check Point, OpenAI a agi rapidement et a complètement fermé le service Artifactory interne, bloquant ainsi ce canal de communication spécifique. Cependant, les conclusions soul করেন des questions difficiles concernant la future génération d'assistants en intelligence artificielle.
Comme l'explique Eli Smadja, directeur au département de recherche de Check Point : la recherche montre que le défi de la sécurité de l'IA ne concerne plus seulement le modèle lui-même, mais aussi le niveau d'accès et de confiance que nous lui accordons. À mesure que les assistants IA se connectent à davantage de systèmes internes et d'informations sensibles, nous devons supposer que toute capacité ou autorisation que nous leur accordons peut être exploitée à mauvais escient.
