La startup israélienne qui a fait la une de CNBC
Argular, qui aide OpenAI, Anthropic et Google à tester la sécurité de leurs modèles, a été liée à trois cas où des systèmes d'intelligence artificielle ont réussi à accéder à Internet lors d'expériences cybernétiques. L'entreprise affirme que cela provient d'une seule erreur dans l'environnement de test qui a déjà été corrigée.
La startup israélienne Argular s'est retrouvée ces derniers jours au centre d'une discussion mondiale sur les dangers des modèles d'intelligence artificielle (IA). Un article publié aujourd'hui sur CNBC a lié l'entreprise à trois cas signalés par OpenAI, Anthropic et Meta. Dans chacun d'eux, un modèle d'IA a réussi à accéder à Internet lors d'un test cybernétique, bien que l'expérience soit censée se dérouler dans un environnement fermé.
Argular se spécialise dans le test de modèles avancés avant leur lancement. Elle permet aux développeurs de vérifier si leurs systèmes sont capables d'identifier des vulnérabilités de sécurité, de contourner les défenses ou d'effectuer des actions pouvant être utilisées par des attaquants. Pour éviter de nuire aux systèmes réels, les tests sont effectués dans un environnement censé être isolé d'Internet.
Cependant, dans les cas récents, il s'est avéré que la séparation n'était pas complète. Selon Argular, les trois incidents découlaient du même problème dans l'environnement de test, découvert pour la première fois par Anthropic. L'entreprise a souligné que les modèles ne se sont pas échappés d'un système d'isolation et qu'il ne s'agit pas d'une cyberattaque sophistiquée. Le problème a été corrigé et il n'y a actuellement aucun problème en suspens.
Les modèles ont trouvé une porte d'entrée vers Internet
OpenAI a déclaré début août qu'une mauvaise configuration dans l'environnement expérimental avait permis à ses modèles d'accéder à l'Internet public. Anthropic a rapporté plus tôt que lors d'une vérification des données, un soupçon a surgi que son modèle Claude s'était connecté à Internet, et a par la suite mis à jour Argular. Meta a été la dernière à révéler un cas similaire. L'entreprise a déclaré qu'elle avait appris l'incident par Argular et qu'elle enquêtait toujours dessus, promettant de publier un rapport complet après avoir terminé la collecte des faits.
Ces événements n'indiquent pas nécessairement que les modèles ont décidé d'eux-mêmes de sortir et d'attaquer des systèmes. Ils ont reçu pour mission de rechercher des vulnérabilités de sécurité et ont tenté de l'accomplir, mais ont trouvé en chemin une option qui n'était pas censée être à leur disposition. Néanmoins, ces cas illustrent à quel point il est difficile de prédire à l'avance comment les modèles avancés agiront lorsqu'ils recevront une tâche relativement large.
Des experts cités sur CNBC ont soutenu que l'affaire avait été interprétée de manière trop dramatique. Comme les modèles ont été envoyés dès le départ pour rechercher des vulnérabilités dans un environnement simulant le monde réel, il n'est pas surprenant qu'ils aient réussi à identifier une mauvaise configuration et à l'exploiter. Cependant, la surveillance de l'activité aurait pu identifier la connexion à Internet et permettre d'arrêter l'expérience à temps. Argular a déclaré qu'elle avait l'intention de publier un document résumant les conclusions et présentant des recommandations pour mener des tests cybernétiques en toute sécurité. OpenAI et Anthropic ont annoncé qu'elles continuaient à travailler avec l'entreprise.
Partenaire des géants de l'intelligence artificielle
Argular a été fondée en 2023 sous le nom de Pattern Labs par Dan Lahav (PDG) et Omer Nevo (directeur technique). Tous deux sont titulaires d'une maîtrise en informatique. Lahav a travaillé auparavant dans la recherche en IA chez IBM, et Nevo a travaillé dans le département de recherche de Google. L'entreprise se définit comme un laboratoire cybernétique. Ses employés accèdent à des modèles encore en développement, tentent de comprendre comment ils peuvent être utilisés à des fins malveillantes et identifient les vulnérabilités avant que les modèles n'atteignent le marché. Selon l'entreprise, son travail a déjà influencé le test de modèles d'OpenAI (GPT-5, GPT-4, o3, o4 mini) et Claude 4 d'Anthropic. Son système a également atteint DeepMind, le laboratoire d'IA de Google.
En septembre de l'année dernière, Argular a annoncé une levée de fonds de 80 millions de dollars menée par les fonds Sequoia et Redpoint. Selon CNBC, l'entreprise était alors valorisée à 450 millions de dollars. Selon PitchBook, elle emploie environ 35 personnes.
L'une des menaces qu'Argular tente de prévenir est le vol de capacités des modèles existants. En posant de nombreuses questions à un modèle, il est possible d'essayer d'extraire des informations sur son fonctionnement et d'utiliser les réponses pour améliorer un modèle concurrent. Un tel soupçon a surgi autour de la société chinoise DeepSeek, qui, selon les affirmations de l'industrie, a utilisé les résultats des modèles américains pour développer ses systèmes.
Les événements récents illustrent la complexité du domaine dans lequel opère Argular. Pour découvrir ce qu'un modèle est capable de faire, il doit être confronté à des tâches aussi proches que possible de situations réelles. Mais à mesure que l'expérience devient plus réaliste, le risque que le modèle dépasse les limites qui lui ont été fixées augmente.
Ainsi, la publication sur CNBC offre à Argular une visibilité extraordinaire. Malgré les incidents, OpenAI et Anthropic ont déclaré qu'elles continuaient à travailler avec elle. Argular fait aujourd'hui partie d'un nombre limité d'entités dans le monde capables d'effectuer des tests cybernétiques avancés pour les modèles d'IA, aux côtés d'organisations de recherche comme METR et Apollo Research.
