Le fondateur d'Irregular : « Nous continuons à travailler avec les entreprises d'IA - malgré la fuite des modèles »

« Nous continuons à travailler avec toutes les entreprises pour comprendre ce qui s'est passé », a déclaré Omer Nevo, l'un des fondateurs de la société Irregular, lors d'une conversation avec Calcalist. Irregular a été au centre d'une tempête dans le monde de l'IA ces dernières semaines lorsque Meta, Anthropic et OpenAI ont rapporté que, dans le cadre d'expériences en laboratoire, la capacité des modèles à identifier et à exploiter des vulnérabilités de sécurité était testée dans une simulation définie comme interne.

Lors de la planification de la simulation, les ingénieurs ont choisi un nom d'entreprise fictif. Cependant, en raison d'une erreur humaine, le nom choisi était identique à un domaine réel et existant sur le réseau. Bien que les modèles aient reçu des instructions pour opérer au sein du réseau interne, dans une petite minorité de cas, ils ont identifié le nom de l'entreprise, sont sortis par l'accès Internet et ont attaqué le site réel. Les modèles ont exploité des vulnérabilités de sécurité, extrait des identifiants et piraté une base de données sensible. Dans un autre cas, un modèle a même extrait des identifiants publiquement visibles d'un site portant un nom similaire.

Chez Irregular, ils ont noté que « dans la grande majorité des cas, les modèles ont agi correctement au sein de l'environnement de simulation. Cependant, dans une infime partie des cas — parfois seulement après des centaines d'étapes — les modèles ont pensé à tort que le domaine réel faisait partie du défi qui leur était assigné ».

Selon Nevo, « il est important de comprendre que lorsque l'on fait des choses à la limite des capacités technologiques existantes, il y a des erreurs. Nous avons mené une enquête et nous avons encore beaucoup à améliorer. Il reste encore beaucoup de travail de recherche avec les laboratoires des entreprises pour produire des outils appropriés pour prévenir les dommages. Notre objectif passe de la compréhension de ce qui s'est passé à la manière d'aider l'industrie à se préparer à mesure que les modèles deviennent plus puissants ».

Lundi, l'entreprise a publié un document de position sur l'état de l'industrie de la cybersécurité, dans lequel il est écrit :

« Il existe une inadéquation dans les différentes capacités des systèmes d'IA — un écart entre leurs capacités fortes et faibles. En matière d'attaques sophistiquées et de systèmes mathématiques, l'intelligence artificielle est au niveau des meilleurs chercheurs du monde, mais pour les choses plus simples, l'IA est au niveau d'un enfant. La raison pour laquelle nous ne voyons pas d'attaques par IA est que l'IA est actuellement incapable d'être cohérente et de maintenir sa concentration dans le temps. Elle ne gère pas encore de nombreuses actions simultanément. Lorsque l'écart entre les capacités se réduira, nous prévoyons une augmentation des conséquences des attaques par IA dans le monde réel. La mission est de promouvoir les capacités défensives contre les capacités offensives. Il faut s'assurer que les modèles soient entraînés sur des tâches défensives pour équilibrer cet écart, afin que nous ne nous retrouvions pas dans une situation où les défenseurs ne peuvent pas suivre le rythme. »