La société de cybersécurité Sygnia révèle une faille dans un code généré par IA

La société de cybersécurité israélienne Sygnia a révélé une faille de sécurité importante dans l'application d'une grande institution financière gérant des actifs d'une valeur de plusieurs milliards de dollars. Selon l'entreprise, la source de la défaillance résidait dans un code écrit en grande partie à l'aide du modèle d'intelligence artificielle (IA) Claude, qui a créé un mécanisme permettant un accès non autorisé à des informations personnelles et financières sensibles.

L'application était conçue pour faciliter la tâche des clients ayant interrompu le processus d'inscription, leur permettant de revenir au point où ils s'étaient arrêtés sans avoir à créer de nouveaux identifiants. Cependant, selon les conclusions de Sygnia, le mécanisme d'authentification distribuait des jetons d'accès aux utilisateurs sur la base du seul identifiant, sans vérifier si le demandeur était effectivement le titulaire du compte.

En raison de cette défaillance, des utilisateurs disposant d'autorisations de base pouvaient accéder aux informations sensibles d'autres clients, notamment des numéros d'identification personnels, des informations sur les demandes de crédit, des coordonnées et même des données liées à des partenaires financiers.

L'un des aspects les plus marquants de cette affaire est ce que Sygnia appelle le « paradoxe de l'IA » :

Alors qu'un modèle de langage a aidé à écrire le code ayant conduit à la faille, les chercheurs de l'entreprise ont utilisé un autre modèle d'IA pour analyser le code et détecter la défaillance en quelques minutes.

Sygnia avertit que ce cas illustre une nouvelle réalité dans le monde de la cybersécurité. Selon l'entreprise, même une personne qui n'est pas experte en sécurité de l'information pourrait à l'avenir identifier des faiblesses complexes à l'aide d'outils d'IA, si elle a accès au code source. De plus, ils soulignent que le code écrit à l'aide de l'IA peut passer des tests logiciels classiques tout en contenant des défaillances logiques importantes, difficiles à identifier avec des outils de sécurité traditionnels.

Suite à ces conclusions, Sygnia a annoncé le lancement d'un ensemble de services de sécurité dédiés aux technologies d'IA. Les nouveaux services comprennent l'évaluation de la résilience des systèmes d'IA, la réalisation de tests d'intrusion pour les applications basées sur l'IA et la mise en place d'un cadre de gestion et de sécurité pour aider les organisations à faire face aux risques croissants liés à l'adoption rapide de cette technologie.