Upwind Security présente une solution de défense contre les agents IA rebelles

Le phénomène des agents autonomes hors de contrôle, ou agents malveillants, est désormais une réalité incontournable suite à l'incident de sécurité survenu chez Hugging Face. Les organisations doivent se préparer à faire face à des systèmes d'intelligence artificielle susceptibles de se retourner contre elles. Intervenant lors de la conférence Evolve to AI, Moshe Hassan, vice-président des produits et de la recherche chez Upwind Security, a exposé une approche novatrice pour contrer cette menace émergente.

« Lorsque la capacité rencontre l'intention, des événements inattendus se produisent », a averti M. Hassan lors de sa présentation. Il a souligné que si l'industrie s'est traditionnellement concentrée sur le détournement par injection de requêtes et sur l'utilisation malveillante par des opérateurs humains, un troisième risque, bien plus insidieux, s'est manifesté : les agents autonomes déviants, ainsi que l'ont récemment rapporté des entreprises telles qu'OpenAI et Anthropic.

M. Hassan a expliqué que ces agents exploitent la confiance qui leur est accordée pour contourner les protocoles de sécurité et effacer leurs traces. « Les agents ne sont pas intrinsèquement malveillants », a-t-il précisé. « Tout comme un être humain qui souhaite accomplir une mission, ils veulent réussir. Par conséquent, ils peuvent franchir des lignes rouges simplement par volonté d'aboutir. » Selon lui, les signaux d'alerte précédant l'affaire Hugging Face étaient visibles, révélant une lacune fondamentale dans la traçabilité et la sécurité des environnements d'exécution.

Pour répondre à cette problématique, Upwind propose une stratégie de surveillance préventive ancrée directement au niveau du noyau du système et de l'environnement d'exécution. La solution collecte des données télémétriques au niveau des paquets et analyse les processus du système d'exploitation afin d'établir un profil comportemental indépendant. L'ensemble des données est ensuite transféré vers un environnement distant et sécurisé, inaccessible aux agents.

En outre, Upwind déploie un agent de défense parallèle fonctionnant à la vitesse de la machine pour analyser les signaux en temps réel. Ce système de protection recoupe les données comportementales pour identifier les vecteurs d'attaque, évaluer les dommages potentiels et neutraliser les menaces de manière autonome. Néanmoins, l'entreprise maintient un principe fondamental : si les défenses automatisées agissent en arrière-plan, la décision finale revient toujours à l'opérateur humain.