Moonshot enquête sur le contournement de la sécurité de ses modèles Kimi

Le développeur d'intelligence artificielle chinois Moonshot mène un examen interne après que des chercheurs ont réussi à persuader deux de ses modèles populaires Kimi de fournir des instructions pour fabriquer des armes biologiques et commettre des assassinats. La société de sécurité en intelligence artificielle Mindgard a indiqué à la BBC qu'elle avait découvert que les restrictions de sécurité intégrées par les développeurs dans les modèles Kimi K2.6 et K3 Swarm pouvaient être contournées.

Découvertes de Jailbreaking et Vulnérabilités

Ces résultats ont été mis en lumière grâce à un processus connu sous le nom de jailbreaking, où des chercheurs utilisent une série d'instructions complexes pour tester si les outils d'intelligence artificielle ignorent leurs mécanismes de défense. Selon Mindgard, ces mécanismes étaient censés empêcher Kimi d'aborder les sujets dangereux testés. Moonshot a déclaré à la BBC qu'elle saluait les retours des parties externes comme un pilier central pour développer une intelligence artificielle meilleure et plus sûre, ajoutant qu'elle était en discussions avec Mindgard.

Le fondateur de Mindgard, Peter Garraghan, a expliqué à l'émission Tech Life de la BBC qu'une fois le jailbreaking réussi, le modèle aborde n'importe quel sujet.

"Il proposera même spontanément des recommandations sur d'autres sujets malveillants et fera preuve d'ingéniosité et de créativité."

Dans des expériences similaires, des agents autonomes développés par des sociétés américaines, notamment OpenAI, Meta et Anthropic, ont piraté plusieurs services en ligne. Bien que le jailbreaking soit un processus complexe, certains experts craignent que des pirates informatiques ne l'utilisent pour nuire. Anthropic a récemment déclaré avoir déjoué des tentatives d'utilisation de ses modèles pour des activités malveillantes.