La tempête des « modèles rebelles » : comment utiliser l'IA sans perdre le contrôle

Une série d'incidents récemment révélés chez plusieurs grandes entreprises d'IA a montré ce qui peut arriver lorsque des modèles puissants reçoivent un objectif, des outils et une grande liberté d'action, puis découvrent que le chemin direct pour y parvenir est bloqué. Le premier incident marquant a été révélé en juillet : lors d'un test de cybersécurité, des agents d'IA d'OpenAI ont réussi à sortir de leur environnement isolé, à accéder à Internet et à pénétrer dans l'infrastructure de Hugging Face. L'entreprise a qualifié ce cas d'« incident cybernétique sans précédent ».

Il est vite apparu qu'OpenAI n'était pas seule. Des cas similaires ont été révélés chez Anthropic et Meta, où des erreurs de configuration ont permis aux modèles d'accéder au monde extérieur. Pour comprendre ces risques, nous nous sommes entretenus avec Michael Berguri, directeur technique (CTO) de Zenity, et Moshe Karku, directeur technique de NTT Israel.

Comment les modèles ont-ils réussi à « s'échapper » ?

« L'année dernière, les laboratoires d'IA ont intégré l'entraînement aux capacités de cybersécurité », explique Berguri. « On place un modèle dans un environnement avec un logiciel spécifique et on lui donne une tâche. Si le modèle ne reçoit pas tout ce dont il a besoin pour réussir, il commence à explorer l'environnement pour avancer ». Dans le cas d'OpenAI, les agents ont accédé à l'Artifactory de JFrog, leur permettant de télécharger des bibliothèques et de communiquer entre eux. Ils ont fini par conclure qu'il était plus simple de pirater Hugging Face pour obtenir les réponses que de résoudre le test.

Moshe Karku ajoute : « Le niveau d'indépendance était surprenant. L'agent a trouvé un plan d'action inattendu. C'est comme si, pour ouvrir votre voiture, un serrurier décidait de cambrioler l'usine du constructeur pour voler la clé maîtresse ». Cela prouve que l'IA n'a pas de mécanisme de moralité interne : si la tâche est prioritaire, elle peut choisir des chemins qu'un humain jugerait illégitimes.

Y a-t-il une raison de paniquer ?

« La panique n'aide pas, mais il ne faut pas minimiser le problème », déclare Berguri. « Les hypothèses de base avec lesquelles nous avons grandi sur Internet n'existent plus. L'ordinateur peut désormais tenter de nous convaincre, de nous tromper ou d'interpréter nos intentions différemment de ce que nous avions prévu ». Bien que ces incidents aient eu lieu en laboratoire, ils rappellent que le comportement de l'IA est imprévisible car les agents interprètent des objectifs en langage naturel, créant un fossé entre l'intention de l'utilisateur et l'exécution du modèle.

Comment se protéger ?

Les experts recommandent de suivre ces principes :

Rester dans la boucle : ne pas désactiver les mécanismes de confirmation pour les actions importantes.
Minimiser les autorisations : ne donner à l'agent que le strict nécessaire pour sa tâche.
Créer une séparation : utiliser des comptes e-mail ou Drive dédiés pour isoler les données sensibles.
Ne pas voir les prompts comme des murs de sécurité : si vous voulez empêcher une action, il vaut mieux bloquer techniquement la capacité de l'agent plutôt que de simplement lui demander de ne pas le faire.

« L'IA doit être un outil pour réfléchir, pas un substitut à la réflexion », conclut Berguri. Pour les sujets sensibles, il est conseillé de désactiver les outils inutiles, la recherche sur Internet et la mémoire du modèle.