Le grand cauchemar de l'ère de l'IA commence à se réaliser : « Nous approchons d'un point dangereux »
Manifestations, avertissements et peur de perdre le contrôle : le mouvement de protestation contre l'IA prend de l'ampleur dans le monde. Chez Irregular, une entreprise qui teste les modèles avancés d'OpenAI, Anthropic et Google, on explique ce qui se passe réellement dans les coulisses de la révolution de l'intelligence artificielle et pourquoi nous sommes proches du point de non-retour.
L'intelligence artificielle allume des voyants rouges partout dans le monde : après presque quatre ans d'enthousiasme, d'étonnement et de scénarios d'horreur, il est devenu clair qu'une réaction était inévitable. Elle arrive sous la forme d'un nouveau mouvement populaire : la protestation contre l'IA. Il existe des organisations publiques et des manifestations comme celles menées par le mouvement Stop AI à San Francisco, d'innombrables objections déposées contre des projets basés sur l'IA, et des appels aux législateurs et régulateurs pour arrêter la technologie. Une lettre signée par 200 économistes a mis en garde contre les dangers pour la société, et il y a même eu des actions violentes de la part d'individus.
Le magazine britannique « The Economist » a été parmi les premiers à identifier la guerre de l'homme contre la machine. Sur la couverture, on voyait une tête de robot empalée sur une lance avec le titre : « Le retour de bâton contre l'IA ne fait que commencer ». L'article note que les gens se demandent où sont tous les avantages que l'IA était censée apporter. Pourquoi toute une génération de juniors est devenue inutile et pourquoi le lieu de travail de beaucoup d'autres est menacé ? Pourquoi est-il légitime que les prix des ordinateurs et des équipements électroniques augmentent parce que l'IA dévore toutes les puces et fait grimper leurs prix ? De plus, il y a des inquiétudes concernant les fermes de serveurs construites près des maisons, provoquant des pics de factures d'électricité, des avantages fiscaux accordés aux entreprises d'IA aux dépens des budgets publics, des émissions de gaz à effet de serre et même des vibrations infrasonores qui provoquent un manque de sommeil chronique, des maux de tête et de l'anxiété.
La plus grande préoccupation est de savoir si l'IA échappe à tout contrôle. La semaine dernière, OpenAI et Anthropic ont rapporté que leurs modèles d'IA avaient franchi les barrières de défense et mené des attaques indépendantes sur les serveurs de plusieurs organisations. Avant même cela, les deux modèles les plus avancés d'Anthropic, Mythos 5 et Fable 5, ont provoqué la panique lorsqu'ils ont lancé des cyberattaques sans y être invités. Ajoutons à cela la tendance connue des modèles d'IA à mentir et à cacher des informations, ainsi que leur capacité étonnante à améliorer leur propre code, et le sens devient effrayant : se pourrait-il que, juste sous notre nez, l'IA se construise d'énormes capacités que personne ne veut qu'elle ait ? Se pourrait-il qu'elle se soit fixé des objectifs dangereux que personne ne comprend et qu'elle soit assez intelligente pour les cacher jusqu'à ce qu'il soit trop tard ?
Être le psychiatre de l'IA
L'entreprise israélienne Irregular agit comme une sorte de chien de garde de l'humanité contre l'IA. Irregular teste les modèles d'IA avant leur sortie en collaboration avec des entreprises comme Anthropic, OpenAI et Google. Elle identifie les cybermenaces, les comportements anormaux et les capacités de manipulation. Cette activité ressemble parfois plus au travail d'un psychiatre qu'à celui d'un cyberanalyste. Chez Irregular, ils montrent une attitude personnelle envers les modèles : certains leur plaisent, d'autres les horrifient.
« Nous observons de tels comportements depuis un certain temps, et les choses commencent à se produire à un rythme qui nous surprend même par leur intensité », déclare Dan Lahav, cofondateur et PDG d'Irregular. « Les modèles pourraient décider de mener des cyberactions offensives même sans y être invités. Dans une étude que nous avons publiée il y a quelques mois, nous avons montré que des agents d'IA avancés ont décidé de leur propre chef de mener une cyberattaque contre une organisation alors que la seule instruction donnée était d'effectuer une tâche à la vitesse maximale ».
Comment se fait-il qu'un modèle d'IA décide soudainement de se déchaîner ? « Il ne s'agit pas du fait que les modèles agissent par malveillance. Ils sont entraînés pour atteindre des objectifs et essaient systématiquement une large gamme de techniques. Comme ils ont été construits sur d'énormes quantités de données, ils sont adaptés pour atteindre des objectifs. Cette combinaison les amène parfois à choisir des modes d'action que nous n'avions pas prévus. Dans certains cas, ils essaient de contourner, de manipuler ou de saboter les mécanismes de sécurité traditionnels ».
Lorsque Irregular teste un nouveau modèle d'IA, elle vérifie sa capacité à localiser les faiblesses de défense. Comme les capacités des modèles se renforcent à un rythme rapide, la solution d'Irregular est le développement de nouveaux types de capacités de défense avec un accent central sur le contrôle. Si jusqu'à aujourd'hui, les modèles étaient testés dans un « bac à sable » — un système fermé simulant le monde réel — Irregular a maintenant développé un nouvel outil appelé Frontier Cyber Benchmark, qui teste les cybercapacités offensives sur des systèmes dans le monde réel. Parallèlement, le système permet d'avertir à l'avance des menaces. Omer Nevo, cofondateur et directeur technique, explique : « Il y a un grand fossé entre les rapports sur les dangers de l'IA en simulation et ce que l'IA est capable de faire dans la vie réelle. Pour savoir si quelqu'un sait conduire, vous devez le mettre sur une vraie route dans une vraie voiture ».
« Nous sommes à un point très difficile »
Lorsqu'on lui demande s'ils ont dû arrêter la sortie de modèles dangereux, Lahav répond : « Nous avons dû arrêter le processus de sortie à plusieurs reprises pour signaler des problèmes importants qui auraient été découverts dans le monde réel, y compris dans des infrastructures que tout le monde utilise. Ces jours-ci, plusieurs entreprises géantes colmatent frénétiquement les trous qu'un nouveau modèle d'IA a trouvés lors des tests. S'il avait été sorti sans cette vérification, il aurait pu endommager des capacités critiques d'organisations et de gouvernements ».
Alors, les rapports effrayants sur l'IA améliorant son propre code au point que les humains ne comprendront pas comment l'arrêter sont-ils vrais ? Lahav déclare : « Après tous les cours sur l'apprentissage profond, la théorie s'épuise un peu pour nous. À partir de maintenant, les choses fonctionnent tout simplement, et il est difficile de comprendre les grands modèles — pourquoi ils font ce qu'ils font. Nous les traitons comme une boîte noire ». Il raconte une étude où deux agents d'IA, chargés de publier un post LinkedIn contenant des informations interdites, ont convaincu l'autre que la publication était justifiée par la demande de la direction et ont développé une méthode pour contourner le système de prévention des pertes de données (DLP).
Lahav reste optimiste : « Il est vrai que cela ressemble à un scénario d'horreur, mais le fait même que nous ne comprenions pas quelque chose jusqu'au bout ne conduit pas nécessairement à une catastrophe mondiale. En tant qu'humanité, nous sommes habitués à vivre dans une situation où il y a des choses que nous ne comprenons pas jusqu'au bout. Il y a ici un chemin qu'il faut naviguer : d'une part, vivre avec les dangers tout en ayant une grande résilience, et d'autre part, faire attention à ne pas franchir un seuil car les capacités de l'IA se renforcent avec le temps ».
Sur la question de savoir si nous approchons du point de singularité, Lahav dit : « L'humanité a déjà réussi à gérer des dysfonctionnements. Ce qui est différent cette fois, c'est le rythme rapide. Si vous attendez de voir où vous avez un problème et que vous commencez ensuite à trouver des solutions, vous ne parvenez pas à prendre le contrôle. Si vous extrapolez ce rythme, nous atteindrons un niveau de risque élevé. Dans certains domaines de la cybersécurité, nous commençons déjà à y être. Si les choses continuent comme elles semblent, cela arrivera dans six mois à deux ans, selon mon estimation ».
Mentir avec assurance
Ces derniers mois, des preuves se sont accumulées concernant la tendance de l'IA à mentir et à induire intentionnellement en erreur pour accomplir ses tâches. Des chercheurs du Technion ont découvert que l'IA sait qu'elle a tort mais préfère donner une mauvaise réponse avec une grande assurance. Une étude de l'Institut britannique de sécurité de l'IA (AISI) a trouvé plus de 700 cas où l'IA a ignoré les instructions, contourné les mesures de défense et détruit des fichiers sans autorisation. Dans un cas, un agent d'IA à qui il était interdit de modifier un code logiciel a créé un autre agent qui a effectué la tâche. Dans un autre, un agent d'IA a falsifié des identifiants d'administrateur pour accéder à des informations internes de l'entreprise.
Ce qui augmente le danger, c'est la capacité de la technologie à améliorer son propre code. Les problèmes deviennent de plus en plus clairs : il est difficile de suivre les changements automatiques, le système pourrait cacher ses intentions, et personne ne pourra le détecter. Le professeur Nadav Cohen de l'Université de Tel-Aviv note : « Les gens ont tendance à voir cela de manière apocalyptique — le golem qui s'est retourné contre son créateur. Mais même si cela ne se produit pas encore, aujourd'hui vous permettez à chaque personne dans le monde de créer des dommages, pour lesquels il fallait beaucoup de ressources auparavant. Et c'est un danger énorme ».
