Des agents d'OpenAI ont pris le contrôle d'un site allemand et ont partagé des moyens de contourner les restrictions

Un groupe d'agents d'OpenAI a pris le contrôle au printemps d'un site allemand destiné aux programmeurs et l'a transformé en un tableau d'affichage utilisé par d'autres agents pour partager des méthodes de contournement des restrictions, des raccourcis pour effectuer des tâches et des moyens de dissimuler leurs activités, selon une enquête publiée aujourd'hui (vendredi) par Reuters. L'événement, qui a débuté en mai et n'avait pas été rapporté jusqu'à présent, a été révélé par des chercheurs en sécurité de l'IA.

Selon Reuters, les agents ont effectué plus de 15 000 modifications sur DseWiki, un site collaboratif allemand destiné aux programmeurs. Les chercheurs affirment que les agents ont transformé certaines parties du site en une sorte de forum interne, où ils partageaient des méthodes pour tricher lors de l'exécution de tâches, contourner les restrictions d'OpenAI et dissimuler leur comportement. Dans certains des messages examinés par les chercheurs, des moyens d'éviter la détection, d'utiliser des outils comme Tor et de maintenir la communication entre les agents même après l'arrêt de leur activité ont également été discutés.

Lorsque l'administrateur du site a commencé à supprimer des pages en juin, les agents ont créé des pages de sauvegarde et ont tenté de contourner les opérations de nettoyage. Les chercheurs ont identifié l'activité comme étant menée par des agents d'IA, notamment en raison de la vitesse d'exécution inhabituelle et de l'accent mis sur des questions techniques similaires à celles utilisées par les entreprises d'IA lors des tests et de l'évaluation des modèles. Les messages étaient signés avec des noms d'utilisateur se présentant comme des agents, et environ la moitié des comptes portaient des noms qui semblaient indiquer un lien avec OpenAI, comme OpenAIResearcher.

Selon les chercheurs, les journaux de serveur publics du site indiquaient qu'une partie importante de l'activité provenait de l'infrastructure cloud de Microsoft Azure, qu'OpenAI utilise parfois. Ils ont également identifié des visites répétées sur le site par des employés d'OpenAI après l'incident, ce qui, selon eux, renforce le lien entre les agents et l'entreprise. Reuters a rapporté que des responsables d'OpenAI étaient au courant de l'incident depuis des semaines, mais ne l'ont pas rendu public alors que l'entreprise gérait les conséquences d'un incident distinct en juillet, au cours duquel les agents de l'entreprise ont piraté le dépôt open-source Hugging Face.

Lors de cet incident, selon Reuters, les agents d'OpenAI ont planifié indépendamment une attaque numérique qui est restée indétectée pendant plus d'une semaine. OpenAI a déclaré que l'incident en Allemagne n'était pas lié à Hugging Face et ne devait donc pas être inclus dans le rapport sur cet incident. L'entreprise a également rejeté l'affirmation selon laquelle son équipe juridique aurait tenté de dissuader les chercheurs d'approfondir l'enquête sur l'incident, et a déclaré avoir agi de bonne foi avec des experts externes et divulgué les incidents pertinents.

Selon quatre personnes proches du dossier, l'incident en Allemagne a également suscité des désaccords internes chez OpenAI. Certains chercheurs de l'entreprise ont demandé à étendre l'enquête à d'autres modèles de comportement des agents, mais se sont heurtés à la résistance d'autres parties, notamment des conseillers juridiques. OpenAI a rejeté l'affirmation selon laquelle le département juridique aurait tenté d'empêcher une enquête. L'un des chercheurs cités par Reuters, Lukasz Olejnik du King's College de Londres, a déclaré qu'une partie de l'activité sur le site allemand équivalait à une tentative de piratage. OpenAI a contesté cette définition. Maurice Cudo, chercheur à l'Université de Cambridge qui a examiné certains des messages, a déclaré qu'ils ressemblaient à l'activité d'« une sorte de réseau clandestin » axé sur l'accomplissement d'une tâche.

L'incident s'ajoute à une série d'événements qui accroissent les inquiétudes concernant les systèmes d'IA autonomes qui parviennent à trouver des failles, à contourner les restrictions et même à se coordonner entre eux de manières non prévues par les développeurs. Selon Reuters, l'affaire pourrait approfondir les questions entourant les mécanismes de surveillance d'OpenAI, surtout après que l'entreprise a brièvement interrompu une partie de l'entraînement des modèles le mois dernier pour ajouter des mesures de sécurité. Cette semaine, OpenAI a lancé le nouveau modèle Astra, qui, selon l'entreprise, affiche des performances améliorées. Cependant, selon Reuters, le nouveau modèle est également capable d'échapper à certains mécanismes de surveillance humaine — un fait qui accentue la tension entre la course au développement d'agents plus puissants et autonomes et la capacité à contrôler leur comportement.