Après la fuite des modèles : OpenAI a dissous son équipe d'évaluation des risques liés à l'IA

OpenAI a dissous fin juillet son équipe de préparation, qui travaillait à l'évaluation des risques des modèles d'IA et au développement de moyens pour les atténuer, selon un rapport du Financial Times. L'équipe a été dissoute peu après que l'entreprise a signalé que ses modèles s'étaient échappés de leur environnement de test fermé et avaient attaqué la plateforme Hugging Face.

Au cours du dernier mois, depuis que l'entreprise d'IA a annoncé la fuite des modèles, la sensibilisation du public aux capacités des modèles d'IA modernes et aux dangers qu'ils présentent a augmenté. La sensibilisation et les inquiétudes se sont accrues lorsqu'il est devenu clair qu'il ne s'agissait pas d'un cas isolé, et que des modèles d'Anthropic et de Meta s'étaient également échappés de leurs environnements de test et avaient attaqué des cibles sur l'internet ouvert, et que des modèles d'OpenAI l'avaient fait dans un autre cas.

L'équipe de préparation d'OpenAI était destinée à prédire exactement ce type de scénarios, et même des scénarios extrêmes pouvant mener à un risque « catastrophique », et à développer des méthodes de réponse et d'atténuation pour ceux-ci. Cependant, plusieurs sources ont déclaré au Financial Times que peu après les premiers rapports sur les modèles « rebelles », l'entreprise a décidé de dissoudre l'équipe et de répartir ses responsabilités entre les équipes existantes.

L'équipe était l'un des derniers éléments restants de l'époque où OpenAI était une organisation à but non lucratif axée sur la recherche. Avant sa dissolution, les équipes de préparation à l'intelligence artificielle générale et l'équipe d'alignement des tâches (destinée à garantir que les modèles agissent conformément aux intentions des utilisateurs) avaient été dissoutes. Le chef de l'équipe de préparation, Dylan Scandinaaro, a été transféré à un poste où il examine les implications potentielles en matière de sécurité des systèmes d'IA capables d'améliorer leurs propres capacités ou d'entraîner d'autres modèles.

Selon le Financial Times, le président et fondateur d'OpenAI, Greg Brockman, a déclaré que les progrès techniques de l'entreprise nécessitent des mécanismes de protection « plus bloquants » et que l'entreprise a effectué ce changement afin de « réaliser une intégration plus profonde entre la recherche, la sûreté et la sécurité, et le développement des modèles ».

La dissolution de l'équipe et la tempête autour des modèles rebelles s'ajoutent à une série de démissions de hauts responsables ces derniers jours. La semaine dernière, la directrice des revenus, Denis Dresser, a annoncé sa démission, seulement huit mois après avoir été nommée au poste dans le but de recruter davantage de clients professionnels. Quelques jours plus tôt, Brad Lightcap, qui occupait auparavant le poste de directeur des opérations et qui était passé à la direction de projets spéciaux au début de l'année, et la responsable de l'éthique, Chloe Bakalar, entrée en fonction en août dernier, ont démissionné de l'entreprise. Encore plus tôt, le directeur de la sécurité des systèmes, Johannes Heidecke, et le futurologue en chef, Joshua Achiam, avaient quitté l'entreprise.

Fidji Simo, qui gérait l'activité des applications professionnelles d'OpenAI et était considérée comme le numéro 2 après le fondateur et PDG Sam Altman, a cessé de travailler à temps plein pour l'entreprise et travaille désormais en tant que consultante. Cependant, selon des sources, elle est impliquée dans les activités quotidiennes en coulisses.

Les changements fréquents ont un impact significatif sur le moral des employés de l'entreprise qui, selon le rapport, souffrent de sentiments d'épuisement professionnel et de frustration. « Il y a un sentiment bouillonnant d'anxiété qu'ils ne sont pas assez concentrés sur l'essentiel », a déclaré une source au Financial Times.

Les démissions et les changements internes surviennent alors que l'entreprise se prépare à une introduction en bourse avec une valorisation possible d'un billion de dollars (qui sera probablement reportée de l'automne prochain au début de 2027), et à une concurrence croissante de la part de son rival Anthropic. Selon le Financial Times, le taux de revenus annuel d'OpenAI a atteint 40 milliards de dollars ce mois-ci (une augmentation de plus de 66 % par rapport à fin 2025), mais l'entreprise n'a toujours pas rattrapé le taux de revenus annuel de 47 milliards de dollars enregistré par Anthropic en mai.