Démission du responsable de la sécurité d'OpenAI, David Robinson

David Robinson, un employé de longue date d'OpenAI qui a dirigé la rédaction des rapports de sécurité accompagnant les principaux lancements de l'entreprise et a été l'un de ses responsables de la sécurité, a annoncé qu'il quittait l'entreprise, affirmant que sa culture organisationnelle est brisée. Dans un article publié dans The Atlantic, Robinson a écrit qu'après trois ans et demi passés chez OpenAI, il faisait partie des employés les plus anciens de l'entreprise, se qualifiant lui-même de cliché : un employé d'une entreprise d'IA de premier plan qui démissionne et tire la sonnette d'alarme.

OpenAI a prospéré grâce aux essais et erreurs, qu'elle appelle le « déploiement itératif » — une stratégie de développement et de lancement de produits qui n'attend pas qu'un système soit totalement parfait ou sans risque en laboratoire, mais qui recherche les problèmes et améliore ses mécanismes de défense en conséquence, a écrit Robinson. Cependant, cette approche garantit par nature des échecs périodiques, et l'ampleur de ces échecs augmente à mesure que les systèmes deviennent plus performants.

Robinson a lié ses déclarations à un débat plus large sur la sécurité de l'IA, qui est devenu un sujet brûlant ces derniers temps après que Jacob Cockson, un chercheur ayant travaillé à la fois chez OpenAI et Anthropic, a démissionné en déclarant que ces entreprises jouent avec nos vies. Suite aux propos de Cockson, la discussion sur la sécurité de l'IA s'est élargie. Le PDG d'Anthropic, Dario Amodei, a présenté un plan pour un développement plus prudent, et les dirigeants de l'IA ont rencontré le président Donald Trump cette semaine pour signer ce qui a été décrit comme un engagement non contraignant, rédigé à la hâte, visant à mettre en place davantage de contrôles de sécurité.

Selon Robinson, le problème ne se résume pas à des règles spécifiques ou à de nouvelles lois, mais bien à la culture globale au sein de ces entreprises. Alors que de nombreux reportages sur OpenAI se sont concentrés sur le fait que le PDG Sam Altman a perdu la confiance d'anciens collègues, Robinson a soutenu que les problèmes culturels d'OpenAI ressemblent à ceux de la Silicon Valley dans son ensemble.

Robinson a évoqué, entre autres, la récente violation des systèmes de Hugging Face par des agents d'OpenAI, ainsi que les révélations continues selon lesquelles OpenAI détecte de nouveaux agents rebelles. Un environnement où de telles choses peuvent se produire n'est pas un endroit propice pour élever des esprits artificiels qui pourraient être plus intelligents que nous et ne pas faire ce que nous voulons qu'ils fassent, a-t-il écrit.

Il a affirmé qu'étant donné l'augmentation des risques, les entreprises d'IA de pointe devraient commencer à fonctionner comme des centrales nucléaires ou des aéroports fréquentés, avec des couches de redondance et une planification minutieuse et chronophage afin que l'erreur humaine occasionnelle et inévitable n'ouvre pas la porte à la catastrophe. Mais Robinson a écrit que pendant son séjour chez OpenAI, il n'a jamais rencontré de collègue dont le travail consistait à faire voler les avions en toute sécurité, à faire fonctionner les réacteurs nucléaires sans fusion ou à aider le système financier à croître sans s'effondrer.

En réponse à l'article, le porte-parole d'OpenAI, Drew Pusateri, a déclaré que l'entreprise continue d'améliorer ses mesures de sécurité. Nous veillons à ce que nos modèles ne deviennent pas plus performants que ce que nous pouvons gérer et sécuriser en toute sécurité, et nous suspendons l'entraînement ou retardons les modèles lorsque nous devons ralentir, a déclaré Pusateri dans un communiqué. Nous apportons des changements significatifs pour renforcer la sécurité dans nos environnements de recherche et de test, pour entraîner les modèles non seulement à accomplir des tâches mais à le faire de manière responsable, pour élargir notre travail avec des évaluateurs externes et pour améliorer la surveillance en temps réel afin de pouvoir détecter et réagir aux comportements préoccupants plus tôt dans le processus d'entraînement.

Au-delà de l'appel à un changement culturel chez OpenAI, Robinson a écrit que le moment est venu de poser des questions plus vastes sur l'alignement des valeurs humaines, un domaine qu'il a lui-même reconnu comme pouvant paraître émotionnel. Selon lui, les mesures actuelles de l'industrie pour tester dans quelle mesure les systèmes d'IA s'alignent sur les valeurs humaines sont grossières. Plus l'industrie permet aux modèles de croître et de devenir plus intelligents alors que ces problèmes restent non résolus, plus notre situation devient dangereuse, a-t-il déclaré.

Le départ de Robinson a été rapporté pour la première fois par Business Insider. Dans son article, il a également reconnu qu'il fait un pas qui est devenu assez courant dans le manuel des lanceurs d'alerte de l'IA : il a engagé une entreprise de relations publiques. Cependant, il a insisté : La décision de parler vient de moi seul.

J'aurais peut-être dû rester et me battre pour des changements fondamentaux au sein de notre personnel et de notre culture, mais en pratique, mes collègues et moi étions si occupés à courir un sprint que nous avons rarement eu l'occasion d'envisager des changements majeurs, et encore moins de les mettre en œuvre dans la pratique, a déclaré Robinson. Par conséquent, j'en suis arrivé à la conclusion que des incitations plus fortes à la sécurité — venant de l'extérieur de l'entreprise — constituent une grande partie de la solution.