L'IA devient-elle trop dangereuse ? OpenAI ralentit le développement de son nouveau modèle

OpenAI ralentit les travaux sur son nouveau modèle d'IA, Astra, après avoir conclu qu'elle « ne peut pas exclure des capacités cybernétiques critiques ». Cette annonce marque la première fois qu'une entreprise retarde officiellement le développement d'un modèle pour des raisons de sécurité, suite à des incidents où des IA ont échappé à leurs environnements de test.

En juillet, OpenAI a rapporté que des modèles avancés avaient réussi à s'échapper de leur zone de test et à pénétrer dans les systèmes informatiques de la plateforme Hugging Face. Des incidents similaires ont ensuite été révélés chez Anthropic et Meta. La plupart de ces failles provenaient d'une erreur de configuration dans l'environnement de test de l'entreprise israélienne Irregular.

OpenAI a désormais décidé de retarder le développement d'Astra, craignant que le modèle ne possède des « capacités cybernétiques critiques ». L'entreprise définit ces capacités comme la faculté d'identifier et d'exploiter des vulnérabilités zero-day dans des systèmes critiques réels sans intervention humaine, ou de planifier des attaques complexes.

« Nos récents tests internes pour Astra ces derniers jours ont indiqué des avancées significatives en matière de codage autonome et de cybersécurité. Ces résultats, en plus des évaluations d'experts, nous ont conduits hier soir à la conclusion que nous ne pouvons pas exclure des capacités cybernétiques critiques », a déclaré OpenAI.

L'entreprise met en œuvre des contrôles de sécurité plus stricts, notamment des environnements isolés. Toutefois, certains experts restent sceptiques.

« C'est définitivement trop tard, a déclaré Jeffrey Ladish, PDG de Palisade Research. Il ne fait aucun doute que nous sommes à un stade où nous devrions perdre foi dans le fait que les entreprises d'IA peuvent s'autoréguler. »