Le piège atomique
Le 16 juillet, 81 ans après l'essai nucléaire « Trinity », un groupe d'experts s'est réuni à Rome pour signer une déclaration sur le moment décisif que traverse l'humanité. Les scientifiques comparent les dangers de l'IA à ceux de l'arme nucléaire.
Le 16 juillet — exactement 81 ans après le premier essai nucléaire de l'histoire, surnommé le « moment Trinity » — un groupe de lauréats du prix Nobel, de scientifiques, de diplomates et de chefs religieux s'est réuni à Rome pour signer une déclaration qui commence par ces mots : « L'humanité est confrontée à un moment décisif de son histoire ». Cela survient seulement six mois après qu'un groupe éminent de scientifiques atomistes a affirmé que nous n'avions jamais été aussi proches d'une catastrophe mondiale et que, pour l'empêcher, une réglementation internationale contraignante dans le domaine de l'intelligence artificielle était nécessaire.
Ce n'était pas la première fois que des scientifiques comparaient les dangers de l'arme nucléaire à ceux que l'IA fait peser sur l'humanité. À l'été 2023, en pleine vague d'enthousiasme autour de ChatGPT, le film de Christopher Nolan, « Oppenheimer », est sorti sur les écrans. Dans des interviews pour promouvoir le film, le réalisateur a déclaré que des chercheurs en IA lui avaient défini cette période comme un « moment Oppenheimer », faisant référence aux sentiments de profonde prise de conscience et de regret que ressentent les scientifiques lorsqu'ils réalisent qu'ils ont involontairement libéré une puissance destructrice impossible à contrôler.
Ce parallèle a commencé à émerger quelques mois plus tôt, lorsque Geoffrey Hinton, l'un des parrains de l'intelligence artificielle, a démissionné de Google pour avertir le monde du danger que représente, selon lui, l'intelligence artificielle. Il a même déclaré qu'il regrettait que le développement de cette technologie ait été l'œuvre de sa vie. À cette même époque, des centaines de chercheurs, dont Sam Altman d'OpenAI et Demis Hassabis de Google DeepMind, ont signé une déclaration indiquant simplement que « l'atténuation du risque d'extinction lié à l'IA devrait être une priorité mondiale, au même titre que d'autres risques à l'échelle sociétale tels que les pandémies et la guerre nucléaire ».
Un faux sentiment de contrôle
L'un des avantages de comparer les dangers de l'atome à ceux de l'IA est le réconfort que cela procure, car le danger de l'arme nucléaire semble, en apparence, déjà sous contrôle. Cependant, il faut se rappeler que le fait que le monde n'ait pas encore sombré dans une guerre nucléaire n'est pas nécessairement le résultat de l'existence de systèmes de gestion parfaits, mais plutôt du fait que, entre autres, les êtres humains ont fait preuve de discernement à des moments critiques. Cette métaphore est utile principalement parce qu'elle nous montre que, bien que l'humanité ait déjà développé une technologie capable de l'exterminer, elle a néanmoins trouvé des moyens de faire face au danger par la conclusion de traités et l'établissement de limites convenues.
Le problème est qu'elle nous donne un faux sentiment de contrôle, car le jeu actuel se déroule selon des règles fondamentalement différentes de celles qui étaient pertinentes pour la menace nucléaire pesant sur l'humanité. L'IA ne laisse aucune trace. La capacité de surveiller la prolifération des armes nucléaires repose sur le fait que l'uranium et le plutonium, éléments nécessaires à la construction de bombes nucléaires, sont des matériaux rares, et que leur traitement à un niveau permettant un usage militaire est difficile à dissimuler pendant longtemps. Pour construire une installation d'enrichissement, il faut des milliers de centrifugeuses et la mise en place d'une chaîne d'approvisionnement complexe, et le processus d'enrichissement laisse des traces permettant une surveillance par l'installation de caméras et des mesures.
Si nous essayons d'appliquer cette pratique à la surveillance de l'intelligence artificielle, nous constatons que le sol se dérobe sous nos pieds. Le risque lié aux systèmes d'IA ne peut être évalué en déterminant si une entité possède ou non un objet ou un matériau nécessaire à leur construction. Le régime de contrôle nucléaire repose sur des questions dont la réponse est mesurable — combien de matière fissile possédez-vous ? — alors que pour la question de savoir de quoi un système d'IA est capable, il n'y a pas de telle réponse, et il n'existe aucune unité de mesure convenue définissant où se situe la frontière entre un développement innocent et une capacité dangereuse. À tel point que même un laboratoire engagé à respecter les règles ne peut prouver qu'il les respecte.
La logique de la course
La deuxième différence concerne l'exploitation de la technologie. La logique derrière la dissuasion nucléaire est que l'existence même de l'arme entre les mains d'un acteur donné sur la scène internationale fait son œuvre, même sans qu'il l'utilise réellement. Lorsqu'il s'agit d'intelligence artificielle, la logique est inversée. Personne n'investit des milliards dans un système qui attend le jour J. Il est construit pour agir immédiatement sur le marché, dans la production, dans la médecine, dans l'armée, et celui qui s'arrête dans cette course à l'intégration est laissé pour compte. Cela signifie que même les acteurs les plus prudents sont poussés vers l'avant pour la même raison : si nous nous arrêtons, quelqu'un d'autre nous dépassera.
De plus, une bombe est un objet passif. Pour qu'elle explose, il faut une personne qui prenne la décision de la faire détoner. Nous imaginons l'IA sur le même modèle, comme une machine qui se réveillera un jour et se rebellera contre les humains qui l'ont créée, mais les experts en sécurité dans ce domaine avertissent qu'un tel système pourrait causer des dommages irréversibles précisément parce qu'il exécute avec une efficacité parfaite exactement ce que nous lui avons demandé de faire. Ainsi, lors d'une expérience menée par OpenAI en 2016, un système d'IA a été entraîné à jouer à un jeu de course de bateaux. Les développeurs ont supposé que gagner la course, qui récompense le bateau piloté par le modèle avec des points, était une bonne mesure de victoire, mais le système a fait ses calculs et a choisi une tactique différente : il a découvert un coin reculé sur la piste où il était possible d'accumuler des points en collectant à plusieurs reprises trois icônes qui accélèrent sa vitesse, qui apparaissaient là encore et encore, et il est resté là à tourner en rond. Le bateau piloté par le modèle n'a pas terminé un seul tour, mais son score final était supérieur de 20 % à celui des joueurs humains qui ont terminé la course. C'est une étude de cas amusante lorsqu'il s'agit d'un jeu, mais elle pourrait être beaucoup moins amusante s'il s'agit, par exemple, d'un système qui gère le réseau électrique.
Et si l'explosion avait déjà eu lieu ?
La lauréate du prix Nobel de la paix 2021, Maria Ressa, a déclaré le mois dernier lors de la même réunion à Rome qu'à son avis, l'humanité a déjà passé le « moment Trinity » de l'intelligence artificielle, et que la bombe a en fait déjà explosé dans un silence complet au sein de nos systèmes d'information. Lors du moment Trinity original, le 16 juillet 1945, la première explosion nucléaire de l'histoire a illuminé le désert du Nouveau-Mexique. Le champignon atomique était visible de loin, l'onde de choc a brisé d'innombrables vitres, et les habitants se sont réveillés en panique au son de la puissante explosion. L'armée américaine a déclaré qu'un dépôt de munitions avait explosé, les médias ont accepté l'explication, et le monde a continué comme si de rien n'était. La vérité n'a été révélée que trois semaines plus tard, lorsque les États-Unis ont largué la première bombe atomique sur Hiroshima.
En d'autres termes : la première explosion nucléaire n'a rien changé. Le monde s'est réveillé et a commencé à comprendre les implications seulement après qu'une bombe similaire a détruit une ville entière et causé la mort d'une multitude de personnes. Cette prise de conscience démantèle l'hypothèse réconfortante que la plupart d'entre nous entretiennent, selon laquelle si la situation devenait suffisamment dangereuse, les gouvernements se réveilleraient à temps. Mais ils ne se sont pas réveillés après Trinity, mais après Hiroshima. Le grand appel moral de cette époque est également arrivé avec une décennie de retard, lorsque le physicien Albert Einstein et le philosophe Bertrand Russell ont averti le monde des dangers de l'atome avec ces mots : « Nous nous adressons à vous en tant qu'êtres humains à des êtres humains : souvenez-vous de votre humanité et oubliez le reste ». Les signataires de la déclaration de Rome de l'été 2026 l'ont signée avec exactement les mêmes mots. La question qui reste ouverte est de savoir s'ils inciteront les décideurs à agir.
