Des millions de livres ont été découpés et détruits pour entraîner le modèle d'IA Claude

De nouveaux détails sur l'un des projets inhabituels d'Anthropic sont révélés dans The Guardian, suite à des documents internes de l'entreprise soumis dans le cadre d'une bataille juridique avec des auteurs aux États-Unis. Selon les documents, l'entreprise qui développe le modèle d'intelligence artificielle Claude a acheté des millions de livres imprimés, les a démontés, a numérisé les pages, puis a détruit les copies physiques. L'opération a reçu le nom de code « Project Panama », et dans une note interne d'avril 2024, son objectif a été défini par des mots difficiles à ignorer : « nos efforts pour numériser de manière destructrice tous les livres du monde ». Le secret était également intentionnel. Le document indiquait que l'entreprise utilisait un nom de code parce qu'elle ne voulait pas que l'on sache qu'elle travaillait sur ce projet, et les employés ont été priés de ne pas en parler publiquement.

Derrière le projet se cachait un problème central pour les entreprises d'intelligence artificielle : pour entraîner un modèle comme Claude, il faut d'énormes quantités de texte de qualité. Anthropic a spécifiquement recherché des livres de la période précédant la prolifération des modèles d'IA, car ils contiennent du texte humain qui n'a pas été influencé par du contenu déjà créé à l'aide de l'intelligence artificielle. Du point de vue de l'entreprise, les livres constituaient un matériel d'entraînement de très haute qualité grâce aux textes longs et complexes qu'ils contiennent. Dans les documents judiciaires, il était écrit qu'Anthropic appréciait particulièrement les « faits bien documentés, les analyses organisées et les récits de fiction captivants » contenus dans les livres — un contenu qui pourrait apprendre à Claude à écrire de manière plus précise et convaincante.

Pour obtenir ce matériel, Anthropic a dépensé des millions de dollars pour acheter des livres et s'est tournée vers des distributeurs et des détaillants pour les acheter en grandes quantités, y compris des exemplaires d'occasion. Les livres étaient ensuite transférés à des fournisseurs tiers, qui retiraient les couvertures, coupaient les dos des livres et séparaient les pages pour les faire passer rapidement dans des scanners. À partir de chaque livre, un fichier PDF était créé, incluant les pages numérisées ainsi qu'un texte qu'un ordinateur peut lire et traiter. À la fin du processus, les copies papier étaient jetées ou envoyées au recyclage. C'est exactement le sens de la « numérisation destructrice » : vous ne numérisez pas un livre pour le garder sur l'étagère, mais vous le démontez physiquement pour le transformer en fichier numérique — et la copie originale ne survit pas au processus.

Cependant, les livres achetés légalement ne constituaient qu'une partie de la base de données d'Anthropic. Selon les documents, l'entreprise a également utilisé d'énormes quantités de livres provenant de dépôts pirates : environ cinq millions de copies de LibGen, environ deux millions de Pirate Library Mirror et environ 183 000 de Books3. Anthropic a également envisagé d'obtenir des licences en bonne et due forme auprès des détenteurs de droits d'auteur, mais au sein de l'entreprise, le processus juridique, commercial et pratique impliqué a été décrit comme fastidieux. L'utilisation de livres piratés est devenue par la suite une partie centrale de la bataille juridique avec les auteurs, et l'entreprise a conclu un accord à l'amiable de 1,5 milliard de dollars concernant les documents piratés.

Le tribunal, cependant, a fait une distinction claire entre les livres qu'Anthropic a achetés et les copies provenant de sources pirates. Le juge William Alsup a statué que l'utilisation de livres achetés légalement dans le but d'entraîner un modèle d'IA peut être considérée comme un « usage loyal » (fair use) — c'est-à-dire un usage autorisé dans certains cas même sans autorisation supplémentaire du détenteur des droits d'auteur. Selon la décision, Claude n'a pas redistribué les livres mais a appris à partir de milliers d'œuvres la grammaire, la structure et les manières d'écrire pour produire un nouveau texte. La transformation de livres imprimés achetés légalement en fichiers numériques pour la bibliothèque de recherche d'Anthropic n'a pas non plus été considérée comme une infraction. En revanche, concernant les livres piratés, le juge a été sans équivoque : télécharger un livre depuis un site pirate constitue en soi une violation du droit d'auteur.

Les détails révélés aujourd'hui illustrent surtout à quel point les entreprises d'intelligence artificielle dépendent encore de la création humaine pour construire des systèmes censés rivaliser avec elle. Selon les documents judiciaires, Anthropic cherchait à créer une bibliothèque de recherche centrale de « tous les livres du monde », qui serait conservée « pour toujours » et lui permettrait de sélectionner parmi elle diverses bases de données de livres pour entraîner de futurs modèles. L'entreprise a déclaré que ses plans d'acquisition de données n'incluent pas l'achat et la destruction de livres « rares » ou « anciens ». Cependant, le projet laisse derrière lui une question plus large : lorsque des millions de livres imprimés deviennent, pour l'industrie de l'IA, une matière première que l'on peut acheter, couper, numériser, puis jeter — le « Project Panama » pourrait ne pas être seulement une histoire sur la façon dont Claude a été entraîné, mais un aperçu de la manière dont la course aux données pour l'IA change également l'attitude envers les livres eux-mêmes.