OpenAI a révélé une campagne d'influence russe promouvant un « institut de recherche » israélien fictif

OpenAI a révélé une campagne d'influence russe qui a exploité ses capacités d'IA pour promouvoir un « institut de recherche » israélien fictif appelé International Burke Institute (IBI).

« Ce qui a commencé comme une enquête sur des publications sur les réseaux sociaux générées par IA a conduit à la découverte d'une campagne d'influence beaucoup plus large, construite autour d'un site web contenant des travaux universitaires plagiés, un « indice de souveraineté » présentant la Russie sous un jour positif, et des efforts pour dissimuler l'origine russe de l'activité », a déclaré la société dans un rapport publié hier.

La campagne d'influence a été révélée après qu'OpenAI a identifié et bloqué un groupe de comptes ChatGPT dont l'opérateur écrivait des invites en russe pour générer des publications et des commentaires sur Substack, Telegram, X, Facebook et LinkedIn. « La plupart des réponses étaient en anglais, et l'opérateur cherchait à dissimuler les marqueurs linguistiques de l'origine russe. Nous n'autorisons pas l'accès à nos modèles depuis la Russie, et un VPN a été utilisé pour accéder à notre plateforme », a indiqué la société.

La majeure partie du contenu généré visait à promouvoir l'institut de recherche fictif IBI. Le site web de l'institut prétend qu'il est basé en Israël, et de nombreux articles publiés sur celui-ci ont été en fait copiés à partir de publications universitaires réelles, avec une attribution erronée. D'autres ont été écrits dans une langue slave et traduits automatiquement en anglais. La publication la plus importante sur le site web de l'institut était un « indice de souveraineté » destiné à faire l'éloge de la Russie et à nuire aux pays occidentaux.

L'utilisation principale de ChatGPT consistait à créer des publications promouvant l'institut. « Certaines ont été publiées par des comptes incluant le nom et le logo de l'IBI, d'autres semblaient provenir d'utilisateurs réguliers, dont l'activité principale était de publier des posts de l'IBI », a déclaré OpenAI. « De plus, les opérateurs ont généré des réponses aux publications d'utilisateurs réels sur Substack sur divers sujets. Les réponses incluaient souvent une demande de suivre la chaîne IBI sur la plateforme et étaient publiées par celle-ci ».

De plus, l'un des opérateurs a généré des publications en allemand qui ont été publiées sur la chaîne Telegram Lahme Ente (« Canard boiteux »), qui critiquaient l'Ukraine, l'Union européenne et le gouvernement allemand. Un autre opérateur a généré des logos pour une douzaine de chaînes Telegram, qui se concentraient sur l'Allemagne, les États-Unis, la France, la Pologne et la Turquie.

L'activité d'IA identifiée par OpenAI n'était que complémentaire au travail de base de la campagne d'influence, qui consistait à gérer l'institut de recherche fictif. Le site web de l'IBI prétendait qu'il s'agissait d'une « communauté d'experts » indépendante opérant depuis Israël, comprenant des experts de renommée mondiale tels que Francis Fukuyama et Noam Chomsky. Mais un examen par échantillonnage de 36 articles publiés sur le site, mené par la société, a révélé que 34 d'entre eux avaient été copiés ailleurs.

« Certains avaient plusieurs années, d'autres étaient attribués à des auteurs incorrects. Par exemple, un article sur le corridor économique Chine-Pakistan a été copié d'une publication des presses universitaires de Cambridge et attribué à tort à un professeur de l'université de Nottingham. Ce comportement indique un désir de donner à l'IBI une image plus légitime en incorporant du contenu authentique ».

Parallèlement aux articles, le site web de l'IBI comprend des rapports sur la souveraineté de divers pays. La plupart des rapports, qui n'ont pas été générés par IA, incluaient des critiques des pays occidentaux. Selon OpenAI, il existe des preuves en ligne que des individus en Israël ont mentionné ou représenté l'IBI dans des articles qu'ils ont soumis pour publication et lors de conférences auxquelles ils ont assisté. « Nous ne pouvons pas déterminer quelle est la relation entre ces individus, l'IBI et les opérateurs en Russie », a déclaré la société.

Malgré cela, OpenAI estime que l'impact de la campagne a été limité : les publications qui ont été diffusées ont enregistré un faible nombre de vues, et les comptes de l'IBI avaient un petit nombre d'abonnés. Les chaînes Telegram de la campagne ont enregistré entre 10 000 et 20 000 abonnés.

« L'importance de la campagne réside moins dans l'audience qu'elle a atteinte que dans l'infrastructure qu'elle a construite », a-t-il été déclaré. « Alors que les opérateurs n'utilisaient ChatGPT que pour générer des publications isolées, ces publications renvoyaient à un institut à l'apparence fiable, avec des experts présumés, des travaux universitaires republiés et un indice prétendument unique. Cela illustre comment les acteurs d'influence peuvent utiliser l'IA comme un outil de soutien dans le cadre d'un effort plus large pour générer de l'autorité, brouiller l'origine des récits privilégiés et établir des actifs dont la portée peut être étendue au fil du temps. »