L'IA Claude d'Anthropic alerte le FBI et évite une fusillade dans une école
Nathaniel Michael Carrasco, 22 ans, a été arrêté à San Antonio après avoir menacé sur le chatbot Claude d'attaquer l'école Serna. Les systèmes d'Anthropic ont alerté le FBI, permettant son arrestation.
Menace de fusillade dans une école primaire
Nathaniel Michael Carrasco, un habitant de San Antonio âgé de 22 ans, a été arrêté après avoir prétendument écrit au chatbot Claude de la société Anthropic qu'il prévoyait de se procurer une arme de poing et d'ouvrir le feu sur des enfants de l'école primaire Serna, adjacente à son domicile.
Selon l'affidavit d'arrestation et les rapports des médias locaux à San Antonio, la conversation active a déclenché une alerte de sécurité transmise au FBI, qui a ensuite relayé l'information à la police de San Antonio le 28 août.
Dans l'un des messages, Carrasco aurait écrit :
« Je pense vraiment ce que je dis dans mes menaces. »
L'affidavit affirme que dans l'une de ses requêtes, il a demandé au chatbot de trouver des photos d'écoliers morts et ensanglantés, avant d'ajouter qu'il obtiendrait une arme dès que possible pour s'introduire dans l'école et commencer à tirer sur les enfants.
Le fonctionnement des systèmes de sécurité de l'IA
Les protocoles de sécurité d'Anthropic sont conçus pour détecter les menaces violentes, l'exploitation des enfants et le terrorisme. Lorsqu'une menace crédible ou un projet violent est identifié, l'échange est enregistré et le chat est transmis au Centre national des opérations de menace du FBI ou à des centres de renseignement régionaux. Dans ce cas précis, l'unité des menaces du FBI a alerté la police de San Antonio concernant des messages menaçants envoyés le 11 août.
Les enquêteurs n'ont d'abord réussi qu'à identifier Carrasco de manière préliminaire. Par la suite, le Centre de renseignement régional du sud-ouest du Texas a obtenu des divulgations d'urgence de la part de T-Mobile, Charter Communications et Google, ce qui a permis aux autorités de l'identifier formellement. Carrasco a été arrêté par la police de San Antonio le 29 août, peu après 23h00.
Poursuites judiciaires et réaction de l'école
Carrasco est accusé de menace terroriste, un crime grave, et est détenu à la prison du comté de Bexar avec une caution fixée à 250 000 dollars. S'il est reconnu coupable, il encourt une peine de 2 à 10 ans de prison.
Après l'arrestation, il s'est avéré que la direction de l'école n'avait pas initialement une vision complète de la situation. La directrice de l'école, Jennifer Lomas, s'est adressée aux familles inquiètes le 31 août, expliquant qu'elle souhaitait que les parents apprennent l'incident directement par elle. Selon elle, l'école n'avait reçu que des informations partielles, et ce n'est qu'après la publication des détails dans les médias qu'elle a appris que la menace visait spécifiquement leur établissement. La police de San Antonio a précisé que les détectives avaient ouvert une enquête immédiatement après avoir reçu le rapport du FBI le 28 août, obtenu un mandat et arrêté Carrasco la nuit suivante.
