Comment trois conversations avec Claude ont été transmises à la police en sept semaines

Du 11 août au 30 septembre, trois conversations avec Claude d'Anthropic ont été transmises à la police. Deux de ces utilisateurs font désormais face à des accusations de crime grave (felony).

Le troisième, un homme de San Francisco qui aurait menacé le PDG Dario Amodei, n'a pas été arrêté.

Arrestation à San Antonio et menace par AR-15 contre Amodei : ouverture du mois d'août

La première conversation a eu lieu le 11 août à San Antonio. Nathaniel Michael Carrasco, 22 ans, a déclaré à Anthropic AI qu’il souhaitait se procurer une arme et tirer sur des élèves de l’école primaire Serna Elementary, selon un affidavit d’arrestation.

La Section des opérations nationales sur les menaces du FBI a informé la police locale le 28 août. Les officiers ont lié Carrasco au compte grâce à des demandes de divulgation d'urgence adressées à T-Mobile, Charter Communications et Google, qui ont permis de faire correspondre son numéro de téléphone, son trafic IP et son adresse avec le compte.

Carrasco a été arrêté le 30 août, a déclaré la directrice de l'école, accusé d'un crime de troisième degré pour menace terroriste ayant provoqué une peur publique de blessures corporelles graves. Selon elle, l'école n'a découvert la menace spécifique contre son campus qu'à travers la couverture médiatique.

Trois jours après la conversation à San Antonio, le 14 août, un homme aurait affirmé à Claude avoir acheté un fusil AR-15 et avoir « Amodei dans sa ligne de mire », selon un rapport de la police de San Francisco. Le mardi suivant, Anthropic a informé le SFPD.

Les officiers ont établi que l'homme ne se trouvait pas dans les bureaux de l'entreprise situés au 500 Howard Street.

Un porte-parole d'Anthropic a indiqué que l'entreprise avait banni le compte et transmis l'affaire aux forces de l'ordre, précisant qu'il s'agissait du processus de sauvegarde qui fonctionnait comme prévu. À début septembre, il n'avait pas été arrêté ni inculpé.

L'équipe de révision d'Anthropic a envoyé des messages aux shérifs du comté de Lee le 26 septembre

La politique de confidentialité d'Anthropic, entrée en vigueur le 10 septembre, stipule qu'elle peut partager des données avec les forces de l'ordre si elle estime de bonne foi que cela est raisonnablement nécessaire pour prévenir des dommages graves. Ses conditions d'utilisation réservent le droit de signaler les entrées, sorties ou actions d'un utilisateur aux forces de l'ordre « à sa seule discrétion ».

Le rapport d’arrestation indique que Carli Michelle Heller, de Bonita Springs en Floride, a écrit le 26 septembre qu’elle allait « faire un massacre » au bureau du shérif du comté de Lee. Les enquêteurs affirment qu’elle a écrit le jour suivant qu’elle s’était procurée une nouvelle arme.

Le rapport indique que les déclarations ont été signalées par le système de surveillance d'Anthropic. Une équipe d'examen humaine les a transmises aux forces de l'ordre en raison de leur gravité.

Les shérifs ont placé Heller en détention à son domicile sans incident. Elle risque une accusation pour menace écrite de violence et comparaîtra devant un tribunal en novembre. Le shérif Carmine Marceno a déclaré qu'elle a ensuite décrit l'utilisation de l'IA comme un journal intime.

« L'intelligence artificielle est un outil puissant, et comme toute technologie, elle peut être mal utilisée », a déclaré Marceno dans un communiqué.

En avril, Cryptopolitan a rapporté qu’Anthropic avait commencé à exiger une pièce d’identité officielle et un selfie en direct pour certaines fonctionnalités.

En août, Cryptopolitan a rapporté que l’entreprise avait configuré la mémoire de Claude pour ignorer les questions de santé, de politique et d’identité de genre, sauf si les utilisateurs y adhèrent explicitement.