Как три чата с Claude привлекли внимание полиции за семь недель

С 11 августа по 30 сентября три беседы с ИИ Claude от Anthropic были переданы в полицию. Двое из этих пользователей теперь сталкиваются с обвинениями в совершении тяжкого преступления.

Третий, житель Сан-Франциско, который, как утверждается, угрожал генеральному директору Дарио Амодеи, не был задержан.

Арест в Сан-Антонио и угроза с использованием AR-15 в адрес Амодеи: события августа

Первый чат состоялся 11 августа в Сан-Антонио. 22-летний Натаниэль Майкл Карраско сообщил Anthropic AI о намерении приобрести оружие и расстрелять учеников начальной школы Серна, говорится в обвинительном акте.

Национальный отдел операций по противодействию угрозам ФБР уведомил местную полицию 28 августа. Сотрудники правоохранительных органов связали Карраско с учетной записью, используя запросы об экстренном раскрытии информации к компаниям T-Mobile, Charter Communications и Google, которые сопоставили его номер телефона, IP-трафик и адрес с учетной записью.

По словам директора школы, Карраско был арестован 30 августа по обвинению в третьем разряде тяжкого преступления — террористическая угроза, вызвавшая общественный страх перед серьезными телесными повреждениями. По ее словам, школа узнала о конкретной угрозе своему кампусу только из новостных сообщений.

Три дня спустя после разговора в Сан-Антонио, 14 августа, мужчина якобы сообщил Claude, что приобрел винтовку AR-15 и «прицелился» на Амодеи, согласно полицейскому донесению из Сан-Франциско. Во вторник следующего месяца Anthropic уведомила полицию Сан-Франциско.

Сотрудники полиции установили, что мужчина не находился в офисе компании по адресу Уолл-стрит, 500.

Представитель Anthropic заявил, что компания заблокировала учетную запись и передала дело правоохранительным органам, отметив, что система мер безопасности сработала должным образом. По состоянию на начало сентября он не был арестован или предъявлены обвинения.

Команда модерации Anthropic направила 26 сентября сообщения шерифу округа Ли

В политике конфиденциальности Anthropic, вступившей в силу 10 сентября, указано, что компания может передавать данные правоохранительным органам, если у нее есть добросовестное убеждение в том, что это разумно необходимо для предотвращения серьезного вреда. В пользовательском соглашении также сохраняется право сообщать о вводе данных пользователя, его ответах или действиях правоохранительным органам «по собственному усмотрению».

В обвинительном акте указано, что Карли Мичелл Хеллер из Бонита-Спрингс (Флорида) 26 сентября написала, что собирается «устроить стрельбу» в офисе шерифа округа Ли. По данным следствия, на следующий день она написала, что получила новое оружие.

В отчете говорится, что эти высказывания были отмечены системой мониторинга Anthropic. Команда человеческой модерации передала их в правоохранительные органы из-за их серьезности.

Сотрудники правоохранительных органов задержали Хеллер у неё дома без инцидентов. Ей предъявлено обвинение в написании письменной угрозы насилия, заседание суда назначено на ноябрь. Шериф Кармин Марчено сообщил, что позже она описала использование ИИ как дневник.

«Искусственный интеллект — это мощный инструмент, и, как и любая технология, он может быть использован во зло», — сказал Марчено в своём заявлении.

Как сообщалось в апреле, Cryptopolitan, Anthropic начала требовать государственное удостоверение личности и живое селфи для доступа к некоторым функциям.

В августе, как сообщило издание Cryptopolitan, компания настроила память Claude так, чтобы он пропускал темы здоровья, политики и гендерной идентичности, если пользователи не дадут на это отдельного согласия.