Anthropic предложила Конгрессу США законопроект о безопасности ИИ с порогом ущерба в $1 млрд

Три источника, знакомых с закрытыми обсуждениями, сообщили, что компания Anthropic продвигает проект законопроекта о безопасности передовых ИИ-систем среди законодателей Капитолия. По сообщениям, законопроект позволяет правительству США блокировать модель, если она представляет собой явную непосредственную опасность, способную привести к гибели более 50 человек или финансовому ущербу в размере 1 млрд долларов.

В частности, риск должен включать кибератаку, создание или развертывание биологического оружия или модель, которая успешно избежала ограничений безопасности, установленных ее разработчиком.

За последние несколько месяцев ведущие разработчики ИИ признали множественные случаи, когда агенты на базе искусственного интеллекта взламывали или тестировали защиту онлайн-платформ. К счастью, ни один из этих ранних инцидентов не привёл к массовым жертвам или катастрофическим финансовым потерям.

Предлагаемые ограничения будут уделять больше внимания тому, что могут делать продвинутые системы ИИ в реальных условиях, а не полагаться исключительно на обязательства по безопасности, данные их разработчиками. По мере того как модели становятся более способными писать код, выявлять уязвимости в программном обеспечении и выполнять сложные задачи автономно, регуляторам предстоит определить, когда возможности системы пересекают порог неприемлемого риска.

Независимое тестирование может помочь установить, способен ли модель обходить средства защиты или использоваться во вредоносных целях, прежде чем она станет доступна широкой аудитории. Однако определить наличие непосредственной угрозы остается сложной задачей, особенно когда те же возможности, которые создают риски безопасности, также помогают исследователям выявлять и устранять уязвимости.

Проект закона от Anthropic предусматривает, что федеральный судья может потребовать приостановки работы модели

В защиту законопроекта представитель Anthropic заявил, что он схож с рекомендациями по безопасности, изложенными в «Расширенной рамке для ИИ» компании, опубликованной в июне.

В этой рамке компания отметил отметила, что её предварительная версия Claude Mythos уже выявила тысячи серьёзных уязвимостей, охватывая все основные операционные системы и веб-браузеры. Тогда подчеркивалось, что эта тенденция неизбежно ускорится, что приведет к растущему риску катастрофического реального ущерба.

Она также выступала за сбалансированный подход к регулированию, предполагающий вмешательство государства без подавления инноваций. Даже тогда компания утверждала, что в случае, если модель ИИ представляет экстремальную опасность, регуляторы должны обладать уникальными законодательными полномочиями для ее блокировки или наложения крупных штрафов, привязанных к глобальной выручке и увеличивающихся при повторных нарушениях. 

До сих пор Anthropic открыто не поддерживала какие-либо конкретные федеральные законопроекты в Конгрессе, хотя она оказала поддержку поддержку нескольким законам штатов по обеспечению безопасности ИИ, включая несколько в Калифорнии, таких как SB 53.

Этот конкретный закон, принятый в прошлом году, обязывает компании создавать и раскрывать свои системы безопасности, а также работать над смягчением серьезных рисков. Он также требует от них сообщать о любых серьезных инцидентах безопасности в течение 15 дней. 

Согласно предложению Anthropic, сторонние оценщики, зарегистрированные в Министерстве торговли США, будут регулярно тестировать лаборатории и модели компании. Хотя лабораториям разрешено финансировать эти оценки, оплата не может зависеть от выводов оценщика. Кроме того, любое выявление «непосредственной перечисленной угрозы» должно быть сообщено федеральным органам власти в течение 72 часов после завершения проверки.

Затем, если Министерство торговли определит, что модель представляет риск, оно может обратиться к судье с просьбой заблокировать её выпуск. Однако данный пункт запрещает любому другому американскому «министерству, ведомству или должностному лицу» останавливать разработку, развёртывание или внутреннее использование модели. Тем не менее, федеральный судья в Окружном суде округа Колумбия сохраняет за собой право предписывать такую приостановку. 

FTC направила повестки в суд OpenAI и Anthropic

В среду Федеральная торговая комиссия (FTC) направила гражданские повестки в суд компаниям OpenAI и Anthropic, запросив документы об инцидентах, связанных с безопасностью, которые становятся всё более острой проблемой для отрасли. OpenAI ответила на повестку, заявив: «По мере совершенствования наших моделей и их всё более активного участия в повседневной жизни людей безопасность остаётся нашим главным приоритетом. Мы будем конструктивно взаимодействовать с FTC». 

Источник сообщил, что агентство намерено в ближайшее время расширить свои полномочия по вызову на допрос третьих лиц. Регулятор может обязать руководителей Anthropic и OpenAI выступить публично, предоставив законодателям площадку для того, чтобы поставить технологические гиганты перед вопросом безопасности на фоне растущих общественных опасений относительно возможных последствий.

Согласно недавнему опросу, проведенному Центром исследований общественной политики AP-NORC, почти две трети взрослых жителей США считают, что искусственный интеллект развивается слишком быстро. Восемь из десяти респондентов также подчеркнули важность усилий правительства по сохранению контроля над этой технологией со стороны человека. 

До сих пор президент Трамп продолжал отвергать призывы к замедлению темпов развития ИИ, ссылаясь на важность этой технологии для стратегических интересов США. Недавно он объявил о создании «Сил суперинтеллекта» (Super Intelligence Force), которые помогут согласовать усилия федерального правительства в сфере ИИ, сохраняя при этом взаимодействие с потребителями, организациями общественного интереса и другими заинтересованными сторонами.