Амодей из Anthropic ответил на девять обвинений критика девятью дорогими решениями в области безопасности

В среду Дарио Амодэй поблагодарил критика Нейтана Кальвина за внимательное изучение деятельности Anthropic, спустя несколько дней после того, как Кальвин способствовал негативной реакции на утечку законопроекта о безопасности ИИ компании. 

До запуска запланированного IPO Anthropic остаются считанные недели; компания отреагировала на критику, пообещав пересмотреть некоторые части законопроекта.

Что такое AEGIS Act?

В посте в X, Дарио Амодэй заявил, что критика со стороны Нейтана Кальвина, который является генеральным советником группы защиты интересов Encode, в отношении утечки законопроекта о безопасности ИИ, временно названного «Законом об оценке, управлении и безопасности инцидентов в сфере искусственного интеллекта» (AEGIS Act), исходит из «конструктивных и честных намерений». Он добавил, что общество выигрывает от наличия людей, чья работа заключается в проверке лабораторий ИИ, и поблагодарил Кальвина.

Сторонники безопасности продолжают сравнивать законопроект с двухпартийным актом FRONTIER, предложенным представителями Джей Обернотле и Лори Трахан, который был внесен в июле.

Проект сообщается, является более слабым по сравнению с двухпартийным актом FRONTIER по двум причинам. Во-первых, он не устанавливает никаких стандартов или лицензирования для сторонних оценщиков, проверяющих модели лабораторий, позволяя им самостоятельно подтверждать соответствие, а во-вторых, он значительно затрудняет блокировку опасных моделей.

Чарли Буллок из LawAI предупредил, что без лицензирования аудиторы будут конкурировать друг с другом, предлагая минимальные проверки по самой низкой цене.

Кальвин пошел дальше, заявив, что предложение вызвало у него «глубокое отвращение» и, вероятно, оставляет суду меньше полномочий для блокировки разработки frontier-моделей, чем это предусмотрено действующим законодательством. Сенатор штата Калифорния Скотт Винер, автор закона штата о frontier-ИИ SB 53, написал в X, что план «далеко не обеспечивает защиту общественного здоровья и безопасности.»

Согласно проекту, Министерство торговли может обратиться в федеральный суд с просьбой приостановить работу ИИ-модели, но только в случае наличия четкой, близкой по срокам угрозы, которая может привести к гибели или серьезному увечью более 50 человек, или причинению ущерба на сумму более 1 миллиарда долларов. 

Вред также должен быть причинён либо биологическим оружием, либо моделью, вышедшей из-под контроля создателя, либо в результате кибератаки. Ни один другой орган не сможет приостановить работу модели.

Законопроект также отменяет некоторые государственные правила в отношении раскрытия информации, внешнего тестирования и отчётности об инцидентах, но оставляет в силе законы о защите детей и гражданских правах. Внешние тестеры, называемые оценщиками, должны регистрироваться в Министерстве торговли, а лаборатории будут выплачивать им вознаграждение, при условии, что оплата не зависит от результатов. Оценщики обязаны сообщать о надвигающейся угрозе в Министерство торговли в течение 72 часов.

Энтони Чимано, возглавляющий федеральное подразделение Anthropic по связям с государством, разделил жалобы на законопроект на четыре группы: преэмпция (приоритет федерального закона), блокировка моделей, пороги риска и обновления. Он признал, что формулировки о преэмпции «достаточно точны» и пообещал их переработать. Он заявил, что штаты должны играть роль в установлении стандартов для оценщиков и в решении вопроса о том, когда лаборатория должна прекратить работу модели.

Симинo заявил, что лимиты по доллару и убыткам были взяты из законодательства Калифорнии, но согласился, что, вероятно, пришло время их пересмотреть. Он также отметил, что черновик документа уже позволяет суду запретить лаборатории внутреннее использование опасной модели, а не только её публичный выпуск. Кроме того, требуется отчёт в случае выхода модели за пределы системы.

Повлияют ли скандалы вокруг Anthropic на его IPO? 

Anthropic отреагировала на негативную реакцию, перечислив дорогостоящие работы по безопасности, которые она уже оплатила. Её Дорожная карта безопасности передовых моделей, обновлённая 19 октября, гласит, что компания выполнила цель внутреннего «красного тестирования» раньше установленного на 1 января 2027 года срока.

Автоматизированная система «красного тестирования», разработанная компанией, показала результаты, сопоставимые с лучшими человеческими участниками или превзошедшие их во всех 24 комбинациях классификаторов вопросов, выбранных из программ вознаграждений за биологическое оружие; она выиграла 23 случая напрямую, сделав это за 24–48 часов вместо недель или месяцев, необходимых исследователям-людям.

В том же обновлении описывается новая работа по проверке вывода (inference verification), изолированным средам для вывода, физической безопасности дата-центров и безопасности платформы. 

Отдельно стоит отметить, Project Glasswing вложила до 100 млн долларов в кредиты на использование и 4 млн долларов в пожертвования для групп безопасности с открытым исходным кодом после того, как нерелизная модель Anthropic выявила тысячи уязвимостей нулевого дня, включая 27-летнюю уязвимость в OpenBSD. 

сообщил Cryptopolitan что компания ранее в этом месяце выделила 5% своих акций фонду общественного блага.

Однако в феврале Anthropic RSP v3.0 отказалась от прежнего обязательства по приостановке, заменив его отчетами о рисках и необязательной дорожной картой.

В июне Anthropic подала конфиденциальную заявку на IPO в SEC и стремится к оценке выше 2 трлн долларов, при этом размещение ожидается после ноябрьских промежуточных выборов в США. В проспекте эмиссии указано убыток в размере 42 млрд долларов за 2025 год, из которых около 34 млрд долларов пришлось на бухгалтерские списания, а операционный убыток увеличился до 8,06 млрд долларов. Также в заявке перечислены обязательства по вычислительным мощностям на сумму 518 млрд долларов на десятилетний период, из которых примерно 80% Anthropic не может аннулировать.