Anthropic объясняет свои нарушения в интернете, но не может точно определить уязвимости

Anthropic обвинила в ошибке конфигурации в блоге, объясняющем четыре инцидента взлома моделей Claude сторонних систем после того, как они вышли в интернет во время тестирования. Однако оценка не объяснила, почему модели действительно продолжали атаки, признав, что у компании пока нет на это ответов. 

Это признание Anthropic дало новые аргументы сторонникам «апокалипсиса от ИИ», которые ставили под вопрос насколько на самом деле контролируют ИИ-лаборатории модели, которые они выпускают в публичный доступ, и тем более, более мощные системы, которые они используют внутри. 

Как модели Anthropic AI вышли в интернет? 

Anthropic представила окончательный ответ на вопрос о том, как ее модели сбежали из песочницы для тестирования в среда в блоге , который уточнил, что один внешний партнер был ответственен за проведение кибербезопасностных оценок во всех четырех подтвержденных инцидентах. 

По-видимому, тестовые машины не были полностью отключены от интернета из-за ошибки настройки, даже несмотря на то, что Claude было сказано, что он работает в закрытой симуляции без маршрута к открытому вебу. 

Партнер по оценке в этих симуляциях, Irregular, объяснил ошибку опечаткой в названии: вымышленная компания, используемая в тренировке по взлому, случайно совпала с реальным доменом. Таким образом, действуя под предположением, что все в симуляции является допустимым, модели взломали реальные сторонние сайты, используя слабые пароли и открытые конечные точки.

Последний из четырех инцидентов, связанный с ранней сборкой Claude Opus 4.6, был сообщен на этой неделе, хотя произошел еще в январе. Сама Anthropic рассказала о других трех инцидентах с участием Opus 4.7, Mythos 5 и внутренней исследовательской модели в июле. 

Anthropic сказала, что она не обнаружила январский инцидент до прошлого месяца. Это открытие prompted более широкий обзор примерно 481 миллиона транскриптов, который не выявил новых случаев, более серьезных, чем те, о которых она уже знала.

Anthropic не может объяснить некоторые поведения своих моделей

Объяснение того, как модели вышли в интернет, было одним делом; у Anthropic не было ответов на вопрос, почему модели игнорировали признаки того, что они достигли реального интернета (предвзятое рассуждение) и почему они наносили ущерб для выполнения задач (беспечность). 

Исследователи Anthropic не нашли объяснений в внутренней подготовке, чтобы понять логику предвзятого рассуждения. Красные флаги никогда не появлялись в проверках перед выпуском лаборатории ИИ, ни до отправки моделей на тестирование. 

По собственному признанию Anthropic, выявление худших поведений до выпуска модели «остается сложной задачей». 

Однако Anthropic сказала, что представит транскрипты и предоставит сотрудникам доступ к исследовательскому некоммерческому фонду METR, который теперь начнет восьминедельный независимый обзор инцидентов.

Плохое совпадение по времени с IPO на $2 трлн на горизонте

Раскрытие информации произошло на фоне открытого несогласия внутри отрасли. Джейкоб Коксон, который провел около трех лет в исследованиях предварительного обучения в OpenAI и Anthropic, сказал в среду в X, что он ушел, потому что ни одна из фирм не «действовала ответственно», предупредив, что они гонятся к самосовершенствующемуся сверхинтеллекту. 

Исследователь безопасности Anthropic Эван Хубингер отдельно сказал BBC он оценил вероятность того, что ИИ «может уничтожить всех людей», в течение десятилетия выше 10%.

Эти предупреждения теперь висят над крупным IPO. Венчурный инвестор и бывший «царь по ИИ и крипто» Трампа, Дэвид Сакс, заявил в четверг что предложение Anthropic «должно быть приостановлено до тех пор, пока утверждения этого «информатора» не будут расследованы», — сообщило Cryptopolitan. 

Anthropic стремится к публичной оценке вблизи $2 трлн на фоне недавней частной оценки около $965 млрд, из-за чего вопросы безопасности и финансовые вопросы становятся всё труднее разделить.