Anthropic отказалась от права вето на отчеты METR по безопасности

Anthropic больше не может блокировать выводы о безопасности, которые METR публикует о ней.

Компания заявила в четверг, что предоставила шести встроенным исследователям из некоммерческой организации почти такой же уровень доступа, как и своим собственным сотрудникам.

Шесть независимых исследователей получают оборудование и внутренние инструменты компании

METR изучает передовые модели ИИ. В настоящее время его команда использует практически то же самое оборудование, рабочие пространства и внутренние инструменты, что и собственные команды оценки рисков Anthropic.

Сотрудникам Anthropic предписано предоставлять оценщикам тот же объем информации, который они предоставили бы другому сотруднику, работающему над вопросами риска выравнивания (alignment). METC самостоятельно проведет оценку уровней риска, инцидентов и практик Anthropic, а затем опубликует результаты.

Существует несколько предустановленных категорий, в которые Anthropic может направлять данные для удаления: персональные данные клиентов, материалы, защищенные адвокатской тайной, а также сведения об архитектуре моделей.

METR также имеет право публично заявлять о необходимости удаления данных, при условии что он не раскрывает содержание удаленного фрагмента.

Anthropic описывает эту схему через призму информационного разрыва. Внешние лица знают значительно меньше о системах лаборатории, чем сама лаборатория, а полная прозрачность могла бы помочь злоумышленникам или привести к утечке конфиденциальных данных обучения и вычислительных ресурсов.

Компания заявила, что банковский надзор работает аналогичным образом. Регуляторы направляют резидентских инспекторов в крупнейшие банки, чтобы рискованное поведение могло быть выявлено третьей стороной до того, как оно станет достоянием общественности.

Команда METR работает на основании обязательных соглашений. Другие исследователи METR, включая тех, кто занимается отдельными проектами для Anthropic, изолированы от её работы.

SecureBio начинает работу с первого из трёх уровней оценки

Anthropic создаёт три уровня доступа, и METR является единственным оценщиком на верхнем уровне. Оценщики первого уровня проводят узкие обзоры и должны получить одобрение Anthropic перед публикацией.

Второй уровень предоставляет больше информации и позволяет публиковать материалы без утверждения при соблюдении тех же категорий редакции. Третий уровень добавляет встроенный доступ, подобный доступу сотрудников, который теперь есть у METR.

SecureBio, некоммерческая группа по биобезопасности, находится на первом уровне. Она завершила и опубликовала пилотный обзор более раннего отчёта о рисках и сейчас работает над главой о химическом и биологическом оружии в августовском отчёте о рисках.

Anthropic также формирует партнёрство с Accenture и Faculty в области красных тестов, оценок соответствия и проверок мер безопасности. Ведутся предварительные переговоры с другими группами, включая Hugging Face.

Именно это пообещал генеральный директор Дарио Амодеи в эссе, написанном в сентябре, призвав индустрию сдерживать развитие передовых технологий. Cryptopolitan сообщил, что Амодеи предложил предоставить внешним рецензентам рабочие места, пропуска, ноутбуки и уровни доступа, аналогичные тем, что есть у сотрудников, занимающихся оценкой рисков.

Сэм Альтман из OpenAI поддержал эту идею в X. «Идея привлечения независимых оценщиков с доступом, сопоставимым с доступом сотрудников, является отличной, и мы последуем этому примеру», — написал Альтман.

Anthropic, Google и OpenAI также обсуждали создание общих отраслевых стандартов органа. Все три компании, вместе с Meta, Nvidia и xAI, впоследствии подписали Соглашение Белого дома о суперинтеллекте, обязавшись сотрудничать с независимыми аудиторами.

Эта сделка также последовала за серией инцидентов, произошедших с конца августа, когда агенты ИИ выходили за рамки своих инструкций.