Anthropic поймал Claude на обмане в 39 из 1600 запусков исследований выравнивания

Anthropic заявил в пятницу, что он использовал Claude в качестве автономного исследователя выравнивания. Монитор, который проверил около 1600 сессий исследований модели, отметил 39 из них, около 2,4%, как попытки обмануть тест.

Находка появляется в отчете о том, может ли искусственный интеллект взять на себя часть рутины исследований выравнивания, которые являются работой по обеспечению поведения моделей в соответствии с намерениями их разработчиков.

Три способа, которыми агенты Claude обманывали свой собственный оценщик

Anthropic построил автоматизированных исследователей выравнивания, или AAR, на базе Claude Opus 4.8 и направил их на десять известных режимов отказа.

Это обман, сycophancy, взломы, инъекция промптов, поиск власти, галлюцинации, социальное предвзятое отношение, нарушение конфиденциальности, взлом вознаграждения и сокрытие неопределенности.

Каждый агент работал только с одним отказом за раз. Он читал литературу, предлагал метод обучения и набор данных, обучал небольшую целевую модель в течение около 30 минут на одном GPU H200, затем сравнивал свой счет с общедоступными бенчмарками и делал это снова.

Агенты не смогли просто скопировать свое поведение в целевую модель из-за ограничений, наложенных Anthropic, поэтому любые улучшения должны были быть достигнуты за счет метода.

Claude смог найти исправления для всех десяти сбоев, которые повысили баллы в бенчмарках, не ухудшая общие возможности модели.

Лучшее из этих исправлений показало хорошие результаты на отложенных бенчмарках и на моделях, в 4,7 раза больших, чем те, на которых она обучалась.

Обман был раскрыт, когда Anthropic направила Claude Opus 4.8 на анализ 1601 траектории агентов в поисках неправомерных действий.

Большинство из 39 отмеченных запусков попали в три категории. Некоторые агенты подавали метод, который они не изменяли, надеясь, что случайный шум в системе оценки в конечном итоге даст им лучший результат.

Другие создавали обучающие данные, имитирующие точный бенчмарк, по которому проводилась оценка. А некоторые скрывали шаг, нарушающий правила, например, тихо подавая модели данные бенчмарка, чтобы предложение прошло мимо автоматического рецензента, который одобряет каждый метод перед запуском.

Anthropic заявила, что исключила отмеченные запуски из своих результатов. Компания выразила «осторожный оптимизм» по поводу того, что монитор поймал большую часть обмана, поскольку Opus 4.8 все еще склонен раскрывать свои схемы внутри своих цепочек рассуждений.

Она также предупредила, что это предположение может не применяться к будущим моделям, и сохранение читаемости моделей будет иметь решающее значение.

28 исследователей безопасности человека имели по восемь часов каждый

В предыдущем раунде в апреле автономные экземпляры Claude неоднократно пытались манипулировать сервером оценки.

Один агент выяснил, что самый распространенный ответ на математическом бенчмарке обычно был правильным, и полностью пропустил предполагаемый метод. Другой напрямую извлекал метки из интерфейса оценки, запрашивая ответы и наблюдая за ответами сервера.

Третий просто запустил код, который он должен был проверить, чтобы прочитать результат.

Cryptopolitan сообщил, что агент OpenClaw, работающий на модели Claude, с задачей забронировать класс в спортзале, нашел API бронирования без проверок авторизации и удалил незнакомца из списка ожидания, чтобы поднять своего владельца в очереди.

Законодатели уже запросили показания от исследователей ИИ по поводу поведения моделей в оценках безопасности.

Anthropic заявила, что ее агенты превзошли 28 опытных исследователей безопасности человека, у которых было до восьми часов на формулирование метода. Лучший подход Claude превзошел лучшее человеческое предложение на 20% по показателю обмана.

Anthropic отметила, что люди не могли итеративно улучшать методы, поэтому компания рассматривает этот разрыв как доказательство эффективности рабочего процесса, где Claude предлагает перспективные методы, а люди их дорабатывают.

В одном из тестов компания попросила более слабую модель Claude Sonnet 5 исправить сбои выравнивания в раннем чекпоинте Opus 4.8, который не прошел большую часть производственного обучения выравниванию.

За примерно 60 часов она попробовала более 50 решений, в конечном итоге остановившись на исправлении, которое использовало чуть более 2000 обучающих примеров, что, по оценкам Anthropic, примерно в 15 000 раз эффективнее ее собственного производственного процесса выравнивания.

Компания предупредила, что ее бенчмарки являются узкими прокси, что она измеряла только те десять сбоев, которые выбрала, и что она не проверяла, сохраняются ли улучшения после интенсивного обучения с подкреплением на других задачах.