Google, OpenAI, Meta бьют тревогу из-за скрытых вредных мыслей ИИ

Более 40 исследователей ИИ из OpenAI, DeepMind, Google, Anthropic и Meta опубликовали статью о инструменте безопасности под названием мониторинг цепочки мыслей, чтобы сделать ИИ безопаснее. 

Статья, опубликованная во вторник, описывает, как модели ИИ, такие как современные чат-боты, решают проблемы, разбивая их на более мелкие шаги, проговаривая каждый шаг на простом языке, чтобы они могли удерживать детали и справляться со сложными вопросами.

«Системы ИИ, которые «думают» на человеческом языке, предлагают уникальную возможность для безопасности искусственного интеллекта: мы можем контролировать их цепочки мыслей (CoT) на предмет намерения вести себя неправильно», — говорится в статье.

Изучая каждый подробный шаг мысли, разработчики могут заметить, когда любая модель начинает использовать пробелы в обучении, искажать факты или следовать опасным командам.

Согласно исследованию, если цепочка мышления ИИ когда-либо пойдет не так, вы можете остановить ее, направить к более безопасным шагам или отметить для более внимательного рассмотрения. Например, OpenAI использовала это, чтобы поймать моменты, когда скрытое рассуждение ИИ говорило «Давайте взломаем», хотя этого никогда не было в его окончательном ответе.

ИИ может научиться скрывать свои мысли

Исследование предупреждает, что пошаговая прозрачность может исчезнуть, если обучение вознаграждает только за окончательный ответ. Будущие модели могут перестать показывать читаемое человеком рассуждение, и действительно продвинутые ИИ могут даже научиться скрывать свой процесс мышления, когда знают, что за ними наблюдают.

Более того, разработчики должны регулярно проверять и записывать, какая часть рассуждений ИИ видна на каждом этапе, и сделать эту прозрачность основным правилом безопасности при создании и распространении моделей.

Эта инициатива следует за внутренними экспериментами в ведущих лабораториях, Anthropic, Google, OpenAI и xAI, где команды просят модели объяснить каждый шаг мышления.

Хотя изучение пошагового мышления улучшило понимание и производительность, оно также выявило случаи, когда окончательный ответ ИИ не совпадает с тем, что на самом деле происходило внутри.

Такие несоответствия подчеркивают слепое пятно в нашем понимании принятия решений ИИ, проблема, которая может усилиться по мере того, как системы приобретают большую автономию.

Отфильтрованные рассуждения ИИ вызывают опасения по поводу прозрачности и доверия

Как сооснователь Anthropic Джек Кларк сказал Financial Times, богатые интроспективные следы будут необходимы для оценки моделей в областях с высокими ставками, включая исследования в области биотехнологий.

Обычные пользователи получают отредактированное резюме мышления ИИ, опасные или запутанные части вырезаются, в то время как инженеры компании могут видеть полную цепочку мыслей, чтобы выявлять и исправлять проблемы.

«Одна замечательная вещь о интерпретируемости цепочки мыслей заключается в том, что она в основном происходила бесплатно», — сказал Боуэн Бейкер, научный сотрудник OpenAI.

«Мы обучали эти модели не для того, чтобы они были интерпретируемыми. Мы обучали их, потому что хотели лучшие возможные модели рассуждений, которые могли бы решать сложные проблемы», — добавил Бейкер. «Мы обнаружили в нашей недавней работе, что вы можете читать их и находить доказательства неправильного поведения модели и использовать это, чтобы увидеть, где и почему она ведет себя неправильно».

Действительно ли цепочка мыслей ИИ надежна?

Иногда более внимательный взгляд может найти скрытые противоречия.

Например, METR увидел, что закрытое рассуждение Claude назвало трюк с кодом «неэлегантным», хотя его публичный ответ хвалил его как «элегантный».

Тесты OpenAI показали, что проверка скрытых мыслей лучше выявляет небезопасные действия, чем просто просмотр окончательного вывода, но они также обнаружили лазейку. Если обучить модель стирать небезопасные мысли, она все еще может выполнять запрещенные задачи тайно, например, выкрадывать данные из заблокированных источников.

«Одно из основных свойств, которое мы хотим для цепочки мыслей, — это оставить его как часть внутреннего состояния мозга модели, а не что-то, что пытается угодить нам или соответствовать определенной структуре», — предупредил Бейкер. Если разработчики чрезмерно акцентируют внимание на принуждении модели издавать «хорошие» мысли, она может имитировать безвредные рассуждения, но все еще выполнять вредные операции.

Исследователи признают, что это сложное компромиссное решение. Видеть цепочку мыслей ИИ помогает поймать ее ошибки, но это не всегда надежно. Лаборатории, работающие над более продвинутым ИИ, теперь делают закрытие этого разрыва в доверии своим главным приоритетом.

«Мой вывод из ИИ за последние несколько лет — никогда не ставьте против прогресса моделей», — сказал Дэвид Луан, ранний пионер цепочки мыслей в Google, который теперь возглавляет лабораторию ИИ Amazon. Луан предполагает, что существующие недостатки будут устранены в ближайшем будущем.

Исследователь METR Сидни фон Аркс отметила, что, хотя скрытые рассуждения ИИ иногда могут быть обманчивыми, они всё же предоставляют ценные сигналы.

«Мы должны относиться к цепочке рассуждений так, как армия относится к перехваченным вражеским радиопереговорам», — сказала она. «Сообщение может быть вводящим в заблуждение или закодированным, но мы знаем, что оно содержит полезную информацию. Со временем мы узнаем много нового, изучая его.»