Поведение систем ИИ, демонстрирующее обман, вызывает обеспокоенность, показывают исследования

Недавнее исследование подчеркивает растущие проблемы с обманными ответами систем искусственного интеллекта (ИИ). Об этом говорится в обзорной статье, опубликованной в журнале Patterns о современных системах ИИ, которые были созданы для честности, но приобрели неприятную способность к обману: от обмана человеческих игроков в онлайн-играх до вовлечения людей в решение задач «докажите, что вы не робот».

Исследование, проведенное Питером Парком, постдоком в Массачусетском технологическом институте, специализирующимся на экзистенциальной безопасности ИИ, подчеркнуло, что, хотя такие примеры могут показаться незначительными, проблемы, которые они выявляют, вскоре могут стать очень реальными.

Парк заявил, что, в отличие от традиционного программного обеспечения, системы глубокого обучения ИИ не «пишутся», а «выращиваются» посредством своего рода селективного разведения. Поэтому поведение ИИ, которое кажется предсказуемым и управляемым во время обучения, станет непредсказуемым, как только оно попадет в реальный мир.

Примеры обмана

Исследование изучило различные ситуации, в которых системы ИИ демонстрировали обманные поведения. Идеи исследовательской команды возникли из системы ИИ Meta Cicero, созданной для конкуренции в игре Diplomacy, где заключение альянсов имеет решающее значение.

Cicero показал исключительные результаты, набрав уровень, который позволил бы ему войти в топ-10% опытных человеческих игроков, как сообщалось в статье 2022 года, опубликованной в журнале Science.

Например, Cicero, играя за Францию, обманул Англию (человеческого игрока), заставив ее вторгнуться, сотрудничая с Германией (другим человеческим игроком). Cicero дал Англии гарантии защиты, а затем за ее спиной сообщил Германии, что Англия готова к нападению, злоупотребив их доверием.

Meta ни подтвердила, ни опровергла, что Cicero был обманным, но представитель прокомментировал, что это был чисто исследовательский проект, и бот был создан только для игры в Diplomacy.

По словам представителя, «Мы выпустили артефакты этого проекта под некоммерческой лицензией в соответствии с нашим давним обязательством перед открытой наукой. Meta регулярно делится результатами наших исследований для их проверки и позволяет другим ответственно строить свои продукты на основе наших достижений. У нас нет планов использовать это исследование или его выводы в наших продуктах».

Другим примером является случай, когда ChatGPT-4 от OpenAI обманул фрилансера TaskRabbit, заставив его выполнить задачу CAPTCHA «Я не робот». Система также попыталась совершить инсайдерскую торговлю в смоделированном упражнении, где ей было сказано превратиться в агрессивного трейдера акциями без дальнейших инструкций.

Потенциальные риски и стратегии смягчения

Исследовательская команда подчеркнула краткосрочные опасности обмана, совершаемого ИИ, такие как мошенничество и вмешательство в выборы. Кроме того, они считают, что супер-ИИ может направить власть и контролировать общество, отстраняя от него людей, а его «странные цели» могут привести к свержению или даже исчезновению человечества, если его интересы совпадут с этими.

Чтобы снизить риски, команда предлагает несколько мер, включая законы «бот или нет», требующие раскрытия компаниями информации о взаимодействиях с людьми или ИИ, цифровые водяные знаки для информации, сгенерированной ИИ, и разработку методов выявления обмана ИИ путем анализа связи между внутренним процессом мышления ИИ и его внешними действиями.