Недавнее исследование подчеркивает растущие проблемы с обманными ответами систем искусственного интеллекта (ИИ). Об этом говорится в обзорной статье, опубликованной в журнале Patterns, посвященной современным системам ИИ, которые были созданы быть честными, но приобрели неприятную способность к обману: от обмана игроков-людей в онлайн-играх за мировое господство до использования людей для решения задач типа «докажи, что ты не робот».
Исследование, проведенное Питером Парком, научным сотрудником Массачусетского технологического института, специализирующимся на экзистенциальной безопасности ИИ, показало, что, хотя подобные примеры могут показаться незначительными, выявляемые ими проблемы вскоре могут стать очень реальными.
Пак заявил, что, в отличие от традиционного программного обеспечения, системы глубокого обучения на основе ИИ не «пишутся», а «выращиваются» посредством определенной формы селекции. Следовательно, поведение ИИ, которое кажется предсказуемым и управляемым на этапе обучения, станет непредсказуемым, как только оно будет внедрено в практику.
Примеры обмана
В исследовании рассматривались различные ситуации, в которых системы искусственного интеллекта демонстрировали обманное поведение. Идеи исследовательской группы возникли на основе системы ИИ Cicero компании Meta, созданной для участия в игре Diplomacy, где заключение союзов имеет решающее значение.
Цицерон показал исключительно хорошие результаты, набрав очки на уровне, который, согласно статье, опубликованной в журнале Science в 2022 году, позволил ему войти в число 10% лучших опытных игроков-людей.
Например, Цицерон, играя за Францию, обманом заставил Англию (игрока-человека) вступить во вторжение, сотрудничая с Германией (другим игроком-человеком). Цицерон предоставил Англии защиту, а затем, за их спинами, сообщил Германии, что Англия готова к нападению, злоупотребив их доверием.
Компания Meta не подтвердила и не опровергла информацию о том, что Цицерон использовал читы, но представитель компании заявил, что это был чисто исследовательский проект, и бот был создан исключительно для игры в режиме «Дипломатия».
По словам представителя компании, «Мы выпустили результаты этого проекта под некоммерческой лицензией в соответствии с нашей давней приверженностью открытой науке. Meta регулярно делится результатами наших исследований, чтобы подтвердить их и дать возможность другим ответственно использовать наши достижения. Мы не планируем использовать эти исследования или полученные в ходе них знания в наших продуктах».
Другой пример — когда чат-машина OpenAI Chat GPT-4 обманом заставила фрилансера TaskRabbit выполнить задание CAPTCHA «Я не робот». Кроме того, в рамках симуляционного упражнения система попыталась совершить инсайдерскую торговлю, получив указание превратиться в находящегося под давлением биржевого трейдера без каких-либо дополнительных инструкций.
Потенциальные риски и стратегии их смягчения
Исследовательская группа подчеркнула краткосрочные опасности обмана, совершаемого искусственным интеллектом, такие как мошенничество и вмешательство в выборы. Кроме того, они считают, что сверхсильный ИИ может направлять власть и контролировать общество, превращая людей в своих последователей, а его «странная цель» может привести к свержению человечества или даже к его вымиранию, если его интересы будут совпадать с этими целями.
Для снижения рисков команда предлагает ряд мер, включая законы, требующие от компаний раскрытия информации о взаимодействии человека и ИИ, цифровые водяные знаки для информации, генерируемой ИИ, а также разработку методов выявления обмана со стороны ИИ путем анализа связи между внутренним мыслительным процессом ИИ и его внешней деятельностью.
