Галлюцинации, вызванные ИИ: Блог исследователя провоцирует дезинформацию в поисковых системах

Чат-боты на базе искусственного интеллекта (ИИ), работающие на генеративных моделях, были непреднамеренно введены в заблуждение статьей в исследовательском блоге. Этот инцидент подчеркивает необходимость усиления мер защиты по мере распространения поисковых систем с ИИ.

Галлюцинации в чат-ботах ИИ

Исследователь в области информационных наук Дэниел С. Гриффин непреднамеренно спровоцировал уникальную дилемму в сфере чат-ботов ИИ, когда разместил примеры ложной информации в своем блоге. Его целью было проиллюстрировать случаи распространения дезинформации чат-ботами ИИ. Гриффин привел два примера, связанных с влиятельным компьютерным ученым Клодом Э. Шенноном, с четким предупреждением о том, что информация в чат-ботах является ложной.

Однако это предупреждение оказалось недостаточным для предотвращения индексации ложной информации машинами-скрейперами. Гриффин был удивлен, обнаружив, что несколько чат-ботов, включая Bing от Microsoft и Bard от Google, сослались на сгенерированные данные как на факты, поставив их в верхнюю часть результатов поиска. Когда пользователи запрашивали у чат-ботов конкретные детали о Шенноне, боты опирались на предупреждение Гриффина, чтобы построить последовательный, но ошибочный нарратив. В результате Шеннону приписали статью, которую он никогда не писал.

Более того, тревожным аспектом этой ситуации было отсутствие каких-либо указаний в результатах поиска Bing и Bard о том, что их источники были получены от языковых моделей ИИ (LLM). Это явление тесно напоминает случаи, когда люди перефразируют или цитируют источники вне контекста, что приводит к ошибочным исследованиям. Однако инцидент с Гриффином показал, что генеративные модели ИИ могут потенциально автоматизировать эту ошибку в гораздо больших масштабах.

Последствия дезинформации, вызванной ИИ

Последствия этого инцидента выходят за рамки простых неточностей в исследованиях. Microsoft уже исправила ошибку в Bing и предположила, что проблема чаще возникает в темах с ограниченным количеством контента, написанного людьми. Эта уязвимость открывает дверь к тревожной возможности — теоретическому плану для злоумышленников намеренно использовать LLM для распространения дезинформации путем манипуляции результатами поисковых систем. Эта тактика напоминает прошлые случаи, когда хакеры использовали мошеннические сайты для распространения вредоносного ПО, занимая верхние позиции в результатах поиска.

Этот инцидент перекликается с предыдущим предупреждением от июня, которое предполагало, что по мере того, как интернет становится все более насыщенным контентом, сгенерированным LLM, он будет использоваться для обучения будущих LLM. Этот петлевой процесс может привести к значительному ухудшению качества и надежности ИИ моделей, явлению, известному как «Коллапс модели». Необходимость бдительности в разработке и использовании моделей ИИ никогда не была более очевидной.

Инцидент с Дэниелом С. Гриффином подчеркивает необходимость для компаний, работающих с ИИ, приоритизировать постоянное обучение моделей на контенте, созданном людьми. Сохранение менее известной информации и материалов, написанных меньшинствами, может сыграть ключевую роль в смягчении распространения дезинформации, поддерживаемой системами ИИ.