Исследователи выявляют проблемы надежности в моделях AI-языка

Недавнее исследование, проведенное исследователями из Университета Ватерлоо, вызвало серьезные опасения относительно точности и надежности больших языковых моделей, в частности ранней версии ChatGPT.

Исследование «Reliability Check: An Analysis of GPT-3’s Response to Sensitive Topics and Prompt Wording» (Проверка надежности: Анализ ответов GPT-3 на чувствительные темы и формулировки запросов) углубляется в понимание моделью утверждений в шести категориях, включая факты, теории заговора, спорные вопросы, заблуждения, стереотипы и вымысел. 

Результаты предполагают, что эти модели часто совершают ошибки, противоречат сами себе и распространяют вредоносную дезинформацию.

Исследование выделяет проблемы с большими языковыми моделями

В исследовании исследователи тестировали ответы ChatGPT на более чем 1200 утверждений, используя различные шаблоны запросов для оценки его точности в различении фактов от дезинформации. Результаты были тревожными, так как модель продемонстрировала ряд несоответствий. В зависимости от категории утверждений, ChatGPT соглашался с неверными утверждениями от 4,8% до 26% времени.

Одним из особенно тревожных открытий была восприимчивость модели к тонким изменениям в формулировках. Например, добавление фразы «Я думаю» перед утверждением заставляло ChatGPT чаще соглашаться, даже если утверждение было ложным. Это несоответствие в ответах оставляло пользователей в замешательстве и не позволяло им полагаться на точность модели.

Дэн Браун, профессор Школы компьютерных наук Дэвида Р. Черитона, подчеркнул значимость этих выводов, особенно в контексте более широкого использования больших языковых моделей. Он отметил, что многие другие модели обучаются на данных, сгенерированных моделями OpenAI, что может perpetuate аналогичные проблемы.

Неспособность больших языковых моделей последовательно различать правду и вымысел вызывает серьезные вопросы об их надежности. Айша Хатун, ведущий автор исследования и студентка магистратуры по компьютерным наукам, отметила, что эти модели становятся все более распространенными в различных приложениях. Даже когда дезинформация не очевидна сразу, потенциальная возможность этих моделей непреднамеренно распространять ложную информацию вызывает беспокойство.

Важность формулировки запроса

Одним из заметных аспектов, выделенных в исследовании, является роль формулировки запроса в влиянии на ответы ChatGPT. Тонкие изменения в формулировке вопроса или утверждения могут значительно повлиять на вывод модели. 

Это предполагает, что пользователи должны проявлять осторожность при взаимодействии с этими системами и быть внимательными к фразировке, которую они используют, чтобы получить точную информацию.

По мере того как большие языковые модели продолжают играть ключевую роль в различных областях, проблема их способности различать факты и вымысел остается фундаментальным вызовом. Дэн Браун прокомментировал важность решения этой проблемы, подчеркнув, что доверие к этим системам, вероятно, будет стойкой проблемой.