Почему большие языковые модели (LLM) могут представлять серьезную угрозу для науки

Большие языковые модели (LLM) являются значительным шагом вперед в секторе искусственного интеллекта. Однако одна из главных проблем, связанных с LLM, заключается в их способности представлять неточную информацию как факт, что создает ряд рисков.

LLM и галлюцинации

LLM иногда могут создавать «галлюцинации» — ложные или вводящие в заблуждение утверждения, не основанные на реальности. Этот недостаток обычно проистекает из данных, на которых обучаются модели. 

Модели ИИ обучаются на огромных объемах данных, извлеченных из Интернета, которые содержат как точную, так и неточную информацию. В результате LLM учатся генерировать текст, соответствующий данным, на которых они были обучены, даже если этот текст не является фактологически точным.

Например, LLM, попросившая написать резюме научной статьи, может сгенерировать резюме, содержащее фактические ошибки, потому что она научилась связывать определенные слова и фразы с определенными концепциями, даже если эти связи неточны.

При наличии такого недостатка использование LLM становится проблемой, особенно в науке, где факты имеют решающее значение. 

«Важно то, как используются LLM. В научном сообществе жизненно важно иметь доверие к фактической информации, поэтому важно использовать LLM ответственно. Если LLM используются для генерации и распространения научных статей, это может привести к серьезному вреду», — говорит профессор Сандра Вахтер из Оксфордского института Интернета.

Лучший подход к использованию LLM

В исследовательской работе, опубликованной профессором Вахтер, Брентом Миттельштадтом и Крисом Расселлом из Оксфорда, они утверждали, что следует четко определять ожидания относительно того, как модели ИИ могут ответственно и полезно вносить вклад, чтобы защитить науку и образование. 

Исследователи отметили, что LLM лучше всего использовать как «переводчики с нулевым обучением» (zero-shot translators), то есть пользователи должны предоставлять моделям только точную информацию и просить их переписать в желаемый текст. «Для задач, где важна истина, мы рекомендуем пользователям писать промпты для перевода, включающие проверенную фактическую информацию», — говорится в статье.