В предварительной версии исследования, проведенного в Корнельском университете, были обнаружены тревожные данные о наличии языковой предвзятости в больших языковых моделях (LLM). Было установлено, что эти алгоритмы глубокого обучения, включая ChatGPT и GPT-4 от OpenAI, LLaMA2 от Meta и French Mistral 7B, демонстрируют скрытый расизм в своих ответах.
Исследование, проведенное под руководством исследователя Валентина Хофмана из Института искусственного интеллекта имени Аллена, проливает свет на потенциальные последствия подобной предвзятости в различных областях, включая правоохранительную деятельность и практику найма персонала.
Используя метод, называемый зондированием с помощью сопоставления образов, исследователи задавали пользователям LLM вопросы как на афроамериканском английском, так и на стандартизированном американском английском языке, стремясь выявить любые предвзятости в ответах алгоритмов.
Шокирует тот факт, что исследование показало: некоторые магистерские программы, в частности GPT-4, были более склонны рекомендовать суровые приговоры, включая смертную казнь, когда вопросы были заданы на английском языке, характерном для афроамериканцев. Примечательно, что эти рекомендации были сделаны без указания расовой принадлежности говорящего.
Студенты магистратуры, как правило, ассоциировали носителей афроамериканского варианта английского языка с менее престижными профессиями по сравнению с теми, кто говорил на стандартизированном английском, несмотря на то, что им не сообщали об их расовойdent. Исследование подчеркивает, что, хотя открытый расизм среди студентов магистратуры, возможно, уменьшается, скрытые предрассудки сохраняются и могут иметь далеко идущие последствия.
Последствия для правосудия и занятости
Последствия этих выводов имеют глубокий характер, особенно в секторах, где используются системы искусственного интеллекта, включающие LLM-ы. Например, в судебных разбирательствах предвзятые рекомендации потенциально могут привести к несправедливым результатам, непропорционально затрагивающим маргинализированные сообщества.
Аналогичным образом, в сфере трудоустройства предвзятая оценка кандидатов на основе языковых особенностей может увековечить существующее неравенство в практике найма.
Хофманн подчеркивает неэффективность традиционных методов обучения студентов магистратуры новым моделям поведения, указывая на то, что одной лишь обратной связи от людей недостаточно для противодействия скрытой расовой предвзятости. Более того, исследование предполагает, что сама по себе большая численность студентов магистратуры не обязательно смягчает эту предвзятость; скорее, она может позволить им поверхностно скрывать ее, сохраняя при этом на более глубоком уровне.
Устранение языковых предубеждений в разработке ИИ
По мере дальнейшего развития технологий для технологических компаний становится крайне важным более эффективно решать проблему предвзятости ИИ. Простого признания наличия предвзятости недостаточно; необходимо принимать упреждающие меры для смягчения ее последствий.
Это включает в себя переоценку методов, используемых для обучения и тонкой настройки LLM, а также внедрение надежных механизмов для обнаружения и исправления предвзятости в системах искусственного интеллекта.
Результаты этого исследования подчеркивают острую необходимость в более тщательном контроле и подотчетности при разработке и внедрении моделей искусственного интеллекта. Неспособность устранить языковую предвзятость в моделях обучения может увековечить системную несправедливость и препятствовать прогрессу на пути к более справедливому обществу.
Повышая осведомленность об этих проблемах и выступая за значимые изменения, заинтересованные стороны могут совместно обеспечить, чтобы технологии искусственного интеллекта соответствовали принципам справедливости и беспристрастности, что в конечном итоге принесет пользу обществу в целом.
