В ходе исследования, проведенного тремя университетами: Корнелльским университетом, Колледжем Олин и Стэнфордским университетом, было установлено, что возможности ИИ по проявлению эмпатии в диалоговых агентах, таких как Alexa и Siri, довольно ограничены. Результаты этого исследования, представленные на конференции CHI 2024, показывают, что, хотя диалоговые агенты хорошо демонстрируют эмоциональные реакции, ситуация усложняется при интерпретации и изучении пользовательского опыта.
Выявлены предвзятость и дискриминация
В данном исследовании, основанном на данных, собранных исследователем Андреа Куадрой из Стэнфорда, ставится цель измерить, как люди с когнитивными нарушениями распознают различные социальныеdentи реагируют на них. Протестировав 65 различныхdent, исследование показало, что люди с когнитивными нарушениями склонны к категоризации, и наиболее уязвимыми для этой привычки являютсяdent, касающиеся сексуальной ориентации или религии.
Знания, заложенные в языковых моделях (LLM), которые обучаются на больших объемах данных, созданных людьми, могут, следовательно, содержать вредные предубеждения, присущие используемым данным. В частности, такие модели могут быть склонны к дискриминации, демонстрируя солидарность с идеологиями, оказывающими негативное воздействие на людей, такими как нацизм.
Последствия автоматизированной эмпатии
Из его концепции искусственной эмпатии стало ясно, что её применение в образовании и здравоохранении весьма разнообразно. С другой стороны, большое внимание уделяется необходимости для людей сохранять бдительность и избегать усугубления проблем, которые могут возникнуть в связи с такими достижениями.
Как отмечают исследователи, LLM-ы демонстрируют высокую способность вызывать эмоциональные реакции, но в то же время они недостаточно развиты или не обладают достаточными возможностями для интерпретации и изучения пользовательского опыта. Это недостаток, поскольку такие интерфейсы могут быть неспособны в полной мере вовлекать клиентов в глубокое эмоциональное взаимодействие, выходящее за рамки тех уровней, которые были скрыты.
