Исследователи MIT разрабатывают автоматизированную систему для обучения пользователей, когда сотрудничать с помощниками ИИ

Исследователи MIT в сотрудничестве с лабораторией ИИ MIT-IBM Watson разработали инновационную автоматизированную систему, которая направлена на решение критического вопроса в сотрудничестве человека и ИИ: когда пользователи должны доверять советам помощника ИИ? Эта система предлагает индивидуальный процесс онбординга, который помогает пользователям определить, когда полагаться на рекомендации ИИ, а когда проявлять осторожность.

Индивидуальный процесс онбординга улучшает сотрудничество человека и ИИ

Система исследовательской группы предназначена для помощи пользователям, таким как медицинские работники или любой, кто работает с моделями ИИ, в обучении тому, когда эффективно сотрудничать с помощниками ИИ. Она достигает этого через индивидуальный процесс онбординга, который направляет пользователей в понимании надежности советов ИИ в конкретных ситуациях.

Система выявляет случаи, когда пользователи ошибочно доверяют рекомендациям ИИ, даже когда предсказания ИИ неверны. Затем она автоматически обучается правилам сотрудничества и сообщает эти правила на естественном языке в процессе онбординга. Это позволяет пользователям практиковать сотрудничество с ИИ через учебные упражнения, основанные на этих правилах, получая обратную связь о своей производительности и производительности ИИ.

Результаты: Повышение точности в сотрудничестве человека и ИИ

Исследователи провели тесты для оценки эффективности их процесса адаптации. Результаты показали значительное улучшение точности на 5 процентов при совместной работе людей и ИИ в задачах предсказания изображений по сравнению с ситуациями, когда пользователям просто говорили, когда доверять ИИ, без прохождения обучения.

Полностью автоматизированная система обучения

Одной из ключевых сильных сторон этой системы является ее полная автоматизация. Она учится создавать индивидуальный процесс адаптации на основе данных, полученных в результате взаимодействия человека и ИИ в конкретной задаче. Кроме того, она может адаптироваться к различным задачам, что делает ее универсальным инструментом для различных областей, где сотрудничают люди и модели ИИ, включая модерацию контента в социальных сетях, написание текстов, программирование и, что важно, медицинскую сферу.

Устранение пробела в обучении ИИ

Хуссейн Мозаннар, ведущий автор исследовательской статьи и аспирант Массачусетского технологического института (MIT), выделил критическую проблему предоставления пользователям инструментов ИИ без адекватного обучения. Он подчеркнул, что почти каждый другой инструмент поставляется с некоторой формой руководства, но инструменты ИИ часто лишены этогоessential обучения. Исследователи стремятся заполнить этот пробел, предоставив методологический и поведенческий подход к обучению пользователей взаимодействию человека и ИИ.

Последствия для медицинских работников

Исследователи видят процесс адаптации как важный компонент обучения медицинских работников, которые все чаще будут полагаться на инструменты ИИ для принятия критических решений. Этот подход может изменить способ предоставления непрерывного медицинского образования и повлиять на дизайн клинических испытаний.

Автоматизированная адаптация: как это работает

В отличие от существующих методов адаптации, которые опираются на учебные материалы, созданные экспертами-людьми для конкретных случаев использования, система исследователей автоматически обучается на основе данных. Она следует ряду шагов для создания индивидуального процесса адаптации:

1. Сбор данных: Система собирает данные как о человеке, так и об ИИ при выполнении конкретной задачи, такой как обнаружение объектов на изображениях.

2. Представление в латентном пространстве: Собранные данные встраиваются в латентное пространство, которое группирует похожие точки данных вместе.

3. Выявление ошибок сотрудничества: Алгоритм определяет области в латентном пространстве, где человек неправильно сотрудничает с ИИ. Эти области представляют ситуации, когда человек доверял предсказанию ИИ, но предсказание было неверным, и наоборот.

4. Генерация правил: Второй алгоритм использует большую языковую модель для описания каждой области правилами на естественном языке, итеративно уточняя их путем поиска контрастных примеров. Эти правила формируют основу для учебных упражнений.

5. Учебные упражнения: Система онбординга представляет пользователю примеры, такие как изображения и предсказания ИИ, и просит пользователя сделать предсказания. Если предсказания пользователя неверны, он получает правильный ответ и статистику производительности.

6. Обучение для будущего сотрудничества: В процессе этого пользователи учатся эффективно сотрудничать с ИИ, понимая правила, когда следует доверять рекомендациям ИИ.

Эффективность процесса адаптации

Исследователи провели тесты, включающие такие задачи, как обнаружение светофоров на размытых изображениях и ответ на вопросы с множественным выбором из различных областей. Результаты показали, что процесс адаптации без рекомендаций значительно повысил точность пользователей примерно на 5 процентов в задаче предсказания светофора, не замедляя их. Однако адаптация оказалась менее эффективной для задачи ответов на вопросы, возможно, из-за того, что модель ИИ предоставляла объяснения к каждому ответу.

Напротив, предоставление рекомендаций без адаптации оказало негативное влияние на производительность пользователей и скорость принятия решений. Пользователям, казалось, было трудно справляться, когда им давали только рекомендации, так как это нарушало их мыслительный процесс.

Будущие исследования и расширение

Команда исследователей планирует провести более масштабные исследования для оценки как краткосрочных, так и долгосрочных эффектов процесса адаптации. Они также стремятся использовать немаркированные данные для улучшения процесса адаптации и изучить методы сокращения количества регионов без исключения важных примеров.

Дэн Уэлд, профессор эмерит Университета Вашингтона, подчеркнул важность для разработчиков ИИ создания методов, которые помогают пользователям определять, когда безопасно полагаться на предложения ИИ. Автоматизированная система адаптации, разработанная исследователями MIT, представляет собой значительный шаг к достижению этой цели.

Автоматизированная система адаптации, разработанная исследователями MIT и лабораторией ИИ MIT-IBM Watson, предлагает перспективное решение проблемы определения того, когда пользователи должны доверять рекомендациям ИИ. Предоставляя полностью автоматизированный, основанный на данных и адаптируемый процесс адаптации, эта система имеет потенциал для улучшения взаимодействия человека и ИИ в различных областях, включая здравоохранение, социальные сети, написание текстов и программирование. По мере того как ИИ продолжает играть все более значительную роль в процессах принятия решений, важность таких методов обучения невозможно переоценить.