ИИ в здравоохранении и сложные отношения

Модели искусственного интеллекта (ИИ) в здравоохранении показали перспективы в улучшении диагностических решений, но недавнее исследование, проведенное в Университете Мичигана, выявило тревожный аспект. Хотя точные модели ИИ повышают диагностическую точность для некоторых демографических групп, предвзятые модели, подпитываемые искаженными медицинскими данными, могут привести к серьезному снижению качества принятия решений. Несмотря на усилия регуляторов, таких как Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA), по обеспечению безопасности и прозрачности моделей ИИ, исследование, опубликованное в JAMA, предполагает, что клиницисты могут быть введены в заблуждение, даже если им предоставляются объяснения от ИИ.

Проблема предвзятых моделей ИИ

Исследование сосредоточилось на моделях ИИ и объяснениях, связанных с пациентами с острой дыхательной недостаточностью — состоянием со сложными диагностическими трудностями. В исследовании участвовали клиницисты, включая врачей-госпиталистов, медицинских сестер-практиков и врачей-ассистентов. Базовая диагностическая точность клиницистов составляла примерно 73%, что подчеркивает сложность определения причин дыхательной недостаточности.

Помощь ИИ и диагностическая точность

В ходе исследования клиницистам предлагалось дать рекомендации по лечению на основе их диагнозов для пациентов с дыхательной недостаточностью. Исследовательская команда оценила диагностическую точность 457 медицинских работников с помощью модели ИИ и без нее. Половина участников получила объяснение от ИИ вместе с решением модели ИИ, а другая половина получила только решение ИИ без объяснений.

Результаты показали, что клиницисты, получившие помощь от модели ИИ, даже без объяснений, увеличили свою диагностическую точность на 2,9 процентных пункта. При предоставлении объяснений их точность улучшилась на 4,4 процентных пункта, что демонстрирует потенциал ИИ для улучшения клинических решений.

Раскрытие недостатков: предвзятость в моделях ИИ

Чтобы проверить, могут ли объяснения помочь клиницистам выявить предвзятые или неверные модели ИИ, исследовательская команда намеренно представила клиницистам модели, обученные быть предвзятыми. Например, модель предсказывала высокую вероятность пневмонии, если пациенту было 80 лет или больше, демонстрируя потенциальные ловушки в обучении моделей ИИ.

Результаты выявили значительное снижение точности, когда клиницисты сталкивались с предвзятыми моделями ИИ. В случаях, когда объяснения явно указывали, что ИИ опирается на нерелевантную информацию, такую как связь низкой плотности костей у пациентов старше 80 лет с пневмонией, клиницисты не смогли восстановить уровень производительности. Это согласуется с опасениями по поводу того, что пользователи могут быть обмануты моделями ИИ, подчеркивая риски, связанные с предвзятыми обучающими данными.

Роль объяснений ИИ

Хотя объяснения ИИ, как было показано, улучшают диагностическую точность в целом, исследование подчеркивает трудности в разработке эффективных инструментов объяснения. Клиницистам необходимо понимать не только решение модели, но и лежащую в основе логику, передаваемую объяснением. Исследование подчеркивает необходимость междисциплинарных обсуждений для совершенствования инструментов объяснения и обеспечения эффективной коммуникации между моделями ИИ и клиницистами.

Последствия для будущих исследований и внедрения

Исследовательская группа Университета Мичигана надеется, что их исследование стимулирует больше исследований по безопасному внедрению моделей на основе ИИ в здравоохранение с учетом разнообразия демографических групп пациентов. Кроме того, исследование подчеркивает необходимость комплексного медицинского образования в области ИИ и предвзятости. По мере того как ИИ продолжает играть ключевую роль в принятии решений в здравоохранении, решение этих проблем становится критически важным для обеспечения безопасности пациентов и улучшения результатов лечения.

Двойственная природа ИИ в здравоохранении, как полезного инструмента и потенциального источника предвзятости, требует постоянных усилий по поиску баланса. Регуляторы, разработчики и клиницисты должны совместно работать над повышением прозрачности моделей ИИ, разработкой надежных инструментов объяснения и предоставлением тщательного образования по ИИ и предвзятости. По мере того как отрасль здравоохранения все больше интегрирует ИИ, решение этих проблем имеет первостепенное значение для построения доверия к приложениям ИИ и обеспечения того, чтобы они вносили положительный вклад в клинические решения.