Регулирование ИИ-чатботов необходимо для безопасности пациентов в здравоохранении

Генеративные чат-инструменты на основе LLM, такие как ChatGPT и MedPaLM от Google, демонстрируют большой потенциал в медицинской сфере. Однако нерегулируемое использование ИИ-чатботов несет в себе присущие риски. Недавняя статья подробно рассматривает насущную международную проблему регулирования больших языковых моделей (LLM) в целом и конкретно в здравоохранении. Профессор Стивен Гилберт, эксперт по нормативной науке о медицинских устройствах, подчеркивает необходимость разработки новых рамок, которые ставят во главу угла безопасность пациентов при использовании этих мощных чат-ботов.

LLM — это языковые модели нейронных сетей, известные своими выдающимися навыками общения. Они могут генерировать ответы, похожие на человеческие, и участвовать в интерактивных разговорах. Однако одна из ключевых проблем заключается в том, что они часто предоставляют высокоубедительную, но неверную или неуместную информацию. В настоящее время не существует надежного способа определить качество, уровень доказательности или согласованность клинической информации и поддерживающих доказательств, предоставляемых этими чат-ботами. Следовательно, полагаться на них для получения медицинских советов может быть небезопасно, что требует создания новых рамок для обеспечения благополучия пациентов.

Интеграция чат-ботов с поисковыми системами

Исследования показывают, что многие люди ищут симптомы в Интернете перед тем, как обратиться за медицинской помощью, часто полагаясь на результаты поисковых систем. Предстоящая интеграция чат-ботов на основе LLM в поисковые системы может еще больше повысить уверенность пользователей в ответах, предоставляемых этими разговаривающими инструментами. Однако исследования продемонстрировали, что LLM могут генерировать глубоко опасную информацию при столкновении с медицинскими запросами. Это подчеркивает насущную необходимость регулирования контроля за интеграцией LLM с поисковыми системами.

Проблема LLM заключается в отсутствии у них медицинской модели «истинного положения дел», что делает их изначально рискованными. Уже были случаи, когда чат-интерфейсные LLM предоставляли вредные медицинские ответы или неэтично использовались в экспериментах на пациентах без надлежащего согласия. Почти каждый случай использования LLM в медицине требует надзора со стороны регулирующих органов в ЕС и США. В США их необъяснимость исключает возможность классификации их как «неустройств». Ни одна LLM не обладает объяснимостью, низкой предвзятостью, предсказуемостью, правильностью и проверяемыми выводами. Следовательно, они не освобождаются от текущих или будущих подходов к управлению.

Потенциальные применения в рамках существующих рамок

Авторы статьи описывают ограниченные сценарии, в которых LLM могут применяться в рамках текущих регулирующих рамок. Они также описывают, как разработчики могут стремиться создавать инструменты на основе LLM, которые могут получить одобрение в качестве медицинских устройств. Однако важно отметить, что текущие чат-боты на основе LLM не соответствуют основным принципам ИИ в здравоохранении, таким как контроль предвзятости, объяснимость, системы надзора, валидация и прозрачность. Чтобы занять свое место в медицинской сфере, чат-боты должны быть разработаны с улучшенной точностью, демонстрируя безопасность и клиническую эффективность, одобренную регуляторами.

Регулирование ИИ-чатботов, особенно основанных на LLM, в качестве медицинских устройств имеет жизненно важное значение для обеспечения безопасности пациентов в здравоохранении. Риски, связанные с их нерегулируемым использованием, подчеркивают необходимость разработки рамок, которые решают проблемы точности, безопасности и клинической эффективности. Чтобы завоевать доверие к инструментам на основе LLM, они должны придерживаться ключевых принципов ИИ в здравоохранении. Сотрудничество между разработчиками и регуляторами имеет решающее значение для установления руководящих принципов, способствующих ответственной и этичной реализации чат-ботов на основе LLM в медицинской сфере.