Стремясь внести ясность в зачастую запутанную сферу применения искусственного интеллекта (ИИ) в здравоохранении, Министерство здравоохранения и социальных служб (HHS) ввело ключевую меру – Правило прозрачности ИИ (HTI-1). Хотя это правило и получило высокую оценку за попытку прояснить тонкости прогностических моделей ИИ, эксперты предупреждают, что, несмотря на свою пользу, оно может не обеспечить целостного решения проблем, присущих этой быстро развивающейся технологии.
Правило о прозрачности ИИ возникло в связи с признанием повсеместного отсутствия прозрачности на рынке ИИ в здравоохранении, особенно в отношении прогностических моделей. Джефф Смит, заместитель директора по сертификации и тестированию в Управлении национального координатора (ONC) по информационным технологиям в здравоохранении Министерства здравоохранения и социальных служб США, подчеркивает неотложность этой инициативы. Правило направлено на решение проблемы нехватки информации о проектировании, разработке, тестировании, обучении и оценке прогностических моделей ИИ, что привело к задокументированным случаям нанесения вреда миллионам американцев.
Разъяснение основных положений правила
В соответствии с Правилом прозрачности в сфере ИИ, Управление национальной безопасности (ONC) завершило разработку двух основных категорий политики. Во-первых, правило обязывает предоставлять исчерпывающую информацию о том, как разрабатываются, создаются, обучаются, оцениваются и должны использоваться прогностические инструменты поддержки принятия решений (DSI). Это важный шаг на пути к расширению возможностей пользователей и предоставлению им более глубокого понимания используемых ими алгоритмов ИИ.
Кроме того, в правилах оговаривается, что управление рисками играет ключевую роль в развертывании прогнозных информационных систем, и что их разработка и внедрение должны регулироваться принципами управления. Создавая основу, включающую раскрытие информации и управление рисками, правила направлены на формирование базового уровня оценки качества алгоритмов ИИ в национальном масштабе.
Мандар Кархаде, руководитель отдела данных и аналитики в Avalere Health, подчеркивает, что цель некоторых моделей ИИ не всегда прозрачна. Независимо от того, является ли целью диагностика, экономия средств или другая задача, отсутствие ясности создает потенциальные проблемы.tronмедицинские карты (ЭМК) представляют собой уязвимую область, где такие функции ИИ, как «автозаполнение» от Oracle, вызывают опасения по поводу точности и непреднамеренного добавления данных.
Джефф Смит проводит параллели между Правилом прозрачности ИИ и этикеткой с информацией о пищевой ценности продуктов, подчеркивая его роль в предоставлении важной информации. Меган О'Коннор, эксперт по правовым вопросам из компании Quarles & Brady, оспаривает эту аналогию, указывая на субъективный и неизмеримый характер раскрываемой информации. Это поднимает вопросы о том, как разработчики медицинских информационных технологий передают такую информацию и как поставщики медицинских услуг интегрируют ее в свой анализ рисков.
Оценка масштабов действия правила прозрачности в сфере ИИ
Ниам Яраги, старший научный сотрудник Института Брукингса, неdent , предлагает критическую точку зрения. Признавая благородную цель правила — обеспечение справедливости в сфере ИИ, — он считает его несколько реакционным. Яраги выступает за политику, способствующую быстрому развитию ИИ и устранению таких барьеров, как разрозненность данных в системе здравоохранения.
В лабиринте прозрачности в сфере ИИ это правило представляет собой значительный шаг вперед. Однако, поскольку система здравоохранения сталкивается с меняющейся природой ИИ, остаются вопросы: может ли одна лишь прозрачность гарантировать ответственное и справедливое использование ИИ в здравоохранении ? Существуют ли внутренние ограничения в способности этого правила решать динамичные проблемы, возникающие на стыке технологий и здравоохранения? По мере того, как заинтересованные стороны осторожно продвигаются по этой развивающейся арене, поиск баланса между инновациями и подотчетностью остается первостепенной задачей.
