Правило прозрачности ИИ раскрывает потенциальные преимущества на фоне ограничений

Стремясь прояснить часто мутные воды искусственного интеллекта (ИИ) в здравоохранении, Министерство здравоохранения и социальных служб (HHS) приняло ключевую меру — Правило прозрачности ИИ (HTI-1). Хотя его хвалят за попытку пролить свет на сложность предиктивных моделей ИИ, эксперты предупреждают, что, хотя правило полезно, оно может не обеспечить комплексного решения проблем, присущих этой быстро развивающейся технологии.

Правило прозрачности ИИ вытекает из признания повсеместного отсутствия прозрачности на рынке медицинского ИИ, особенно в отношении предиктивных моделей. Джефф Смит, заместитель директора по сертификации и тестированию в Управлении национального координатора (ONC) по технологиям здравоохранительной информатики при HHS, подчеркивает срочность этой инициативы. Правило призвано устранить дефицит информации о проектировании, разработке, тестировании, обучении и оценке предиктивных моделей ИИ, что привело к задокументированному вреду для миллионов американцев.

Освещая основы правила

В соответствии с Правилом прозрачности ИИ, ONC утвердило две общие категории политик. Во-первых, правило требует предоставления исчерпывающей информации о том, как проектируются, разрабатываются, обучаются, оцениваются и должны использоваться предиктивные вмешательства в поддержку принятия решений (DSI). Это является важным шагом к расширению прав и возможностей пользователей для более глубокого понимания алгоритмов ИИ, которые они используют.

Кроме того, правило предусматривает, что управление рисками играет ключевую роль во внедрении предиктивных DSI, а управление должно направлять их проектирование и реализацию. Создавая рамки, включающие раскрытие информации и управление рисками, правило стремится установить базовый уровень для оценки качества алгоритмов ИИ в национальном масштабе.

Мандар Кархаде, руководитель направления данных и аналитики в Avalere Health, подчеркивает, что намерения некоторых моделей ИИ не всегда прозрачны. Независимо от того, является ли цель диагностикой, экономией средств или другой задачей, отсутствие ясности создает потенциальные проблемы. Электронные медицинские карты (EHR) становятся уязвимой областью, при этом такие функции ИИ, как «автозаполнение» от Oracle, вызывают опасения относительно точности и непреднамеренного добавления данных.

Джефф Смит проводит параллели между Правилом прозрачности ИИ и этикеткой с пищевой ценностью, выделяя его роль в предоставлении необходимой информации. Меган О’Коннор, юридический эксперт из Quarles & Brady, оспаривает эту аналогию, указывая на субъективный и неизмеримый характер раскрываемой информации. Это вызывает вопросы о том, как разработчики медицинских информационных технологий коммуницируют такую информацию и как поставщики услуг интегрируют ее в свой анализ рисков.

Оценка масштаба правила прозрачности ИИ

Найам Яраги, старший научный сотрудник Бруклинского института, предлагает критическую перспективу. Признавая благородную цель правила — обеспечение справедливости в ИИ, он считает его несколько реактивным. Яраги выступает за политику, способствующую быстрым достижениям в области ИИ и устранению барьеров, таких как изолированные хранилища данных в системе здравоохранения.

В навигации по лабиринту прозрачности ИИ это правило представляет собой значительный шаг вперед. Однако, поскольку здравоохранение борется с меняющейся природой ИИ, остаются вопросы: Может ли одна только прозрачность обеспечить ответственное и справедливое использование ИИ в здравоохранении? Существуют ли присущие ограничениям способности правила решать динамические вызовы, возникающие на пересечении технологий и здравоохранения? Пока заинтересованные стороны осторожно продвигаются по этой меняющейся арене, поиск баланса между инновациями и подотчетностью остается первостепенным.