Министерство обороны США завершило пилотную программу по использованию чат-ботов в военной медицине

Один из последних проектов, связанных с Министерством обороны и осуществлявшихся при администрации Байдена, успешно завершился. Управление по цифровым технологиям и искусственному интеллекту (CDAO) Министерства обороны США завершило пилотный проект программы Crowdsourced AI Red-Teaming (CAIRT) Assurance. Эта инициатива направлена ​​на интеграцию чат-ботов на основе ИИ в военно-медицинские службы. 

Чат-боты на основе больших языковых моделей (LLM) были внедрены в рамках программы CAIRT. Кроме того, CAIRT оказала помощь Министерству обороны в разработке децентрализованных стратегий с использованием краудсорсинга для снижения рисков, связанных с ИИ, и обеспечения качества ИИ.

Более 200 медицинских работников и аналитиков в сфере здравоохранения внесли свой вклад вdentпотенциальных уязвимостей при использовании чат-ботов с искусственным интеллектом в военно-медицинских приложениях. Примечательно, что вdentпилотного проекта было выявлено несколько сотен потенциальных проблем, как сообщило Министерство обороны США.

В связи с этим Министерство обороны заявило: «В результате этого мероприятия будут получены воспроизводимые и масштабируемые результаты за счет разработки эталонных наборов данных, которые можно будет использовать для оценки будущих поставщиков и инструментов на предмет соответствия ожиданиям по производительности». 

Программа CAIRT: закулисные подробности

Согласно данным Министерства обороны, пилотный проект CAIRT LLM был реализован некоммерческой организацией, занимающейся защитой прав человека в сфере здравоохранения. Это стало возможным благодаря партнерству с Агентством здравоохранения Министерства обороны (DHA) и Программным исполнительным управлением систем управления здравоохранением Министерства обороны (PEO DHMS).

Кроме того, в рамках гуманной разведки использовалась методика «красной команды» дляdentконкретных системных проблем. Это включало внутреннее тестирование устойчивости системы с использованием методов противодействия. 

Кроме того, в «красную команду» вошли участники, заинтересованные во взаимодействии с новыми технологиями и рассматривающие их как потенциальных будущих бенефициаров. Им была предоставлена ​​возможность внести свой вклад в совершенствование систем.

В рамках этой программы гуманная разведка использовала коллективный поиск потенциальных угроз для решения двух задач в военной медицине: составление кратких обзоров клинических записей и создание чат-бота для медицинских консультаций.

Несмотря на выявленные уязвимостиdentМинистерство обороны подчеркнуло: «Эти результаты сыграют решающую роль в формировании политики и передовых методов Министерства обороны в области ответственного использования генеративного искусственного интеллекта (GenAI), что в конечном итоге улучшит военно-медицинскую помощь. Если при внедрении эти перспективные варианты использования будут включать в себя ИИ, defiв документе OMB M-24-10, они будут соответствовать всем необходимым правилам управления рисками».

Тем не менее, Министерство обороны заявило, что программа обеспечения качества CAIRT продолжит тестирование LLM и систем ИИ. Это ускорит работу подразделения быстрого реагирования CDAO по разработке ИИ, повысит эффективность достижения цели GenAI и поможет укрепить доверие во всех сценариях использования ИИ в Министерстве обороны.

Руководитель инициативы CDAO, доктор Мэтью Джонсон, также отметил: «Поскольку применение GenAI в таких целях в Министерстве обороны находится на ранних этапах пилотного внедрения и экспериментов, эта программа служит важным первопроходцем для генерации большого объема тестовых данных, выявления областей для рассмотрения и проверки вариантов смягчения последствий, которые определят будущие исследования, разработки и обеспечение безопасности систем GenAI, которые могут быть развернуты в будущем».

Ожидается, что будущая администрация продолжит эти проекты. Команда Трампа сохраняет открытый подход к искусственному интеллекту, несмотря на стремление конкурировать с Китаем.

Насколько безопасен искусственный интеллект в медицинской сфере? 

Несмотря на то, что искусственный интеллект оказывает огромное положительное влияние на медицинскую науку, он также сопряжен с рядом существенных рисков и опасностей.

Для оценки состояния системы искусственного интеллекта используют специальные алгоритмы, требующие больших массивов данных для повышения точности. Этот метод ставит под угрозу безопасность, конфиденциальность иdent. В настоящее время, поскольку фармацевтические и страховые корпорации заинтересованы в таких наборах данных, хакерство значительно расширилось. Взлом медицинских файлов также может быть частью кибератаки со стороны правительства.

Кроме того, отравление данных, преднамеренное изменение медицинских данных с целью внесения ошибок или искажений в систему здравоохранения, является еще одним серьезным риском неправомерного использования медицинских данных. Это снижает точность и надежность медицинских рекомендаций. Использование ИИ различных моделей эпидемиологических данных, как, например, во время пандемии COVID-19, может давать разные результаты.

Ещё одной проблемой может быть несовершенный медицинский алгоритм. Это может быть связано с недостаточным тестированием алгоритма, поскольку отсутствуют установленные стандарты для проверки его достоверности. Например, двойные слепые испытания являются наиболее эффективным способом доказать эффективность лечения. 

Тем не менее, кто будет нести ответственность за такую ​​ошибку — личный врач, больница, поставщик оборудования или разработчик алгоритма? Таким образом, медицинские ошибки, вызванные неисправностью оборудования, порождают серьезные юридические вопросы.

Чат-боты с искусственным интеллектом играют в доктора? 🤖 Пока еще нет.

Исследование показало, что их диагностические навыки, мягко говоря, оставляют желать лучшего.

Искусственному интеллекту в здравоохранении еще требуется доработка, прежде чем ему можно будет доверять ваше здоровье. 🩺 pic.twitter.com/W2ast8S7iO

— CAD Black Ops (@CADBlackOps) 2 января 2025 г.

Кроме того, ИИ может ухудшить отношения между врачом и пациентом. Поэтому врачам необходимо понимать принципы оценки и работы ИИ, чтобы объяснять пациентам его роль и снижать уровень тревожности.

Наконец, существует феномен, известный как «эффект ленивого врача». Если врач использует исключительно алгоритмы искусственного интеллекта для диагностики и лечения, это может привести к прогрессирующей, необратимой потере практических навыков, интеллектуальной креативности и способности решать медицинские проблемы.

Однако люди уже привыкли к чат-ботам в своей повседневной жизни. При надлежащих исследованиях чат-боты на основе искусственного интеллекта могут устранить мелкие ошибки, которые допускают врачи, тем самым сделав медицинскую сферу более безопасной.