ChatGPT может пройти медицинский осмотр, но не проходит оценку риска сердечно-сосудистых заболеваний

Согласно сообщениям, ChatGPT способен проводить медицинские обследования, однако полагаться на него при проведении некоторых серьезных медицинских оценок, например, если пациенту с болями в груди требуется госпитализация, будет неразумным решением, как показывают новые исследования.

ChatGPT — умная программа, но она плохо справляется с оценкой работы сердца

В исследовании, опубликованном в журнале PLOS ONE, компания ChatGPT представила различные выводы, получив противоречивые результаты по уровню риска сердечно-сосудистых заболеваний у одного и того же пациента в исследовании, в котором участвовали тысячи пациентов с болями в груди.

Исследователь из Медицинского колледжа им. Элсона С. Флойда при Вашингтонском государственном университете, доктор Томас Хестон, который также был ведущим автором исследования, сказал:

«ChatGPT работал непоследовательно; при работе с одними и теми же данными ChatGPT присваивал оценку низкого риска, затем — среднего, а иногда и высокого»

Источник: WSU.

По мнению исследователей, проблема, вероятно, связана со степенью случайности, заложенной в последнюю версию программного обеспечения ChatGPT-4, поскольку это помогает ему разнообразить ответы, имитируя естественный язык. Однако Хестон утверждает, что такой же уровень случайности не подходит для использования в здравоохранении и может быть опасен, поскольку требует единственного, последовательного ответа.

Врачи должны быстро оценить срочность состояния пациента, поскольку боли в груди — это распространенная жалоба в отделениях неотложной помощи больниц. 

Некоторые очень тяжелобольные пациенты легко идентифицируютсяdentсимптомам ,но сложнее всего определить тех, у кого риск ниже, — говорит доктор Хестон, — особенно когда нужно решить, находится ли пациент в достаточно безопасном состоянии, чтобы отправить его домой с амбулаторным лечением, или его следует госпитализировать.

Другие системы оказываются более надежными

Нейронная сеть искусственного интеллекта, такая как ChatGPT, обученная на большом количестве параметров с использованием огромных наборов данных, может оценивать миллиарды переменных за секунды, что позволяет ей быстрее и гораздо детальнее понимать сложные сценарии. 

Доктор Хестон говорит, что медицинские работники в основном используют две модели для оценки риска заболеваний сердца: HEART и TIMI, и ему нравится это программное обеспечение, поскольку оно использует ряд переменных, включая возраст, историю болезни и симптомы, и опирается на меньшее количество переменных, чем ChatGPT.

Для исследования доктор Хестон и его коллега, доктор Лоуренс Льюис из кампуса Сент-Луис того же университета, использовали три набора данных, каждый из которых содержал 10 000 случайно смоделированных случаев. Один набор данных включал пять переменных из шкалы оценки сердечного ритма; другой — семь переменных из шкалы TIMI; а третий — 44 переменные, выбранные случайным образом. 

Для первых двух наборов данных ChatGPT выдавал непоследовательные оценки риска в 45–48% случаев при моделировании отдельных случаев по сравнению с постоянными значениями TIMI и HEART. Однако для третьего набора данных, несмотря на многократный запуск, ChatGPT выдавал разные результаты для одних и тех же случаев.

Доктор Хестон считает, что по мере развития технологий у GenAI в здравоохранении появляется всё больший потенциал, несмотря на неудовлетворительные результаты исследования .По его словам, медицинские записи можно загружать в системы, и в случае возникновения чрезвычайной ситуации врачи могут обратиться к ChatGPT с просьбой предоставить наиболее важную информацию о пациенте. Также можно запросить у ChatGPT возможные диагнозы и обоснование каждого из них, что поможет врачам разобраться в проблеме.