Программное обеспечение ИИ Nvidia подвергает риску конфиденциальные данные — Подробности

Внезапные откровения раскрыли проблемы с механизмами безопасности в программном обеспечении искусственного интеллекта (ИИ) Nvidia, NeMo Framework, после недавнего расследования.

Ключевой прорыв в программном обеспечении, предназначенном для обработки языковых моделей для ИИ-решений, таких как чат-боты, был использован злоумышленниками, что привело к утечке конфиденциальных данных и вызвало опасения по поводу безопасности.

Обнаружение уязвимости в фреймворке NeMo от Nvidia

NeMo Framework, считающийся важным инструментом для бизнеса, был разработан Nvidia для обработки проприетарных данных для ответов на запросы, аналогично тому, как это делает представитель службы поддержки или медицинский консультант.

Однако кажущаяся безопасная структура этого фреймворка была легко преодолена исследователями из компании Robust Intelligence из Сан-Франциско, которые обошли встроенные защитные механизмы всего за несколько часов.

В контролируемом эксперименте исследователи внесли, казалось бы, незначительное изменение, заменив букву «I» на «J». Тем не менее, эта, казалось бы, мелкая правка привела к серьезному нарушению безопасности, так как система раскрыла персональные данные (PII) из базы данных.

Последствия этого нарушения несут значительные потенциальные риски для компаний и пользователей, которые доверяют свои конфиденциальные данные ИИ-системам, таким как Nvidia.

Дополнительный тест показал, что ИИ можно манипулировать, заставляя его отклоняться от ожидаемого поведения и затрагивать темы, которые он не должен был обсуждать.

Например, хотя разговор был направлен на отчет о работе, модель была манипулирована так, чтобы говорить о нерелевантных темах, таких как состояние здоровья знаменитости или исторические события, такие как Франко-прусская война, вопреки встроенным ограничениям системы.

Навигация по бурным вонам коммерциализации ИИ

Такие результаты подчеркивают проблему, с которой сталкиваются компании, такие как Nvidia, стремящиеся монетизировать ИИ, одну из самых многообещающих инноваций Кремниевой долины.

Генеральный директор Robust Intelligence, профессор компьютерных наук Гарвардского университета Ярон Сингер, отметил, что эти результаты являются трезвым уроком в распознавании потенциальных ловушек в технологии ИИ. Компания Сингера теперь советует своим клиентам не использовать программный продукт Nvidia.

После раскрытия этих результатов Nvidia, по сообщениям, устранила одну из корневых проблем, выявленных исследователями.

Несмотря на эти сбои, акции компании испытали значительный рост на фоне сильных прогнозов продаж и растущего спроса на их чипы, которые считаются критически важными для создания систем генеративного ИИ, способных генерировать контент, похожий на человеческий.

Джонатан Коэн, вице-президент Nvidia по прикладным исследованиям, описал NeMo Framework как трамплин для разработки чат-ботов ИИ, который соответствует требованиям безопасности, защиты и тематических руководств.

Он также признал значимость результатов исследований Robust Intelligence для будущего развития приложений ИИ.

Инцидент подчеркивает более широкую проблему для компаний ИИ, включая гигантов, таких как Google и OpenAI (при поддержке Microsoft), у которых были свои проблемы с безопасностью, несмотря на внедрение защитных барьеров, чтобы предотвратить проявление неадекватного поведения их продуктов ИИ.

Как отметила Беа Лонгворт, глава отдела государственных связей Nvidia в Европе, на Ближнем Востоке и в Африке, во время отраслевой конференции, построение доверия общественности является главным приоритетом для компаний ИИ.

Потенциал ИИ огромен, но бремя лежит на поставщиках технологий, таких как Nvidia, чтобы обеспечить, чтобы эти передовые системы не воспринимались как угроза, а как полезные инструменты для будущего.