Программное обеспечение Nvidia на основе искусственного интеллекта раскрывает конфиденциальные данные – Подробности

всплыли тревожные подробности о механизмах безопасности программного обеспечения искусственного интеллекта (ИИ) Nvidia, NeMo Framework.

Ключевой прорыв в программном обеспечении, разработанном для обработки языковых моделей в решениях на основе искусственного интеллекта, таких как чат-боты, был использован злоумышленниками, что привело к утечке конфиденциальных данных и, следовательно, вызвало опасения по поводу безопасности.

Выявление слабых мест в фреймворке NeMo от Nvidia

Разработанная компанией Nvidia платформа NeMo Framework, считающаяся важным инструментом для бизнеса, предназначена для обработки собственных данных и ответа на запросы, подобно тому, как это делает представитель службы поддержки клиентов или консультант в сфере здравоохранения.

Однако, казалось бы, защищенная структура этой системы была легко преодолена исследователями из компании Robust Intelligence в Сан-Франциско, которые всего за несколько часов прорвали встроенные механизмы защиты.

В ходе контролируемого эксперимента исследователи внесли, казалось бы, незначительное изменение, заменив букву «I» на «J». Однако это, казалось бы, незначительное изменение привело к серьезной утечке данных, поскольку система раскрылаdentданные (PII) из базы данных.

Последствия этого взлома представляют значительные потенциальные риски для предприятий и пользователей, которые доверяют свои конфиденциальные данные системам искусственного интеллекта, таким как системы Nvidia.

Дальнейшие испытания показали, что ИИ можно было заставить отклоняться от ожидаемого поведения, затрагивая темы, которые он не должен был обсуждать.

Например, хотя разговор был посвящен составлению отчета о работе, модель была изменена таким образом, чтобы обсуждать несвязанные темы, такие как состояние здоровья знаменитости или исторические события, например, франко-прусскую войну, — и все это в defiвстроенных в систему ограничений.

Как преодолеть трудности коммерциализации ИИ

Эти выводы подчеркивают сложность задачи, стоящей перед такими компаниями, как Nvidia, в стремлении монетизировать искусственный интеллект, одно из самых перспективных изобретений Кремниевой долины.

Генеральный директор Robust Intelligence, профессор компьютерных наук Гарвардского университета Ярон Сингер, отметил, что полученные результаты стали отрезвляющим уроком в распознавании потенциальных ловушек в технологиях искусственного интеллекта. Теперь фирма Сингера советует своим клиентам воздерживаться от использования программного продукта Nvidia.

После обнародования этих результатов компания Nvidia, как сообщается, устранила одну из основных проблем,dentисследователями.

Несмотря на некоторые трудности, акции компании значительно выросли благодаряtronпрогнозам продаж и растущему спросу на их чипы, которые считаются критически важными для создания генеративных систем искусственного интеллекта, способных создавать контент, похожий на человеческий.

Джонатан Коэн, вице-dent Nvidia по прикладным исследованиям, охарактеризовал фреймворк NeMo как трамплин для разработки чат-ботов на основе искусственного интеллекта, соответствующих требованиям безопасности, защиты данных и тематически ориентированным рекомендациям.

Он также признал значимость результатов исследований компании Robust Intelligence для дальнейшего развития приложений искусственного интеллекта.

Этотdent подчеркивает более широкую проблему для компаний, занимающихся искусственным интеллектом, включая таких гигантов, как Google и поддерживаемая Microsoft компания OpenAI, которые столкнулись с рядом проблем с безопасностью, несмотря на внедрение защитных барьеров, предотвращающих ненадлежащее поведение их продуктов на основе ИИ.

Как отметила Беа Лонгворт, глава отдела по связям с государственными органами Nvidia в Европе, на Ближнем Востоке и в Африке, во время отраслевой конференции, укрепление общественного доверия является одним из главных приоритетов для компаний, занимающихся искусственным интеллектом.

Потенциал искусственного интеллекта огромен, но ответственность за то, чтобы эти передовые системы воспринимались не как угроза, а как полезные инструменты будущего, лежит на поставщиках технологий, таких как Nvidia.