стали известны тревожные откровения о механизмах безопасности в программном обеспечении искусственного интеллекта ( ИИ ) Nvidia, NeMo Framework.
Ключевой прорыв в программном обеспечении, созданном для обработки языковых моделей для решений на основе ИИ, таких как чат-боты, был использован, раскрывая конфиденциальные данные и, таким образом, вызывая проблемы с безопасностью.
Выявление линии разлома в структуре Nvidia NeMo
Платформа NeMo Framework, считающаяся полезным инструментом для бизнеса, была разработана Nvidia для размещения проприетарных данных для ответа на запросы, подобно тому, как это сделал бы представитель службы поддержки клиентов или консультант по здравоохранению.
Тем не менее, якобы безопасная структура этой структуры была легко преодолена исследователями из Сан-Франциско Robust Intelligence, преодолев встроенные ограждения всего за несколько часов.
В контролируемом эксперименте исследователи внесли, казалось бы, незначительное изменение, заменив букву «I» на «J». Тем не менее, эта, казалось бы, незначительная корректировка привела к серьезному взлому, когда система выпустила информацию, позволяющую dent личность (PII) из базы данных.
Последствия этого нарушения представляют значительные потенциальные риски для компаний и пользователей, которые доверяют свои конфиденциальные данные системам искусственного интеллекта, таким как Nvidia.
Дальнейшее испытание показало, что ИИ можно манипулировать, чтобы он отклонялся от ожидаемого поведения, затрагивая темы, для обсуждения которых он не предназначался.
Например, в то время как разговор был направлен на отчет о работе, модель манипулировали, чтобы говорить о несвязанных темах, таких как состояние здоровья знаменитости или исторические события, такие как франко-прусская война, defi встроенным ограничениям системы.
Такие выводы подчеркивают трудности, с которыми сталкиваются такие компании, как Nvidia, стремящиеся монетизировать ИИ, одну из самых многообещающих инноваций Силиконовой долины.
Главный исполнительный директор Robust Intelligence, профессор компьютерных наук Гарвардского университета Ярон Сингер, отметил полученные результаты как отрезвляющий урок, позволяющий распознать потенциальные ловушки в технологии искусственного интеллекта. Фирма Сингера теперь советует своим клиентам не использовать программный продукт Nvidia.
Сообщается, что после обнародования этих результатов Nvidia устранила одну из основных проблем, dent исследователями.
Несмотря на сбои, акции компании значительно выросли благодаря tron прогнозам продаж и растущему спросу на их чипы, которые считаются критически важными для создания генеративных систем искусственного интеллекта, способных производить контент, подобный человеческому.
Джонатан Коэн, вице- dent Nvidia по прикладным исследованиям, описал NeMo Framework как плацдарм для разработки чат-ботов с искусственным интеллектом, который придерживается правил безопасности, защищенности и конкретных тем.
Он также признал важность результатов исследования Robust Intelligence для будущей разработки приложений ИИ.
Этот dent подчеркивает более широкую проблему для компаний, занимающихся искусственным интеллектом, включая таких гигантов, как Google и поддерживаемая Microsoft OpenAI, которые имели свою долю нарушений безопасности, несмотря на установление защитных барьеров, чтобы их продукты искусственного интеллекта не демонстрировали ненадлежащее поведение.
Как отметила на отраслевой конференции Беа Лонгворт, глава отдела государственных дел Nvidia в Европе, на Ближнем Востоке и в Африке, укрепление общественного доверия является одним из основных приоритетов для компаний, занимающихся искусственным интеллектом.
Потенциал ИИ огромен, но ответственность за то, чтобы эти передовые системы воспринимались не как угрозы, а как полезные инструменты для будущего, лежит на поставщиках технологий, таких как Nvidia.
