Microsoft повышает безопасность чат-ботов на основе ИИ для противодействия мошенникам

Корпорация Microsoft добавила ряд функций безопасности в Azure AI Studio, которые со временем должны еще больше снизить вероятность того, что пользователи настроят модели ИИ в режим, при котором они будут действовать ненормально или ненадлежащим образом. Многонациональная технологическая компания из Редмонда, штат Вашингтон, описала улучшения в сообщении в блоге, подчеркнув необходимость гарантировать целостность взаимодействия ИИ и укрепить доверие пользователей.

Быстрые щиты и многое другое 

Среди основных разработок — создание «защитных механизмов от подсказок», технологии, предназначенной для обнаружения и удаления подсказок, внедряемых в процессе общения с чат-ботами на основе искусственного интеллекта. Это так называемые «джейлбрейки», представляющие собой, по сути, намеренно сформированные пользовательские входные данные, вызывающие нежелательную реакцию у моделей ИИ.

Например, Microsoft косвенно вносит свой вклад, используя так называемые «быстрые инъекции», позволяющие выполнять вредоносные приказы, и подобный сценарий может привести к серьезным последствиям для безопасности, таким как кража данных и захват системы. По словам Сары Берд, директора по продуктам Microsoft в области ответственного ИИ, эти механизмы являются ключевыми для обнаружения и реагирования на подобные уникальные угрозы в режиме реального времени.

Microsoft добавляет, что вскоре на экране пользователя появятся предупреждения, указывающие на вероятность того, что модель предоставляет ложную или вводящую в заблуждение информацию, что повысит удобство использования и доверие к ней.

Формирование доверия к инструментам искусственного интеллекта 

Усилия Microsoft являются частью более масштабной инициативы, призванной вселить уверенность в людей в отношении все более популярного генеративного ИИ, широко применяемого в сервисах, ориентированных на индивидуальных потребителей и корпоративных клиентов. Microsoft провела тщательную проверку после выявления случаев, когда пользователи могли обмануть чат-бота Copilot, заставив его выдавать странные или вредоносные результаты. Это подтвердит необходимостьtronзащиты от упомянутых манипулятивных тактик, которые, вероятно, будут усиливаться с развитием технологий ИИ и распространением информации в обществе. Прогнозирование и последующее противодействие основаны на распознавании моделей атак, таких как повторные вопросы или подсказки злоумышленника в ролевой игре.

Будучи крупнейшим инвестором и стратегическим партнером OpenAI, Microsoft расширяет границы того, как внедрять и создавать ответственные и безопасные технологии генеративного ИИ. Обе компании привержены ответственному внедрению и базовым моделям генеративного ИИ в целях обеспечения безопасности. Однако Берд признал, что эти большие языковые модели, даже несмотря на то, что они начинают рассматриваться как основа для большей части будущих инноваций в области ИИ, не защищены от манипуляций.

Для дальнейшего развития на основе этих принципов потребуется гораздо больше, чем просто полагаться на сами модели; необходим комплексный подход к обеспечению безопасности и защиты ИИ.

Компания Microsoft недавно объявила об усилении мер безопасности для своей платформы Azure AI Studio, чтобы продемонстрировать и гарантировать принятие упреждающих мер для защиты от меняющегося ландшафта угроз в сфере искусственного интеллекта.

Цель состоит в предотвращении злоупотреблений ИИ и сохранении целостности и надежности взаимодействия с ИИ путем внедрения своевременных проверок и оповещений.

В условиях постоянного развития технологий искусственного интеллекта и их широкого внедрения во многие сферы повседневной жизни, Microsoft и всему сообществу разработчиков ИИ пора занять очень бдительную позицию в вопросах безопасности.