Microsoft усиливает безопасность чат-бота на базе ИИ для предотвращения обмана

Корпорация Microsoft Corp добавила ряд функций безопасности в Azure AI Studio, которые со временем должны продолжать снижать вероятность того, что пользователи настроят модели ИИ таким образом, чтобы они вели себя ненормально или неуместно. Многонациональная технологическая компания из Редмонда, штат Вашингтон, описала улучшения в блоге, подчеркнув важность обеспечения целостности взаимодействий с ИИ и укрепления доверия со стороны пользователей.

Защита от промптов и многое другое 

Среди ключевых разработок — создание «щитов от промптов» (prompt shields), технологии, предназначенной для обнаружения и нейтрализации инъекций промптов при общении с чат-ботами на базе ИИ. Так называемые «джailбрейки» (jailbreaks) — это намеренные вводы от пользователей, сформулированные таким образом, чтобы вызвать нежелательный ответ от моделей ИИ.

Например, Microsoft косвенно борется с инъекциями промптов, где возможно выполнение вредоносных команд, и такие сценарии могут привести к серьезным последствиям для безопасности, таким как кража данных и захват системы. Механизмы обнаружения и реагирования на эти уникальные угрозы в реальном времени являются ключевыми, согласно Саре Бирд, главному продуктовому директору Microsoft по ответственному ИИ.

Microsoft также добавляет, что скоро на экране пользователя будут появляться предупреждения, указывающие на то, что модель, вероятно, выражает ложную или вводящую в заблуждение информацию, что обеспечит большую удобство использования и доверие.

Укрепление доверия к инструментам ИИ 

Усилия Microsoft являются частью более широкой инициативы, направленной на то, чтобы дать людям уверенность в набирающем популярность генеративном ИИ, который широко применяется в сервисах, ориентированных как на частных потребителей, так и на корпоративных клиентов. Microsoft тщательно проанализировала инциденты, когда пользователи могли обмануть чат-бот Copilot, заставив его выдавать странные или вредоносные ответы. Это поддерживает вывод о необходимости сильной защиты от упомянутых манипулятивных тактик, которые, вероятно, будут расти по мере развития технологий ИИ и их популярности. Предсказание и последующее смягчение последствий основано на распознавании паттернов атак, такихjson где атакующий повторяет вопросы или промпты в ролевой игре.

Будучи крупнейшим инвестором и стратегическим партнером OpenAI, Microsoft расширяет границы того, как интегрировать и создавать ответственные, безопасные технологии генеративного ИИ. Обе компании привержены ответственному развертыванию и базовым моделям генеративного ИИ для обеспечения мер безопасности. Но Бирд признала, что эти большие языковые модели, даже несмотря на то, что они становятся основой для многих будущих инноваций в области ИИ, не являются неуязвимыми для манипуляций.

Развитие на этой основе потребует гораздо большего, чем просто опора на сами модели; необходим комплексный подход к безопасности и защите ИИ.

Недавно Microsoft объявила об усилении мер безопасности для своего Azure AI Studio, чтобы продемонстрировать и гарантировать проактивные шаги, предпринимаемые для защиты от меняющегося ландшафта угроз ИИ.

Компания стремится избежать злоупотреблений ИИ и сохранить целостность и надежность взаимодействий с ИИ, внедряя своевременные экраны и предупреждения.

С постоянной эволюцией технологии ИИ и ее внедрением во многие аспекты повседневной жизни, пришло время для Microsoft и всего сообщества ИИ поддерживать очень бдительную позицию в области безопасности.