Microsoft представила новые функции безопасности Azure AI для защиты от галлюцинаций, вызванных искусственным интеллектом

Microsoft выпустила расширенный набор функций для повышения безопасности платформы Azure AI. Сара Бинд, главный директор по продуктам инициативы Microsoft Sentient AI, представит ряд инструментов, тщательно разработанных для снижения рисков, связанных с использованием приложений с поддержкой ИИ. 

На этапе предварительного тестирования новые меры безопасности защитят Azure AI от угроз, обеспечат надежные ответы и предотвратят внедрение вредоносных подсказок и скрытых угроз без необходимости привлечения специальных групп экспертов.

Передовые инструменты обеспечения безопасности на основе искусственного интеллекта в Microsoft Azure

Устранение этих опасений имеет первостепенное значение для эффективной интеграции технологий искусственного интеллекта в государственный сектор, поскольку крайне важно смягчить непредвиденные риски и проблемы, которые могут препятствовать его внедрению и долгосрочному успеху.

Также были представлены инструменты, находящиеся на вершине айсберга, такие как Prompt Shields, Groundedness Detection и комплексная оценка уязвимостей, помогающая выявлять уязвимости модели. 

Система Prompt Shields обеспечивает шлюз, блокирующий внедрение вредоносных подсказок и защищающий пользователей от риска использования ИИ в цифровом мире посредством моделей ИИ, запрещая использование запрещенных языковых/скрытых подсказок, поскольку они могут привести к эксплуатации пользовательских данных и данных третьих лиц. 

Это становится особенно важным, когда речь идет о предотвращении создания фальсифицированных или неточных материалов об исторических событиях, что представляло собой серьезную проблему для моделей, основанных на искусственном интеллекте

Безопасность ИИ и предотвращение ложных срабатываний в экосистеме Azure

Текстовая система предотвращения галлюцинаций, еще одна важная часть инструментария безопасности Microsoft, направлена ​​на борьбу с галлюцинациями и их нейтрализацию. Достижение этой цели создает среду, в которой приемлема не любая идея; только те, которые подкреплены доказательствами и могут быть проверены, являются наиболее подходящими входными данными для систем искусственного интеллекта. 

Кроме того, оценка безопасности позволит проводить углубленный мониторинг уязвимостей моделей, чтобы эти слабые места можно было немедленноdentи при необходимости корректировать меры безопасности. Учитывая это, Microsoft готова удовлетворить индивидуальные потребности клиентов и обеспечить адекватные меры безопасности для ИИ. 

Пользователи Azure могут настраивать параметры, включая или исключая контент, содержащий гендерную дискриминацию, разжигание ненависти и другой унизительный контент, который соответствует их конкретным потребностям. 

Аналогичным образом, подобное будущее обновление также поможет администраторам определить, является ли пользователь настоящим тестировщиком или злоумышленником, благодаря функции формирования отчетов.

Новаторский подход Microsoft к безопасной и этичной разработке искусственного интеллекта

Значение этих мер безопасности заключается не только в непосредственных преимуществах в плане безопасности, но и в том, что индустрия информационных технологий придерживается целостного подхода к разработке ИИ, что является социально ответственным. Интеграция таких инструментов, как Llama, в ведущие версии, такие как GPT-4 и Llama 2, будет означать, что длинный список приложений ИИ на Azure AI будет зависеть от более высоких мер контроля мошенничества и ошибок. 

Однако следует отметить, что в менее популярных моделях с открытым исходным кодом пользователю может потребоваться вручную интегрировать инструменты безопасности в основную систему. Эти функции обеспечения безопасности признаны частью комплексной стратегии Microsoft по созданию безопасной и этичной среды для ИИ. Клиенты Azure AI (например, KPMG, AT&T, Reddit) представляют собой крупные игроки, стремящиеся внедрять достижения в различных областях. 

Таким образом, ожидается, что их влияние будет широким. Более того, Microsoft, благодаря партнерству с OpenAI и запуску сервиса Azure OpenAI, подтверждает, что является ведущей силой в области ИИ, предлагая разработчикам и организациям инструменты, необходимые для достижения компетентности в приложениях ИИ.

Последняя функция автоматической защиты от угроз, разработанная Microsoft, является ответом на серьезные риски, связанные с использованием технологий искусственного интеллекта. Изучая способы защиты ИИ от угроз безопасности и обеспечивая точность результатов работы инструментов ИИ в режиме реального времени, Microsoft, таким образом, defiновый кодекс безопасности ИИ. Они повышают безопасность, целостность и надежность решений в области ИИ и помогают ответственным пользователям развивать технологии ИИ.

Чем больше развивается искусственный интеллект, тем больше возрастает необходимость в безопасном контроле. Благодаря этим новым технологиям безопасности Microsoft значительно повышает планку, приближаясь к действительно безопасной и этичной парадигме ИИ. Благодаря этим мерам защиты клиенты Azure, использующие ИИ, могут бытьdent , что внедряют автоматизированные системы в свою деятельность, полностью понимая все возможные риски, связанные с искусственным интеллектом.

Оригинал статьи взят с сайта https://thehorizon.ai/microsofts-new-safety-system-can-catch-hallucinations-in-its-customers-ai-apps