Microsoft представляет новые функции безопасности Azure AI для защиты от галлюцинаций ИИ

Microsoft выпустила расширенный набор функций для повышения безопасности платформы Azure AI. Сара Бинд, главный менеджер продуктов инициативы Microsoft Sentient AI, представит ряд инструментов, тщательно разработанных для устранения рисков, связанных с использованием приложений с поддержкой ИИ. 

На этапе предварительного просмотра новые меры безопасности будут защищать Azure AI от угроз, обеспечивать безопасные ответы и защищать от продвижения и скрытых вредоносных инъекций промптов без необходимости привлечения специализированных команд по тестированию на проникновение.

Передовые инструменты безопасности ИИ в Microsoft Azure

Решение этих вопросов имеет первостепенное значение для эффективного внедрения технологий ИИ в государственный сектор, поскольку критически важно смягчать непредвиденные риски и проблемы, которые могут помешать их внедрению и долгосрочному успеху.

Также были представлены инструменты, такие как Prompt Shields, Groundedness Detection и сложные оценки уязвимостей, помогающие выявлять уязвимости моделей. 

Prompt Shields обеспечивают шлюз, блокирующий вредоносные инъекции промптов и защищающий пользователей от риска использования ИИ против цифрового мира через модели ИИ, запрещая использование запрещенного языка/скрытых промптов, поскольку они могут привести к эксплуатации пользовательских данных и данных третьих лиц. 

Это становится особенно важным, особенно при избегании создания материалов, которые являются фальшивыми или неточными в отношении исторических событий, что было проблемой, с которой сталкивались модели на базе ИИ.

Безопасность ИИ и смягчение галлюцинаций в экосистеме Azure

Text-based Hallucination Mitigation, еще одна важная часть набора инструментов безопасности Microsoft, направлена на серию галлюцинаций и их нейтрализацию. Достижение этого создает среду, где приемлема не любая идея; только те, которые поддерживаются доказательствами и могут быть проверены, являются наиболее подходящими входами в системы ИИ. 

Более того, оценки безопасности позволят проводить глубокий мониторинг уязвимостей моделей, чтобы эти слабости могли быть немедленно выявлены, а меры безопасности впоследствии корректировались по мере необходимости. Учитывая это, Microsoft готова удовлетворять индивидуальные потребности клиентов и обеспечивать адекватные меры безопасности ИИ. 

Клиенты Azure могут настраивать свои параметры, включая или исключая контент с гендерной предвзятостью, разжигание ненависти и другой уничижительный контент, который соответствует их конкретным потребностям. 

Аналогичным образом, такие будущие обновления также помогут администраторам определять, является ли пользователь настоящим тестировщиком или злоумышленником, предоставляя функцию отчетности.

Пионерский подход Microsoft к безопасному и этичному развитию ИИ

Значение этих мер безопасности охватывает не только немедленные преимущества безопасности, но и тот факт, что отрасль информационных технологий усваивает целостный подход к развитию ИИ, который является социально ответственным. Интеграция таких инструментов, как Llama, в ведущие версии, такие как GPT-4 и Llama 2, означает, что длинный список приложений ИИ на Azure AI будет зависеть от более строгих мер контроля мошенничества и ошибок. 

Однако тот факт, что менее популярные модели с открытым исходным кодом могут потребовать от пользователя ручной интеграции инструментов безопасности в основную систему, является второстепенным моментом. Эти функции принудительного характера признаются частью всеобъемлющей стратегии Microsoft по созданию безопасной и этичной среды ИИ. Клиенты Azure AI (например, KPMG, AT&T, Reddit) являются крупными игроками, стремящимися внедрять достижения в различных областях. 

Таким образом, их влияние, как ожидается, будет широким. Кроме того, Microsoft, через партнерство с OpenAI и запуск службы Azure OpenAI Service, служит доказательством того, что она является главной силой в области ИИ, предлагая инструменты, необходимые разработчикам и организациям для достижения компетентности в приложениях ИИ.

Последняя функция автоматической безопасности Microsoft указана как ответ на большие риски, создаваемые речью технологий искусственного интеллекта. Изучая способы защиты ИИ от угроз безопасности и обеспечения точности живых выходов инструментов ИИ, Microsoft таким образом определяет новый кодекс безопасности ИИ. Они повышают безопасность, целостность и надежность решений ИИ и способствуют развитию дискурса об ответственном использовании ИИ.

Чем больше развивается искусственный интеллект, тем больше возрастает необходимость безопасного надзора. С этими новыми технологиями безопасности Microsoft значительно повышает планку в сторону по-настоящему безопасной и этичной парадигмы ИИ. С этими мерами защиты клиенты Azure AI могут быть уверены, что могут внедрять автоматизированные машины в свои операции, полностью понимая все возможные риски, которые несет искусственный интеллект.

Оригинальная история от https://thehorizon.ai/microsofts-new-safety-system-can-catch-hallucinations-in-its-customers-ai-apps