Теперь AI-приложения можно мониторить в реальном времени с помощью AI Control Center, чтобы остановить вредоносный ввод пользователя
- Теперь пользователи могут выявлять некорректные взаимодействия и злоупотребления своими приложениями ИИ в реальном времени.
- Операторы приложений ИИ могут обнаруживать небезопасный контент, вводящую в заблуждение информацию, атаки через инъекцию промптов, а также вредоносные выводы своих моделей.
- AI Control Center от WhyLabs позволяет расследовать любые возникающие проблемы при использовании и обеспечивает тонкую настройку для более точного контроля.
Стартап по наблюдению за искусственным интеллектом WhyLabs представил новый AI-продукт, который обеспечит контроль в реальном времени над выводами их AI-приложений. Платформа под названием AI Control Center предназначена для мониторинга и управления операциями AI-решений, чтобы обеспечить их надёжность и безопасность, поскольку традиционные системы мониторинга не способны надёжно наблюдать за AI.
WhyLabs представляет AI Control Center
Компания заявила, что существует множество проблем, с которыми сталкиваются бизнесы сегодня, особенно в отношении LLM. Поскольку команды в компаниях должны убедиться, что атаки инъекции промптов не делают их LLM уязвимыми, чтобы они не предоставляли вредоносные или неточные выводы, которые могут повредить их репутации.
Решение компании может помочь в решении этих проблем путём оценки работы LLM в реальном времени. Поскольку оно может обрабатывать весь спектр аспектов, которые могут быть проблематичными для LLM, например, пользовательские промпты, процесс генерации ответов (RAG) и обратную связь, которую оно генерирует. Алессия Виснич, генеральный директор и соучредитель WhyLabs, упомянула, что
«Наши клиенты переводят инициативы Generative AI из прототипов в производство, где безопасность и качество имеют первостепенное значение.»
Упоминая традиционные инструменты наблюдаемости, которые выполняют только пассивный мониторинг, она добавила,
«Только пассивные инструменты наблюдаемости недостаточны для этого скачка, потому что вы не можете позволить себе задержку в 5 минут в обучении о том, что инцидент взлома произошел в приложении. Наши новые возможности безопасности оснащают AI-команды средствами защиты, которые предотвращают небезопасные взаимодействия менее чем за 300 миллисекунд, с точностью обнаружения угроз 93%.»
Источник: Businesswire.
Традиционный мониторинг против AI-мониторинга для
По словам Виснич, разница между традиционным мониторингом и наблюдаемостью AI заключается в том, что ключевой момент заключается в выявлении факторов риска для измерения и процедуры, принятой для их последовательного измерения. Она говорит,
«LLM и приложения генеративного AI открывают целый новый набор проблем безопасности, которые мы раньше не решали.»
Источник: Siliconangle.
Она объясняет проблемы с тем, как система выявляет инъекцию промпта или взлом, включая любой тип ввода с плохими намерениями от конечного пользователя. AI Control Center может предоставить компаниям контроль в реальном времени над производительностью AI-приложений, что помогает командам кибербезопасности и бизнеса решать многие риски, утверждает WhyLabs. Бизнесы могут тонко настраивать систему наблюдаемости, а также устанавливать свои собственные правила для обнаружения продвинутых угроз для более точного контроля, что также может быть непрерывным упражнением с возникающими угрозами.
Таким образом, команды могут создавать наборы данных высокого качества на основе своих взаимодействий с пользователями в AI-приложениях, поскольку платформа также позволяет проводить расследования проблем, возникающих со временем. Эти возможности теперь доступны на платформе WhyLabs AI Control Platform, наряду со многими другими инструментами для производительности AI-моделей, поскольку компания расширяет своё предложение при поддержке в размере $14 миллионов. Ключевыми инвесторами являются Bezos Expeditions и AI Funds, а также Madrona Venture Group.
Если вы читаете это, вы уже впереди. Оставайтесь с нами, подписавшись на нашу рассылку.
Отказ от ответственности: Предоставленная информация не является инвестиционной рекомендацией. Cryptopolitan.com не несет ответственности за любые инвестиции, сделанные на основе информации, представленной на этой странице. Мы настоятельно рекомендуем проводить независимые исследования и/или консультироваться с квалифицированным специалистом перед принятием любых инвестиционных решений.
Амир Шейх
Амир — технологический журналист с почти шестилетним опытом работы в индустриях криптовалют и технологий. Он окончил университет MAJ, получив степень MBA по финансам и маркетингу. Сейчас он работает в Cryptopolitan, где освещает последние события на рынке криптовалют и прогнозы цен.
