Теперь приложения с искусственным интеллектом можно отслеживать в режиме реального времени с помощью AI Control Center, чтобы предотвратить ввод вредоносного пользовательского контента

Стартап WhyLabs, специализирующийся на наблюдении за искусственным интеллектом, представил новый продукт на основе ИИ, который обеспечит управление результатами работы их приложений ИИ в режиме реального времени. Платформа под названием AI Control Center предназначена для мониторинга и управления работой решений на основе ИИ, чтобы обеспечить их надежность и безопасность, поскольку традиционные системы мониторинга не способны надежно отслеживать ИИ.

Компания WhyLabs представляет Центр управления искусственным интеллектом

Компания заявила, что сегодня бизнес сталкивается со многими проблемами, особенно в отношении LLM-систем. Команды компаний должны следить за тем, чтобы атаки с использованием мгновенного внедрения кода не делали их LLM-системы уязвимыми, чтобы они не предоставляли вредоносные или неточные результаты, которые могут нанести ущерб репутации компании.

Решение компании может помочь в решении этих проблем, оценивая работу LLM в режиме реального времени. Оно способно обрабатывать весь спектр аспектов, которые могутmatic для LLM, например, запросы пользователей, процесс генерации ответов (RAG) и обратную связь, которую они генерируют. Алессия Вишнич, генеральный директор и соучредитель WhyLabs, отметила, что

«Наши клиенты переводят инициативы в области генеративного искусственного интеллекта из стадии прототипирования в серийное производство, где безопасность и качество имеют первостепенное значение»

Упомянув традиционные инструменты мониторинга, которые осуществляют только пассивное наблюдение, она добавила:

«Одних пассивных инструментов мониторинга недостаточно для такого прорыва, поскольку нельзя допускать 5-минутной задержки в обнаруженииdent взлома приложения. Наши новые возможности безопасности предоставляют командам разработчиков ИИ средства защиты, предотвращающие небезопасные взаимодействия менее чем за 300 миллисекунд с точностью обнаружения угроз в 93%»

Источник: Businesswire.

Традиционный мониторинг против мониторинга на основе ИИ для

По словам Вишнич, разница между традиционным мониторингом и наблюдаемостью с помощью ИИ заключается в том, что ключевым моментом является выявление факторов риска, которые необходимо измерять, и процедура, используемая для их последовательного измерения. Она говорит:

«LLM-ы и приложения искусственного интеллекта открывают целый ряд новых проблем безопасности, которые мы раньше не решали»

Источник: Siliconangle.

Она объясняет сложности, связанные с тем, как система выявляет быстрое внедрение вредоносного ПО или взлом, включая любые вводимые пользователем данные со злым умыслом. Центр управления ИИ может предоставить компаниям возможность в режиме реального времени контролировать производительность приложений ИИ, что, по утверждению WhyLabs, помогает командам по кибербезопасности и бизнес-подразделениям бороться со многими рисками. Компании могут точно настраивать систему мониторинга, а также устанавливать собственные правила для обнаружения сложных угроз, что обеспечивает более точный контроль и позволяет постоянно отслеживать новые угрозы.

Таким образом, команды могут создавать высококачественные наборы данных на основе взаимодействия своих приложений ИИ с пользователями, поскольку платформа также позволяет исследовать проблемы, возникающие со временем. Эти возможности теперь доступны на платформе WhyLabs AI Control Platform, наряду со многими другими инструментами для повышения производительности моделей ИИ, поскольку компания расширяет свои предложения при поддержке инвестиций в размере 14 миллионов долларов. Ключевыми инвесторами являются Bezos Expeditions and AI Funds и Madrona Venture Group.