Microsoft presenta nuevas funciones de seguridad de Azure AI para protegerse contra las alucinaciones de la IA

Microsoft ha lanzado un kit de herramientas avanzado de funciones para mejorar la seguridad de la plataforma Azure AI. Sarah Bind, directora principal de productos de la Iniciativa de IA Sentiente de Microsoft, lanzará una serie de herramientas diseñadas cuidadosamente para abordar los riesgos del uso de aplicaciones habilitadas para IA. 

En la etapa de vista previa, las nuevas precauciones de seguridad protegerán Azure AI de amenazas, proporcionarán respuestas protegidas y protegerán contra la inyección de indicaciones maliciosas ocultas y promovidas sin necesidad de equipos de prueba específicos.

Herramientas avanzadas de seguridad de IA de Microsoft Azure

Abordar estas preocupaciones es primordial para integrar eficazmente la tecnología de IA en el sector público, ya que es crucial mitigar los riesgos y preocupaciones imprevistos que podrían obstaculizar su implementación y éxito a largo plazo.

También se han desvelado herramientas como Prompt Shields, Detección de Fundamentación y una evaluación de vulnerabilidades elaborada para ayudar a filtrar las vulnerabilidades del modelo. 

Prompt Shields proporciona una puerta de enlace que bloquea la inyección de indicaciones maliciosas y protege a los usuarios contra el riesgo de emplear la IA contra el mundo digital a través de modelos de IA, prohibiendo el uso de lenguaje prohibido/indicaciones encubiertas, ya que podrían conducir a la explotación de las entradas del usuario y los datos de terceros. 

Esto se vuelve particularmente importante, especialmente al evitar la producción de material falso o inexacto sobre eventos históricos, lo cual fue un desafío experimentado en los modelos impulsados por IA.

Seguridad de la IA y mitigación de alucinaciones en el ecosistema de Azure

La Mitigación de Alucinaciones Basada en Texto, otra parte esencial del kit de seguridad de Microsoft, se dirige a una serie de alucinaciones y neutralización. Lograr esto crea un entorno donde no cualquier idea es aceptable; solo aquellas respaldadas por evidencia y verificables son las entradas más adecuadas para los sistemas de IA. 

Además, las evaluaciones de seguridad permitirán un monitoreo en profundidad de las vulnerabilidades de los modelos para que estas debilidades puedan ser identificadas inmediatamente y las medidas de seguridad puedan ajustarse posteriormente según sea necesario. Considerando esto, Microsoft está lista para atender las necesidades individuales de los clientes y proporcionar medidas de seguridad de IA adecuadas. 

Los clientes de Azure pueden personalizar sus configuraciones incluyendo o excluyendo contenido con sesgo de género, discurso de odio y otro contenido denigrante que resuene con sus necesidades específicas. 

De manera similar, esta actualización futura también será útil para los administradores al determinar si un usuario es un probador real o un usuario malicioso, proporcionando una función de informe.

Enfoque pionero de Microsoft para el desarrollo de una IA segura y ética

La importancia de estas medidas de seguridad abarca no solo los beneficios inmediatos de la seguridad, sino también el hecho de que la industria de la tecnología de la información adopta un enfoque holístico para el desarrollo de la IA, que es socialmente responsable. La integración de estas herramientas, como Llama, en versiones líderes como GPT-4 y Llama 2 significaría que una larga lista de aplicaciones de IA en Azure AI dependería de medidas más estrictas de control de fraude y errores. 

Sin embargo, el hecho de que los modelos de código abierto que no son tan populares puedan requerir que el usuario integre manualmente las herramientas de seguridad en el sistema principal es una nota al margen. Estas características de aplicación se reconocen como parte de la estrategia integral de Microsoft para crear un entorno de IA seguro y ético. Los clientes de Azure AI (por ejemplo, KPMG, AT&T, Reddit) constituyen grandes poderes que buscan implementar avances en varios campos. 

Por lo tanto, se espera que su impacto sea amplio. Además, Microsoft, a través de la asociación con OpenAI y el lanzamiento del Servicio Azure OpenAI, sirve como evidencia de que es la principal fuerza en el dominio de la IA, ofreciendo las herramientas que los desarrolladores y las organizaciones necesitan para lograr competencia en aplicaciones de IA.

La última función de seguridad automática de Microsoft se indica como una respuesta a los grandes riesgos producidos por el discurso de las tecnologías de inteligencia artificial. Al indagar en las formas en que la IA puede estar protegida de amenazas de seguridad y hacer que las salidas en vivo de las herramientas de IA sean precisas, Microsoft, de esta manera, está definiendo un nuevo código de seguridad de la IA. Mejoran la seguridad, integridad y fiabilidad de las soluciones de IA y ayudan a que el discurso sobre el uso responsable de la IA evolucione.

Cuanto más se desarrolla la inteligencia artificial, mayor es la necesidad de una supervisión segura, sin duda. Con estas nuevas tecnologías de seguridad, Microsoft eleva significativamente el listón hacia un paradigma de IA verdaderamente seguro y ético. Con estas salvaguardas, los clientes de Azure AI pueden estar seguros de que pueden implementar máquinas automáticas en sus operaciones con una comprensión completa de todos los posibles riesgos que conlleva la inteligencia artificial.

Historia original de https://thehorizon.ai/microsofts-new-safety-system-can-catch-hallucinations-in-its-customers-ai-apps