Microsoft presenta nuevas funciones de seguridad de inteligencia artificial de Azure para protegerse contra las alucinaciones de la IA

Microsoft ha lanzado un conjunto avanzado de funciones para mejorar la seguridad de la plataforma de IA de Azure. Sarah Bind, directora de producto de Microsoft Sentient AI Initiative, lanzará una gama de herramientas cuidadosamente diseñadas para abordar los riesgos del uso de aplicaciones basadas en IA. 

En la etapa de vista previa, las nuevas precauciones de seguridad protegerán a Azure AI de amenazas, brindarán respuestas protegidas y protegerán contra la promoción y la inyección de mensajes maliciosos ocultos sin necesidad de equipos rojos específicos.

Herramientas avanzadas de seguridad de IA de Microsoft Azure

Abordar estas preocupaciones es fundamental para integrar eficazmente la tecnología de IA en el sector público, ya que es crucial para mitigar los riesgos y las preocupaciones imprevistas que pueden obstaculizar su implementación y su éxito a largo plazo.

También se han presentado herramientas de la punta del iceberg, como Prompt Shields, Groundedness Detection y una elaborada evaluación de vulnerabilidades para ayudar a detectar las vulnerabilidades del modelo. 

Los Prompt Shields proporcionan una puerta de enlace que bloquea la inyección de mensajes maliciosos y protege a los usuarios contra el riesgo de emplear IA contra el mundo digital a través de modelos de IA al prohibir el uso de lenguaje prohibido o mensajes encubiertos, ya que podrían conducir a la explotación de las entradas del usuario y datos de terceros. 

Esto se vuelve particularmente importante, especialmente cuando se trata de evitar la producción de material falso o inexacto sobre los eventos históricos, lo cual fue un desafío experimentado en los modelos impulsados ​​por IA

Seguridad de la IA y mitigación de alucinaciones en el ecosistema de Azure

La Mitigación de Alucinaciones Basada en Texto, otro componente esencial del conjunto de herramientas de seguridad de Microsoft, está dirigida a una serie de alucinaciones y su neutralización. Esto crea un entorno donde no cualquier idea es aceptable; solo aquellas respaldadas por evidencia y verificables son las entradas más adecuadas para los sistemas de IA. 

Además, las evaluaciones de seguridad permitirán un monitoreo exhaustivo de las vulnerabilidades de los modelos, lo que permitirádentde inmediato y ajustar las medidas de seguridad según sea necesario. Por ello, Microsoft está preparado para satisfacer las necesidades individuales de cada cliente y las medidas de seguridad de IA adecuadas. 

Los clientes de Azure pueden personalizar su configuración incluyendo o excluyendo contenido con prejuicios de género, discursos de odio y otro contenido degradante que resuene con sus necesidades específicas. 

De manera similar, una futura actualización también será útil para que los administradores determinen si un usuario es un verdadero evaluador o un usuario malintencionado, proporcionándoles una función de generación de informes.

El enfoque pionero de Microsoft para el desarrollo seguro y ético de la IA

La importancia de estas medidas de seguridad abarca no solo los beneficios inmediatos de la seguridad, sino también el hecho de que la industria de las tecnologías de la información adopta un enfoque holístico para el desarrollo de la IA, socialmente responsable. La integración de estas herramientas, como Llama, en versiones líderes como GPT-4 y Llama 2 implicaría que una larga lista de aplicaciones de IA en Azure AI dependería de medidas más rigurosas de control de fraudes y errores. 

Sin embargo, el hecho de que los modelos de código abierto menos populares puedan requerir que el usuario integre manualmente las herramientas de seguridad en el sistema principal es un detalle secundario. Estas funciones de refuerzo se reconocen como parte de la estrategia integral de Microsoft para crear un entorno de IA seguro y ético. Los clientes de IA de Azure (p. ej., KPMG, AT&T, Reddit) constituyen grandes potencias que buscan implementar avances en diversos campos. 

Por lo tanto, se espera que su impacto sea amplio. Además, Microsoft, a través de su alianza con OpenAI y el lanzamiento del Servicio Azure OpenAI, demuestra que es la principal potencia en el ámbito de la IA, ofreciendo las herramientas que los desarrolladores y las organizaciones necesitan para alcanzar la competencia en aplicaciones de IA.

La última función de autoseguridad de Microsoft se plantea como respuesta a los grandes riesgos que plantea el discurso de las tecnologías de inteligencia artificial. Al explorar cómo proteger la IA de las amenazas a la seguridad y optimizar la precisión de los resultados de sus herramientas, Microsoft defiun nuevo código de seguridad para la IA. Mejora la seguridad, la integridad y la fiabilidad de las soluciones de IA y contribuye a la evolución del discurso sobre el uso responsable de la IA.

Cuanto más se desarrolla la inteligencia artificial, mayor es, sin duda, la necesidad de una supervisión segura. Con estas novedosas tecnologías de seguridad, Microsoft avanza considerablemente hacia un paradigma de IA verdaderamente seguro y ético. Con estas medidas de seguridad, los clientes de IA de Azure pueden tener ladent de poder implementar máquinas automáticas en sus operaciones con un conocimiento completo de todos los posibles riesgos que conlleva la inteligencia artificial.

Historia original de https://thehorizon.ai/microsofts-new-safety-system-can-catch-hallucinations-in-its-customers-ai-apps