Microsoft Mejora la Seguridad del Chatbot de IA para Frustrar a los Estafadores

Microsoft Corp ha añadido varias características de seguridad en Azure AI Studio que deberían, con el tiempo, continuar reduciendo la probabilidad de que sus usuarios configuren modelos de IA en un modo que los haga actuar de manera anormal o inapropiada. La multinacional tecnológica con sede en Redmond, Washington, describió las mejoras en una publicación de blog, enfatizando la garantía de la integridad de las interacciones de IA y fomentando la confianza en la base de usuarios.

Escudos de prompt y más 

Entre los principales desarrollos está la creación de 'escudos de prompt', una tecnología diseñada para encontrar y eliminar inyecciones de prompt mientras se conversa con chatbots de IA. Estos son los llamados jailbreaks y son básicamente entradas de usuarios que están intencionalmente formadas de tal manera que elicitan una respuesta no deseada de los modelos de IA.

Por ejemplo, Microsoft está jugando su papel indirectamente con inyecciones de prompt, donde la ejecución de órdenes maliciosas es posible, y un escenario como ese podría llevar a graves consecuencias de seguridad como robo de datos y secuestro de sistemas. Los mecanismos son clave para detectar y responder a estas amenazas únicas en tiempo real, según Sarah Bird, Directora de Producto Principal de IA Responsable de Microsoft.

Microsoft añade que pronto habrá alertas en la pantalla del usuario, que señalarán cuándo un modelo es probable que esté expresando información falsa o engañosa, asegurando una mayor facilidad de uso y confianza.

Construyendo Confianza en las Herramientas de IA 

El esfuerzo de Microsoft es parte de una iniciativa más grande, destinada a dar confianza a las personas en la cada vez más popular IA generativa que se aplica extensamente en servicios dirigidos a consumidores individuales y clientes corporativos. Microsoft pasó por un examen minucioso después de sufrir incidentes, donde los usuarios tenían la capacidad de manipular el chatbot Copilot para producir salidas extrañas o dañinas. Esto apoyará un resultado que muestra la necesidad de defensas sólidas contra las tácticas manipuladoras mencionadas, que probablemente aumenten con las tecnologías de IA y el conocimiento popular. Predecir y luego mitigar es el reconocimiento de patrones de ataque, comojson donde un atacante repite preguntas o prompts de role-playing.

Como el mayor inversor y socio estratégico de OpenAI, Microsoft está empujando los límites de cómo incorporar y crear tecnologías de IA generativa responsables y seguras. Ambas están comprometidas con el despliegue responsable y los modelos fundamentales de IA Generativa para medidas de seguridad. Pero Bird reconoció que estos grandes modelos de lenguaje, incluso a medida que se ven como una base para gran parte de la innovación futura de IA, no son a prueba de manipulación.

Construir sobre estos fundamentos tomará mucho más que simplemente confiar en los modelos mismos; se necesitaría un enfoque integral para la seguridad y protección de la IA.

Microsoft anunció recientemente el fortalecimiento de las medidas de seguridad para su Azure AI Studio para mostrar y garantizar pasos proactivos que se están tomando para salvaguardar el cambiante panorama de amenazas de IA.

Se esfuerza por evitar el mal uso de la IA y preservar la integridad y confiabilidad de la interacción de IA incorporando pantallas y alertas oportunas.

Con la evolución constante de la tecnología de IA y su adopción en muchas inclusiones de la vida diaria, será hora alta para Microsoft y el resto de la comunidad de IA mantener una postura de seguridad muy vigilante.