Microsoft mejora la seguridad de los chatbots de IA para frustrar a los estafadores

Microsoft Corp ha añadido una serie de características de seguridad en Azure AI Studio que deberían, con el tiempo, seguir reduciendo la probabilidad de que sus usuarios configuren los modelos de IA en un modo que los haga actuar de forma anormal o inapropiada. La empresa multinacional de tecnología con sede en Redmond, Washington, describió las mejoras en una publicación de blog, haciendo hincapié en garantizar la integridad de las interacciones de IA y fomentar la confianza en la base de usuarios.

Escudos rápidos y más 

Entre los principales avances se encuentra la creación de "escudos de avisos", una tecnología diseñada para detectar y eliminar las inyecciones de avisos durante las conversaciones con chatbots de IA. Estos son los llamados jailbreaks y son básicamente entradas de los usuarios que se configuran intencionalmente de tal manera que provocan una respuesta no deseada de los modelos de IA.

Por ejemplo, Microsoft está contribuyendo indirectamente con inyecciones rápidas, donde es posible la ejecución de órdenes maliciosas. Un escenario como este puede conllevar graves consecuencias para la seguridad, como el robo de datos y el secuestro de sistemas. Los mecanismos son clave para detectar y responder a estas amenazas únicas en tiempo real, según Sarah Bird, directora de producto de IA responsable de Microsoft.

Microsoft añade que próximamente habrá alertas en la pantalla del usuario, que señalarán cuándo es probable que un modelo esté expresando información falsa o engañosa, garantizando una mayor facilidad de uso y confianza.

Generando confianza en las herramientas de IA 

El esfuerzo de Microsoft forma parte de una iniciativa mayor, destinada a generar confianza en la IA generativa, cada vez más popular y ampliamente aplicada en servicios dirigidos a consumidores individuales y clientes corporativos. Microsoft realizó un análisis minucioso tras detectar los casos en los que los usuarios pudieron manipular al chatbot Copilot para que produjera resultados extraños o dañinos. Esto respaldará un resultado que demuestra la necesidad de contar con defensastroncontra las tácticas de manipulación mencionadas, que probablemente aumentarán con las tecnologías de IA y el conocimiento popular. Predecir y luego mitigar implica reconocer patrones de ataque, como cuando un atacante repite preguntas o indicaciones durante un juego de roles.

Como principal inversor y socio estratégico de OpenAI, Microsoft está revolucionando la incorporación y creación de tecnologías de IA generativa responsables y seguras. Ambas empresas están comprometidas con la implementación responsable y los modelos fundamentales de la IA generativa para las medidas de seguridad. Sin embargo, Bird reconoció que estos amplios modelos de lenguaje, aunque se están convirtiendo en la base de gran parte de la innovación futura en IA, no son a prueba de manipulación.

Para construir sobre estas bases será necesario mucho más que simplemente confiar en los modelos mismos; se necesitará un enfoque integral de la seguridad de la IA.

Microsoft anunció recientemente el fortalecimiento de las medidas de seguridad para su Azure AI Studio para mostrar y garantizar los pasos proactivos que se están tomando para salvaguardar el cambiante panorama de amenazas de la IA.

Se esfuerza por evitar el uso indebido de la IA y preservar la integridad y confiabilidad de la interacción de la IA mediante la incorporación de pantallas y alertas oportunas.

Con la constante evolución de la tecnología de IA y su adopción en muchos aspectos de la vida diaria, será hora de que Microsoft y el resto de la comunidad de IA mantengan una postura de seguridad muy vigilante.