Microsoft Corp ha añadido una serie de características de seguridad en Azure AI Studio que, con el tiempo, deberían seguir reduciendo la probabilidad de que sus usuarios configuren los modelos de IA en un modo que les haga actuar de forma anormal o inapropiada. La empresa multinacional de tecnología con sede en Redmond, Washington, describió las mejoras en una publicación de blog, haciendo hincapié en garantizar la integridad de las interacciones de la IA y fomentar la confianza en la base de usuarios.
Escudos rápidos y más.
Entre los principales avances se encuentra la creación de “escudos rápidos”, una tecnología diseñada para encontrar y eliminar inyecciones rápidas mientras se conversa con chatbots de IA. Estos son los llamados jailbreaks y son básicamente entradas de usuarios que se forman intencionalmente de tal manera que provocan una respuesta no deseada de los modelos de IA.
Por ejemplo, Microsoft está desempeñando su papel indirectamente con inyecciones rápidas, donde es posible ejecutar órdenes malvadas, y un escenario como este puede tener graves consecuencias para la seguridad, como el robo de datos y el secuestro del sistema. Los mecanismos son clave para detectar y responder a estas amenazas únicas en tiempo real, según Sarah Bird, directora de productos para IA responsable de Microsoft.
Microsoft añade que pronto habrá alertas en la pantalla del usuario, que señalarán cuándo es probable que un modelo esté expresando información falsa o engañosa, garantizando una mayor facilidad de uso y confianza.
Generar confianza en las herramientas de IA
El esfuerzo de Microsoft es parte de una iniciativa más amplia, destinada a dar a la gente confianza en la cada vez más popular IA generativa que se está aplicando ampliamente en servicios dirigidos a consumidores individuales y clientes corporativos. Microsoft siguió adelante con un peine de dientes finos, después de incurrir en casos en los que los usuarios tenían la capacidad de engañar al chatbot Copilot para que produjera resultados extraños o dañinos. Esto respaldará un resultado que muestra la necesidad de tron defensas contra las tácticas manipuladoras mencionadas, que probablemente aumentarán con las tecnologías de inteligencia artificial y el conocimiento popular. Predecir y luego mitigar es reconocer patrones de ataque, como cuando un atacante repite preguntas o indicaciones durante un juego de roles.
Como mayor inversor y socio estratégico de OpenAI, Microsoft está superando los límites de cómo incorporar y crear tecnologías de IA generativas responsables y seguras. Ambos están comprometidos con el despliegue responsable y los modelos fundamentales de IA generativa para medidas de seguridad. Pero Bird admitió que estos grandes modelos de lenguaje, incluso cuando están empezando a ser vistos como la base de gran parte de la futura innovación en IA, no son a prueba de manipulación.
Construir sobre estas bases requerirá mucho más que simplemente confiar en los modelos mismos; necesitaría un enfoque integral para la seguridad de la IA.
Microsoft anunció recientemente el fortalecimiento de las medidas de seguridad para su Azure AI Studio para mostrar y garantizar los pasos proactivos que se están tomando para salvaguardar el cambiante panorama de amenazas de la IA.
Se esfuerza por evitar el uso indebido de la IA y preservar la integridad y confiabilidad de la interacción de la IA mediante la incorporación de pantallas y alertas oportunas.
Con la constante evolución de la tecnología de IA y su adopción en muchos aspectos de la vida diaria, ya será hora de que Microsoft y el resto de la comunidad de IA mantengan una postura de seguridad muy vigilante.
