El Soldado de IA “Charlie el Veterano Virtual” Enfrenta Travesuras de Bromistas

La Biblioteca Estatal de Queensland lanzó recientemente “Charlie el Veterano Virtual”, un chatbot de IA diseñado para responder preguntas sobre la experiencia de los soldados ANZAC en la Primera Guerra Mundial. Pero, bromistas tecnológicamente hábiles encontraron rápidamente una manera de controlar el chatbot, haciéndolo asumir diferentes roles e iniciar conversaciones no relacionadas. Esta práctica, conocida como jailbreaking, permite a los usuarios cambiar el propósito previsto del chatbot y sacarlo del guion.

Eludiendo las limitaciones predefinidas usando prompts, los bromistas instruyeron a Charlie para que imitara a una fashionista de 50 años, un personaje famoso de una sitcom interpretado por Kelsey Grammer, Frasier Crane. Estas interacciones se compartieron en todas las plataformas de redes sociales como imágenes (capturas de pantalla) destinadas a mostrarle a todos que las respuestas de Charlie a las preguntas no se trataban principalmente de los soldados ANZAC. El bot no solo consolidó recetas de pastel de zanahoria y habló de aventuras similares a Doctor Who, sino que también engañó los intentos de aquellos en comunidades en línea de secuestrar las conversaciones, generando así humor y atención.

Desvíos inesperados

Dado que Charlie fue modelado como un combatiente australiano de 19 años en la Primera Guerra Mundial, se vio involuntariamente involucrado en conversaciones que recordaban al pasado. Los usuarios aprovecharon los puntos débiles del chatbot, lo que resultó en que este asumiera múltiples identidades y participara en conversaciones que no se alineaban con su función prevista. Mientras que algunas comunicaciones tendían de lo lúdico a lo serio, otras conversaciones eran puramente ficticias, donde respondía como Jon Snow o Dave Chappelle, entre otros.

La Biblioteca Estatal de Queensland reaccionó rápidamente, afirmando: 

“La Biblioteca Estatal continuará monitoreando el progreso de Charlie y realizará los ajustes necesarios.” 

 Se establecieron medidas para prevenir el mal uso adicional de Charlie y asegurar que actuara como una herramienta educativa. 

Sin embargo, la biblioteca confirmó que: 

“No ha habido ninguna violación de seguridad en el sitio web de las Galerías Conmemorativas de Anzac Square que enlaza con el chatbot.”

Monitoreo y ajustes continuos

En respuesta al incidente, la Biblioteca Estatal de Queensland reafirmó que continuaría supervisando el comportamiento de Charlie y aplicando las modificaciones necesarias. Las actualizaciones tienen como objetivo frenar la posibilidad de mal uso y alinear el servicio del chatbot con su visión educativa. No obstante, los trucos de los bromistas se convirtieron en un negocio inconcluso para desarrollar el aspecto operativo de Charlie y mantener fielmente la narrativa del soldado ANZAC.

“Charlie el Veterano Virtual” era la herramienta educativa integrada con IA que daba vida a las generaciones de la historia de guerra de Queensland. No obstante, la posibilidad de manipulación del chatbot subrayó las dificultades de utilizar la tecnología de IA para la participación pública.

Aunque este incidente destaca el papel de los controles y equilibrios en los sistemas y el hecho de que el monitoreo debe ir de la mano con los cambios, los desarrolladores ahora tienen en su lista trabajar en todos los aspectos de la seguridad en línea para el usuario. Con el fin de preservar la función educativa de Charlie el Veterano Virtual y prevenir vibraciones indeseables en el espacio virtual, las partes interesadas tienen como objetivo continuar con la vigilancia informada y las respuestas oportunas.