OpenAI informa sobre un creciente uso malicioso de ChatGPT por parte de grupos chinos

OpenAI ha revelado que hay un aumento en el uso clandestino de sus herramientas, particularmente vinculado a grupos chinos que se están aprovechando de su plataforma ChatGPT con fines maliciosos.

Desde el lanzamiento de ChatGPT en noviembre de 2022, que tuvo un éxito inmediato, han surgido preocupaciones sobre sus posibles consecuencias debido a su capacidad para generar audio, texto, imágenes y videos con apariencia humana. OpenAI ha publicado informes periódicos sobre cualquier actividad maliciosa en sus plataformas, como la falsificación de contenido para sitios web.

OpenAI desmantela 10 campañas independientes que abusaban de sus herramientas

En un informe publicado el jueves, la firma con sede en San Francisco reveló que recientemente desmanteló diez campañas distintas que utilizaban sus herramientas de inteligencia artificial. De estas, cuatro fueron organizadas por grupos vinculados a China, mientras que otras tramas de menor escala estaban vinculadas a otros países.

Según Ben Nimmo, investigador principal del equipo de investigaciones de OpenAI, estas operaciones vinculadas a China desplegaron una amplia gama de tácticas en múltiples plataformas en línea.

"Estamos observando un conjunto de herramientas en expansión", dijo a los periodistas.

“Algunas campañas combinaron operaciones de influencia, ingeniería social y vigilancia, y abarcaron plataformas desde TikTok y X hasta Reddit y Facebook”

Nimmo.

Uno de los ejemplos más destacados, denominado "Revisión de la burla", utilizó ChatGPT para publicar breves mensajes y comentarios en inglés, chino y urdu. Estos abarcaban temas como la disolución de la Agencia de los Estados Unidos para el Desarrollo Internacional (USAID), alternando entre elogios y críticas a la decisión, y críticas a un videojuego de estrategia taiwanés presentado como un ataque al partido gobernante de China.

Según el informe de OpenAI, en la mayoría de los casos, la operación generó no solo publicaciones originales, sino también respuestas, lo que lo hacía parecer un debate "auténtico". Los mismos grupos también crearon un artículo extenso que denunciaba la gran indignación pública contra el juego.

La "Revisión de Sneer" también utilizó ChatGPT para redactar documentos internos y evaluaciones de rendimiento, detallando cada paso de la ejecución de la campaña. Los analistas de OpenAI descubrieron que el comportamiento real en redes sociales reflejaba fielmente esas autoevaluaciones, lo que destaca cómo la IA puede optimizar tanto la influencia de primera línea como la gestión administrativa.

El informe también reveló que otra red vinculada a China se dedicaba a la recopilación de inteligencia, haciéndose pasar por periodistas y comentaristas geopolíticos. Utilizaron el chatbot para crear biografías de cuentas en X, traducir comunicaciones del chino al inglés e incluso crear mensajes dirigidos a un senador estadounidense en relación con una nominación federal.

Grupos de otros países también hicieron mal uso de las herramientas de OpenAI

Además de las operaciones chinas, el informe señala que rusos e iraníes también intentaron utilizar ChatGPT para influir en las elecciones, lo que refuerza la preocupación por el papel de la IA generativa en la formación de la opinión pública.

En Filipinas, una empresa de marketing comercial estuvo vinculada a una campaña de spam, al tiempo que surgió una estafa de reclutamiento vinculada a Camboya. La empresa también denunció otra iniciativa de empleo con intereses norcoreanos.

Todas estas amenazas coincidieron con un informe previo de febrero en el que OpenAI descubrió una iniciativa de vigilancia con afiliación china. Esta campaña, según se informa, monitoreó las protestas occidentales en tiempo real, proporcionando resúmenes a las agencias de seguridad chinas, y ChatGPT facilitó todo, desde la depuración de código hasta la elaboración de propuestas de venta para el software de monitoreo.

Nimmo indicó que la mayoría de estas operaciones fueron detectadas y detenidas, aunque parecían utilizar herramientas sofisticadas.

“La IA avanzada no se traduce necesariamente en resultados más efectivos”, observó. De hecho, los informes periódicos de amenazas de OpenAI sugieren que, si bien los modelos generativos pueden acelerar la creación de contenido, no garantizan una influencia genuina ni una amplia trac.

En respuesta a estos hallazgos, OpenAI ha seguido perfeccionando sus mecanismos de monitoreo y control. La empresa bloquea las cuentas vinculadas a las operaciones detectadas y elimina a todas aquellas involucradas en la creación de malware, mensajes políticos automatizados o contenido engañoso.

En su última ronda, OpenAI eliminó cuentas que publicaban controversias geopolíticas relacionadas con China, incluidas acusaciones falsas contra activistas en Pakistán, así como comentarios sobre arancelarias .

A pesar de los éxitos de OpenAI, la empresa también reconoce la naturaleza de doble filo de la IA generativa, como herramienta para la innovación y también como herramienta para la desinformación.