OpenAI informa del creciente uso malicioso de ChatGPT por parte de grupos chinos

OpenAI ha revelado que hay un aumento en el uso clandestino de sus herramientas, especialmente vinculado a grupos chinos que aprovechan su plataforma ChatGPT con fines maliciosos.

Desde el lanzamiento de ChatGPT en noviembre de 2022 y su éxito inmediato, han surgido preocupaciones sobre sus posibles consecuencias derivadas de su capacidad para generar audio, texto, imágenes y videos similares a los humanos. Y OpenAI ha publicado regularmente informes sobre cualquier actividad maliciosa en sus plataformas, como contenido falso para sitios web.

OpenAI desmantela 10 campañas separadas que abusan de sus herramientas

En un informe publicado el jueves, la empresa con sede en San Francisco reveló que recientemente desmanteló diez campañas separadas que aprovechaban sus herramientas de IA. De estas, cuatro fueron organizadas por grupos vinculados a China, mientras que esquemas a menor escala estaban vinculados a otros países.

Según Ben Nimmo, investigador principal del equipo de investigaciones de OpenAI, estas operaciones vinculadas a China desplegaron una amplia gama de tácticas en múltiples plataformas en línea.

“Estamos observando un conjunto de herramientas en expansión”, dijo a los periodistas.

“Algunas campañas combinaron operaciones de influencia, ingeniería social y vigilancia, y abarcaron plataformas desde TikTok y X hasta Reddit y Facebook.”

Nimmo.

Uno de los ejemplos clave, denominado “Sneer Review”, utilizó ChatGPT para publicar breves entradas y comentarios en inglés, chino y urdu. Estos cubrían temas como la disolución de la Agencia de los Estados Unidos para el Desarrollo Internacional, elogiando y criticando alternativamente la decisión, así como críticas a un videojuego de estrategia taiwanés presentado como un ataque al partido gobernante de China.

Según el informe de OpenAI, en la mayoría de los casos, la operación no solo creó publicaciones originales, sino también respuestas, haciendo que pareciera un debate “auténtico”. Los mismos grupos también crearon un artículo de formato largo que afirmaba una amplia indignación pública contra el juego.

La “Sneer Review” también utilizó ChatGPT para redactar documentos internos y evaluaciones de desempeño, destacando en detalle cada paso de la ejecución de la campaña. Los analistas de OpenAI descubrieron que el comportamiento real en las redes sociales hacía eco de esas autoevaluaciones, subrayando cómo la IA puede agilizar tanto la influencia en primera línea como la gestión de la oficina central.

El informe también mostró que otra red vinculada a China se centró en la recopilación de inteligencia, haciéndose pasar por periodistas y comentaristas geopolíticos. Utilizaron el chatbot para crear biografías de cuentas en X, traducir comunicaciones entre chino e inglés e incluso crear mensajes dirigidos a un senador de EE. UU. sobre una nominación federal.

Grupos de otros países también malutilizaron las herramientas de OpenAI

Además de las operaciones chinas, el informe señala que los actores rusos e iraníes también intentaron utilizar ChatGPT para influir en las elecciones, haciendo eco de las preocupaciones sobre el papel de la IA generativa en la formación de la opinión pública.

En Filipinas, una agencia de marketing comercial estaba vinculada a una campaña de spam, mientras que también surgió un fraude de reclutamiento con vínculos con Camboya. La empresa también señaló otra iniciativa de empleo con intereses norcoreanos.

Todas estas amenazas coincidieron con un informe anterior de febrero en el que OpenAI descubrió una iniciativa de vigilancia afiliada a China. Esta campaña supuestamente monitoreaba protestas occidentales en tiempo real, proporcionando resúmenes a las agencias de seguridad chinas, y ChatGPT facilitó todo, desde la depuración de código hasta la redacción de propuestas de ventas para software de monitoreo.

Nimmo indicó que la mayoría de estas operaciones fueron detectadas y detenidas, aunque parecían utilizar herramientas sofisticadas.

“La IA avanzada no necesariamente se traduce en resultados más efectivos”, observó. De hecho, los informes regulares de amenazas de OpenAI sugieren que, si bien los modelos generativos pueden acelerar la creación de contenido, no garantizan una influencia genuina ni una amplia tracción.

En respuesta a estos hallazgos, OpenAI ha seguido refinando sus mecanismos de monitoreo y aplicación. La firma bloquea las cuentas vinculadas a las operaciones detectadas y elimina todas aquellas involucradas en la creación de malware, mensajes políticos automatizados o contenido engañoso.

En su última ronda, OpenAI eliminó cuentas que publicaron controversias geopolíticas relacionadas con China, incluidas falsas acusaciones contra activistas en Pakistán, así como comentarios sobre las políticas de aranceles de Trump.

A pesar de los éxitos de OpenAI, la empresa también reconoce la naturaleza de doble filo de la IA generativa, como herramienta para la innovación y también para la desinformación.