El modelo de razonamiento de OpenAI a menudo "piensa" en chino: nadie puede explicar por qué

Quienes utilizan OpenAI handentuna vulnerabilidad. Poco después de que OpenAI publicara o1, su modelo inicial de IA de "razonamiento", se observó un comportamiento peculiar. Al parecer, cuando se formula una pregunta en inglés, el modelo ocasionalmente empieza a "pensar" en un idioma distinto del inglés, como el chino o el persa. 

Un usuario comentó: «[O1] empezó a pensar en chino de repente a mitad de la conversación». Además, otro usuario completamente diferente en X también dijo: «¿Por qué [o1] empezó a pensar en chino de repente?».

¿Por qué o1 pro empezó a pensar en chino de repente? Ninguna parte de la conversación (más de 5 mensajes) estaba en chino… muy interesante… influencia de los datos de entrenamiento pic.twitter.com/yZWCzoaiit

– Rishab Jain (@RishabJainK) 9 de enero de 2025

Según las observaciones, al presentarle un problema, o1 iniciaba su proceso de razonamiento, que implica una secuencia de pasos que conducen a una respuesta. La respuesta final de o1 estaría en inglés si la consulta estuviera escrita en ese idioma.

Aún así, el modelo llevaría a cabo ciertos procedimientos en un idioma diferente antes de formular su conclusión.

Cabe destacar que OpenAI no ha explicado la peculiar conducta de o1, ni siquiera la ha reconocido. Por lo tanto, ¿cuál podría ser la causa?

A continuación se presentan algunas teorías de profesionales de la IA.

El director ejecutivo de Hugging Face, Clément Delangue, mencionó en X que los modelos de razonamiento como o1 se entrenan con conjuntos de datos que contienen una gran cantidad de caracteres chinos. 

Además, según Ted Xiao, investigador de Google DeepMind, organizaciones como OpenAI utilizan servicios de etiquetado de datos chinos de terceros, y la transición al chino es un ejemplo de la “influencia lingüística china en el razonamiento”

Ted Xiao escribió en una publicación de X: "Los laboratorios de IA general como OpenAI y Anthropic utilizan servicios de etiquetado de datos de terceros para obtener datos de razonamiento a nivel de doctorado para ciencia, matemáticas y programación; por razones de disponibilidad de mano de obra experta y costos, muchos de estos proveedores de datos tienen su sede en China".

Aparentemente, durante el proceso de entrenamiento, las etiquetas, también denominadasdento anotaciones, ayudan a los modelos a comprender e interpretar los datos.

 Por ejemplo, las etiquetas que se utilizan para entrenar un modelo de reconocimiento de imágenes pueden consistir en títulos que hacen referencia a cada persona, lugar u objeto representado en una imagen o marcas que rodean a los objetos.

Además, las investigaciones han demostrado que las clasificaciones sesgadas pueden generar modelos sesgados. Por ejemplo, el anotador promedio tiende a etiquetar frases en inglés vernáculo afroamericano (AAVE). 

Esta es la gramática informal que algunos afroamericanos consideran tóxica. Por ello, los detectores de toxicidad de IA entrenados con estas etiquetas perciben AAVE como excesivamente tóxico.

Aun así, la teoría del etiquetado de datos en chino o1 no cuenta con la aceptación de otros expertos. Enfatizan que es igualmente probable que o1 se transforme al hindi, al tailandés o a un idioma distinto del chino al intentar formular una solución.

Más bien, estos expertos argumentan que o1 y otros modelos de razonamiento pueden estar utilizando los lenguajes más eficientes para lograr un objetivo.

En ese sentido, Matthew Guzdial, investigador de IA, afirmó: «El modelo no sabe qué es un idioma ni que los idiomas son diferentes». Esto se debe a que los tokens, al igual que el etiquetado, pueden generar sesgos. 

En particular, varios traductores de palabra a token presuponen que un espacio en una oración indica una palabra nueva. Esto ocurre a pesar de que no todos los idiomas usan espacios para separar las palabras.

Sin embargo, Luca Soldaini, investigador del Instituto Allen para la IA (una organización sin fines de lucro), recalcó que es imposible determinarlo con certeza. Afirmó: «Este tipo de observación sobre un sistema de IA implementado es imposible de corroborar debido a la opacidad de estos modelos […] Este es uno de los numerosos ejemplos que ponen de manifiesto la importancia de la transparencia en la construcción de sistemas de IA».

Problemas con OpenAI

El año 2024 fue una auténtica montaña rusa para OpenAI. La empresa y su director ejecutivo, Sam Altman, comenzaron el año siendo demandados por Elon Musk. Este argumentó que la empresa abandonó su objetivo inicial sin fines de lucro para priorizar las ganancias sobre el beneficio público.

El año pasado, ocho periódicos estadounidenses, entre ellos el New York Daily News, el Chicago Tribune y el Denver Post, demandaron a OpenAI y Microsoft. Acusaron a la empresa de utilizar millones de publicaciones con derechos de autor para entrenar chatbots de IA sin permiso ni pago. Alegaron que la técnica violaba sus derechos de propiedad intelectual.

Además, Mira Murati, directora de tecnología de OpenAI, anunció su salida. Este fue un momento clave, ya que sus habilidades tecnológicas fueron cruciales para el desarrollo de la empresa.

Además, OpenAI experimentó varias dificultades con ChatGPT, como interrupciones ocasionales, fallos que resultaban en respuestas inexactas o sin sentido del chatbot y preocupaciones sobre la privacidad del usuario. También hubo casos en los que la IA generó contenido sesgado u ofensivo.