El modelo de “razonamiento” más reciente de OpenAI comete errores básicos

OpenAI lanzó recientemente un modelo de IA de “razonamiento” – o1, pero ya está plagado de errores básicos, según el nuevo anuncio de la empresa.

El creador de ChatGPT lanzó lo que ha denominado su modelo más avanzado hasta la fecha para suscriptores de pago, dando inicio a su evento “12 Días de OpenAI”, que es una serie de lanzamientos para celebrar la temporada navideña.

Un video de demostración de OpenAI sugiere que el modelo es propenso a errores

Según un video que OpenAI lanzó para mostrar las fortalezas del modelo, un usuario sube una imagen de una caseta de pájaros de madera y luego le pide al modelo algunos consejos sobre cómo construir uno similar. El modelo de “razonamiento” parece “pensar” por un momento antes de proporcionar lo que parece ser un conjunto de instrucciones.

Al mirar más de cerca, las instrucciones parecen ser una pérdida de tiempo. El modelo mide el material necesario para la tarea, como pintura, pegamento y sellador, pero solo proporciona dimensiones para el panel frontal de la caseta de los pájaros.

El modelo sugiere cortar un trozo de lija a otro conjunto de dimensiones que no son necesarias. Además, el modelo afirma que está dando “las dimensiones exactas” pero no proporciona dimensiones exactas, contrario a sus afirmaciones anteriores.

James Filus, director del Instituto de Carpinteros, un organismo comercial con sede en el Reino Unido, también expuso los errores del modelo, como herramientas que son necesarias pero faltan en la lista de o1, por ejemplo, un martillo.

“Sabrías tanto sobre cómo construir la caseta de los pájaros a partir de la imagen como del texto, lo cual anula todo el propósito de la herramienta de IA.”

Filus.

Además, Filus también reveló que el costo de construir la misma caseta de los pájaros sería “muy lejos de” los 20 a 50 dólares que estimó el modelo.

El modelo de OpenAI hace lo contrario del uso previsto

El caso de o1 se suma a otros ejemplos de demostraciones de productos de modelos de IA donde hacen lo contrario del propósito previsto. En 2023, un anuncio de Google para una herramienta de búsqueda asistida por IA indicó erróneamente que el telescopio James Webb había hecho un descubrimiento que no había realizado. Este error provocó una caída en el precio de las acciones de la empresa.

Esto no fue todo por parte del gigante del motor de búsqueda, ya que recientemente una versión actualizada de una herramienta similar de Google dijo a los usuarios que era seguro comer rocas. También afirmó que los usuarios podían usar pegamento para adherir queso a su pizza.

A pesar de los errores, el modelo o1, según las pruebas públicas, sigue siendo el modelo más capaz de OpenAI hasta la fecha. También adopta un enfoque diferente al de ChatGPT al responder preguntas.

Según Time, o1 sigue siendo un predictor de próxima palabra muy avanzado, ya que fue entrenado mediante aprendizaje automático con miles de millones de palabras de texto de internet y más allá.

El modelo utiliza una técnica conocida como razonamiento de “cadena de pensamiento” para “pensar” sobre una respuesta por un momento detrás de escena y da su respuesta solo después de eso. Esto es diferente a simplemente emitir palabras en respuesta a un prompt.

Esto ayuda al modelo a dar respuestas más precisas en comparación con un caso donde simplemente escupe palabras en respuesta a las consultas del usuario.