El modelo de “razonamiento” más reciente de OpenAI en errores básicos

OpenAI lanzó recientemente un modelo de IA de “razonamiento”, o1, pero ya está plagado de errores básicos, según el nuevo anuncio de la empresa.

El creador de ChatGPT lanzó lo que ha denominado su modelo más avanzado hasta la fecha para los suscriptores de pago, dando inicio a su evento "12 Días de OpenAI", una serie de lanzamientos para celebrar la temporada navideña.

Un video de demostración de OpenAI sugiere que el modelo es propenso a errores

Según un video publicado por OpenAI para mostrar las fortalezas del modelo, un usuario sube la imagen de una pajarera de madera y luego le pide consejos al modelo para construir una similar. El modelo "razonador" parece "pensar" un momento antes de dar lo que parecen ser instrucciones.

Al observarlas con más atención, las instrucciones parecen una pérdida de tiempo. El modelo mide los materiales necesarios para la tarea, como pintura, pegamento y sellador, pero solo proporciona las dimensiones del panel frontal de la pajarera.

El modelo sugiere cortar un trozo de papel de lija con otras dimensiones innecesarias. Además, el modelo afirma proporcionar las dimensiones exactas, pero no las proporciona, contrariamente a sus afirmaciones anteriores.

James Filus, director del Instituto de Carpinteros, un organismo comercial con sede en el Reino Unido, también expuso los errores del modelo, como las herramientas que son necesarias pero que faltan en la lista de o1, por ejemplo, un martillo.

“Sabrías tanto sobre la construcción de la pajarera a partir de la imagen como del texto, lo que frustraría el propósito de la herramienta de IA”

Filus.

Además, Filus también reveló que el costo de construir la misma casa para pájaros “no estaría ni cerca” de los 20 a 50 dólares que estimaba la modelo.

El modelo OpenAI hace lo contrario del uso previsto

El caso de o1 se suma a otros ejemplos de demostraciones de productos con modelos de IA que hacen lo contrario de lo previsto. En 2023, un anuncio para una herramienta de búsqueda asistida por IA indicó erróneamente que el telescopio James Webb había realizado un descubrimiento que no era cierto. Este error provocó una caída en el precio de las acciones de la compañía.

Esto no fue todo por parte del gigante de los motores de búsqueda, ya que recientemente una versión actualizada de una herramienta similar de Google indicó a los usuarios que era seguro comer piedras. También afirmó que los usuarios podían usar pegamento para pegar queso a la pizza.

A pesar de los errores, el modelo o1, según los benchmarks públicos, sigue siendo el modelo más eficaz de OpenAI hasta la fecha. Además, adopta un enfoque diferente al de ChatGPT al responder preguntas.

Según Time, o1 sigue siendo un predictor de la siguiente palabra muy avanzado, ya que fue entrenado usando aprendizaje automático en miles de millones de palabras de texto de Internet y más allá.

El modelo utiliza una técnica conocida como razonamiento en cadena para pensar en una respuesta brevemente y solo después la da. Esto es diferente a simplemente dar palabras en respuesta a una indicación.

Esto ayuda al modelo a dar respuestas más precisas en comparación con un caso en el que simplemente emite palabras en respuesta a las consultas del usuario.