La "cadena de pensamiento" ayuda a la IA a resolver acertijos de vocabulario

¿ la IA las mismas habilidades que los humanos? ¿Puede encontrar pistas sutiles en el vocabulario? Investigadores de la Escuela de Ingeniería Tandon de la Universidad de Nueva York no se sorprenden al ver la actividad principal realizada por las personas (participar en el rompecabezas diario Connections) del New York Times, como se menciona en el artículo. 

Evaluación de modelos de lenguaje de IA

La investigación reveló una pregunta controvertida para la próxima conferencia IEEE 2024 de Milán sobre estudios de juegos y el intercambio de conocimientos disponibles y comunes: ¿Es posible que las técnicas modernas de procesamiento del lenguaje natural (PLN) resuelvan acertijos basados ​​en el lenguaje? 

Con Julian Togelius, profesor asistente de CSE y director del Game Innovation Lab en NYU Tandon, como coautor, el equipo se centró en dos métodos de IA: aprendizaje automático y aprendizaje de representación de alto nivel. El primero aprovechó GPT-3.5 y la última versión, GPT-4, los excelentes modelos de lenguaje con dominio abierto y comprensión de OpenAI.

El siguiente mecanismo se basa en modelos de incrustación de oraciones, especialmente BERT, RoBERTa, MPNet y MiniLM. Estos modelos representan los datos semánticos como una representación vectorial, pero carecen de las capacidades de comprensión y generación lingüísticas de los LLM.

Sin embargo, se concluyó que, si bien todas las máquinas de IA podían realizar algunas de las tareas de Connections, el desafío seguía siendo prácticamente insuperable. Tiende a ser mejor que otras en la categoría anterior, incluyendo logros notables como los métodos de incrustación y GPT-3.

Uno de los hallazgos clave es que los modelos muestran una conexión muy estrecha con la capacidad humana de categorizar rápidamente la dificultad de los rompecabezas, desde "simples" hasta "desafiantes". Los modelos de lógica descriptiva se utilizan cada vez con más frecuencia, y analizar en qué contextos fallan con respecto al problema de las conexiones puede revelar una restricción general en el procesamiento semántico del lenguaje natural, añadió Graham Todd, estudiante de doctoradodent el Laboratorio de Innovación de Juegos y autor principal del estudio.

Ampliando los límites con GPT-4

Los investigadores observaron que pedirle a GPT-4 que resolviera los rompecabezas mediante un enfoque fragmentado mejoró enormemente la capacidad de resolverlos, especialmente con una precisión de poco más del 39% de los rompecabezas.

Una prueba más de la utilidad de la "cadena de estímulos mentales", como ya se ha demostrado en investigaciones previas y ahora confirmada en nuestra investigación, es que conduce al pensamiento estructurado en vocabulario, como afirma Timothy Merino, estudiante de doctorado en eldent de Innovación en Juegos y uno de los autores de estetrac. La cuestión de si los modelos lingüísticos realizan el trabajo y concluyen mejor las tareas se resuelve eficazmente al hacerles reflexionar sobre el trabajo que están realizando. Los investigadores utilizaron un archivo de rompecabezas en línea con 250 rompecabezas que representan los rompecabezas diarios del 12 de junio de 2023 al 16 de febrero de 2024.