El estudio revela las dificultades de ChatGPT con matemáticas básicas

foto 2023 08 06 23 22 19
- La 'deriva' en los modelos de IA plantea desafíos, provocando consecuencias no deseadas cuando ciertas funcionalidades se mejoran a expensas de otras.
- El declive de ChatGPT en matemáticas básicas y otras tareas destaca la complejidad de lograr avances constantes en los modelos de IA.
- La vigilancia y el monitoreo riguroso son cruciales para comprender y refinar los sistemas de IA a medida que evolucionan con el tiempo.
En el mundo de la tecnología en rápida evolución, los chatbots de Inteligencia Artificial (IA) han surgido como un avance significativo. Entre ellos, ChatGPT de OpenAI ha sido un destacado, cautivando a la audiencia desde su presentación pública el año pasado. Su capacidad para mantener conversaciones fluidas le ha valido elogios e ignited una feroz carrera global para desarrollar modelos de IA aún más avanzados. Sin embargo, entre los aplausos y las preocupaciones sobre el dominio potencial de la IA, hallazgos recientes han revelado un desarrollo inesperado: la disminución de la competencia de ChatGPT en matemáticas básicas.
Comprender el fenómeno de la 'deriva' de la IA
El término 'deriva' en la IA no es solo una palabra de moda. Es un fenómeno real y observado que ha captado la atención de la comunidad académica. Un esfuerzo de investigación colaborativo entre la Universidad de Stanford y la Universidad de California, Berkeley, ha arrojado luz sobre este aspecto intrigante del comportamiento de la IA.
La esencia de la 'deriva' radica en las consecuencias no intencionadas de la optimización del modelo. A medida que los investigadores y desarrolladores se esfuerzan por mejorar ciertas funcionalidades de estos intrincados modelos de IA, otras áreas podrían sufrir inadvertidamente. Esto es precisamente lo que está sucediendo con ChatGPT.
James Zou, un reconocido profesor de Stanford y un contribuyente clave a la investigación, elucidó: “Cuando ajustas el modelo para mejorarlo en una dirección específica, existe un riesgo tangible de que retroceda en otras áreas”. Este desafío intrínseco subraya la complejidad de lograr avances consistentes en los modelos de IA.
Profundizando en el declive
La investigación no fue un vistazo superficial a las capacidades de ChatGPT. Fue un análisis meticuloso encabezado por Lingjiao Chen, una diligente estudiante de doctorado en ciencias de la computación de Stanford, y Matei Zaharia, una figura prominente de Berkeley. Su objetivo era claro: evaluar cómo se desempeñaron dos versiones distintas de ChatGPT durante un período.
Sus hallazgos fueron impactantes. Uno supondría que identificar números primos, una tarea relativamente sencilla para las computadoras, sería pan comido para una IA tan avanzada. Sin embargo, los resultados contaron una historia diferente.
En una prueba realizada en marzo, GPT-4, la versión premium de ChatGPT, se presentó con 1.000 números diferentes. Logró determinar correctamente la primalidad del 84% de ellos. Avancemos hasta junio, y su precisión se desplomó a un mero 51%. Esto no fue un incidente aislado. De ocho tareas diversas, el rendimiento de GPT-4 se deterioró en seis. Aunque GPT-3.5 mejoró en seis áreas, predominantemente quedó rezagado frente a su sucesor.
Las implicaciones de la deriva rápida
Aunque la 'deriva' es un concepto reconocido entre los aficionados a la IA, la velocidad a la que se manifestó en ChatGPT fue inesperada. Las observaciones del equipo de investigación se extendieron más allá de las tareas matemáticas. Notaron un marcado declive en la capacidad de respuesta de GPT-4 a consultas centradas en opiniones. Desde una tasa de respuesta encomiable del 98% en marzo, disminuyó al 23% en junio.
Esta regresión podría estar entrelazada con la tendencia emergente de la 'ingeniería de prompts'. Esto implica que los usuarios elaboran prompts específicos para extraer respuestas de IA particulares y, a veces, controvertidas. La degradación de la competencia matemática de ChatGPT podría ser una consecuencia involuntaria de las medidas tomadas para contrarrestar tales prompts manipulativos.
Navegando el futuro de la IA
A pesar de los obstáculos, el consenso, especialmente entre la comunidad de investigación, no es descartar la tecnología. En cambio, el énfasis está en la vigilancia. Zou aboga apasionadamente por un enfoque de monitoreo más riguroso. Haciendo eco de sus sentimientos, el equipo conjunto de Stanford y Berkeley se está preparando para someter a los modelos de IA, incluido ChatGPT, a una batería de pruebas. ¿Su objetivo? Evaluar empíricamente su evolución a lo largo del tiempo.
El camino del progreso de la IA no es lineal. Es un viaje dinámico marcado por avances, tropiezos ocasionales y desvíos inesperados. A medida que la comunidad global continúa navegando por el intrincado laberinto de la IA, una cosa es evidente: el viaje de comprensión y refinamiento de estos sistemas está lejos de haber terminado.
Las mentes más inteligentes del mundo cripto ya leen nuestro boletín. ¿Quieres unirte? Únete a ellos.
Aviso de responsabilidad. La información proporcionada no es un consejo de trading. Cryptopolitan.com no asumimos responsabilidad alguna por las inversiones realizadas basándose en la información proporcionada en esta página. Recomendamos encarecidamente realizar investigaciones independientes y/o consultar con un profesional calificado antes de tomar cualquier decisión de inversión.

John Palmer
John Murangiri llegó a Cryptopolitan con habilidades en análisis de mercado. John (también conocido como JP) se graduó de la Universidad de Nairobi con un título de licenciatura en comunicación masiva y estudios de medios. Anteriormente, ha contribuido con perspectivas del mercado de criptomonedas a InsideBitcoins.com y Metacoingraph.















