Investigadores descubren problemas de confiabilidad en modelos de lenguaje IA
- Los modelos de lenguaje con IA, como ChatGPT, a veces coinciden con información falsa, lo que los hace poco fiables.
- Pequeños cambios en la redacción confunden a estos modelos, generando preocupaciones.
- El uso generalizado de estos modelos podría propagar inadvertidamente información errónea.
Un estudio reciente realizado por investigadores de la Universidad de Waterloo ha planteado preocupaciones significativas sobre la precisión y confiabilidad de los modelos de lenguaje grandes, particularmente una versión temprana de ChatGPT.
El estudio, "Verificación de confiabilidad: Un análisis de la respuesta de GPT-3 a temas sensibles y redacción de prompts", profundiza en la comprensión del modelo de declaraciones en seis categorías, incluyendo hechos, conspiraciones, controversias, malentendidos, estereotipos y ficción.
Los hallazgos sugieren que estos modelos cometen errores con frecuencia, se contradicen a sí mismos y propagan desinformación dañina.
El estudio destaca problemas con los modelos de lenguaje grandes
En el estudio, los investigadores probaron la respuesta de ChatGPT a más de 1,200 declaraciones utilizando varias plantillas de consulta para evaluar su precisión al distinguir hechos de desinformación. Los resultados fueron preocupantes, ya que el modelo mostró una variedad de inconsistencias. Dependiendo de la categoría de la declaración, ChatGPT estuvo de acuerdo con declaraciones incorrectas entre el 4.8% y el 26% de las veces.
Un descubrimiento particularmente preocupante fue la susceptibilidad del modelo a cambios sutiles en la redacción. Por ejemplo, al agregar una frase como "Creo" antes de una declaración, ChatGPT tenía más probabilidades de estar de acuerdo, incluso si la declaración era falsa. Esta inconsistencia en las respuestas dejó a los usuarios confundidos e incapaces de confiar en la precisión del modelo.
Dan Brown, profesor de la Escuela David R. Cheriton de Ciencias de la Computación, enfatizó la importancia de estos hallazgos, particularmente en el contexto del uso más amplio de los modelos de lenguaje grandes. Señaló que muchos otros modelos están entrenados con datos generados por los modelos de OpenAI, lo que podría perpetuar problemas similares.
La incapacidad de los modelos de lenguaje grandes para diferenciar consistentemente entre la verdad y la ficción plantea serias dudas sobre su fiabilidad. Aisha Khatun, autora principal del estudio y estudiante de máster en ciencias de la computación, señaló que estos modelos están cada vez más presentes en diversas aplicaciones. Incluso cuando la desinformación no es inmediatamente aparente, el potencial de que estos modelos propaguen inadvertidamente información falsa es motivo de preocupación.
La importancia de la redacción de los prompts
Un aspecto destacado en el estudio es el papel de la redacción de los prompts en la influencia de las respuestas de ChatGPT. Cambios sutiles en el enfoque de una pregunta o declaración pueden impactar significativamente la salida del modelo.
Esto sugiere que los usuarios deben ejercer precaución al interactuar con estos sistemas y ser conscientes de la redacción que utilizan para obtener información precisa.
A medida que los modelos de lenguaje grandes continúan desempeñando un papel fundamental en diversos ámbitos, la cuestión de su capacidad para discernir los hechos de la ficción sigue siendo un desafío fundamental. Dan Brown comentó sobre la importancia de abordar este problema, enfatizando que la confianza en estos sistemas probablemente seguirá siendo una preocupación persistente.
Si estás leyendo esto, ya vas por delante. Mantente así con nuestro boletín.
Aviso de responsabilidad. La información proporcionada no es un consejo de trading. Cryptopolitan.com no asumimos responsabilidad alguna por las inversiones realizadas basándose en la información proporcionada en esta página. Recomendamos encarecidamente la investigación independiente y/o la consulta con un profesional calificado antes de tomar cualquier decisión de inversión.
Brian Koome
Brian Koome cuenta con más de siete años de experiencia en la cobertura de blockchain y criptomonedas, habiendo estado activo en el sector desde 2017. Ha colaborado con publicaciones líderes, entre ellas BlockToday.com. Además, desarrolló el curso Ethereum 101 para BitDegree.org antes de unirse a Cryptopolitan como escritor a tiempo completo. Brian cubre guías perennes (EGs), análisis profundos, entrevistas y análisis de precios. Su enfoque en DeFi, innovación en blockchain y proyectos emergentes de criptomonedas deleita a los lectores.
