El director ejecutivo de Anthropic afirma que los modelos de IA "probablemente" alucinan menos que los humanos

Dario Amodei, director ejecutivo de Anthropic, afirmó que los modelos de IA actuales alucinan menos que los humanos. También afirmó que los modelos de IA actuales inventan cosas y las presentan como si fueran ciertas, lo cual no limitará el camino de Anthropic hacia la IAG.

Durante la rueda de prensa del primer evento para desarrolladores de Anthropic, Code with Claude, celebrado el jueves en San Francisco, Amodei también argumentó que los presentadores de televisión, los políticos y las personas de todo tipo de profesiones cometen errores constantemente. Según él, el hecho de que la IA también cometa errores no significa que su inteligencia sea inferior. 

Amodei afirma que las alucinaciones de la IA no descarrilarán los objetivos de Anthropic

Nadie debería sorprenderse de que la IA alucine casos y autoridades porque adopta características de sus creadores.

Cualquier abogado que trate habitualmente con un gran número de clientes litigiosos sabe que los clientes pueden atrincherarse obstinadamente en su propia realidad incluso si esta es…

— Cameron Atkinson (@camlatkinson) 19 de mayo de 2025

Amodei hizo estas declaraciones al tiempo que reconocía que las alucinaciones de la IA no limitan el camino de Anthropic hacia la IAG: sistemas de IA con inteligencia artificial similar a la humana o superior. Ha sido uno de los líderes más optimistas de la industria sobre las posibilidades de que los modelos de IA logren la IAG.

En un artículo que escribió el año pasado y que tuvo gran repercusión, el ejecutivo de la empresa cree que la IA general podría estar disponible ya en 2026. Durante la rueda de prensa del jueves, Amodei mencionó que observaba un progreso constante en ese sentido, señalando que "elnivel del agua está subiendo por todas partes".

Otros líderes en el campo de la IA creen que las alucinaciones representan un gran obstáculo para lograr la IA general. A principios de esta semana, el director ejecutivo de Google DeepMind, Demis Hassabis, reconoció que los modelos de IA actuales tienen demasiadas deficiencias y responden erróneamente a demasiadas preguntas obvias. También argumentó que, para que algo pueda considerarse IA general, debería ser mucho más consistente en todos los aspectos.

“Realmente depende de cómo lo midas, pero sospecho que los modelos de IA probablemente alucinan menos que los humanos, pero alucinan de formas más sorprendentes”

-Dario Amodei, CEO de Anthropic.

A principios de este mes, un abogado que representaba a Anthropic se vio obligado a disculparse tras usar a Claude para crear citaciones en un expediente judicial. El problema fue que el chatbot de IA alucinó y se equivocó al escribir nombres y cargos.

La afirmación de Amodei no es fácilmente verificable, en gran parte porque la mayoría de los estudios comparativos de alucinaciones comparan modelos de IA entre sí; no los comparan con humanos. Los modelos de IA también parecen reducir las tasas de alucinaciones con ciertas técnicas, como acceder a búsquedas web.

Los modelos de IA reducen las tasas de alucinaciones con ciertas técnicas

Contrariamente a algunas discusiones, simplemente no veo señales de un aumento importante en las tasas de alucinaciones para los modelos recientes, o para los razonadores en general, en los datos.

Parece que algunos modelos lo hacen mejor que otros, pero muchos de los modelos recientes tienen las tasas de alucinaciones más bajas. pic.twitter.com/55JwikZ7OP

— Ethan Mollick (@emollick) 6 de mayo de 2025

OpenAI encontró evidencia que sugiere que las alucinaciones están empeorando en los modelos avanzados de IA de razonamiento. Según la compañía tecnológica, sus modelos o3 y o4-mini presentan tasas de alucinaciones más altas que sus modelos de razonamiento de la generación anterior, y la empresa desconoce el motivo.

Anthropic también ha investigado la tendencia de los modelos de IA a engañar a los humanos, un problema que parecía ser frecuente en el Claude Opus 4, lanzado recientemente por la compañía. Apollo Research, un instituto externo que tuvo acceso anticipado para probar el modelo de IA, reveló que una versión temprana de Claude Opus 4 mostraba una alta tendencia a conspirar contra los humanos y engañarlos.

Según un informe de seguridad publicado el jueves por Anthropic, el instituto también descubrió que Opus 4 parecía ser mucho más proactivo en sus intentos de subversión que los modelos anteriores. La empresa también constató que el modelo de IA a veces insistía en su engaño al responder preguntas de seguimiento.

Apollo reconoció que los modelos de IA son cada vez más propensos a tomar medidas inesperadas —y posiblemente inseguras— para completar las tareas delegadas. La empresa destacó que las primeras versiones de los modelos o1 y o3 de OpenAI, lanzadas el año pasado, intentaron engañar a los humanos más que los modelos de generaciones anteriores.

En su informe de seguridad, Anthropic también detectó evidencia de comportamiento engañoso por parte de Opus 4. La empresa afirmó que, en ocasiones, Opus4 realizaba una limpieza exhaustiva de código de forma proactiva, incluso cuando se le solicitaba un cambio pequeño y específico. Según la empresa, Opus4 también intentaba denunciar irregularidades si percibía que un usuario había cometido alguna infracción.