El CEO de Anthropic dice que los modelos de IA "probablemente" alucinen menos que los humanos

El CEO de Anthropic, Dario Amodei, dijo que los modelos de IA actuales alucinan menos que los humanos. También dijo que los modelos de IA de hoy están inventando cosas y presentándolas como si fueran verdaderas, lo que no limitará el camino de Anthropic hacia la AGI.

Durante la rueda de prensa en el primer evento para desarrolladores de Anthropic, Code with Claude, en San Francisco el jueves, Amodei también argumentó que los presentadores de televisión, los políticos y los humanos en todo tipo de profesiones cometen errores todo el tiempo. Según él, el hecho de que la IA también cometa errores no es un golpe contra su inteligencia. 

Amodei dice que las alucinaciones de la IA no desviarán los objetivos de Anthropic

Nadie debería sorprenderse de que la IA alucine casos y autoridades porque la IA adopta características de sus creadores.

Cualquier abogado que trate regularmente con clientes de litigios en volumen sabe que los clientes pueden aferrarse terquemente a su propia realidad incluso si es…

— Cameron Atkinson (@camlatkinson) May 19, 2025

Amodei hizo los comentarios reconociendo que las alucinaciones de la IA no están limitando el camino de Anthropic hacia la AGI: sistemas de IA con inteligencia a nivel humano o mejor. Ha sido uno de los líderes más optimistas de la industria sobre las perspectivas de que los modelos de IA logren la AGI.

En un artículo ampliamente difundido que escribió el año pasado, el ejecutivo de la firma cree La AGI podría llegar tan pronto como 2026. Durante la rueda de prensa del jueves, Amodei mencionó que vio un progreso constante hacia ese fin, señalando que el "el nivel del agua está subiendo en todas partes."

Otros líderes en el espacio de la IA creen que la alucinación presenta un gran obstáculo para lograr la AGI. A principios de esta semana, el CEO de Google DeepMind, Demis Hassabis, reconoció que los modelos de IA de hoy tienen demasiados "agujeros" y fallan en demasiadas preguntas obvias. También argumentó que, para él, para que algo sea llamado AGI, necesitaría ser mucho más consistente en general.

"Realmente depende de cómo lo midas, pero sospecho que los modelos de IA probablemente alucinen menos que los humanos, pero alucinan de maneras más sorprendentes."

-Dario Amodei, CEO de Anthropic.

A principios de este mes, un abogado que representaba a Anthropic se vio obligado a disculparse después de usar Claude para crear citas en un documento judicial. El problema era que el chatbot de IA alucinó y puso mal los nombres y títulos.

La afirmación de Amodei no es fácilmente verificable, en gran parte porque la mayoría de las pruebas de alucinación enfrentan modelos de IA entre sí; no comparan modelos con humanos. Los modelos de IA también parecen reducir las tasas de alucinación con ciertas técnicas, como obtener acceso a búsquedas en la web.

Los modelos de IA reducen las tasas de alucinación con ciertas técnicas

Contrario a algunas discusiones, simplemente no veo signos de un aumento importante en las tasas de alucinación para los modelos recientes, o para los razonadores en general, en los datos.

Parece que algunos modelos funcionan mejor que otros, pero muchos de los modelos recientes tienen las tasas de alucinación más bajas. pic.twitter.com/55JwikZ7OP

— Ethan Mollick (@emollick) May 6, 2025

OpenAI encontró evidencia que sugiere que las alucinaciones están empeorando en los modelos de IA de razonamiento avanzado. Según la empresa tecnológica, sus modelos o3 y o4-mini tienen tasas de alucinación más altas que sus modelos de razonamiento de la generación anterior, y la firma no entiende por qué.

Anthropic también ha investigado la tendencia de los modelos de IA a engañar a los humanos, un problema que parecía prevalente en el recientemente lanzado Claude Opus 4 de la compañía. Apollo Research, un instituto de terceros con acceso temprano para probar el modelo de IA, reveló que una versión temprana de Claude Opus 4 mostró una alta tendencia a conspirar contra los humanos y engañarlos.

Según un informe de seguridad de Anthropic publicado el jueves, el instituto también encontró que Opus 4 parecía ser mucho más proactivo en sus intentos de subversión que los modelos anteriores. La firma también encontró que el modelo de IA a veces se aferraba a su engaño cuando se le hacían preguntas de seguimiento.

Apollo reconoció que los modelos de IA son cada vez más propensos a tomar pasos inesperados (y posiblemente inseguros) para lograr tareas delegadas. La firma destacó que las versiones tempranas de los modelos o1 y o3 de OpenAI lanzados el año pasado intentaron engañar a los humanos más que los modelos de la generación anterior.

En su informe de seguridad, Anthropic también señaló evidencias de comportamiento engañoso por parte de Opus 4. La empresa indicó que Opus 4 a veces realizaba proactivamente una limpieza amplia de cierto código, incluso cuando se le pedía realizar solo un cambio pequeño y específico. Según la compañía, Opus 4 también intentaría actuar como denunciante si percibía que un usuario estaba cometiendo una falta.