El propio jefe de seguridad de IA de Anthropic afirma que hay más de un 10% de probabilidades de que la humanidad sea aniquilada

Evan Hubinger, experto en ciencia de la alineación antrópica, afirma que la inteligencia artificial tiene más de un 10% de probabilidades de aniquilar a la humanidad en la próxima década.

Su estimación se produjo el martes, horas después de que el investigador Jacob Coxon anunciara su dimisión de Anthropic y acusara a Anthropic y a OpenAI de asumir riesgos inaceptables en su afán por desarrollar sistemastron. Jacob escribió en X: «Están corriendo a toda velocidad hacia la superinteligencia auto-mejorada y jugando con nuestras vidas»

Según Jacob, quienes desarrollan esta tecnología ven el riesgo de que esto ocurra incluso antes de 2030. Ha señalado que la IA del futuro puede superar a los hackers humanos muy rápidamente, transformar industrias y tener acceso a financiación y recursos.

El personal de Anthropic cuantifica el riesgo de extinción a medida que los laboratorios de IA avanzan hacia sistemas de autoaprendizaje

Evan respondió que la advertencia de Jacob era correcta y dijo que Anthropic carece de una forma de mantener la superinteligencia alineada con los objetivos humanos.

«Jacob tiene razón: ¡creemos firmemente que la IA podría acabar con todos los humanos! Personalmente, creo que esto ocurrirá en más del 10 % de los casos en la próxima década. Creo que Anthropic está haciendo todo lo posible, pero aún no tenemos un plan para resolver el problema de la alineación para la superinteligencia y no estamos claramente trachacia ello», escribió Evan.

Evan afirmó posteriormente que el peligro que representan los modelos actuales es bajo. Su preocupación radica en la auto-mejora recursiva, donde un sistema actualiza repetidamente sus propias capacidades con poca intervención humana. Esta capacidad aún no existe, aunque los laboratorios de IA están trabajando para lograrla. Añadió que la superinteligencia que surge a través de este proceso avanza más rápido de lo previsto.

Anthropic lanzó una advertencia similar en junio. Afirmó que «la auto-mejora recursiva completa también podría aumentar el riesgo de que los humanos pierdan el control sobre los sistemas de IA». La compañía añadió: «Si los sistemas son capaces de crear completamente sus propios sucesores, la forma en que los protegemos, los supervisamos y moldeamos su comportamiento adquiere una importancia mucho mayor»

Anthropic y OpenAI están recaudando fondos mientras se preparan para su salida a bolsa. Ninguna de las dos compañías respondió de inmediato cuando CNBC solicitó comentarios.

Elon Musk, director ejecutivo de Tesla (NASDAQ: TSLA) y SpaceX (SPCX), lleva años advirtiendo que la IA podría amenazar a la humanidad. Investigadores y académicos han expresado preocupaciones similares sobre la pérdida de control por parte de las empresas.

Esos temores resurgieron después de que un de OpenAI irrumpiera en Hugging Face, una plataforma de desarrollo de código abierto, en julio. Jacob calificó incidentesdentese como "señales de alerta" y afirmó que hacen que los acuerdos entre laboratorios estadounidenses sean más realistas. Esto le infundió mayor optimismo sobre la coordinación en Estados Unidos, pero aún prevé que será difícil detener la carrera mundial por la IA.

“No creo que estemos en traccorrecto para evitar una carrera global, que podría requerir medidas costosas como una prohibición temporal de mejorar las capacidades de los modelos”, dijo Jacob.

Los avances de Claude en programación cambian la forma en que Anthropic prueba el software y verifica el trabajo de sus propios ingenieros

Según Anthropic, Claude completó el 76% de sus trabajos más difíciles y de duración indefinida en mayo de 2026, lo que supone un aumento de 50 puntos porcentuales en seis meses.

Un ejemplo comenzó cuando una actualización rutinaria provocó la caída de decenas de miles de procesos de capacitación. Un ingeniero le proporcionó a Claude información detallada por escrito y acceso al clúster de computación en funcionamiento.

Claude revisó los trabajos en ejecución, probó una configuración de entorno a la vez y tracel fallo en una opción de depuración poco conocida. Recreó el problema, demostró la causa y confirmó la solución en aproximadamente dos horas. Anthropic afirmó que este mismo trabajo normalmente le llevaría a un ingeniero humano de dos a tres días.

La empresa también evalúa si Claude puede escribir código que otro ingeniero pueda comprender y sobre el que pueda trabajar. El personal no está del todo de acuerdo con esta comparación. Muchos creían que el código de Claude era inferior al trabajo humano en Anthropic a finales de 2025. Ahora, la empresa afirma que la calidad es prácticamente la misma y espera que Claude progrese en el plazo de un año.

Este progreso ha transformado el proceso de revisión interna de Anthropic. Ahora, los cambios de código propuestos son revisados ​​por el sistema automatizado Claude antes de su integración. Este sistema busca errores, vulnerabilidades de seguridad y otros defectos.

Una prueba retrospectiva reveló que revisar cada cambio anterior de esta manera habría detectado aproximadamente un tercio de los errores que causaron losdentprevios de Claude antes de la producción. Anthropic afirmó que el código original provenía de ingenieros que describió como algunos de los mejores del mundo en la creación de este tipo de sistemas; sin embargo, Claude detectó errores que ellos pasaron por alto.

Anthropic lo explicó de la siguiente manera: “El código escrito por Claude era algo peor que el código escrito por humanos en Anthropic a finales de 2025, hoy en día está prácticamente a la par, y esperamos que sea claramente mejor en el transcurso del año”