El jefe de seguridad de IA de Anthropic dice que hay más del 10% de probabilidad de que la humanidad sea eliminada

Evan Hubinger, líder de ciencia de alineación de Anthropic, dice que la inteligencia artificial tiene más del 10% de probabilidad de eliminar a la humanidad en la próxima década.

Su estimación llegó el martes, horas después de que el investigador Jacob Coxon dijera que había renunciado a Anthropic y acusado a Anthropic y OpenAI de tomar riesgos inaceptables mientras persiguen sistemas más fuertes. Jacob escribió en X: «Están corriendo directamente hacia una superinteligencia auto-mejorable y apostando con nuestras vidas».

Según Jacob, quienes desarrollan la tecnología ven un riesgo de que esto ocurra incluso antes de 2030. Ha señalado que la IA futura puede superar a los hackers humanos muy rápidamente y transformar industrias y tener acceso a finanzas y recursos.

El personal de Anthropic pone un número al riesgo de extinción mientras los laboratorios de IA avanzan hacia sistemas auto-mejorables

Evan respondió que la advertencia de Jacob era correcta y dijo que Anthropic carece de una forma de mantener la superinteligencia alineada con los objetivos humanos.

«Jacob tiene razón aquí: realmente creemos que la IA podría matar a todos los humanos! Personalmente, creo que es >10% dentro de la próxima década. Creo que Anthropic está haciendo su mejor esfuerzo, pero aún no tenemos un plan para resolver la alineación de la superinteligencia y no estamos claramente en camino a hacerlo», escribió Evan.

Evan más tarde dijo que el peligro de los modelos actuales es «bajo». Su preocupación es la auto-mejora recursiva, donde un sistema actualiza repetidamente sus propias capacidades con poca ayuda humana. Esa capacidad aún no existe, aunque los laboratorios de IA están trabajando hacia ella. Dijo que la emergencia de superinteligencia a través de ese proceso está avanzando más rápido de lo esperado.

Anthropic hizo una advertencia similar en junio. Dijo que «la auto-mejora recursiva completa también podría aumentar los riesgos de que los humanos pierdan el control sobre los sistemas de IA». La empresa añadió: «Si los sistemas son capaces de construir completamente sus propios sucesores, las formas en que los aseguramos, monitoreamos y moldeamos su comportamiento se vuelven mucho más importantes».

Anthropic y OpenAI están recaudando dinero mientras avanzan hacia listados públicos esperados. Ninguna de las dos compañías respondió inmediatamente cuando CNBC solicitó comentarios.

Elon Musk, CEO de Tesla (NASDAQ: TSLA) y SpaceX (SPCX), ha advertido durante años que la IA podría amenazar a la humanidad. Investigadores y académicos han planteado preocupaciones similares sobre las empresas perdiendo el control.

Esos temores aumentaron nuevamente después de que un modelo OpenAI se infiltrara en Hugging Face, una plataforma de desarrolladores de código abierto, en julio. Jacob llamó a incidentes como ese «disparos de advertencia» y dijo que hacen que los acuerdos entre laboratorios de EE. UU. sean más realistas. Eso lo hizo más optimista sobre la coordinación de EE. UU., pero aún espera que una carrera mundial de IA sea difícil de detener.

«No siento que estemos en camino de prevenir una carrera global, lo que podría requerir acciones costosas como una prohibición temporal de mejorar las capacidades del modelo», dijo Jacob.

Las ganancias de codificación de Claude cambian cómo Anthropic prueba el software y verifica el trabajo de sus propios ingenieros

Anthropic dijo que Claude completó el 76% de sus trabajos abiertos más difíciles en mayo de 2026, un aumento de 50 puntos porcentuales en seis meses.

Un ejemplo comenzó cuando una actualización rutinaria provocó que decenas de miles de trabajos de entrenamiento se bloquearan. Un ingeniero le dio a Claude contexto escrito y acceso al clúster de cómputo en vivo.

Claude verificó los trabajos en ejecución, probó una configuración de entorno a la vez y rastreó el fallo hasta una bandera de depuración poco conocida. Recreó el problema, probó la causa y confirmó una solución en aproximadamente dos horas. Anthropic dijo que el mismo trabajo generalmente tomaría a un ingeniero humano de dos a tres días.

La empresa también mide si Claude puede escribir código que otro ingeniero pueda entender y desarrollar. El personal no está completamente de acuerdo con la comparación. Muchos creían que el código de Claude estaba por debajo del trabajo humano en Anthropic a finales de 2025. La empresa ahora dice que la calidad es aproximadamente igual y espera que Claude se adelante dentro de un año.

Ese progreso ha cambiado el proceso de revisión interna de Anthropic. Los cambios de código propuestos ahora son verificados por un revisor Claude automatizado antes de que puedan fusionarse. Escanea en busca de errores, debilidades de seguridad y otros defectos.

Una prueba retrospectiva encontró que revisar cada cambio pasado de esta manera habría atrapado aproximadamente un tercio de los errores detrás de incidentes anteriores de Claude antes de la producción. Anthropic dijo que el código original provenía de ingenieros que describió como entre los mejores del mundo para construir estos sistemas, sin embargo, Claude encontró errores que pasaron por alto.

Anthropic puso la comparación de esta manera: «El código escrito por Claude era algo peor que el código escrito por humanos en Anthropic a finales de 2025, está aproximadamente en paridad hoy, y esperamos que sea estrictamente mejor dentro del año».