Anthropic pierde a otro investigador, y él predice la perdición de la humanidad a causa de la IA

Anthropic ha perdido a otro investigador de seguridad. Joe Tenton declaró que dejó la empresa hace dos semanas y que se unirá a METR, un grupodent que evalúa los riesgos en sistemas avanzados de IA.

Joe tenía previsto explicar la decisión más adelante, pero la dimisión de Jacob esta semana lo cambió todo. Dijo:

“Tenía previsto escribir sobre esa decisión con más detalle en algún momento, pero la dimisión de Jacob esta semana me ha hecho querer decir más ahora.”

Joe cree que los principales laboratorios de IA están creando un nivel de peligro al que la sociedad nunca se ha enfrentado, y afirma que la capacidad de la IA está mejorando a una velocidad vertiginosa, mientras que las empresas intentan avanzar aún más rápido.

Su objetivo es construir sistemas que puedan mejorar la investigación en IA por sí mismos y, eventualmente, alcanzar la "superinteligencia". Joe advirtió que el éxito podría hacer que el progreso escape al control humano.

Joe dice que los laboratorios de IA están avanzando a toda velocidad hacia sistemas que los humanos tal vez no puedan contener

Joe afirmó que, en los próximos años, podríamos convivir con agentes de IA más inteligentes que cualquier ser humano. Estos sistemas también podrían desarrollar objetivos que no coincidan con los de quienes los supervisan. Si sus capacidades se vuelven demasiadotronpara controlarlas, cree que el resultado podría ser desastroso. «La humanidad podría no sobrevivir a esta transición», escribió.

Según él, la competencia agrava el problema. Cualquier laboratorio de vanguardia que reduzca su ritmo corre el riesgo de perder terreno frente a otro. Joe cree que esa presión obliga a las empresas a invertir menos en seguridad de lo que deberían.

Hizo referencia a algunos casos recientes. Varios cientos de agentes de OpenAI se vieron afectados por un ataque informático relacionado de alguna manera con Hugging Face. Según informes, los modelos antrópicos también participaron en técnicas de ingeniería social contra usuarios en línea.

Joe afirma que Anthropic no se ha topado con ningún incidente tan perjudicial como el de Hugging Face, aunque lo atribuye en parte a la suerte.

Si el progreso continúa a un ritmo tan acelerado, Joe cree que debemos esperardentaún más peligrosos. Predice que, en los próximos años, la humanidad se verá incapaz de gestionar los sistemas de IA creados durante este período.

Finalmente, Joe habló sobre el problema al que se enfrentan los ingenieros de seguridad en las empresas de vanguardia. En ambos casos, renunciar puede dar paso a personas más negligentes, o bien, mantener el puesto implica trabajar en un sistema que puede causar daños inmensos.

Dijo que muchos antiguos compañeros de Anthropic están asustados por lo que están creando. Joe mencionó a Evan Hubinger, su jefe. Evan estima que la probabilidad de que la IA acabe con la vida de todos supera el 10 %. Joe comentó que Evan lleva casi una década trabajando en estos problemas, antes de que los grandes modelos de lenguaje se convirtieran en un negocio importante.

Los directores ejecutivos de Anthropic, OpenAI y Google DeepMind, perteneciente a Alphabet (NASDAQ: GOOGL, GOOG), también respaldaron una declaración que califica el riesgo de extinción de la IA como una prioridad global. Joe afirmó que estas preocupaciones son comunes dentro de las propias empresas. Añadió que los humanos están optando por desarrollar esta tecnología y que pueden elegir otro camino.

Joe impulsa los controles externos de la IA mientras Donald Trump se centra en derrotar a China

Joe dijo:

“Una pregunta clave es si deberíamos gestionar activamente el ritmo de progreso de las capacidades y, de ser así, en qué medida. Creo que incluso mantener el progreso de la IA al ritmo actual, en lugar del ritmo mucho más rápido al que aspiran las empresas, podría ser un éxito.”

Los problemas más importantes son el apoyo político y la protección legal. Las empresas que acordaron conjuntamente ralentizar el desarrollo podrían enfrentarse a problemas antimonopolio. Joe afirmó que esto hace necesaria la protección legal si los legisladores quieren que los laboratorios competidores moderen sus actividades.

También duda de que los gobiernos actúen mientras el desarrollo de tecnologías de vanguardia permanezca oculto al público. Joe advirtió que un laboratorio podría experimentar un repentino aumento de inteligencia o perder el control de un sistema sin que nadie externo lo sepa.

Según él, su nuevo trabajo en METR se centrará endent . Desea que las verificaciones externas se vuelvan lo suficientemente comunes como para modificar los incentivos de la empresa.

A Joe también le gustaría que hubiera requisitos de divulgación más estrictos. Por ejemplo, los laboratorios de IA deben divulgar cualquier avance realizado y sus pasos hacia la mejora recursiva, así como cualquierdento incidente que casi ocurrió.

Eldent estadounidense Donald Trump ha rechazado las advertencias sobre la extinción. Cuando se le preguntó si le preocupaba que la IA acabara con la humanidad, respondió: «No, no me preocupa».

Donald afirmó que su preocupación radica en ganar la carrera internacional por la IA. "Me preocupa que, si no ganamos en IA, nos encontraremos en una situación muy desfavorable", declaró a los periodistas el jueves. "Actualmente llevamos una ventaja considerable sobre China, diría que de un año, lo cual, como saben, es mucho"

Estados Unidos y China compiten por el liderazgo en inteligencia artificial, a medida que los modelos chinos se vuelven más capaces y ganan usuarios en todo el mundo. Donald hizo estas declaraciones después de que investigadores de laboratorios de vanguardia, como Anthropic y OpenAI, intensificaran sus advertencias públicas sobre la velocidad del desarrollo de la IA.