Anthropic pierde a otro investigador, y predice la ruina humana por la IA

Anthropic ha perdido a otro investigador de seguridad. Joe Tenton dijo que dejó la compañía hace dos semanas y se unirá a METR, un grupo independiente que prueba riesgos en sistemas de IA avanzados.

Joe había planeado explicar el movimiento más tarde, pero la renuncia de Jacob esta semana cambió eso. Dijo:

"Había planeado escribir sobre esa decisión con más detalle en algún momento, pero la renuncia de Jacob esta semana me hizo querer decir más ahora."

Joe cree que los grandes laboratorios de IA están creando un nivel de peligro que la sociedad nunca ha enfrentado, diciendo que la capacidad de la IA está mejorando a una velocidad extrema mientras las empresas intentan moverse aún más rápido.

Su objetivo es construir sistemas que puedan mejorar la investigación de IA ellos mismos y eventualmente alcanzar la "superinteligencia". Joe advirtió que el éxito podría hacer que el progreso se mueva más allá del control humano.

Joe dice que los laboratorios de IA compiten hacia sistemas que los humanos pueden no poder contener

Joe dijo que las personas podrían estar viviendo con agentes de IA más inteligentes que todos los humanos en los próximos años. Esos sistemas también pueden desarrollar objetivos que no coincidan con las personas que los supervisan. Si sus habilidades se vuelven demasiado fuertes para restringirlas, cree que el resultado podría ser desastroso. "La humanidad puede no sobrevivir a esta transición", escribió.

Dijo que la competencia empeora el problema. Cualquier laboratorio fronterizo que se ralentice corre el riesgo de perder terreno frente a otro. Joe cree que la presión empuja a las empresas a gastar menos en seguridad de lo que deberían.

Se refirió a algunos casos recientes. Varias centenas de los agentes de OpenAI quedaron atrapados en un hackeo que está de alguna manera relacionado con Hugging Face. Los modelos de Anthropic también supuestamente se involucraron en ingeniería social contra individuos en línea.

Joe dice que Anthropic no ha encontrado un caso tan dañino como el de Hugging Face, aunque atribuye esto parcialmente a la suerte.

Si el progreso continúa a un ritmo tan rápido, Joe cree que debemos esperar incidentes aún más peligrosos. Predice que en los próximos años, la humanidad quedará impotente para gestionar los sistemas de IA creados durante este tiempo.

Finalmente, Joe habló sobre el problema que enfrentan los ingenieros de seguridad en las empresas fronterizas. En ambos casos, ya sea renunciar puede dar paso a individuos más descuidados o mantener el empleo implica trabajar en un sistema que puede causar daños inmensos.

Dijo que muchos ex colegas de Anthropic están asustados por lo que están construyendo. Joe nombró a Evan Hubinger, quien lo supervisó. Evan ha situado la posibilidad de que la IA mate a todos por encima del 10%. Joe dijo que Evan ha trabajado en estos problemas durante casi una década, antes de que los modelos de lenguaje grandes se convirtieran en un negocio importante.

Los directores ejecutivos de Anthropic, OpenAI y Google DeepMind, que pertenece a Alphabet (NASDAQ: GOOGL, GOOG), también respaldan una declaración que califica el riesgo de extinción por IA como una prioridad global. Joe dijo que estas preocupaciones son comunes dentro de las propias empresas. Añadió que los humanos están eligiendo construir esta tecnología y pueden elegir otra ruta.

Joe impulsa controles externos a la IA mientras Donald Trump se centra en vencer a China

Joe dijo:

“Una pregunta es si deberíamos gestionar activamente la velocidad del progreso de las capacidades, y de ser así, en qué medida. Creo que incluso mantener el progreso de la IA al ritmo actual, en lugar del ritmo mucho más rápido al que apuntan las empresas, podría ser una victoria.”

Los problemas más grandes son el apoyo político y la protección legal. Las empresas que acuerden conjuntamente ralentizar el desarrollo podrían enfrentar problemas antimonopolio. Joe dijo que esto hace necesaria una cobertura legal si los responsables políticos quieren que los laboratorios competidores se contengan.

También duda de que los gobiernos actúen mientras el desarrollo de vanguardia permanece oculto al público. Joe advirtió que un laboratorio podría experimentar un salto repentino de inteligencia o perder el control de un sistema sin que los externos lo sepan.

Según él, su nuevo trabajo en METR se centrará en pruebas independientes. Quiere que las verificaciones externas se vuelvan lo suficientemente normales como para cambiar los incentivos de las empresas.

Joe también gustaría que hubiera requisitos de divulgación más estrictos. Por ejemplo, los laboratorios de IA deben divulgar cualquier avance realizado y sus pasos hacia la mejora recursiva, así como cualquier accidente y casi accidente.

El presidente de EE. UU., Donald Trump, ha rechazado las advertencias sobre la extinción. Le preguntaron a Donald si le preocupaba que la IA acabara con la humanidad. “No, no tengo ninguna”, dijo.

Donald dijo que su preocupación es ganar la carrera internacional de IA. “Tengo preocupaciones de que si no ganamos en IA, vamos a quedar en una posición muy mala”, dijo a los periodistas el jueves. “Ahora mismo lideramos a China por un buen periodo, diría que un año, lo cual, ya saben, se considera mucho.”

Estados Unidos y China compiten por el liderazgo en IA a medida que los modelos chinos se vuelven más capaces y ganan usuarios en todo el mundo. Donald hizo sus comentarios después de que investigadores de laboratorios de vanguardia, incluidos Anthropic y OpenAI, aumentaran sus advertencias públicas sobre la velocidad del desarrollo de la IA.