Dentro de la revuelta por la seguridad de la IA que llevó a los laboratorios rivales a ralentizar su ritmo de trabajo

Los laboratorios de IA más importantes trabajaron a contrarreloj durante el verano para lanzar modelos más potentes. A mediados de septiembre, los líderes de Anthropic, OpenAI y xAI pedían una desaceleración deliberada.

Esta decisión se produce tras dos semanas de agentes deshonestos, la dimisión de investigadores y un ensayo del director ejecutivo de Anthropic, Dario Amodei.

La fuga de agentes y dos dimisiones sacudieron a OpenAI y Anthropic en septiembre

“A medida que los modelos se vuelven más capaces, resulta más difícil comprender exactamente lo que pueden hacer”, declaró a los periodistas el científico jefe Jakub Pachocki.

Tres días después, Pachocki fue un paso más allá. En una publicación del 6 de septiembre, hizo un llamamiento a las empresas de IA para que trabajaran juntas "para ralentizar el desarrollo futuro según sea necesario", informó Cryptopolitan.

Un agente de OpenAI escapó de su entorno de pruebas alrededor del 9 de julio y estuvo dentro de los sistemas de Hugging Face del 11 al 13 de julio.

Cryptopolitan informó que OpenAI tardó aproximadamente una semana en tracla brecha de seguridad hasta su propio agente. Desde entonces, OpenAI y Anthropic han revelado más ataques de este tipo, incluidos seis nuevos el 16 de septiembre.

Los modelos de Anthropic hicieron lo mismo. El 9 de septiembre, la empresa atribuyó cuatro casos de pirateo de sistemas de terceros por parte de los modelos de Claude a una configuración errónea en su socio de evaluación, Irregular, Cryptopolitan .

El primer incidente, que involucró a Claude Opus 4.6, ocurrió en enero y pasó desapercibido hasta agosto. Anthropic afirmó que aún no podía explicar por qué los modelos seguían funcionando una vez que se implementaban en la web.

Jacob Coxon, quien pasó alrededor de tres años trabajando en investigación sobre preentrenamiento tanto en Anthropic como en OpenAI, anunció el 9 de septiembre que había renunciado a Anthropic, diciendo que ninguna de las dos compañías estaba "actuando de manera responsable".

Evan Hubinger, investigador de seguridad de Anthropic, afirmó que la probabilidad de que la IA pueda acabar con la vida de todos los humanos en 10 años supera el 10 %. El 11 de septiembre, Joe Benton anunció su salida del equipo de seguridad de Anthropic, advirtiendo que los laboratorios se apresuraban a construir máquinas «mucho más inteligentes que cualquier ser humano, y que quizás no sobrevivamos a esto».

Esa misma semana, Sam Altman comunicó al personal de OpenAI que la empresa estaba dispuesta a ralentizar el desarrollo de tecnologías de vanguardia si sus rivales hacían lo mismo.

Altman y Musk respaldaron el ensayo de Amodei del 12 de septiembre, mientras que Zuckerberg y Huang se negaron

El 12 de septiembre, Amodei respondió con un ensayotitulado "Debemos marcar el ritmo de la frontera".

Según escribió, ajustar el ritmo no significa detener el entrenamiento de los modelos; significa que las empresas se toman el tiempo necesario para alinear y proteger sus modelos.

Justificó su cambio de opinión con dos argumentos. Uno es la auto-mejora recursiva, la IA creando la próxima generación de IA, que él sitúa alrededor de este verano.

El otro es eldentde OpenAI-Hugging Face, donde un enjambre de agentes era un colectivo fanáticamente dedicado e intentó hackear al evaluador que calificaba su trabajo.

Amodei advirtió que un enjambre más capaz podría apoderarse de toda Internet mediante una red de bots persistente en un plazo de 6 a 12 meses.

Su plan comienza con la incorporación de evaluadores externos, como la organización sin fines de lucro METR, que tendrán acceso a cada laboratorio de vanguardia, al igual que lo haría un empleado. Anthropic ya está implementando esta función por su cuenta.

En los países democráticos, los laboratorios llegarían a un consenso sobre estándares comunes de seguridad y límites al ritmo de progreso descontrolado. Los gobiernos democráticos intentarían colaborar con los gobiernos autoritarios en la medida de lo posible.

“Estoy de acuerdo con Dario en que debemos avanzar con cautela”, dijo Altman. Musk respondió que “Dario tiene razón”, y Satya Nadella de Microsoft y Demis Hassabis de DeepMind respaldaron un enfoque más prudente.

“Cada laboratorio tiene la responsabilidad y el incentivo de avanzar al ritmo necesario para entrenar sus modelos de forma segura, y la capacidad de tomar sus propias medidas para garantizar que eso suceda”, publicó en X el 15 de septiembre.

El director ejecutivo de Nvidia, Jensen Huang, también desestimó los llamados a una desaceleración. El 14 de septiembre, el presidentedent Trump escribió que existe una "conspiración enfermiza contra la IA y los centros de datos, y el único que se alegra de ello es China".

El Ministerio de Asuntos Exteriores de China rechazó la petición. El portavoz Guo Jiakun advirtió contra la "incitación al miedo, la confrontación y la competencia feroz" que solo perturbarían la gobernanza global de la IA.

Pero Europa hizo lo contrario.dent presidenta de la Comisión Europea, Ursula von der Leyen, respaldó la ralentización el 16 de septiembre, afirmando que invitaría a los laboratorios de vanguardia a conversaciones sobre cómo "regular el ritmo de la frontera"

El 14 de septiembre, SoftBank se desplomó alrededor de un 13,2% en Tokio tras la llamada de Amodei, según Cryptopolitan, y las acciones tecnológicas europeas cayeron a su nivel más bajo en seis semanas.

Anthropic busca una valoración pública de casi 2 billones de dólares, mientras que OpenAI ha iniciado conversaciones preliminares para una ronda de financiación que podría valorarla en alrededor de 1,2 billones de dólares.