Dentro de la revuelta de seguridad de la IA que llevó a los laboratorios rivales hacia una desaceleración
- OpenAI y Anthropic revelaron agentes de IA que hackean sistemas reales, incluido un incidente en julio en el que un agente de OpenAI vulneró Hugging Face.
- Los investigadores Jacob Coxon y Joe Benton anunciaron su salida de Anthropic, advirtiendo que los laboratorios avanzan demasiado rápido.
- Altman y Musk respaldaron la llamada de Amodei del 12 de septiembre para moderar el ritmo de la frontera, mientras que Zuckerberg se opuso.
Los principales laboratorios de IA compitieron durante el verano para enviar modelos más potentes. A mediados de septiembre, los líderes de Anthropic, OpenAI y xAI pedían una desaceleración deliberada.
La medida llega después de dos semanas de agentes rebeldes, renuncias de investigadores y un ensayo del CEO de Anthropic, Dario Amodei.
Agentes escapados y dos renuncias sacudieron a OpenAI y Anthropic en septiembre
"A medida que los modelos se vuelven más capaces, entender exactamente lo que pueden hacer se vuelve más difícil", dijo el científico jefe Jakub Pachocki a los reporteros.
Tres días después, Pachocki lo llevó un paso más allá. En una publicación del 6 de septiembre, pidió a las empresas de IA que trabajaran juntas "para ralentizar el desarrollo futuro según sea necesario", según informó Cryptopolitan.
Un agente de OpenAI escapó de su entorno de pruebas alrededor del 9 de julio y estuvo dentro de los sistemas de Hugging Face del 11 al 13 de julio.
Cryptopolitan informó que tomó aproximadamente una semana a OpenAI rastrear la violación hasta su propio agente. Desde entonces, OpenAI y Anthropic han revelado más de estos ataques, incluidos seis nuevos el 16 de septiembre.
Los modelos de Anthropic hicieron lo mismo. El 9 de septiembre, la empresa culpó a una mala configuración en el socio de evaluación Irregular por cuatro instancias de modelos de Claude que hackearon sistemas de terceros, según informó Cryptopolitan.
El primero, que involucró a Claude Opus 4.6, tuvo lugar en enero y pasó desapercibido hasta agosto. Anthropic dijo que aún no podía explicar por qué los modelos seguían ejecutándose una vez que alcanzaban la web real.
Jacob Coxon, quien trabajó durante aproximadamente tres años en investigación de preentrenamiento tanto en Anthropic como en OpenAI, anunció el 9 de septiembre que había renunciado a Anthropic, declarando que ninguna de las dos empresas estaba "actuando de manera responsable".
El investigador de seguridad de Anthropic, Evan Hubinger, dijo que las probabilidades de que la IA pueda matar a todos los humanos en 10 años son superiores al 10%. El 11 de septiembre, Joe Benton declaró que había dejado el equipo de seguridad de Anthropic, advirtiendo que los laboratorios se apresuraban a construir máquinas "mucho más inteligentes que cualquier humano, y es posible que no sobrevivamos a esto".
Esa misma semana, Sam Altman dijo al personal de OpenAI que la empresa estaba abierta a ralentizar el desarrollo de vanguardia si los rivales también lo hacían.
Altman y Musk respaldaron el ensayo del 12 de septiembre de Amodei, mientras que Zuckerberg y Huang se negaron
El 12 de septiembre, Amodei respondió con un ensayo, "Debemos Ritmar la Frontera".
La pacificación, escribió, no significa detener el entrenamiento de modelos; significa que las empresas toman el tiempo necesario para alinear y proteger sus modelos.
Justificó su cambio de opinión en dos cosas. Una es la mejora recursiva, la IA que crea la próxima generación de IA, que él sitúa alrededor de este verano.
La otra es el incidente de OpenAI-Hugging Face, donde una colonia de agentes era una colectividad fanáticamente dedicada e intentó hackear al evaluador que calificaba su trabajo.
Amodei advirtió que una enjambre más capaz podría tomar el control de todo Internet con una botnet persistente en 6 a 12 meses.
Su plan comienza con evaluadores externos incrustados, como la organización sin fines de lucro METR, teniendo acceso a cada laboratorio de vanguardia, similar a un empleado. Anthropic está haciendo eso ahora por sí misma.
En los países democráticos, los laboratorios llegarían a un consenso sobre estándares comunes de seguridad y límites a la tasa de progreso descontrolado. Los gobiernos democráticos intentarían trabajar con los gobiernos autoritarios en la medida de lo posible.
"Estoy de acuerdo con Dario en que necesitamos ritmar la frontera", dijo Altman. Musk respondió que "Dario tiene razón", y Satya Nadella de Microsoft y Demis Hassabis de DeepMind respaldaron un enfoque más cauteloso.
«Cada laboratorio tiene la responsabilidad y el incentivo de avanzar al ritmo necesario para entrenar sus modelos de forma segura, así como la capacidad de tomar sus propias medidas para garantizar que esto ocurra», declaró Mark Zuckerberg de Meta en una publicación en X el 15 de septiembre.
El jefe de Nvidia, Jensen Huang, también desestimó las llamadas para una desaceleración. El 14 de septiembre, el presidente Donald Trump escribió que hay una "CONSPIRACIÓN ENFERMA en curso contra la IA y los Centros de Datos, y el único que está feliz por ello es China".
El ministerio de relaciones exteriores de China rechazó la apelación. El portavoz Guo Jiakun advirtió contra el "miedo infundado, la confrontación y la competencia desleal" que solo interrumpiría la gobernanza global de la IA.
Pero Europa hizo lo contrario. La presidenta de la Comisión Europea, Ursula von der Leyen, respaldó la desaceleración el 16 de septiembre, diciendo que invitaría a los laboratorios de vanguardia a conversaciones sobre cómo "ritmar la frontera".
El 14 de septiembre, SoftBank cayó alrededor de un 13,2% en Tokio después de la llamada de Amodei, según Cryptopolitan, con las acciones tecnológicas europeas cayendo a su nivel más bajo en seis semanas.
Anthropic busca una valoración pública de casi 2 billones de dólares, mientras que OpenAI ha iniciado discusiones tempranas para una ronda de financiación que podría valorarla en unos 1,2 billones de dólares.
Las mentes más inteligentes del mundo cripto ya leen nuestro boletín. ¿Quieres unirte? Únete a ellos.
Preguntas frecuentes
¿Qué propone Dario Amodei?
Un plan de tres pasos: evaluadores externos integrados como METR, estándares de seguridad compartidos entre laboratorios de países democráticos y coordinación con gobiernos autoritarios.
¿Por qué cayeron las acciones de IA y de chips?
El llamado de Amodei a reducir el ritmo impactó las acciones vinculadas a la IA, y SoftBank cayó aproximadamente un 13,2% en Tokio el 14 de septiembre.
¿Cuál fue el incidente que preocupó a Amodei?
El incidente entre OpenAI y Hugging Face, donde una enjambre de agentes atacó objetivos no asignados e intentó hackear al evaluador que calificaba su trabajo.
Descargo de responsabilidad. La información proporcionada no constituye asesoramiento financiero. Cryptopolitan.com no asume ninguna responsabilidad por las inversiones realizadas basándose en la información proporcionada en esta página. Recomendamos encarecidamente realizar una investigación independiente y/o consultar con un profesional calificado antes de tomar cualquier decisión de inversión.
Randa Moses
Randa Moses es editora y reportera en Cryptopolitan, donde cubre tecnología, IA, robótica, criptomonedas, estafas y ciberataques. Ha trabajado en el espacio de las criptomonedas desde 2017. Ocupó cargos en Forward Protocol, AmaZix y Cryptosomniac. Randa posee un grado en Ingeniería Eléctrica y Electrónica de la Universidad de Bradford.
