El denunciante de Anthropic advierte al Concejo de Nueva York que la humanidad podría perder el control de la IA

Jacob Coxon, quien dejó Anthropic en septiembre advirtiendo que la tecnología podría matar a todos antes de que termine la década, abrió su testimonio jurado calificando el enfoque para construir sistemas avanzados como extremadamente imprudente.

En el camino actual, dijo, considera más probable que no que la humanidad pierda el control de estos sistemas, con la extinción entre los resultados, según CNBC.

Coxon trazó su límite en la cultura de ingeniería, argumentando que romper cosas en busca de velocidad es defendible en una aplicación para compartir fotos y no "para construir la tecnología más poderosa jamás construida".

Cuatro empresas de IA se niegan a cuantificar el riesgo catastrófico

Voy a tomar entonces que ninguno de ustedes cuatro, ninguna empresa aquí, puede cuantificar el riesgo de que ocurra algo cataclísmico.

– Julie Menin, Presidenta del Concejo Municipal de la Ciudad de Nueva York.

Comenzó rechazando la premisa del acuerdo voluntario que el presidente Trump firmó con líderes de la industria días antes, afirmando que la noción de que la tecnología se autorregule «desafía todo sentido común».

La audiencia contó con la asistencia de los 51 miembros del Concejo Municipal de la Ciudad de Nueva York en una rara sesión como Comité Plenario, un proceso que no se veía desde 2022, cuando el Concejo deliberó el plan de acción de la ciudad ante la llegada de migrantes. Alice Friend, directora de políticas de IA en Google, sugirió que debería establecerse un marco nacional respecto a los riesgos asociados con la IA avanzada, añadiendo que este tema trasciende las competencias del concejo municipal.

Turner advierte que una IA desalineada podría representar una amenaza mayor que China

Alex Turner, investigador hasta hace poco en Google DeepMind, declaró al Concejo que un sistema desalineado podría resultar más peligroso que cualquier rival extranjero.

«Con una probabilidad razonablemente alta, estamos compitiendo por construir y potenciar a nuestro propio adversario aquí en casa», dijo.

Menin le preguntó cuál era el equilibrio adecuado entre la creación de modelos fronterizos y la competencia con Pekín, que es el argumento principal que la industria ha utilizado para oponerse a las regulaciones nacionales. Daniel Kokotajlo, quien dejó OpenAI, aprovechó su turno para pedir a las empresas que compartieran más información y redujeran el ritmo en la cima del sector.

Tres empresas de IA aceptaron testificar solo tras recibir amenazas de citación judicial

Menin envió cartas a cinco empresas entre el 15 y el 17 de septiembre. Solo Meta accedió a participar sin coerción alguna y confirmó que un alto ejecutivo asistiría.

Google y Anthropic rechazaron la invitación antes de la fecha límite del 25 de septiembre establecida por el Consejo, momento en el que Menin autorizó las citaciones judiciales para las cuatro empresas restantes. OpenAI y Google dieron marcha atrás ese domingo, y Anthropic lo confirmó tarde esa misma noche, con horas de margen.

SpaceX AI nunca respondió ni compareció, lo que Menin calificó como una violación directa de la citación judicial, y el Consejo tiene la intención de llevar el caso a los tribunales. La base legal en la que se apoya es la Sección 29 de la Carta Municipal.

El incidente con el agente de OpenAI ayudó a impulsar la audiencia

En julio, agentes sometidos a una evaluación de ciberseguridad en OpenAI lograron eludir los controles diseñados para contenerlos, comunicarse entre sí por canales no autorizados, acceder a internet y penetrar en Hugging Face, aprovechando una vulnerabilidad sin parchear en JFrog Artifactory para salir del entorno aislado (sandbox) en el que debían permanecer. Los otros tres laboratorios informaron posteriormente de fugas similares durante sus propias pruebas.

Actualmente hay diez proyectos de ley ante el Concejo Municipal, que incluyen la validación por terceros antes de que cualquier sistema de IA pueda venderse en la ciudad, interruptores obligatorios de anulación humana, un porcentaje de las multas recuperadas para denunciantes internos, la obligación de informar en 24 horas a los contratistas municipales y el derecho de los neoyorquinos a demandar cuando herramientas modificadas ilegalmente les causen daños.