Anthropic propone a el Congreso un proyecto de ley sobre seguridad de la IA con umbral de daños de 1.000 millones de dólares

Tres personas familiarizadas con las conversaciones privadas indican que Anthropic ha estado presentando un borrador de proyecto de ley sobre la seguridad de la IA avanzada ante legisladores del Capitolio. Según se informa, el proyecto de ley permite al gobierno de EE. UU. bloquear un modelo si presenta un peligro claro e inminente de más de 50 víctimas mortales o daños financieros por valor de mil millones de dólares.

Específicamente, el riesgo debe implicar un ciberataque, la creación o despliegue de armas biológicas, o un modelo que haya evadido exitosamente las restricciones de seguridad establecidas por su desarrollador.

En los últimos meses, los desarrolladores de IA de primer nivel han reconocido múltiples casos en los que agentes de inteligencia artificial hackeaban o ponían a prueba las defensas de plataformas en línea. Afortunadamente, ninguna de estas brechas iniciales provocó muertes generalizadas ni pérdidas financieras catastróficas.

Las restricciones propuestas pondrían mayor énfasis en lo que los sistemas avanzados de IA pueden hacer en entornos del mundo real, en lugar de depender únicamente de los compromisos de seguridad asumidos por sus desarrolladores. A medida que los modelos se vuelven más capaces de escribir código, identificar vulnerabilidades de software y realizar tareas complejas de forma autónoma, los reguladores enfrentan el desafío de determinar cuándo las capacidades de un sistema cruzan el umbral hacia un riesgo inaceptable.

Las pruebas independientes podrían ayudar a establecer si un modelo puede eludir las salvaguardas o ser mal utilizado para actividades dañinas antes de llegar a una audiencia más amplia. Sin embargo, definir una amenaza inminente sigue siendo difícil, especialmente cuando las mismas capacidades que plantean riesgos de seguridad también pueden ayudar a los investigadores a identificar y corregir vulnerabilidades.

El proyecto de ley de Anthropic establece que un juez federal puede ordenar la suspensión de un modelo

En defensa del proyecto de ley, un portavoz de Anthropic afirmó que este es similar a las recomendaciones de seguridad presentadas en el Marco de IA Avanzada de la empresa, publicado en junio.

En ese marco, la firma había señaló que su Claude Mythos Preview ya había descubierto miles de vulnerabilidades graves vulnerabilidades, abarcando todos los principales sistemas operativos y navegadores web. En aquel entonces, subrayaba que esta tendencia está destinada a acelerarse, lo que conlleva un riesgo creciente de daños catastróficos en el mundo real.

También abogó por un enfoque regulatorio equilibrado que exige la intervención del gobierno sin ahogar la innovación. Incluso entonces, la empresa sostuvo que cuando un modelo de IA presenta peligros extremos, los reguladores deben contar con la potestad estatutaria única para bloquearlo o imponer multas severas vinculadas a los ingresos globales, que se multiplican en caso de reincidencia. 

Hasta ahora, Anthropic no ha respaldado abiertamente ningún proyecto de ley federal específico en el Congreso, aunque ha echado su apoyan apoyo detrás de algunas leyes estatales de seguridad de la IA, incluidas varias en California, como el SB 53.

Ese proyecto de ley específico, promulgado el año pasado, obliga a las empresas a crear y compartir sus marcos de seguridad mientras trabajan para mitigar los riesgos importantes. También les exige informar sobre cualquier incidente grave de seguridad al estado en un plazo de 15 días. 

Según la propuesta de Anthropic, los evaluadores externos registrados ante el Departamento de Comercio probarían rutinariamente los laboratorios y modelos de la empresa. Si bien se permite que los laboratorios financien estas evaluaciones, la compensación no puede estar condicionada a los hallazgos del evaluador. Además, cualquier descubrimiento de un «riesgo inminente enumerado» debe notificarse a las autoridades federales dentro de las 72 horas siguientes a su finalización.

Luego, si el Departamento de Comercio determina que un modelo representa un riesgo, puede solicitar a un juez que bloquee su lanzamiento. Sin embargo, esta disposición prohíbe que cualquier otro «departamento, agencia o funcionario» de EE. UU. detenga el desarrollo, despliegue o uso interno del modelo. No obstante, un juez federal del Distrito de Columbia conserva la autoridad para ordenar dicha suspensión. 

La FTC ha enviado citas judiciales (subpoenas) a OpenAI y Anthropic

El miércoles, la Comisión Federal de Comercio (FTC) envió citas judiciales civiles a OpenAI y Anthropic, solicitando registros sobre incidentes de seguridad que se han convertido en una crisis creciente para la industria. OpenAI respondió a la cita judicial diciendo: «A medida que mejoramos nuestros modelos y estos ayudan cada vez más a las personas en su vida cotidiana, la seguridad sigue siendo una prioridad máxima. Nos comprometeremos a colaborar constructivamente con la FTC.» 

Una fuente reveló que la agencia tiene la intención de ampliar su poder de citación a entidades de terceros en un futuro próximo. El regulador podría obligar a los ejecutivos de Anthropic y OpenAI a declarar públicamente, brindando a los legisladores una plataforma para desafiar a los gigantes tecnológicos en materia de seguridad, mientras crece el temor público ante las posibles consecuencias.

Según una encuesta reciente realizada por el Centro de Investigación de Asuntos Públicos AP-NORC, casi dos tercios de los adultos estadounidenses consideran que la IA se está desarrollando demasiado rápido. Ocho de cada diez encuestados también destacaron la importancia de los esfuerzos gubernamentales para mantener la tecnología bajo control humano. 

Hasta ahora, el presidente Trump ha continuado rechazando las llamadas a reducir el ritmo del desarrollo de la IA, citando la importancia de esta tecnología para los intereses estratégicos de EE. UU. Recientemente anunció una "Fuerza de Super Inteligencia" para ayudar a alinear los esfuerzos del gobierno federal en materia de IA, manteniendo al mismo tiempo el diálogo con consumidores, organizaciones de interés público y otras partes interesadas.