Amodei, de Anthropic, responde a las nueve acusaciones de un crítico con nueve costosas decisiones de seguridad

El miércoles, Dario Amodei agradeció al crítico Nathan Calvin por examinar a Anthropic, días después de que Calvin ayudara a generar una reacción negativa contra el proyecto de ley de seguridad de IA filtrado de la empresa. 

Anthropic está a solo semanas del lanzamiento de su IPO planeada y ha respondido a la reacción negativa prometiendo reescribir partes del proyecto de ley.

¿Qué es la Ley AEGIS?

En una publicación en X, Dario Amodei dijo que las críticas de Nathan Calvin, quien es el consejero general del grupo de defensa Encode, sobre el proyecto de ley de seguridad de IA filtrado, provisionalmente llamado Artificial Intelligence Evaluation, Governance, and Incident Safety (AEGIS), provienen de "un lugar constructivo y honesto". Agregó que la sociedad se beneficia al tener personas cuyo trabajo es examinar los laboratorios de IA y agradeció a Calvin.

Los defensores de la seguridad siguen comparando el proyecto de ley con la Ley FRONTIER bipartidista presentada por los representantes Jay Obernolte y Lori Trahan, que se introdujo en julio.

El borrador es supuestamente más débil que la Ley FRONTIER bipartidista en dos aspectos. Primero, no establece estándares ni requisitos de licencia para los evaluadores externos que revisan los modelos de los laboratorios, permitiéndoles auto-certificarse; y segundo, hace mucho más difícil bloquear un modelo fronterizo peligroso.

Charlie Bullock, de LawAI, advirtió que, sin licencias, los auditores competirían entre sí ofreciendo las revisiones más superficiales al menor precio.

Calvin fue aún más lejos, diciendo que la propuesta le provocó "una ira visceral" y probablemente deja a los tribunales con menos poder para detener el desarrollo de modelos fronterizos del que existe bajo la legislación actual. El senador estatal de California Scott Wiener, autor de la ley estatal de IA fronteriza SB 53, escribió en X que el plan "se queda muy corto en la protección de la salud y la seguridad pública."

Según el borrador, el Departamento de Comercio podría solicitar a un tribunal federal que suspenda un modelo de IA, pero solo si existe un riesgo claro e inminente que provoque la muerte o lesiones graves a más de 50 personas, o daños por más de mil millones de dólares. 

El daño también debe provenir de un arma biológica, un modelo que escapa al control de su creador o de un ciberataque. Ninguna otra agencia podrá suspender un modelo.

El proyecto de ley también anularía algunas normas estatales sobre divulgación, pruebas externas e informes de incidentes, pero mantiene vigentes las leyes de protección infantil y derechos civiles. Los evaluadores externos se registrarían ante el Departamento de Comercio y los laboratorios les pagarían, siempre que el pago no dependiera de los resultados. Los evaluadores deberían informar a Comercio sobre cualquier riesgo inminente dentro de las 72 horas.

Anthony Cimino, quien dirige el equipo de asuntos federales de Anthropic, clasificó las quejas sobre el proyecto de ley en cuatro grupos: prelación, bloqueo de modelos, umbrales de riesgo y actualizaciones. Reconoció que la redacción sobre la prelación "no era lo suficientemente precisa" y prometió una reescritura. Dijo que los estados deben tener un papel en la fijación de estándares para los evaluadores y en decidir cuándo un laboratorio debe apagar un modelo.

Cimino dijo que los límites del dólar y de responsabilidad civil se tomaron de la ley de California, pero coincidió en que probablemente sea hora de revisarlos. También señaló que el borrador ya permite a un tribunal detener el uso interno por parte de un laboratorio de un modelo peligroso, no solo su publicación pública. Además, exige un informe cuando un modelo se escape y alcance sistemas externos.

¿Afectarán las controversias de Anthropic a su oferta pública inicial (IPO)? 

Anthropic respondió a la reacción negativa enumerando el costoso trabajo de seguridad que ya ha pagado. Su Hoja de ruta de seguridad de vanguardia, actualizada el 19 de octubre, indica que la empresa completó su objetivo de pruebas internas de penetración (red-teaming) antes de la fecha límite del 1 de enero de 2027.

Un sistema automatizado de pruebas internas de penetración que desarrolló igualó o superó la mejor participación humana en las 24 combinaciones de clasificadores de preguntas extraídas de sus recompensas por armas biológicas, ganando 23 de ellas directamente, y lo logró en 24 a 48 horas, en lugar de las semanas o meses que necesitaban los investigadores humanos.

La misma actualización describe nuevos trabajos sobre verificación de inferencia, entornos de inferencia aislados, seguridad física de los centros de datos y seguridad de la plataforma. 

Por separado, Project Glasswing ha comprometido hasta 100 millones de dólares en créditos de uso y 4 millones de dólares en donaciones a grupos de seguridad de código abierto, después de que un modelo no publicado de Anthropic detectara miles de vulnerabilidades zero-day, incluida una falla de 27 años de antigüedad en OpenBSD. 

informó Cryptopolitan que la empresa se comprometió a destinar el 5% de sus acciones a un fondo de beneficio público a principios de este mes.

Sin embargo, en febrero, RSP v3.0 de Anthropic eliminó el antiguo compromiso de pausa, reemplazándolo con Informes de Riesgos y una hoja de ruta no vinculante.

Anthropic presentó su oferta pública inicial (IPO) confidencialmente ante la SEC en junio y busca una valoración superior a 2 billones de dólares, con la oferta prevista para después de las elecciones intermedias de noviembre en Estados Unidos. Su prospecto mostraba una pérdida de 42 mil millones de dólares en 2025, aunque aproximadamente 34 mil millones de esa cifra correspondían a un cargo contable, y una pérdida operativa que aumentó hasta los 8.06 mil millones de dólares. El documento también enumera compromisos de computación por 518 mil millones de dólares durante una década, de los cuales Anthropic no puede cancelar aproximadamente el 80%.