- Anthropic ya no puede vetar las evaluaciones de seguridad que METR publica sobre ella.
- Seis investigadores de METR ahora trabajan dentro de Anthropic con un acceso cercano a sus propios equipos de evaluación de riesgos.
- Anthropic solo puede forzar redacciones por datos de clientes, material protegido por privilegio abogado-cliente y detalles de la arquitectura del modelo.
Anthropic ya no puede bloquear los hallazgos de seguridad que METR publica sobre ella.
La empresa dijo el jueves que había otorgado a seis investigadores incrustados de la organización benéfica casi el mismo acceso que su propio personal.
Seis investigadores integrados reciben hardware y herramientas internas de la empresa
METR evalúa modelos de IA de vanguardia. Su equipo cuenta ahora con prácticamente el mismo hardware, espacio de trabajo y herramientas internas que utilizan los equipos propios de evaluación de riesgos de Anthropic.
El personal de Anthropic recibe instrucciones de proporcionar a los evaluadores la misma cantidad de información que se daría a otro empleado que trabaje en riesgos de alineación. METR evaluará por su cuenta los niveles de riesgo, incidentes y prácticas de Anthropic y luego publicará los resultados.
Existen algunas categorías predefinidas en las que Anthropic puede solicitar la supresión de información: datos de clientes, material protegido por el privilegio abogado-cliente y detalles sobre las arquitecturas de sus modelos.
METR también tiene derecho a declarar públicamente si una supresión fue necesaria, siempre que no revele qué contenido fue eliminado.
Anthropic describe esta configuración en términos de una brecha informativa. Los externos no conocen casi tanto como el propio laboratorio sobre sus sistemas, y una divulgación completa podría beneficiar a actores maliciosos o filtrar datos privados de entrenamiento y cómputo.
La empresa dijo que la supervisión bancaria funciona de la misma manera. Los reguladores colocan examinadores residentes dentro de los bancos más grandes para que el comportamiento riesgoso sea detectado por un tercero antes de llegar al público.
El equipo METR trabaja bajo acuerdos vinculantes. Otros investigadores de METR, incluidos aquellos que trabajan en proyectos separados para Anthropic, están aislados de su trabajo.
SecureBio comienza en el primer nivel de tres evaluadores
Anthropic está construyendo tres niveles de acceso, y METR es el único evaluador hasta ahora en la cima de ellos. Los evaluadores de primer nivel realizan revisiones específicas y necesitan la aprobación de Anthropic para publicar.
El segundo nivel tiene más información y puede publicar sin aprobación, sujeto a las mismas categorías de redacción. El tercero añade el acceso integrado, similar al de los empleados, que METR tiene ahora.
SecureBio, un grupo benéfico de bioseguridad, está en el nivel uno. Ha terminado y publicado una revisión piloto de un informe de riesgo anterior y ahora está trabajando a través del capítulo sobre armas químicas y biológicas en el Informe de Riesgo de agosto.
Anthropic también está estableciendo una colaboración con Accenture y Faculty para realizar pruebas de penetración, evaluaciones de alineación y pruebas de salvaguardas. Ya se están llevando a cabo conversaciones iniciales con otros grupos, entre ellos Hugging Face.
Esto es lo que el CEO Dario Amodei prometió en un ensayo que escribió en septiembre, en el que instó a la industria a moderar el desarrollo de frontera. Cryptopolitan informó que Amodei sugirió proporcionar escritorios, credenciales, portátiles y niveles de acceso similares a los del personal que realiza evaluaciones de riesgo a los revisores externos.
Sam Altman, de OpenAI, respaldó la idea en X. «Comprometerse a tener evaluadores independientes con acceso similar al de los empleados es una excelente idea, y nosotros haremos lo mismo», escribió Altman.
Anthropic, Google y OpenAI también han hablado sobre un organismo común de estándares de la industria cuerpo. Los tres, junto con Meta, Nvidia y xAI, han firmado desde entonces el Acuerdo de la Casa Blanca sobre Super Inteligencia, comprometiéndose a trabajar con auditores independientes.
Este acuerdo llega después de una serie de incidentes ocurridos desde finales de agosto, en los que agentes de IA actuaron más allá de sus instrucciones.
Las mentes más inteligentes del mundo cripto ya leen nuestro boletín. ¿Quieres unirte? Únete a ellos.
Preguntas frecuentes
¿Qué acceso concedió Anthropic a METR?
Seis empleados de METR recibieron hardware de la empresa, espacio de oficina y herramientas internas, con un nivel comparable al de los propios equipos de evaluación de riesgos de Anthropic.
¿Puede Anthropic bloquear lo que publica METR?
No. Anthropic solo puede exigir redacciones en categorías específicas y limitadas, y METR puede hacer público si dichas redacciones estaban justificadas.
¿Cómo se integra METR en el sistema de evaluadores por niveles de Anthropic?
METR es el único evaluador del tercer y más alto nivel, que combina acceso similar al de los empleados con derechos de publicación.
Descargo de responsabilidad. La información proporcionada no constituye asesoramiento financiero. Cryptopolitan.com no asume ninguna responsabilidad por las inversiones realizadas basándose en la información proporcionada en esta página. Recomendamos encarecidamente realizar una investigación independiente y/o consultar con un profesional calificado antes de tomar cualquier decisión de inversión.
Randa Moses
Randa Moses es editora y reportera en Cryptopolitan, donde cubre tecnología, IA, robótica, criptomonedas, estafas y ciberataques. Ha trabajado en el espacio de las criptomonedas desde 2017. Ocupó cargos en Forward Protocol, AmaZix y Cryptosomniac. Randa posee un grado en Ingeniería Eléctrica y Electrónica de la Universidad de Bradford.
