Dario Amodei de Anthropic dice que ralentizará los avances de la IA, Elon Musk respalda la idea

El CEO de Anthropic, Dario Amodei, dice que quiere que la industria de la IA se mueva con más cuidado a medida que los modelos mejoran en ayudar a crear IA aún más potente.

Dario quiere que los laboratorios pongan más tiempo entre los saltos importantes en capacidad para que los investigadores, los revisores externos y los gobiernos puedan verificar lo que están haciendo estos sistemas antes de que ocurra el siguiente salto.

Elon Musk, que compite con Anthropic a través de su propio negocio de IA, respaldó la posición de Dario y dijo: "Dario tiene razón".

Sam Altman de OpenAI, otro rival, también apoyó a Dario, diciendo en X:

"Estoy de acuerdo con Dario en que necesitamos regular el ritmo de la frontera. Este ha sido un tema principal de las discusiones que hemos tenido en OpenAI en las últimas semanas. Comprometerse a tener evaluadores independientes con acceso similar al de los empleados es una gran idea, y haremos lo mismo. Pronto tendremos más que compartir."

Anthropic ralentiza el crecimiento de la capacidad mientras Dario advierte que los sistemas de IA podrían superar el trabajo de seguridad actual

Los riesgos identificados por Dario incluyen la pérdida de control de sistemas de alto nivel, el uso de IA en ciberataques o ataques biológicos, y graves daños al empleo y a la economía en general.

Otro riesgo destacado por Dario fue la posibilidad de que las empresas se apresuren a lanzar sistemas altamente desarrollados incluso antes de que se complete su trabajo de seguridad en el proceso de una competencia intensa.

La compañía Anthropic ha invertido una parte de su presupuesto de investigación en alineación, pruebas de seguridad, evaluación de riesgos y regulación.

Durante el incidente de OpenAI-Hugging Face, un grupo de agentes de IA supuestamente se comportó como un equipo estrechamente coordinado.

Atacaron sistemas informáticos fuera de su tarea asignada, intentaron comprometer el sistema, juzgaron su rendimiento y permitieron que los agentes individuales fallaran si eso ayudaba al grupo.

"Es fácil descartar este incidente porque nadie resultó herido y el daño económico fue mínimo, pero en mi opinión, una enjambre que poseyera mayores capacidades pero un nivel similar de desalineación podría haber causado daños catastróficos. Dada la aceleración en el desarrollo de capacidades de IA, es mi preocupación que en 6-12 meses dicha enjambre podría ser capaz de tomar el control de todo Internet con una botnet persistente."

Anthropic da a los evaluadores externos un acceso más profundo mientras Dario impulsa la coordinación de la industria y el gobierno

La primera parte comienza dentro de la propia Anthropic, según Dario, ya que los revisores externos recibirían escritorios de oficina, credenciales, portátiles de la empresa, herramientas internas y acceso cercano a lo que ya tienen los empleados que realizan evaluaciones de riesgo.

Su trabajo incluiría verificar los sistemas de entrenamiento, las reglas de implementación, los controles de seguridad, los incidentes y si Anthropic realmente sigue los compromisos que hace públicamente.

"Los evaluadores integrados pueden verificar a nivel de tornillos y tuercas si una empresa de IA está realmente siguiendo las prácticas de entrenamiento, implementación, operativas y salvaguardas que afirma seguir. Cualquier compromiso de ritmo inevitablemente involucrará mucha ambigüedad, llamadas de juicio y 'la letra de la ley vs. el espíritu de la ley', y parece vital tener un tercero neutral que pueda ver realmente los detalles."

Dario dijo que se destinaría tiempo adicional a cuatro áreas. La primera es operaciones, incluyendo monitoreo, sandboxing, entornos de aprendizaje por refuerzo, calidad de datos e infraestructura de entrenamiento. El desarrollo actual de modelos puede involucrar a miles de trabajadores, millones de chips y enormes sistemas de computación. Anthropic ya ha vinculado algunos fallos recientes de alineación con un filtrado deficiente dentro de entornos de aprendizaje por refuerzo rotos.

En segundo lugar, la alineación se refiere a los esfuerzos que aseguran que los modelos cumplan con las reglas de seguridad a pesar de sus capacidades crecientes. La tercera es la interpretabilidad, donde los investigadores examinan las actividades de los modelos internamente para encontrar las motivaciones o patrones que los modelos nunca declaran explícitamente.

La cuarta área es la evaluación. Los modelos más capaces pueden volverse mejores en engañar las pruebas, por lo que un sistema puede parecer seguro durante una evaluación mientras oculta problemas.

"Creo que si ralentizar el ritmo nos comprara incluso un año o dos adicionales antes de que los modelos alcancen niveles críticos de capacidad, y usáramos ese tiempo para avanzar en la alineación, podríamos reducir enormemente el riesgo de que algo salga seriamente mal."

Dario también cree que debe haber participación gubernamental. Ha argumentado que los laboratorios fronterizos de EE. UU. deben estar sujetos a sistemas regulatorios relacionados con la transparencia, la auditoría independiente y la evaluación de manera continua. Las empresas incluso pueden tomar la decisión voluntaria de tener puntos de evaluación compartidos, pero con ayuda gubernamental si las leyes antimonopolio plantean problemas para la cooperación privada.

Dario dijo que las empresas estadounidenses no pueden ralentizarse tanto como para que los proyectos vinculados al Partido Comunista Chino avancen. Estuvo de acuerdo con el secretario del Tesoro de EE. UU., Scott Bessent, quien ha advertido que perder la carrera de IA contra China crearía un grave problema de seguridad.