El director ejecutivo de Anthropic recomienda precaución sobre la seguridad de los modelos de IA

Dario Amodei, director ejecutivo de Anthropic, mencionó recientemente que las empresas de inteligencia artificial deberían someterse a pruebas obligatorias. Esto también aplica a su propia empresa, Anthropic. El objetivo es garantizar que estas tecnologías sean seguras para el público general antes de su lanzamiento. 

Amodei respondía a una pregunta en una cumbre sobre seguridad de la IA celebrada recientemente en San Francisco por los Departamentos de Comercio y de Estado de EE. UU. En su respuesta, el director ejecutivo afirmó: «Creo que es absolutamente necesario que las pruebas sean obligatorias, pero también debemos ser muy cuidadosos con la forma en que las realizamos»

Estas observaciones surgen tras un comunicado de los Institutos de Seguridad de IA del Reino Unido y EE. UU. que contiene los resultados de las pruebas del modelo Claude 3.5 Sonnet de Anthropic. Estas pruebas se realizaron en diversas categorías, incluyendo aplicaciones biológicas y de ciberseguridad. Previamente, tanto OpenAI como Anthropic acordaron presentar sus modelos a agencias gubernamentales.

Grandes empresas como Anthropic siguen pautas de seguridad autoimpuestas

Amodei mencionó que importantes empresas han aceptado voluntariamente ciertas directrices autoimpuestas. Estas incluyen el marco de preparación de OpenAI y la política de escalamiento responsable de Anthropic. Sin embargo, añadió que se necesita más trabajo para garantizar la seguridad.

“No hay nada que verifique ni garantice realmente que las empresas estén cumpliendo esos planes al pie de la letra. Simplemente dijeron que lo harían”, dijo Amodei. Añadió: “Creo que la atención pública y el hecho de que los empleados se preocupen ha generado cierta presión, pero creo que, en última instancia, no será suficiente”

Amodei cree que los potentes sistemas de IA tienen la capacidad de superar a los humanos más inteligentes. También cree que dichos sistemas podrían estar disponibles para 2026. Añade que las empresas de IA aún están probando ciertos daños catastróficos y amenazas biológicas, ninguno de los cuales es real actualmente. Sin embargo, estas pruebas hipotéticas podrían hacerse realidad mucho antes.

También advirtió que los requisitos para probar sistemas de IA deberían ser flexibles, considerando que la tecnología es cambiante. En sus palabras, se trata de un problema sociopolítico muy difícil de resolver.