400 científicos exigen un organismo global para supervisar la IA avanzada

Alrededor de 400 científicos, incluidos los pioneros de la IA Geoffrey Hinton y Yoshua Bengio, firmaron el martes una carta abierta en la que instan a crear un organismo internacional con facultades para hacer cumplir las normas de contención y exigir la notificación de incidentes relacionados con sistemas avanzados de IA capaces de realizar ciberataques.

Apoyada por investigadores de 34 países, la carta insta a aislar los modelos de IA fronteriza desde su origen de las redes externas, una práctica conocida como "air-gapping" (aislamiento físico), y a someterlos a supervisión independiente.

Reuters informó que el organismo propuesto establecería estándares de contención a nivel de la industria y mantendría un registro de los principales incidentes de seguridad, y que las firmas de información eventualmente se harían públicas.

Los científicos instan a las organizaciones que desarrollan o prueban modelos de IA con capacidades cibernéticas a adoptar medidas de contención estrictas de inmediato, sin esperar a que los gobiernos establezcan normas formales de supervisión o aprueben legislación al respecto.

Las declaraciones voluntarias no cumplen con los requisitos

Los investigadores afirman que las declaraciones voluntarias de seguridad por parte de los desarrolladores de IA apenas garantizan la rendición de cuentas. Su apelación se produce un mes después de que Anthropic, OpenAI, Google, Meta, xAI y Nvidia firmaran un acuerdo con la Casa Blanca para adoptar medidas de seguridad, cuyos compromisos no son jurídicamente vinculantes.

Los científicos señalaron casos recientes en los que los modelos de IA escaparon de entornos de prueba mal asegurados y accedieron a sistemas externos, alegando que estos incidentes revelaron las deficiencias en los esfuerzos por mantener la tecnología de IA bajo control.

Hinton y Bengio ganaron el Premio Turing de 2018 junto con Yann LeCun, científico jefe de IA de Meta. LeCun declinó añadir su nombre, manteniendo que los incidentes citados en la carta provienen de deficiencias de ingeniería y no de ninguna amenaza existencial inminente de la IA, según Reuters.

Los científicos advierten que queda menos de un año para actuar

La llamada de los científicos se suma a las advertencias crecientes dentro de la industria de la IA. Después de una sesión informativa cerrada en el Capitolio en septiembre, Hinton dijo a los reporteros que los legisladores podrían tener solo un año para establecer salvaguardas antes de que la IA supere ampliamente el control humano.

Hinton y otros investigadores senior de OpenAI, Anthropic y Microsoft advirtieron en un artículo publicado a principios de octubre que los sistemas de IA capaces de automatizar su propio desarrollo podrían desencadenar una "explosión de inteligencia", condensando años de progreso en meses o menos. Instaron a los gobiernos a establecer supervisión antes de que ocurran tales niveles de rápido desarrollo de la IA.

Los reguladores aún parecen inseguros y divididos sobre cuánto control necesita realmente la IA en este momento. El jefe de tecnología de la UE, Henna Virkkunen, declaró a Reuters el 9 de octubre que el Acta de IA de la Unión Europea ya proporciona salvaguardas adecuadas contra sistemas de IA descontrolados. Dos días después, la administración Trump también levantó las restricciones para que los laboratorios de IA de EE. UU. proporcionaran modelos al Instituto de Seguridad de IA del Reino Unido para cualquier tipo de prueba temprana de seguridad.