El RBI redacta normas de gobernanza de IA que requieren interruptores de emergencia y supervisión a nivel de junta directiva para los bancos

El Banco de Reserva de la India (RBI) ha publicado directrices preliminares que obligarían a los bancos y otras entidades financieras reguladas a adoptar estructuras establecidas para gestionar los riesgos asociados a los modelos de inteligencia artificial y aprendizaje automático.

Estos sistemas propuestos de gestión de riesgos incluirán interruptores de emergencia obligatorios que apagarán instantáneamente cualquier sistema de IA que produzca resultados dañinos.

Los intereses del RBI

Las normas y directrices propuestas para mitigar estos riesgos de IA elaboradas por el RBI están abiertas a comentarios públicos hasta el 24 de julio. Estas directrices cubren todos los modelos utilizados en las operaciones bancarias, desde calculadoras de hojas de cálculo básicas hasta sistemas complejos de IA generativa.

Los bancos deberán mantener inventarios de todos los modelos en su operación, evaluar el riesgo tanto a nivel individual como empresarial regularmente, y tomar medidas correctivas cuando los riesgos superen los umbrales aceptables. Los modos de acción correctiva pueden variar desde controles más estrictos hasta la desactivación completa del modelo, con informes detallados de los riesgos que conducen a dichas acciones.

El marco también implica un sistema de clasificación de riesgos dividido en múltiples niveles. Cada modelo, independientemente de su complejidad, debe asignarse a un nivel de riesgo específico, junto con supervisión humana. Los modelos de alto riesgo requerirán la aprobación del Comité de Gestión de Riesgos a nivel de la junta directiva.

Interruptores de emergencia y supervisión humana para modelos de IA

Se espera que los bancos integren mecanismos de anulación, suspensión y desactivación en cada implementación de modelos de IA para que cualquier modelo pueda apagarse inmediatamente si produce resultados erróneos o dañinos.

El RBI también señaló lo que llamó "sesgo de automatización", que es el riesgo de que los empleados de los bancos aprueben los resultados de la IA sin ejercer ningún tipo de juicio independiente. Para los sistemas de IA orientados al cliente, las directrices obligarán a los bancos a informar a sus clientes cuando estén interactuando con un modelo de IA y darles la opción de hablar con un humano en cualquier momento.

Los modelos de IA generativa que interactúan con clientes o usuarios externos enfrentarán requisitos adicionales de ciberseguridad bajo la propuesta redactada, según Reuters.

Los proveedores de IA de terceros quedan bajo escrutinio

Los bancos siguen siendo totalmente responsables de cualquier modelo de IA que elijan emplear, independientemente de si fue construido internamente o comprado a un proveedor. El RBI también declaró que la concentración de la cadena de suministro era una de sus preocupaciones, señalando el riesgo de que los bancos se vuelvan excesivamente dependientes de un pequeño número de proveedores globales de IA.

Se requiere validación independiente para todos los modelos de IA de terceros. Los bancos también deben definir umbrales para los modelos de IA y aprendizaje automático, asegurando que puedan articular en términos sencillos por qué un modelo produjo un resultado determinado.

El RBI ha estado endureciendo su posición de gobernanza tecnológica durante un tiempo. Estas directrices preliminares representan la primera vez que el banco central de la India propone una estructura de responsabilidad integral a nivel de junta directiva específicamente para los riesgos de los modelos de IA en todo el sector financiero.