La RBI élabore des règles de gouvernance de l'IA exigeant des mécanismes d'arrêt d'urgence et une supervision au niveau du conseil d'administration pour les banques

La Banque de réserve de l'Inde (RBI) a publié un projet de directives qui obligeraient les banques et autres entités financières réglementées à adopter des structures mises en place pour gérer les risques liés à l'intelligence artificielle et aux modèles d'apprentissage automatique.

Ces systèmes de gestion des risques proposés comprendront des dispositifs d'arrêt d'urgence obligatoires qui désactiveront instantanément tout système d'IA produisant des résultats nuisibles.

Les intérêts de la RBI

Les règles et directives proposées par la RBI pour atténuer ces risques liés à l'IA sont ouvertes aux commentaires du public jusqu'au 24 juillet. Ces directives couvrent tous les modèles utilisés dans les opérations bancaires, allant des simples tableurs aux systèmes d'IA génératifs complexes.

Les banques devraient tenir un inventaire de tous les modèles utilisés, évaluer régulièrement les risques tant au niveau individuel qu'à celui de l'entreprise, et prendre des mesures correctives lorsque les risques dépassent les seuils acceptables. Ces mesures correctives peuvent aller d'un renforcement des contrôles à la mise hors service complète du modèle, accompagnées de rapports détaillés sur les risques justifiant de telles actions.

Ce cadre comprend également un système de classification des risques à plusieurs niveaux. Chaque modèle, quelle que soit sa complexité, doit se voir attribuer un niveau de risque spécifique et faire l'objet d'une supervision humaine. Les modèles à haut risque devront être approuvés par le Comité de gestion des risques au niveau du conseil d'administration.

Dispositifs d'arrêt d'urgence et supervision humaine pour les modèles d'IA

Les banques devraient intégrer des mécanismes de contournement, de suspension et de désactivation à chaque déploiement de modèle d'IA afin que tout modèle puisse être immédiatement arrêté s'il produit des résultats erronés ou nuisibles.

La RBI a également souligné ce qu'elle a appelé un « biais d'automatisation », c'est-à-dire le risque que les employés de banque valident les résultats de l'IA sans exercer aucun jugementdent . Pour les systèmes d'IA destinés aux clients, les directives obligeront les banques à informer ces derniers lorsqu'ils interagissent avec un modèle d'IA et à leur offrir la possibilité de parler à un conseiller humain à tout moment.

Selon Reuters, le projet de loi prévoit que les modèles d'IA générative interagissant avec les clients ou les utilisateurs externes devront se soumettre à des exigences de cybersécurité supplémentaires

Les fournisseurs tiers d'IA font l'objet d'un examen minutieux

Les banques demeurent pleinement responsables de tout modèle d'IA qu'elles choisissent d'utiliser, qu'il soit développé en interne ou acquis auprès d'un fournisseur. La RBI a également indiqué que la concentration des chaînes d'approvisionnement constituait une de ses préoccupations, soulignant le risque dedent excessive des banques vis-à-vis d'un petit nombre de fournisseurs mondiaux d'IA.

Une validationdent est requise pour tous les modèles d'IA tiers. Les banques doivent également defides seuils pour les modèles d'IA et d'apprentissage automatique, en veillant à pouvoir expliquer clairement pourquoi un modèle a produit un résultat donné.

La RBI renforce depuis quelque temps sa gouvernance technologique. Ce projet de lignes directrices marque la première fois que la banque centrale indienne propose une structure de responsabilité globale, au niveau du conseil d'administration, spécifiquement dédiée aux risques liés aux modèles d'IA dans l'ensemble du secteur financier.