La demande de transparence dans l'IA augmente alors que Howso s'attaque à l'IA « boîte noire »

Dans un monde de plus en plus piloté par l'intelligence artificielle (IA), la transparence des processus décisionnels est devenue une préoccupation majeure pour beaucoup. Mike Capps, cofondateur de Howso, une entreprise basée à Raleigh spécialisée dans l'IA explicable, affirme que tout comme les gens scrutent les ingrédients de leur petit-déjeuner, ils devraient exiger de la transparence dans les systèmes d'IA qui influencent des aspects critiques de leur vie, tels que la santé et l'éducation.

L'essor de l'IA boîte noire

La présence omniprésente de l'IA dans nos vies a conduit à son utilisation dans des processus décisionnels pivots, allant des procédures médicales et des approbations de crédit aux décisions de libération conditionnelle. Cependant, Capps soutient que le problème majeur de nombreux systèmes d'IA existants est leur opacité, souvent qualifiée d'« IA boîte noire ». 

Ces systèmes rendent des jugements finaux sans fournir d'informations claires sur la manière dont ces conclusions sont atteintes, laissant les utilisateurs et les parties prenantes dans l'ignorance des critères décisionnels.

Howso, anciennement connu sous le nom de Diveplane, a été fondé par Mike Capps en 2018 avec pour mission de remettre en question la prévalence de l'IA boîte noire. L'approche unique de l'entreprise en matière d'IA, appelée « IA attribuable », la distingue. 

L'IA attribuable permet aux utilisateurs de retracer une décision jusqu'à des points de données spécifiques, rendant le processus décisionnel transparent et compréhensible. Par exemple, si une recommandation de chirurgie médicale est faite, le système de Howso peut identifier les 17 points de données les plus cruciaux qui ont influencé cette décision, offrant ainsi clarté et responsabilité.

Le moteur d'IA de Howso a trouvé des applications dans divers domaines. L'un de ses clients, Scanbuy, collabore avec de grands détaillants pour exploiter l'outil de Howso afin d'obtenir des informations sur les clients. Cela permet aux détaillants de prédire les préférences des clients de manière à la fois précise et explicable. 

Il est à noter que des établissements d'enseignement comme l'Université d'État de Caroline du Nord (N.C. State) et l'Université de Caroline du Nord (UNC) ont également adopté la technologie de Howso pour des projets spécifiques, soulignant la demande croissante d'IA transparente dans le milieu universitaire.

La décision d'ouvrir en open source le moteur d'IA de Howso en septembre souligne l'engagement de l'entreprise en faveur de la transparence. Cette initiative permet aux utilisateurs de concevoir leurs propres plateformes pilotées par une IA explicable, élargissant ainsi la portée de la technologie IA transparente.

Clients et partenariats notables

La liste impressionnante de clients de Howso comprend des géants de l'industrie comme Mastercard et Mutua de Madrileña, une compagnie d'assurance espagnole. De plus, le département de la santé comportementale et du développement du service de Virginie a exploité la technologie de Howso pour améliorer ses processus décisionnels. Ces partenariats démontrent la large applicabilité et la demande de systèmes d'IA qui privilégient la transparence et la responsabilité.

Capps souligne l'importance cruciale de la transparence dans l'IA, établissant un parallèle avec les étiquettes alimentaires. Tout comme les consommateurs s'appuient sur les étiquettes nutritionnelles pour prendre des choix éclairés concernant leur alimentation, les individus devraient exiger une transparence similaire concernant les décisions pilotées par l'IA qui impactent leur vie. Il ne s'agit pas seulement d'une question de confiance, mais aussi d'une exigence fondamentale pour un développement logiciel responsable.

Les écueils de l'IA boîte noire

L'IA boîte noire, comme le souligne Capps, pose plusieurs problèmes inhérents. Premièrement, elle soulève des questions sur la fiabilité et la responsabilité des systèmes d'IA. Si le fonctionnement interne d'un système d'IA est caché, il devient difficile d'identifier et de corriger les bugs ou les erreurs. Par conséquent, le potentiel de conséquences involontaires ou de biais reste sans réponse, entraînant des coûts de remplacement importants.

L'une des applications particulièrement cruciales de l'IA où la transparence est vitale est celle des décisions de libération conditionnelle. Ces déterminations s'appuient souvent sur des données historiques, qui peuvent contenir des biais. Ces biais peuvent être perpétués lors de leur mise à l'échelle pour plus d'efficacité, conduisant potentiellement à des résultats injustes et discriminatoires. Capps souligne que bien qu'il y ait un désir de rationaliser et d'accélérer les processus judiciaires, cela ne devrait pas se faire au prix de la perpétuation des biais raciaux.