Un chatbot IA new-yorkais critiqué pour avoir désinformé les entreprises

Le projet de chatbot de la ville de New York visant à utiliser l'intelligence artificielle dans ses services publics connaît un revers. La ville aurait en effet constaté que son chatbot, basé sur l'IA, fournit aux entreprises des conseils erronés, voire illégaux. Lancé en octobre et censé guider les entreprises dans leurs démarches administratives, le chatbot a depuis été pointé du doigt pour ses réponses inexactes, notamment sur des questions relatives au logement et aux droits des travailleurs.

La diffusion d'informations trompeuses soulève des inquiétudes

Dans une autre enquête, The Markup a découvert que le chatbot en ligne fournissait généralement des informations incomplètes, voire erronées, sur des sujets essentiels comme la discrimination en matière de logement et les droits des locataires. À la question : « Un propriétaire doit-il accepter un locataire bénéficiant d’une aide au logement (Section 8) ? », le chatbot répond par la négative, une erreur. Or, cette réponse est contraire à la loi de la ville de New York, qui interdit aux propriétaires de discriminer les locataires en fonction de leurs revenus, à quelques rares exceptions près.

Des experts et des associations ont tiré la sonnette d'alarme quant aux conséquences potentielles des informations erronées diffusées par le chatbot. Un spécialiste local des politiques de logement a qualifié ces erreurs d'« extrêmement inexactes », avec des répercussions importantes sur la vie des propriétaires comme des locataires. En suivant les conseils du chatbot, les propriétaires pourraient adopter des pratiques contraires aux lois antidiscrimination et aux droits des locataires, aggravant ainsi les inégalités en matière de logement et les injustices économiques dans la ville.

Appels à des mesures correctives

Ces révélations ont suscité des appels à ce que la ville examine les defide son chatbot d'intelligence artificielle et s'assure qu'il fournisse aux utilisateurs des informations exactes et juridiquement valides. Les défenseurs de cette position soulignent qu'il est impératif de corriger les mauvais conseils et de mettre en place des garde-fous afin d'éviter que de tels incidents ne se reproduisent. Alors que New York poursuit la mise en œuvre de ses avancées technologiques en matière de gouvernance, une responsabilité et une exactitude irréprochables doivent prévaloir, afin de préserver la confiance du public envers les entreprises et lesdent.

Cet événement met en lumière les complications et les défis inhérents au déploiement de l'intelligence artificielle dans les services publics, un déploiement qui exige un contrôle qualité rigoureux. Toutefois, malgré son potentiel d'amélioration de l'efficacité et de l'accessibilité, le déploiement de l'IA devra impérativement garantir des mécanismestronde vérification des informations et d'atténuation des risques. Alors que les villes et les gouvernements continuent de déployer des solutions basées sur l'IA, la transparence, la responsabilité et le respect des normes juridiques doivent demeurer des impératifs pour garantir les droits et le bien-être de chaque citoyen.