Le chatbot IA de NYC sous le feu pour avoir induit les entreprises en erreur

L'effort de la ville de New York d'utiliser l'IA dans les opérations gouvernementales se heurte à un bogue, car la ville a apparemment réalisé que son chatbot basé sur l'IA fournissait aux entreprises des conseils erronés et, dans certains cas, potentiellement illégaux. Lancé en octobre et prétendant conseiller sur la façon de naviguer dans les complexités de faire des affaires dans la ville, le chatbot a depuis été critiqué pour ses réponses inexactes, en particulier sur les questions liées à la politique du logement et aux droits des travailleurs.

Les informations trompeuses soulèvent des préoccupations

Dans une autre enquête, The Markup a découvert que le chatbot en ligne offrait généralement des informations incomplètes ou carrément fausses sur des sujets critiques tels que la discrimination au logement et les droits des locataires. La question est posée : « Un propriétaire devrait-il accepter un locataire qui a le Section 8 ou une aide au loyer ? » Pour cet exemple, il donne une réponse fausse par la négative. Cela est contraire à la loi de la ville de New York, qui interdit au propriétaire de discriminer les locataires en fonction des sources de revenus, avec seulement quelques exceptions.

Les experts et les défenseurs des droits ont alerté sur les conséquences potentielles des fausses informations du chatbot. Un expert local en politique du logement a décrit les erreurs comme « dangereusement inexactes » avec des implications qui impactent la vie des propriétaires et des locataires. En suivant les conseils du bot, les propriétaires tomberaient dans des pratiques qui violeraient à la fois les lois anti-discrimination et les droits des locataires, aggravant ainsi le problème des inégalités de logement et des injustices économiques pour la ville.

Appels à une action corrective

Les révélations ont suscité des appels à ce que la ville examine les lacunes de son chatbot IA et s'assure qu'il fournit réellement aux utilisateurs des informations précises et juridiquement solides. Les défenseurs de cette opinion soulignent que les mauvais conseils doivent être corrigés, en s'assurant que des garde-fous sont en place pour que, dans la vie, ce genre de mésaventures ne se produise pas. Alors que la ville de New York continue de traduire ses avancées technologiques en gouvernance, la responsabilité avec le plus haut calibre et la précision doivent dominer, maintenant la confiance du public pour les entreprises et les résidents également.

L'événement met en lumière les complications et les défis qui feraient partie intégrante du déploiement de la technologie IA pour les services publics, ce qui nécessite un contrôle qualité rigoureux. Cependant, le déploiement de l'IA devra s'assurer qu'il existe des moyens solides de vérifier ces informations et d'atténuer les dommages qu'elles comportent, malgré le potentiel qu'elles offrent pour améliorer l'efficacité et l'accessibilité. C'est alors que les villes et les gouvernements continuent de déployer des solutions pilotées par l'IA, où la transparence, la responsabilité et le respect des normes légales doivent toujours être observés dans le processus d'assurance que les droits et le bien-être de chaque citoyen sont protégés.