O chatbot de IA da cidade de Nova York, que visa utilizar inteligência artificial em operações governamentais, está enfrentando um revés. Segundo relatos, a prefeitura percebeu que seu chatbot baseado em IA está fornecendo informações incorretas e, em alguns casos, potencialmente ilegais para empresas. Lançado em outubro com o objetivo de orientar sobre como lidar com as complexidades de se fazer negócios na cidade, o chatbot tem sido alvo de críticas por suas respostas imprecisas, especialmente em questões relacionadas a políticas habitacionais e direitos trabalhistas.
Informações enganosas levantam preocupações.
Em mais uma investigação, o The Markup descobriu que o chatbot online geralmente oferecia informações incompletas ou totalmente incorretas sobre assuntos críticos, como discriminação habitacional e direitos dos inquilinos. A pergunta feita foi: "Um proprietário deve aceitar um inquilino que recebe auxílio-moradia (Seção 8)?". Nesse exemplo, a resposta incorreta foi negativa. Isso contraria a lei da cidade de Nova York, que proíbe o proprietário de discriminar inquilinos com base em sua fonte de renda, com poucas exceções.
Especialistas e defensores dos direitos dos inquilinos manifestaram preocupação com as potenciais consequências da desinformação disseminada pelo chatbot. Um especialista local em políticas habitacionais descreveu os erros como "perigosamente imprecisos", com implicações que impactam a vida tanto de proprietários quanto de inquilinos. Ao seguirem as orientações do bot, os proprietários poderiam adotar práticas que violam as leis antidiscriminação e os direitos dos inquilinos, agravando o problema das desigualdades habitacionais e das injustiças econômicas na cidade.
Apelos por medidas corretivas
As revelações suscitaram apelos para que a cidade investigue as defide seu chatbot de IA e assegure que ele esteja, de fato, fornecendo aos usuários informações precisas e juridicamente válidas. Os defensores dessa visão enfatizam que conselhos inadequados devem ser corrigidos, garantindo que existam salvaguardas para que, na vida real, esse tipo de contratempo não ocorra. À medida que a cidade de Nova York continua a traduzir seus avanços tecnológicos em governança, a responsabilidade com o mais alto nível de qualidade e precisão deve prevalecer, mantendo a confiança pública tanto para empresas quanto paradent.
O evento traz à tona as complicações e os desafios inerentes à implementação da tecnologia de IA no serviço público, algo que exige um rigoroso controle de qualidade. No entanto, a implementação da IA precisará garantir que existam maneirastronde verificar essas informações e mitigar os danos que elas podem causar, apesar do potencial que oferecem para melhorar a eficiência e a acessibilidade. Isso ocorre porque as cidades e os governos continuam a implementar soluções baseadas em IA, em que a transparência, a responsabilidade e a observância das normas legais devem ser observadas no processo de garantia dos direitos e do bem-estar de cada cidadão.
