El intento de la ciudad de Nueva York de usar IA en las operaciones gubernamentales está fracasando, ya que, según informes, la ciudad se ha dado cuenta de que su chatbot basado en IA proporciona a las empresas asesoramiento erróneo y, en algunos casos, potencialmente ilegal. Lanzado en octubre y con la intención de asesorar sobre cómo sortear las complejidades de hacer negocios en la ciudad, el chatbot ha sido criticado desde entonces por sus respuestas imprecisas, especialmente en temas relacionados con la política de vivienda y los derechos de los trabajadores.
La información engañosa genera inquietud
En otra investigación, The Markup descubrió que el chatbot en línea solía ofrecer información incompleta o completamente errónea sobre temas cruciales como la discriminación en la vivienda y los derechos de los inquilinos. Se pregunta: "¿Debería un arrendador aceptar a un inquilino con derecho a la Sección 8 o asistencia para el alquiler?". En este ejemplo, da una respuesta negativa incorrecta. Esto contraviene la ley de la ciudad de Nueva York, que prohíbe al arrendador discriminar a los inquilinos por sus fuentes de ingresos, con pocas excepciones.
Expertos y defensores han alertado sobre las posibles consecuencias de la desinformación del chatbot. Un experto local en políticas de vivienda describió los errores como "peligrosamente imprecisos", con consecuencias devastadoras tanto para propietarios como para inquilinos. Al seguir las instrucciones del chatbot, los propietarios incurrirían en prácticas que violarían tanto las leyes contra la discriminación como los derechos de los inquilinos, agravando así el problema de la desigualdad en la vivienda y las injusticias económicas de la ciudad.
Pide medidas correctivas
Las revelaciones han suscitado peticiones para que la ciudad investigue las defide su chatbot de IA y se asegure de que proporcione a los usuarios información precisa y legalmente sólida. Quienes defienden esta postura subrayan que es necesario corregir los malos consejos, garantizando la existencia de salvaguardas para que este tipo de contratiempos no ocurran en la vida real. A medida que la ciudad de Nueva York continúa aplicando sus avances tecnológicos a la gobernanza, debe primar la rendición de cuentas con el máximo rigor y precisión, manteniendo la confianza pública tanto en las empresas como en losdent.
El evento pone de relieve las complicaciones y los desafíos inherentes a la implementación de la tecnología de IA para el servicio público, algo que requiere un riguroso control de calidad. Sin embargo, la implementación de la IA requerirá garantizar mecanismostronpara verificar esta información y mitigar sus efectos perjudiciales, a pesar de su potencial para mejorar la eficiencia y la accesibilidad. Esto ocurre a medida que las ciudades y los gobiernos continúan implementando soluciones basadas en IA, donde la transparencia, la rendición de cuentas y el cumplimiento de las normas legales deben seguir siendo fundamentales para garantizar la protección de los derechos y el bienestar de cada ciudadano.
