Um estudo preliminar da Universidade Cornell revelou informações preocupantes sobre a presença de linguístico em grandes modelos de linguagem (LLMs). Esses algoritmos de aprendizado profundo, incluindo o ChatGPT e o GPT-4 da OpenAI, o LLaMA2 da Meta e o francês Mistral 7B, demonstraram racismo velado em suas respostas.
O estudo, liderado pelo pesquisador Valentin Hofmann do Allen Institute for AI, lança luz sobre as possíveis ramificações desse viés em vários domínios, incluindo a aplicação da lei e as práticas de contratação.
Utilizando um método chamado sondagem de disfarce correspondente, os pesquisadores apresentaram aos modelos de linguagem linguística (LLMs) perguntas em inglês afro-americano e inglês americano padrão, com o objetivo de identificar quaisquer vieses nas respostas dos algoritmos.
Surpreendentemente, o estudo revelou que certos modelos de linguagem, notadamente o GPT-4, eram mais propensos a recomendar sentenças severas, incluindo a pena de morte, quando os estímulos eram apresentados em inglês afro-americano. É importante ressaltar que essas recomendações foram feitas sem qualquer menção à raça do falante.
Os participantes do programa de mestrado em língua inglesa tenderam a associar falantes do inglês afro-americano a ocupações de status inferior em comparação com aqueles que falavam inglês padrão, apesar de não terem sido informados sobre adentracial dos falantes. O estudo enfatiza que, embora o racismo explícito possa estar diminuindo nos participantes do programa, preconceitos velados persistem e podem ter implicações de longo alcance.
Implicações para a justiça e o emprego
As implicações dessas descobertas são profundas, especialmente em setores onde são utilizados sistemas de IA que envolvem modelos jurídicos. Em processos judiciais, por exemplo, recomendações tendenciosas podem levar a resultados injustos, impactando desproporcionalmente as comunidades marginalizadas.
Da mesma forma, em contextos de emprego, avaliações tendenciosas de candidatos com base no idioma podem perpetuar as desigualdades existentes nas práticas de contratação.
Hofmann destaca a inadequação dos métodos tradicionais para ensinar novos padrões a grupos minoritários, indicando que o feedback humano por si só pouco contribui para combater o viés racial oculto. Além disso, o estudo sugere que o tamanho dos grupos minoritários não necessariamente atenua esse viés; pelo contrário, pode permitir que eles o ocultem superficialmente, mantendo-o em um nível mais profundo.
Abordando o viés linguístico no desenvolvimento de IA
Com o avanço contínuo da tecnologia, torna-se imperativo que as empresas de tecnologia abordem a questão do viés da IA de forma mais eficaz. Reconhecer a presença de viés não é suficiente; medidas proativas devem ser tomadas para mitigar seu impacto.
Isso inclui reavaliar os métodos usados para treinar e ajustar os Modelos de Aprendizagem Baseados em Lógica (LLMs), bem como implementar mecanismos robustos para detectar e corrigir vieses em sistemas de IA.
Os resultados deste estudo ressaltam a necessidade urgente de maior rigor e responsabilidade no desenvolvimento e na implementação de modelos de IA. A negligência em relação ao viés linguístico em modelos de aprendizagem de línguas pode perpetuar injustiças sistêmicas e dificultar o progresso rumo a uma sociedade mais equitativa.
Ao conscientizar sobre essas questões e defender mudanças significativas, as partes interessadas podem trabalhar juntas para garantir que as tecnologias de IA respeitem os princípios de justiça e imparcialidade, beneficiando, em última análise, a sociedade como um todo.
