Descubriendo el sesgo lingüístico: modelos de IA implicados en un estudio sobre racismo encubierto

Un estudio preliminar de la Universidad de Cornell ha revelado datos preocupantes sobre la presencia de lingüísticos en grandes modelos de lenguaje (LLM, por sus siglas en inglés). Se ha descubierto que estos algoritmos de aprendizaje profundo, incluidos ChatGPT y GPT-4 de OpenAI, LLaMA2 de Meta y el francés Mistral 7B, exhiben racismo encubierto en sus respuestas. 

Cómo abordar el sesgo lingüístico en la IA

El estudio, dirigido por el investigador Valentin Hofmann del Instituto Allen de IA, arroja luz sobre las posibles ramificaciones de dicho sesgo en diversos ámbitos, incluidas la aplicación de la ley y las prácticas de contratación.

Utilizando un método llamado "matched guise probeing", los investigadores pidieron a los estudiantes de LLM indicaciones tanto en inglés afroamericano como en inglés americano estandarizado, con el objetivo de discernir cualquier sesgo en las respuestas de los algoritmos. 

Sorprendentemente, el estudio reveló que ciertos LLM, en particular el GPT-4, eran más propensos a recomendar sentencias severas, incluida la pena de muerte, cuando las consignas estaban en inglés afroamericano. Cabe destacar que estas recomendaciones se hicieron sin revelar la raza del hablante.

Los estudiantes de maestría en inglés tendían a asociar a los hablantes de inglés afroamericano con ocupaciones de menor estatus social en comparación con quienes hablaban inglés estandarizado, a pesar de no estar informados sobre susdentraciales. El estudio enfatiza que, si bien el racismo manifiesto puede estar disminuyendo en los estudiantes de maestría en inglés, los prejuicios ocultos persisten y pueden tener implicaciones de gran alcance.

Implicaciones para la justicia y el empleo

Las implicaciones de estos hallazgos son profundas, especialmente en sectores donde se utilizan sistemas de IA con LLM. En procedimientos legales, por ejemplo, las recomendaciones sesgadas podrían conducir a resultados injustos, afectando desproporcionadamente a las comunidades marginadas. 

De igual modo, en el ámbito laboral, las evaluaciones sesgadas de los candidatos basadas en el idioma podrían perpetuar las desigualdades existentes en las prácticas de contratación.

Hofmann destaca la insuficiencia de los métodos tradicionales para enseñar nuevos patrones a los LLM, indicando que la retroalimentación humana por sí sola no contribuye en gran medida a contrarrestar el sesgo racial encubierto. Además, el estudio sugiere que el tamaño de los LLM no necesariamente mitiga este sesgo; más bien, podría permitirles ocultarlo superficialmente, manteniéndolo a un nivel más profundo.

Abordar el sesgo lingüístico en el desarrollo de la IA

A medida que la tecnología avanza, es imperativo que las empresas tecnológicas aborden el problema del sesgo en la IA con mayor eficacia. Reconocer la presencia del sesgo no es suficiente; es necesario tomar medidas proactivas para mitigar su impacto. 

Esto incluye reevaluar los métodos utilizados para entrenar y perfeccionar los LLM, así como implementar mecanismos sólidos para detectar y rectificar sesgos en los sistemas de IA.

Los hallazgos de este estudio subrayan la urgente necesidad de un mayor escrutinio y rendición de cuentas en el desarrollo e implementación de modelos de IA. No abordar el sesgo lingüístico en los programas de maestría en derecho (LLM) podría perpetuar injusticias sistémicas y obstaculizar el progreso hacia una sociedad más equitativa.

Al generar conciencia sobre estas cuestiones y promover cambios significativos, las partes interesadas pueden trabajar juntas para garantizar que las tecnologías de IA respeten los principios de justicia e imparcialidad, beneficiando en última instancia a la sociedad en su conjunto.