La IA en las escuelas pone en riesgo a los estudiantes LGBTQ+, revela un nuevo estudio

En un informe reciente publicado por el Centro para la Democracia y la Tecnología, se han planteado preocupaciones sobre el impacto de la inteligencia artificial (IA) en las escuelas en los estudiantes vulnerables, particularmente aquellos que son LGBTQ+, tienen discapacidades o son estudiantes de color. El estudio, que encuestó a estudiantes, padres y maestros, arroja luz sobre las consecuencias no deseadas de las tecnologías impulsadas por IA utilizadas en entornos educativos.

Un riesgo para los estudiantes vulnerables

El estudio del Centro para la Democracia y la Tecnología encontró que las tecnologías diseñadas para bloquear contenido adulto explícito e identificar estudiantes en riesgo de autolesionarse o dañar a otros están poniendo inadvertidamente en peligro a los estudiantes ya vulnerables. Los estudiantes LGBTQ+, en particular, tienen más probabilidades de enfrentar repercusiones negativas por sus actividades en línea a través de la monitorización de la actividad estudiantil en comparación con sus compañeros heterosexuales y cisgénero.

Salir del armario sin consentimiento: Alarmantemente, el 29 por ciento de los estudiantes LGBTQ+ informó que ellos mismos u otro estudiante habían sido revelados como LGBTQ+, un evento potencialmente traumático. Esta revelación subraya las importantes preocupaciones de privacidad relacionadas con la monitorización por IA en las escuelas.

Disciplina desproporcionada: El estudio también descubrió que el 50 por ciento de los estudiantes LGBTQ+ encuestados informaron que ellos u otro estudiante habían sido disciplinados por actividades en línea, en comparación con el 39 por ciento de los estudiantes no LGBTQ+. Esta acción disciplinaria desproporcionada plantea preguntas sobre la equidad y la justicia.

La prevalencia de la monitorización de la actividad estudiantil

Se encontró que la monitorización de la actividad estudiantil era generalizada en las instituciones educativas, con casi el 88 por ciento de los maestros informando su uso en dispositivos proporcionados por la escuela. Además, el 40 por ciento de los maestros indicaron que sus escuelas incluso monitoreaban los dispositivos personales de los estudiantes. Esta vigilancia se extiende más allá de las horas escolares, con el 38 por ciento de los maestros informando actividades de monitorización fuera del horario escolar.

Prohibición digital de libros: restringiendo el contenido relacionado con LGBTQ+ y la raza

El informe también destaca que un tercio de los maestros entrevistados expresaron preocupaciones sobre los filtros de contenido de IA que restringen desproporcionadamente el contenido relacionado con temas LGBTQ+ y el contenido que explora la raza. Esta restricción se asemeja a una «prohibición digital de libros» y plantea preocupaciones sobre la censura y el acceso a diversas perspectivas.

La llamada a la educación y la concienciación

Uno de los hallazgos más sorprendentes del estudio es la «confusión generalizada» entre padres, estudiantes y maestros sobre el papel de la inteligencia artificial en el aula. Muchos interesados desean más información y capacitación sobre cómo utilizar correctamente las tecnologías de IA. Desafortunadamente, a pesar de la publicación por parte de la Casa Blanca de un Plan para una Carta de Derechos de la IA en 2022, el 57 por ciento de los maestros en la encuesta más reciente revelaron que no han recibido capacitación sustantiva en IA.

Una preocupación persistente

Es importante tener en cuenta que este informe reciente hace eco de las preocupaciones planteadas anteriormente por el Centro para la Democracia y la Tecnología en su documento de investigación de 2022, «Daños Ocultos: Dirigirse a Estudiantes LGBTQ+». En ese estudio, los algoritmos utilizados por las escuelas marcaban automáticamente palabras como «gay» y «lesbiana» en los mensajes y documentos de los estudiantes, potencialmente revelando su orientación sexual sin su consentimiento.

La necesidad de protecciones

Elizabeth Laird, directora de equidad en tecnología cívica para el Centro para la Democracia y la Tecnología, enfatizó que ciertos grupos de estudiantes ya deberían estar protegidos por las leyes existentes de derechos civiles. Sin embargo, continúan experimentando consecuencias desproporcionadas y negativas debido al uso de datos y tecnología educativa. Existe una clara necesidad de que las escuelas sean más intencionales sobre cómo utilizan estas tecnologías para prevenir la discriminación y otros daños.

Abogando por el cambio

Grupos de derechos civiles, incluyendo la ACLU, la Asociación Americana de Bibliotecarios Escolares, la Asociación de Bibliotecas Americana, el Fondo de Defensa de los Derechos de Discapacidad en la Educación y la Fundación Frontera Electrónica, han firmado una carta apoyando las protecciones relacionadas con la educación a la luz del creciente protagonismo de la IA generativa en las escuelas. La importancia de garantizar que las tecnologías de IA se utilicen de manera responsable y no dañen a los estudiantes marginados no puede ser exagerada.

La integración de la IA en las escuelas ofrece numerosos beneficios, pero también plantea preocupaciones significativas, especialmente para los estudiantes vulnerables. Es imperativo que las instituciones educativas, los responsables políticos y los proveedores de tecnología trabajen juntos para abordar estos problemas y garantizar que las tecnologías de IA se empleen de manera que promuevan la equidad, la inclusividad y el bienestar de todos los estudiantes.