Google Gemini etiquetado como de alto riesgo para usuarios jóvenes en nueva evaluación

Google Gemini ha sido etiquetado como "de alto riesgo" para adolescentes y niños, según una reciente evaluación de riesgos realizada por Common Sense Media. El grupo, una organización sin fines de lucro centrada en la seguridad infantil, ofrece calificaciones y reseñas de medios y tecnología. El organismo publicó su revisión el viernes, dando detalles sobre por qué etiquetó la plataforma como peligrosa para los niños.

Según la organización, Google Gemini le dijo claramente a los niños que era una computadora y no un amigo, algo que se ha relacionado con ayudar a impulsar el pensamiento delirante y la psicosis en individuos emocionalmente vulnerables. La IA también añadió que había margen para mejoras en otros frentes.

En su informe, Common Sense afirmó que los Gemini para los niveles Under 13 y Teen Experience parecían ser versiones para adultos del AI que se ocultaba bajo el capó. Añadió que la empresa había añadido solo algunas funciones de seguridad adicionales para diferenciarlas.

Common Sense señaló que para que las empresas creen productos de IA ideales para niños, deben estar construidos desde cero pensando en los niños y no ser modificados con restricciones.

Organización sin fines de lucro etiqueta a Google Gemini como de alto riesgo para niños

En su análisis, Common Sense dijo que encontró que Gemini aún podía compartir materiales inapropiados e inseguros con los niños, señalando que la mayoría de ellos pueden no estar listos para estos materiales. Por ejemplo, destacó que el modelo moldeaba la información relacionada con el sexo, las drogas, el alcohol y otros consejos de salud mental inseguros. Este último podría ser particularmente preocupante para los padres, ya que se ha informado que la IA ha jugado un papel en el autolesionamiento de adolescentes en los últimos meses.

OpenAI está actualmente enfrentando una demanda por muerte injustificada después de que un adolescente se suicidara después de consultar supuestamente con ChatGPT durante meses sobre sus planes. Los informes afirmaban que el niño pudo eludir las barreras de seguridad del modelo, lo que llevó a que el modelo proporcionara información que le ayudó.

En el pasado, el creador de compañeros de IA Character.AI también fue demandado después de que un adolescente se suicidara. La madre del niño afirmó que se obsesionó con el chatbot y pasó meses hablando con él antes de que finalmente se hiciera daño.

El análisis llega mientras varios filtraciones han indicado que Apple está supuestamente considerando Gemini como el modelo de lenguaje grande (LLM) que se utilizará para impulsar su próximo Siri habilitado para IA, que se espera que se lance el próximo año.

En su informe, Common Sense también mencionó que los productos de Gemini para niños y adolescentes ignoraron la necesidad de proporcionar orientación e información diferentes a las que proporciona a los adultos. Como resultado, ambos fueron etiquetados como de alto riesgo en la calificación general.

Common Sense aboga por la necesidad de proteger a los niños

"Gemini acierta en algunos aspectos básicos, pero falla en los detalles", dijo Robbie Torney, Director Senior de Programas de IA de Common Sense Media.

"Una plataforma de IA para niños debería encontrarlos donde están, no adoptar un enfoque único para niños en diferentes etapas de desarrollo. Para que la IA sea segura y efectiva para los niños, debe estar diseñada teniendo en cuenta sus necesidades y desarrollo, no solo como una versión modificada de un producto construido para adultos", añadió Torney.

Sin embargo, Google ha rechazado esta evaluación, señalando que sus funciones de seguridad están mejorando. La compañía mencionó que cuenta con salvaguardas específicas para guiar a los usuarios menores de 18 años y prevenir resultados dañinos. La firma también indicó que revisa el contenido y consulta con expertos externos para mejorar sus protecciones.