Alucinaciones inducidas por IA: El post del blog de un investigador provoca desinformación en motores de búsqueda

Los chatbots de inteligencia artificial (IA), impulsados por modelos de IA generativa, han sido inadvertidamente desviados por una publicación de blog de investigación. El incidente destaca la necesidad de salvaguardas mejoradas a medida que los motores de búsqueda mejorados con IA se vuelven más prevalentes.

Alucinaciones en chatbots de IA

El investigador de ciencias de la información Daniel S. Griffin desencadenó inadvertidamente un conundrum único en el reino de los chatbots de IA cuando publicó ejemplos de información falsa en su blog. Su objetivo era ilustrar instancias de chatbots de IA que difunden desinformación. Griffin mostró dos ejemplos relacionados con el influyente científico de la computación Claude E. Shannon, con una advertencia clara indicando que la información de los chatbots era falsa.

Sin embargo, esta advertencia resultó insuficiente para evitar que los raspadores de máquinas indexaran la información falsa. Griffin se sorprendió al descubrir que múltiples chatbots, incluyendo Bing de Microsoft y Bard de Google, habían referenciado los datos alucinados como si fueran factuales, clasificándolos en la parte superior de sus resultados de búsqueda. Cuando los usuarios consultaron a los chatbots sobre detalles específicos sobre Shannon, los bots se basaron en la advertencia de Griffin para construir una narrativa consistente pero errónea. Esto resultó en atribuir un artículo a Shannon que nunca había escrito.

Además, el aspecto preocupante de esta situación fue la ausencia de cualquier indicación en los resultados de búsqueda de Bing y Bard de que sus fuentes provenían de IA de Modelo de Lenguaje (LLM). Este fenómeno se asemeja estrechamente a casos donde las personas parafrasean o citan fuentes fuera de contexto, llevando a una investigación defectuosa. Sin embargo, el incidente de Griffin demostró que los modelos de IA generativa podrían potencialmente automatizar este error a una escala mucho mayor.

Las consecuencias de la desinformación de IA

Las ramificaciones de este incidente se extienden más allá de simples inexactitudes de investigación. Microsoft ha corregido el error en Bing y sugirió que el problema es más probable que surja en temas con contenido escrito por humanos limitado en línea. Esta vulnerabilidad abre la puerta a una posibilidad perturbadora: un plan teórico para que actores maliciosos utilicen intencionalmente LLMs para propagar desinformación manipulando los resultados de los motores de búsqueda. Esta táctica se asemeja a instancias pasadas donde hackers utilizaron sitios web fraudulentos para distribuir malware asegurando las clasificaciones superiores de los resultados de búsqueda.

Este incidente hace eco de una advertencia previa de junio, que postulaba que a medida que Internet se sature cada vez más con contenido generado por LLM, se utilizará para entrenar futuros LLM. Este bucle de retroalimentación podría llevar a una deterioración significativa en la calidad y confiabilidad de los modelos de IA , un fenómeno conocido como “Colapso del Modelo”. La necesidad de vigilancia en el desarrollo y uso de modelos de IA nunca ha sido más aparente.

El incidente que involucra a Daniel S. Griffin subraya la imperativa necesidad de que las empresas que trabajan con IA prioricen el entrenamiento continuo de los modelos con contenido creado por humanos. Preservar información y materiales menos conocidos, así como aquellos autorados por grupos minoritarios, puede desempeñar un papel fundamental para mitigar la proliferación de desinformación perpetuada por los sistemas de IA.