¿Siguen siendo efectivos los detectores de IA?

Desde el lanzamiento de herramientas de IA como ChatGPT, el término “IA” se ha convertido en una palabra de moda en industrias que van desde la educación hasta la creación de contenido. Los escritores y estudiantes ahora enfrentan un nuevo desafío al defender su trabajo, ya sea contenido de IA o humano. 

Según las estadísticas de Stastia el año pasado, el término “IA” se buscó más de 30,4 millones de veces en julio de 2023, lo que es el triple del número del mes anterior. A medida que la IA se volvió más prevalente, los profesores y editores tuvieron que encontrar una forma alternativa de determinar si el texto que se les presentaba era de IA o no. Esto llevó al auge de los detectores de IA.

Sin embargo, muchos escritores y educadores han cuestionado la autenticidad de la IA. Uno de ellos es Christoper Pen, cofundador de TrustInsights.ai, quien declaró en un LinkedIn que los post que «IA detectores” son una broma. Pen no es el único que piensa que los detectores de IA no son confiables. Dianna Mason, especialista en contenido SEO, declaró en una publicación, “los detectores de contenido de IA no funcionan”.

Según otra publicación en Reddit, un usuario declaró, “Sí, los detectores de IA son una estafa. Nunca ha habido un artículo académico que demuestre que un detector de IA pueda funcionar de manera confiable. Tampoco existe un marco teórico prometedor sobre cómo funcionaría un detector de IA confiable. “

Varios ejemplos muy publicitados muestran la ineficacia de los detectores de IA. Por ejemplo, un detector identificó erróneamente el 97,75% de la Declaración de Independencia de EE. UU. como compuesta por IA. 

En otro caso, se encontró que los textos de la Biblia estaban escritos por IA. El Bhagavad Gita, una escritura hindú, también fue identificado erróneamente por la IA. Tales incidentes plantean preguntas muy serias sobre la credibilidad de los detectores de IA.

Para investigar aún más la efectividad de los detectores de IA, probamos un extracto de la Biblia con cuatro detectores diferentes. Los resultados fueron bastante diferentes

• Quilbott- Según este sitio, el extracto utilizado probablemente era 0%, no generado por IA.
• Grammaly- Grammaly también identificó el texto como 100% escrito por humanos.
• Gpt Zero- Este sitio le dio al texto una probabilidad del 96% de haber sido escrito por Humanos.
• Zero Gpt- Este fue el último sitio que probé y los resultados fueron bastante impactantes, según el sitio, el texto estaba escrito por IA en un 96%.

Cómo funcionan los detectores de IA

Los detectores de IA, o detectores de GPT, son sistemas diseñados para identificar contenido generado por IA. Estos detectores comparan el texto en términos de patrones y disposición de palabras, al igual que lo hacen los LLM con el texto. Los LLM trabajan con probabilidades inferidas a partir de datos y basan sus predicciones puramente en la detección de secuencias de palabras. Los detectores de IA operan sobre estas probabilidades para detectar contenido de IA. 

Los detectores de IA utilizan principalmente dos medidas, a saber, la perplejidad y la ráfaga. La perplejidad mide la probabilidad de que la siguiente palabra sea correcta, y la ráfaga es la variabilidad del número de palabras y frases. Mientras que la escritura humana tiende a exhibir más variedad, el texto generado por IA a menudo es más uniforme. A pesar de esto, a medida que avanzan modelos de IA como GPT-4, pueden replicar la escritura humana con mayor competencia, lo que hace que la detección sea aún más difícil. 

Según Jodie Cook, la fundadora de Coachvox, “Ahora nos reímos de los comentarios de LinkedIn generados por IA.... Pero a medida que la tecnología mejore, no tendremos idea de qué es real y qué no. Nadie lo sabrá. “

Para escritores, estudiantes y empresas, las apuestas son altas. Esto plantea la pregunta: ¿se pueden confiar los detectores de IA?