¿Son aún eficaces los detectores de IA?

Desde el lanzamiento de herramientas de IA como ChatGPT, el término "IA" se ha convertido en una palabra de moda en sectores que van desde la educación hasta la creación de contenido. Los escritores ydentse enfrentan ahora a un nuevo reto para defender su trabajo, ya sea contenido de IA o humano. 

Según las estadísticas de Stastia del año pasado, el término "IA" se buscó más de 30,4 millones de veces en julio de 2023, el triple que el mes anterior. A medida que la IA se hizo más común, profesores y editores tuvieron que encontrar una forma alternativa de determinar si el texto que se les presentaba era generado por IA o no. Esto dio lugar al auge de los detectores de IA.

Sin embargo, muchos escritores y educadores han cuestionado la autenticidad de la IA. Uno de ellos es Christopher Pen, cofundador de TrustInsights.ai, quien afirmó en una publicación que los " detectores de IA" son una broma. Pen no es el único que piensa que los detectores de IA no son fiables. Dianna Mason, especialista en contenido SEO, afirmó en una publicación: "Los detectores de contenido de IA no funcionan".

Según otra publicación en Reddit, un usuario afirmó: “Sí, los detectores de IA son una estafa. Nunca ha habido un artículo académico que demuestre que un detector de IA pueda funcionar de forma fiable. Tampoco existe un marco teórico prometedor sobre cómo funcionaría un detector de IA fiable”.

Varios ejemplos bien conocidos muestran la ineficiencia de los detectores de IA. Por ejemplo, un detectordenterróneamente que el 97,75 % de la Declaración de Independencia de Estados Unidos estaba compuesta por IA. 

En otro caso, se descubrió que textos de la Biblia fueron escritos por IA. El Bhagavad Gita, una escritura hindú, también fue identificadodentpor la IA. Estosdentplantean serias dudas sobre la credibilidad de los detectores de IA.

Para investigar más a fondo la eficacia de los detectores de IA, probamos un extracto de la Biblia con cuatro detectores diferentes. Los resultados fueron bastante dispares

• Quilbott: Según este sitio, el extracto utilizado probablemente fue 0% y no generado por IA.
• Grammaly- Grammaly tambiéndentel texto como 100% escrito por humanos.
• Gpt Zero: Este sitio le dio al texto un 96% de probabilidad de haber sido escrito por humanos.
• Zero Gpt: este fue el último sitio que probé y los resultados fueron bastante alucinantes, según el sitio, el texto estaba escrito en un 96 % con IA.

Cómo funcionan los detectores de IA

Los detectores de IA, o detectores GPT, son sistemas diseñados paradentcontenido generado por IA. Estos detectores comparan el texto en términos de patrones y la disposición de las palabras, al igual que los detectores LLM. Los detectores LLM trabajan con probabilidades inferidas de los datos y basan sus predicciones exclusivamente en la detección de secuencias de palabras. Los detectores de IA operan con estas probabilidades para detectar contenido de IA. 

Los detectores de IA utilizan principalmente dos medidas: la perplejidad y la ráfaga. La perplejidad mide la probabilidad de que la siguiente palabra sea correcta, mientras que la ráfaga es la variabilidad del número de palabras y frases. Si bien la escritura humana tiende a presentar mayor variedad, el texto generado por IA suele ser más uniforme. A pesar de ello, a medida que avanzan los modelos de IA como GPT-4, pueden replicar la escritura humana con mayor precisión, lo que dificulta aún más la detección. 

Según Jodie Cook, fundadora de Coachvox, “Ahora mismo nos reímos de los comentarios generados por IA en LinkedIn… Pero a medida que la tecnología mejore, no tendremos ni idea de qué es real y qué no. Nadie lo sabrá”.

Para escritores,denty empresas, hay mucho en juego. Esto nos lleva a preguntarnos: ¿es confiable la inteligencia artificial?