Los detectores de IA dejan de funcionar: estudio de caso de la Constitución de EE. UU

La inteligencia artificial (IA) ha invadido la vida moderna, especialmente en la generación de contenido escrito. Si bien puede resultar entretenido, la imprecisión en la detección de contenido generado por IA es alarmante. Peor aún, los detectores de IA marcan contenido escrito por humanos como generado por GPT; un ejemplo de ello es la Constitución de los Estados Unidos.

Lea también:Paul Graham de Y Combinator criticado por afirmar que los textos con “Delve” son escritos por IA

La Constitución de los Estados Unidos se redactó en 1787, se ratificó en 1788 y ha estado vigente desde 1789. Es la carta de gobierno escrita más longeva del mundo. La Constitución se redactó aproximadamente un siglo antes de la invención del primer automóvil. Sin embargo, un detector de IA la marcó como generada con un 97,97 % de inteligencia artificial.

Los detectores de IA marcan la Constitución de Estados Unidos como inhumana

En 2023, se observó un aumento en el contenido escrito sobre inteligencia artificial. Poco después, los desarrolladores del mercado aprovecharon la oportunidad para crear detectores que informan sobre los porcentajes de contenido de IA. Esto debería haber sido un gran avance, pero no es así.

Un detector de IA ha marcado la Constitución de los Estados Unidos como contenido de IA. ¿El porcentaje? Un 97,97 %. El término «inteligencia artificial» se acuñó y popularizó con el nacimiento de la IA, entre 1950 y 1956. Entonces, ¿cómo pudo la IA escribir un documento 163 años más antiguo que su invención?

En 1950, Alan Turing publicó un artículo en una revista titulado "Maquinaria informática e inteligencia", donde proponía una prueba de inteligencia artificial llamada "El juego de la imitación". Este artículo marcó el inicio del mundo en el que vivimos hoy.

En 1952, un informático llamado Arthur Samuel desarrolló un programa para jugar a las damas, el primero en aprender el juego de formadent. Poco después, en 1955, John McCarthy impartió un taller en Dartmouth sobre «inteligencia artificial», que fue el primer uso del término.

Los detectores de IA tienen limitaciones

Los detectores de IA tienen limitaciones porque el texto generado por IA imita la escritura humana. Estos detectores han sido entrenados por los mismos humanos que enseñaron a las máquinas a escribir. Entonces, ¿cómo funcionarían sus detectores de IA y qué tan precisos son? Otro detector de IA obtuvo un 1% de contenido de IA en la Constitución de los Estados Unidos. ¿De dónde provino ese 1%?

Bueno, aquí está la disparidad: algunos detectores de IA buscan ciertas palabras como "delve, tapestry, utilize, many, etc." que suelen ser utilizadas por la IA pero que son poco comunes para los estadounidenses. 

Sin embargo, para algunas personas de países con historia colonial británica, estas palabras se utilizan comúnmente tanto en el lenguaje hablado como en el escrito.

El mes pasado, Paul Graham, cofundador de Y Combinator, fue objeto de fuertes críticas tras una teoría de atribución de texto de ChatGPT que desarrolló en X (anteriormente Twitter). Graham publicó una propuesta de correo electrónico que recibió de alguien para un proyecto que, según él, era escritura de IA porque contenía la palabra "delve".

Un usuario de X comentó: “Quienes aprendimos inglés en países con pasado colonial británico aprendimos inglés exactamente así […] 'Delve' es una palabra común que usamos”. Otro usuario afirmó que se trata de un problema estadounidense.

Algunos países y personas aún utilizan lo que yo describiría como «inglés literario».

Lo lamentable es que el vocabulario estadounidense se basa principalmente en coloquialismos (lo que se conoce como jerga) y modismos contemporáneos estadounidenses, hasta el punto de que el uso sofisticado de…

— África Research Desk (@MightiJamie) 10 de abril de 2024

Esto nos lleva a preguntarnos: ¿deberían los detectores de IA y los generadores de contenido ser específicos para cada región del inglés? ¿O debería prescindirse de todas estas herramientas de escritura y detectores?

Los detectores de IA son inexactos

Los detectores de IA se basan en características lingüísticas inconsistentes. El lenguaje humano es inherentemente variable, con una amplia gama de estilos, dialectos y modismos. El texto generado por IA puede presentar estas variaciones, lo que dificulta la precisión de los detectores.

Aproximadamente el 20% de los textos generados por IA pasan inadvertidos por estos sistemas de detección, lo que socava la fiabilidad de los detectores de IA. De igual manera, aproximadamente el 25% del texto escrito por humanos se identifica erróneamente como IA.

Un usuario de Quora escribió: «El detector de IA detecta mi trabajo como generado al 100 % por IA. Esto se debe a que, sin saberlo, lo usé como herramienta de edición y corrección gramatical a petición de un asesor académico. Las palabras, el concepto y la experiencia vital que aparecen en el artículo ya publicado son míos. ¿Qué debo hacer?».

Muchos han expresado su frustración con este tema. Recientemente, en una noticia publicada por Cryptopolitan, un generador de IA identificó palabras pronunciadas por Donald Trump. Dijo: «Soy muy positivo y tengo una mentalidad abierta hacia las empresas de criptomonedas y todo lo relacionado con esta nueva y floreciente industria». ¿Cómo se incorpora la IA a las palabras habladas? ¿Se encuentra en la mente de la persona? ¿En sus pensamientos expresados?

Otro contenido provino de David Bailey: “Nos movilizaremos para defendernos. No estamos votando por Trump en sí, estamos votando en contra de Biden. El único culpable de eso es Biden.”

Lea también: La campaña de Trump sobre criptomonedas: todo lo que necesita saber.

En 2023, OpenAI publicó consejos para educadores en una entrada de blog promocional que mostraba cómo algunos docentes usan ChatGPT como ayuda educativa.  

En una sección de las preguntas frecuentes titulada "¿Funcionan los detectores de IA?", OpenAI escribió: "En resumen, no. Si bien algunas empresas (incluida OpenAI) han lanzado herramientas que pretenden detectar contenido generado por IA, ninguna ha demostrado distinguir de forma fiable entre contenido generado por IA y contenido generado por humanos". El problema de distinguir el contenido humano del contenido generado por IA persiste. La pregunta es: ¿Qué se debe hacer en el futuro?

Reportaje Cryptopolitan de Florence Muchai