Google ofrece una herramienta de marca de agua de código abierto para que los usuariosdenttexto generado por IA

Google ha publicado el código abierto de la herramienta de marca de agua de texto SynthID, una tecnología que permite a los usuarios detectar fácilmente si el texto es original o generado por IA.

Según Google, el detector de texto generado por IA se puede descargar desde la plataforma de IA Hugging Face y el kit de herramientas Responsible GenAI actualizado de Google. Las marcas de agua han cobrado importancia con el auge de la IA generativa en los últimos dos años, ya que las marcas de agua se están manipulando para difundir información errónea y desinformación, así como contenido sexual no consensuado y con fines maliciosos.

Este desarrollo surge en un momento en que existe urgencia por desarrollar dichas herramientas, y la Agencia Europea de Seguridad del Estado está preocupada porque el 90% del texto en línea podría ser sintético para 2026, lo que haría que la propaganda, el fraude y el engaño sean moneda corriente.

Los investigadores de Google explican su herramienta de marca de agua

En una publicación en la plataforma X, el gigante de los motores de búsqueda reveló que está liberando el código fuente de su herramienta de marca de agua de texto SynthID, afirmando que estará "disponible gratuitamente para empresas y desarrolladores, ya que les ayudará a identificardentcontenido generado por IA".

Pushmeet Kohli, vicepresidentedent de investigación de Google DeepMind y coautor de un artículo de investigación de Google DeepMind, afirmó: "El sistema no compromete las funciones de los modelos de IA, sino que simplemente las mejora"

Las imágenes y los vídeos han sido centrales en las discusiones sobredentde contenido y las marcas de agua han sido señaladas como la solución necesaria para combatir los deepfakes.

La Coalición para la Procedencia y Autenticidad del Contenido (C2PA), una colaboración entre empresas de tecnología y grandes medios de comunicación para desarrollar un sistema que permita adjuntar metadatos cifrados para indicar archivos de imágenes y vídeos generados por IA, también ha sido central en estos debates.

Según el artículo de investigación de Google DeepMinds, SynthID Text interfiere durante la generación, ya que altera algunas palabras emitidas por un chatbot para que sean claras para un detector de SynthID pero casi invisibles para los humanos.

“Modificaciones como estas incorporan una firma estadística al texto generado por IA y, durante la fase de detección de marca de agua, la firma se puede medir para ver si el texto proviene de un modelo de IA mediante el LLM con marca de agua”, escribieron los investigadores en el artículo.

Al generar oraciones palabra por palabra, así es como funcionan los LLM que impulsan los chatbots, ya que eligen la siguiente palabra probable según el contexto de la palabra anterior. Al asignar aleatoriamente puntuaciones numéricas a las palabras candidatas, el LLM produce palabras con una puntuación más alta. Se colocarán marcas de agua en el texto que el detector haya analizado y que tenga una puntuación más alta.

Hoy, estamos abriendo el código fuente de nuestra herramienta de marca de agua de texto SynthID a través de un kit de herramientas de inteligencia artificial generativa responsable actualizado.

Disponible gratuitamente para desarrolladores y empresas, les ayudará adentsu contenido generado por IA. 🔍

Más información → https://t.co/n2aYoeJXqn pic.twitter.com/4uRKYaz57Y

— Google DeepMind (@GoogleDeepMind) 23 de octubre de 2024

Los expertos de la industria elogian a Google por dar un paso en la dirección correcta

A pesar de que el sistema DeepMind funciona mejor que otras herramientas para la marca de agua de texto, los investigadores reconocieron en su artículo que la herramienta aún presenta fallas. Por ejemplo, si se modifica un texto generado por Gemini, el detector será engañado.

“Si bien SynthID no es una solución milagrosa paradentcontenido generado por IA, es un componente importante para desarrollar herramientas dedentde IA más confiables”

–Kohli.

Si los usuarios alteran significativamente los textos o utilizan otro chatbot para resumir el texto, el detector se equivocará al colocar una marca de agua en el texto generado por IA.

Google afirma que SynthID Text no compromete la calidad, precisión ni velocidad de generación de texto, según las pruebas realizadas por el sistema integrado en sus modelos Gemini. La compañía también añadió que funciona incluso con texto recortado, modificado o parafraseado.

“La detección es un problema particular cuando uno empieza a tener en cuenta la implementación en situaciones reales, ya que hay problemas con la revisión del texto en la práctica, donde uno tendrá que saber qué modelo de marca de agua se ha aplicado para conocer y dónde localizar la señal”, explicó Bruce MacCormack, miembro del comité directivo de C2PA.

Además de Google, OpenAI también ha estado trabajando en tecnología de marca de agua de texto con IA durante años, pero ha retrasado su lanzamiento debido a problemas de viabilidad técnica y comercial.

Pero los expertos de la industria en general han elogiado la iniciativa de Google como un paso en la dirección correcta.

"Esto promete mejorar el uso dedentde contenido duradero de C2PA para documentos y texto sin formato", dijo Andrew Jenks, director de procedencia de medios de Microsoft y presidente ejecutivo de C2PA.

MacCormack también agregó que, si bien los investigadores de Google aún tienen mucho por hacer para que esto sea un caso práctico, sigue siendo una gran iniciativa y "el primer paso en el maratón que tenemos por delante"