Google открыла исходный код инструмента для нанесения водяных знаков, позволяющего пользователямdentтекст, сгенерированный искусственным интеллектом

Компания Google открыла исходный код инструмента для нанесения водяных знаков на текст SynthID, технологии, которая позволяет пользователям легко определять, является ли текст оригинальным или сгенерированным искусственным интеллектом.

По данным Google, детектор текста, созданный с помощью ИИ, можно загрузить с платформы ИИ Hugging Face и обновленного инструментария Google Responsible GenAI Toolkit. Водяные знаки стали особенно актуальными в связи с бумом генеративного ИИ за последние два года, поскольку LLM-ы используются для распространения дезинформации и ложных сведений, а также контента сексуального характера без согласия и в злонамеренных целях.

Эта разработка появилась на фоне острой необходимости создания подобных инструментов, поскольку Агентство по правоохранительным органам Европейского союза обеспокоено тем, что к 2026 году 90% онлайн-текста может быть синтетическим, что приведет к распространению пропаганды, мошенничества и обмана.

Исследователи Google объясняют принцип работы своего инструмента для нанесения водяных знаков

В сообщении на платформе Xпоисковый гигант сообщил, что открывает исходный код своего инструмента для нанесения водяных знаков SynthID Text, заявив, что он будет «доступен бесплатно для предприятий и разработчиков, поскольку поможет им идентифицироватьdent, созданный с помощью ИИ».

Пушмит Коли, вице-президентdent исследованиям в Google DeepMind и соавтор исследовательской работы Google DeepMind, сказал: «Система не ухудшает функциональность моделей ИИ, а лишь улучшает ее».

Изображения и видео играют центральную роль в дискуссиях обdentправах на контент, а водяные знаки рассматриваются как необходимое решение для борьбы с дипфейками.

Коалиция по обеспечению происхождения и подлинности контента (C2PA), представляющая собой сотрудничество технологических компаний и крупных СМИ для разработки системы добавления зашифрованных метаданных, указывающих на то, что изображения и видеофайлы созданы с помощью ИИ, также играла центральную роль в этих дискуссиях.

Согласно исследованию Google DeepMinds, функция SynthID Text вносит помехи в процесс генерации, изменяя некоторые слова, выдаваемые чат-ботом, таким образом, чтобы они были понятны детектору SynthID, но практически невидимы для человека.

«Подобные модификации вносят статистическую сигнатуру в текст, сгенерированный ИИ, и на этапе обнаружения водяного знака эту сигнатуру можно измерить, чтобы определить, был ли текст создан моделью ИИ с помощью LLM с водяным знаком», — написали исследователи в статье.

Генерация предложений слово в слово — так работают LLM-ы, лежащие в основе чат-ботов, поскольку они выбирают наиболее вероятное следующее слово в зависимости от контекста предыдущего. Случайным образом присваивая числовые оценки словам-кандидатам, LLM выдает слова с более высоким баллом. Водяные знаки будут наноситься на фрагмент текста, который был бы проанализирован детектором и получил бы более высокий балл.

Сегодня мы открываем исходный код нашего инструмента для нанесения текстовых водяных знаков SynthID в рамках обновленного набора инструментов ответственного генеративного искусственного интеллекта.

Доступный бесплатно разработчикам и компаниям, он поможет имdentконтент, созданный с помощью ИИ. 🔍

Узнайте больше → https://t.co/n2aYoeJXqn pic.twitter.com/4uRKYaz57Y

— Google DeepMind (@GoogleDeepMind) 23 октября 2024 г.

Эксперты отрасли высоко оценивают шаг Google в правильном направлении

Несмотря на то, что система DeepMind демонстрирует лучшие результаты по сравнению с другими инструментами в области нанесения водяных знаков на текст, исследователи признали в своей статье, что у инструмента все еще есть недостатки. Например, если изменить текст, сгенерированный Gemini, детектор будет обманут.

«Хотя SynthID не является панацеей дляdentконтента, созданного искусственным интеллектом, он представляет собой важный строительный блок для разработки более надежных инструментовdentИИ»

– Коли.

Если пользователи существенно изменяют текст или используют другой чат-бот для его краткого изложения, детектор может ошибочно нанести водяной знак на сгенерированный ИИ текст.

Google утверждает, что SynthID Text не снижает качество, точность и скорость генерации текста, что подтверждается тестированием системы, встроенной в модели Gemini. Компания также добавила, что программа работает даже с обрезанным, измененным или перефразированным текстом.

«Обнаружение представляет собой особую проблему, когда речь заходит о внедрении в реальных условиях, поскольку возникают сложности с анализом текста в реальных условиях, где необходимо знать, какая модель водяного знака была применена, чтобы определить и где найти сигнал», — пояснил Брюс Маккормак, член руководящего комитета C2PA.

Помимо Google, компания OpenAI также уже много лет работает над технологией водяных знаков для текста с использованием ИИ, но откладывает ее выпуск из-за технической и коммерческой нецелесообразности.

Однако эксперты отрасли в целом высоко оценили инициативу Google, назвав её шагом в правильном направлении.

«Это открывает перспективы для улучшения использования долговременныхdentданных контента от C2PA для документов и необработанного текста», — сказал Эндрю Дженкс, директор Microsoft по вопросам происхождения медиаконтента и исполнительный председатель C2PA.

Маккормак также добавил, что, хотя исследователям Google еще многое предстоит сделать, чтобы это стало практически осуществимым, это остается отличной инициативой и «первым шагом в предстоящем марафоне»