Google открыла исходный код инструмента для водяных знаков, чтобы пользователи могли идентифицировать текст, созданный ИИ

- «Детектор текста, созданного ИИ от Google, SynthID, не снизит качество и точность текстов».
- Это рассматривается как правильный шаг на пути борьбы с глубокими фейками.
- Другие технологические компании, такие как OpenAI, работали над инструментом для водяных знаков в тексте, но отложили его выпуск.
Google открыла исходный код инструмента для водяных знаков SynthID — технологии, которая позволяет пользователям легко определять, является ли текст оригинальным или созданным ИИ.
Согласно данным Google, детектор текста, сгенерированного ИИ, можно загрузить с платформы Hugging Face и из обновлённого набора инструментов Google по ответственной генерации ИИ. Водяные знаки стали крайне важны в связи с бумом генеративного ИИ за последние два года, поскольку большие языковые модели (LLM) используются для распространения дезинформации и недостоверной информации, а также контента сексуального характера без согласия и в злонамеренных целях.
Разработка осуществляется в условиях срочности создания таких инструментов, поскольку правоохранительное агентство Европейского Союза обеспокоено тем, что к 2026 году 90% онлайн-текста может быть синтетическим, что приведет к повсеместному распространению пропаганды, мошенничества и обмана.
Исследователи Google объясняют свой инструмент водяных знаков
В публикации на платформе X гигант поисковых систем объявил о выпуске своего инструмента для водяных знаков SynthID Text с открытым исходным кодом, заявив, что он «будет бесплатно доступен для бизнеса и разработчиков, так как поможет им идентифицировать контент, созданный ИИ».
Пушмит Кохли, вице-президент по исследованиям в Google DeepMind и соавтор исследовательской работы из Google DeepMind, сказал: «Система не нарушает функции моделей ИИ, а лишь улучшает их».
Изображения и видео играют центральную роль в дискуссиях о цифровых правах на контент, а водяные знаки рассматриваются как ключевое решение для борьбы с дипфейками.
Коалиция за происхождение и подлинность контента (C2PA), представляющая собой сотрудничество технологических компаний и крупных медиа-изданий для разработки системы прикрепления зашифрованных метаданных к файлам изображений и видео, созданным ИИ, также играла центральную роль в этих обсуждениях.
Согласно исследовательской работе Google DeepMind, технология SynthID Text вмешивается в процесс генерации: она изменяет некоторые слова, создаваемые чат-ботом, так, чтобы они были понятны детектору SynthID, но оставались практически незаметными для человека.
«Подобные модификации создают статистический отпечаток в тексте, сгенерированном ИИ, и на этапе обнаружения водяного знака этот отпечаток можно измерить, чтобы определить, был ли текст создан моделью ИИ с использованием LLM с внедрённым водяным знаком», — пишут исследователи в своей работе.
LLM, питающие чат-боты, генерируют предложения по слову за словом, выбирая наиболее вероятное следующее слово в зависимости от контекста предыдущих. Распределяя случайным образом числовые оценки для кандидатов на роль следующего слова, LLM отдаёт предпочтение словам с более высокой оценкой. Водяные знаки будут накладываться на текст, который будет проанализирован детектором, и если он покажет более высокую оценку.
Сегодня мы открываем исходный код нашего инструмента водяных знаков SynthID для текста в рамках обновлённого набора инструментов ответственного использования генеративного ИИ.
Доступен бесплатно для разработчиков и компаний, он поможет им выявлять контент, созданный искусственным интеллектом. 🔍
Узнать больше → https://t.co/n2aYoeJXqn pic.twitter.com/4uRKYaz57Y
— Google DeepMind (@GoogleDeepMind) октября 23, 2024
Эксперты отрасли высоко оценивают шаг Google в правильном направлении
Несмотря на то что система DeepMind превосходит другие инструменты при добавлении водяных знаков в текст, исследователи признали в своей статье, что у инструмента всё ещё есть недостатки. Например, если изменить текст, сгенерированный Gemini, детектор может быть обманут.
«Хотя SynthID не является универсальным решением для выявления контента, созданного ИИ, это важный элемент для разработки более надёжных инструментов идентификации ИИ».
– Кохли.
Если пользователи существенно изменяют текст или используют другой чат-бот для его суммирования, детектор может быть сбит с толку при попытке наложить водяной знак на текст, созданный ИИ.
Google заявляет, что SynthID Text не снижает качество, точность или скорость генерации текста, как было протестировано системой, интегрированной в её модели Gemini. Компания также добавила, что технология работает даже с текстом, который был обрезан, изменён или перефразирован.
«Обнаружение становится особой проблемой, когда речь заходит о внедрении в реальных условиях, поскольку возникают сложности с проверкой текста в дикой среде: необходимо знать, какой именно алгоритм водяного знака был применен, чтобы найти и идентифицировать сигнал», — пояснил Брюс МакКормак, член руководящего комитета C2PA.
Помимо Google, компания OpenAI уже несколько лет работает над технологией водяных знаков для ИИ-текста, но отложила их выпуск из-за технических и коммерческих аспектов жизнеспособности.
Однако отраслевые эксперты в целом одобрили инициативу Google как шаг в правильном направлении.
«Это открывает перспективы для улучшения использования долговечных учетных данных контента от C2PA для документов и исходного текста», — сказал Эндрю Дженкс, директор Microsoft по происхождению медиа и исполнительный председатель C2PA.
МакКормак также добавил, что, хотя исследователям Google еще предстоит проделать большую работу, чтобы сделать это практичным решением, это остается отличной инициативой и «первым шагом в предстоящем марафоне».
Если вы читаете это, вы уже впереди. Оставайтесь с нами, подписавшись на нашу рассылку.
Отказ от ответственности. Предоставленная информация не является торговой рекомендацией. Cryptopolitan.com Мы не несем ответственности за любые инвестиции, сделанные на основе информации, представленной на этой странице. Мы настоятельно рекомендуем проводить независимое исследование и/или проконсультироваться с квалифицированным специалистом перед принятием любых инвестиционных решений.
Энаси Мапакаме
Энаси Мапакаме — журналист с более чем 10-летним опытом работы в сфере деловых и финансовых новостей. Она освещает вопросы капитальных рынков и emerging technologies: метавселенную, искусственный интеллект и криптовалюту. Энаси имеет степень бакалавра соhonours по специальности «Медиа и исследования общества».















