구글은 사용자가 AI가 생성한 텍스트를dent수 있도록 워터마킹 도구를 오픈소스로 공개했습니다

구글은 텍스트 워터마킹 도구인 SynthID를 오픈소스로 공개했습니다. 이 기술을 사용하면 사용자가 텍스트가 원본인지 인공지능이 생성한 것인지 쉽게 감지할 수 있습니다.

구글에 따르면, AI 생성 텍스트 감지기는 AI 플랫폼인 허깅페이스(Hugging Face)와 구글의 업데이트된 책임 있는 생성형 AI 툴킷(Responsible GenAI Toolkit)에서 다운로드할 수 있습니다. 워터마크는 지난 2년간 생성형 AI의 급증과 함께 중요한 문제로 대두되었는데, 이는 생성형 AI 텍스트가 조작되어 허위 정보, 가짜 뉴스, 동의 없는 성적 콘텐츠, 그리고 악의적인 목적으로 유포되고 있기 때문입니다.

이번 개발은 유럽연합 법 집행 기관이 2026년까지 온라인 텍스트의 90%가 합성 텍스트가 될 수 있으며, 이로 인해 선전, 사기 및 기만 행위가 만연할 수 있다는 우려를 제기하면서 이러한 도구 개발의 시급성이 대두된 가운데 이루어졌습니다.

구글 연구원들이 개발한 워터마킹 도구에 대해 설명합니다.

에서 X 플랫폼에 올린 게시물자사의 SynthID 텍스트 워터마킹 도구를 오픈소스로 공개한다고 밝히며, "이 도구는 기업과 개발자들이dentAI 생성 콘텐츠를 식별

푸시밋 콜리는부사장dent "이 시스템은 AI 모델의 기능을 손상시키지 않고 오히려 향상시킨다"고 말했다.

콘텐츠dent에 대한 논의에서 이미지와 비디오는 핵심적인 역할을 해왔으며, 워터마크는 딥페이크에 맞서 싸울 수 있는 해결책으로 지목되어 왔습니다.

( 콘텐츠 출처 및 진위성 연합 기술 기업과 주요 미디어 매체들이 협력하여 인공지능이 생성한 이미지 및 비디오 파일에 암호화된 메타데이터를 첨부하는 시스템을 개발하기 위해 결성한

구글 딥마인즈의 연구 논문에 따르면, SynthID Text는 챗봇이 내뱉는 일부 단어를 변경하여 SynthID 탐지기는 명확하게 인식하지만 사람이 알아채기는 거의 불가능하게 만드는 방식으로 생성 과정에 개입합니다.

"이러한 수정은 AI가 생성한 텍스트에 통계적 특징을 부여하며, 워터마크 탐지 단계에서 워터마크가 삽입된 LLM을 통해 해당 특징을 측정하여 텍스트가 AI 모델에서 생성된 것인지 확인할 수 있습니다."라고 연구진은 논문에서 밝혔습니다.

챗봇에 사용되는 LLM(단어 생성 모델)은 단어 단위로 문장을 생성하며, 이전 문맥을 바탕으로 다음에 나올 가능성이 높은 단어를 선택합니다. LLM은 후보 단어에 무작위로 점수를 부여하여 더 높은 점수를 받은 단어를 생성합니다. 탐지기에 의해 분석되어 높은 점수를 받은 텍스트에는 워터마크가 삽입됩니다.

오늘, 저희는 업데이트된 책임 있는 생성형 AI 툴킷을 통해 SynthID 텍스트 워터마킹 도구를 오픈소스로 공개합니다.

개발자와 기업 모두 무료로 이용할 수 있는 이 도구는 AI가 생성한 콘텐츠를dent데 도움이 될 것입니다. 🔍

더 자세히 알아보세요 → https://t.co/n2aYoeJXqn pic.twitter.com/4uRKYaz57Y

— 구글 딥마인드 (@GoogleDeepMind) 2024년 10월 23일

업계 전문가들은 구글의 이번 조치가 올바른 방향으로 나아가는 것이라고 칭찬했다.

딥마인드 시스템이 다른 도구들보다 텍스트 워터마크 생성에서 더 나은 성능을 보였음에도 불구하고, 연구진은 논문에서 이 도구에 여전히 결함이 있다고 인정했습니다. 예를 들어, 제미니로 생성된 텍스트를 변경하면 탐지기가 속아 넘어갈 수 있습니다.

"SynthID는 AI가 생성한 콘텐츠를dent하는 만능 해결책은 아니지만, 보다 신뢰할 수 있는 AIdent도구를 개발하는 데 중요한 구성 요소입니다."

– 콜리.

사용자가 텍스트를 크게 변경하거나 다른 챗봇을 사용하여 텍스트를 요약하는 경우, 탐지기는 AI가 생성한 텍스트에 워터마크를 삽입하는 과정에서 오작동할 수 있습니다.

에 내장된 시스템을 통해 테스트한 결과, SynthID Text가 텍스트 생성 품질, 정확성 또는 속도를 저하시키지 않는다고 주장합니다 제미니 모델. 또한, 잘리거나, 수정되거나, 의역된 텍스트에서도 제대로 작동한다고 덧붙였습니다.

C2PA 운영위원회 위원인 브루스 맥코맥은 "실제 상황에서 구현을 고려하기 시작하면 탐지는 특히 어려운 문제가 됩니다. 실제 환경에서 텍스트를 검토할 때 어떤 워터마킹 모델이 적용되었는지, 그리고 신호가 어디에 있는지 파악해야 하기 때문입니다."라고 설명했습니다.

구글 외에도 오픈AI는 수년간 AI 텍스트 워터마킹 기술을 개발해 왔지만, 출시를 미뤄 기술적 및 상업적 타당성 문제로

하지만 업계 전문가들은 구글의 이번 조치를 올바른 방향으로 나아가는 한 걸음으로 대체로 긍정적으로 평가하고 있습니다.

마이크로소프트의 미디어 출처 담당 이사이자 C2PA의 회장인 앤드류 젠크스는 "이는 문서와 원시 텍스트에 대한 C2PA의 내구성 있는 콘텐츠dent증명 사용을 개선하는 데 도움이 될 것으로 기대된다"고 말했다.

맥코맥은 또한 구글 연구원들이 이를 실용화하기 위해 해야 할 일이 아직 많지만, 이는 훌륭한 시도이며 "앞으로 펼쳐질 마라톤의 첫걸음"이라고 덧붙였습니다.