AI가 생성한 이미지는 가짜 콘텐츠를 원본으로 인식하도록 속일 수 있습니다. ChatGPT 개발사인 OpenAI는 이미지가 자체 개발한 유일한 이미지 생성 알고리즘인 DALL-E 3에서 생성된 것인지 판별하는 도구를 개발했습니다
화요일, OpenAI는 사용자들에게 기준 모델과 튜닝된 모델로 구성된 이미지 감지 도구를 처음으로 테스트해 볼 수 있는 기회를 제공했습니다. 이 프로그램의 목적은 자체 수행 연구자들을 참여시켜 AI 생성 콘텐츠의 우려, 유용성, 적용 가능성, 그리고 AI 생성 콘텐츠의 원인이 될 수 있는 요소들을 조사하는 것입니다.
도구의 성공률 및 테스트
OpenAI는 내부적으로 이 도구를 테스트했는데, 어떤 면에서는 고무적이었지만 다른 면에서는 매우 실망스러웠습니다. DALL-E 3에서 생성된 이미지를 평가한 결과, 98%의 정확도를 보였습니다. 또한, DALL-E 3에서 생성되지 않은 이미지를 분석할 때 시스템이 해당 이미지를 DALL-E 3로 잘못 인식하는 경우는 0.5%에 불과했습니다.
OpenAI는 약간 유의미한 차이가 있는 이미지 수정을 발견하지 못했습니다. 내부 팀은 DALL-E 3로 생성된 이미지를 압축, 자르기, 채도 변경을 통해 테스트한 결과, 도구가 여전히 상당한 수준의 성공을 거두는 것을 확인했습니다.
도전과 한계
안타깝게도 이 도구는 광범위하게 처리된 사진에는 그다지 효과적이지 않았습니다. OpenAI가 작성한 이 기사의 문구는 해당 사례에서 얼마나 많은 수정을 했는지 명확하게 설명하지 않고 있으며, "다른 수정은 성능을 저하시킬 수 있다"고만 언급하고 있습니다.
월스트리트 저널과의 인터뷰 에서
더욱이, 내부 테스트 결과 다른 회사의 AI 모델로 만든 이미지를 분석하는 해당 도구의 능력에도 의문이 제기되었습니다. 이러한 상황에서 OpenAI의 도구는 다른 모델과 비교했을 때 이미지의 5% 또는 10%만 인식할 수 있었습니다. 아가왈은 저널과의 인터뷰에서 색조 변경과 같은 이미지 수정 또한 효율성을 크게 저하시켰다고 말했습니다.
AI가 만든 이미지는 인위적일 뿐만 아니라 이번 선거에서는 문제를 야기합니다. 국내뿐 아니라 해외에서도 피해를 입은 집단이 이러한 사진을 쉽게 이용하여 야심 찬 정치인이나 옹호하는 사건을 왜곡할 수 있습니다. AI 이미지 생성기가 끊임없이 발전하는 오늘날, 현실과 환상의 경계를 구분하는 것은 그 어느 때보다 어렵습니다.
산업 채택
한편, OpenAI는 기업들이 사용자 가치 기구(UVG)에 가입함에 따라 AI 이미지 메타데이터에 워터마크를 추가하는 방안을 추진하고 있습니다. C2PA는 워터마킹이라는 과정을 통해 콘텐츠의 출처와 진위 여부를 밝히는 기술 표준을 제시하는 기술 산업 이니셔티브에 속합니다. 페이스북의 거대 기업인 메타 는 이달 초 자사 AI가 5월부터 C2PA 표준에 따라 워터마크를 부착할 것이라고 발표했습니다.
