OpenAI의 이미지 감지 도구, 유망한 결과 보이지만 과제 직면

AI가 생성한 이미지는 가짜 콘텐츠를 원본인 것처럼 인식하게 만들어 속일 수 있습니다. 이것이 바로 ChatGPT의 개발사인 OpenAI가 DALL-E 3에서 생성된 이미지인지 여부를 판별할 수 있는 도구 를 개발한 이유입니다.

화요일, OpenAI는 베이스라인 모델과 튜닝된 모델로 구성된 이미지 감지 도구를 처음 테스트해 볼 수 있는 기회를 사용자에게 제공했습니다. 이 도구의 목표는 자율적으로 연구하는 연구원들이 참여하여, AI 생성 콘텐츠에 대한 우려, 유용성, 적용 방법 및 잠재적 요인들을 조사하는 것입니다.

도구의 성공률 및 테스트

OpenAI는 내부적으로 도구를 테스트했으며, 일부 측면에서는 고무적이었지만 다른 측면에서는 매우 실망스러웠습니다. DALL-E 3가 생성한 이미지를 평가했을 때 98%를 정확하게 판별했습니다. 또한 DALL-E 3가 생성하지 않은 이미지를 분석할 때, 시스템은 이를 DALL-E 3가 생성한 것으로 잘못 attributing할 확률이 0.5%에 불과했습니다. 

OpenAI는 이미지에 약간의 차이가 있는 수정 사항에 대해서는 도구가 효과적이지 않다는 것을 발견했습니다. 내부 팀은 DALL-E 3가 생성한 이미지에 압축, 자르기, 채도 변경 등을 가하며 도구를 테스트했고, 그 결과 도구가 여전히 좋은 수준의 성공률을 달성할 수 있음을 관찰했습니다. 

과제 및 한계

불행히도, 이 도구는 광범위하게 처리된 사진에는 그리 효과적이지 않았습니다. OpenAI의 이 기사는 그들이 설명한 사례에서 몇 가지 수정을 가했는지 명확하지 않으며, “기타 수정은 성능을 저하시킬 수 있다”고만 언급하고 있습니다. 

월스트리트저널과의 인터뷰에서 연구원인 산디니 아가왈(Sandhini Agarwal)은 이미지 색조 변경과 같은 상황에서는 도구의 효과가 낮으며 구독이 필요하다고 밝혔습니다. 아가왈이 언급한 바와 같이, 이러한 유형의 문제를 해결하기 위해 OpenAI는 외부 테스트 참여자를 시스템에 도입할 예정입니다.

또한 내부 테스트는 다른 회사의 AI 모델로 생성된 이미지를 분석하는 도구의 능력에 의문을 제기했습니다. 이러한 상황에서 OpenAI의 도구는 다른 모델과 비교하여 이미지의 5% 또는 10%만 인식할 수 있었습니다. 아가왈은 색조 변경과 같은 이미지 수정도 효율성을 크게 떨어뜨린다고 저널에 말했습니다.

AI가 만든 이미지는 인공적인 것일 뿐만 아니라 이번 선거 해에 문제를 야기합니다. 국가 내외의 불만족스러운 집단들은 이러한 사진을 쉽게 사용하여 유망한 정치인이나 주장 중인 사안을 훼손할 수 있습니다. 오늘날 AI 이미지 생성기가 계속 발전함에 따라 현실과 환상의 경계는 그 어느 때보다 구분하기 어려워지고 있습니다.

산업계의 채택

한편, 기업들이 사용자 가치 기구(User Value Organization, UVG)의 회원사로 가입함에 따라 OpenAI는 AI 이미지 메타데이터에 워터마크를 추가하려는 계획을 세우고 있습니다. C2PA는 콘텐츠의 출처와 진위성을 밝히는 워터마킹 과정을 포함하는 기술 산업 이니셔티브입니다. 메타(Facebook) 는 이번 달 초 5월부터 자사의 AI 생성 콘텐츠에 C2PA 표준을 적용하여 표시할 것이라고 밝혔습니다.