로 학습된 대규모 언어 모델(LLM)이 내용과 뉘앙스가 부족한 결과물을 내놓는다는 새로운 연구 결과가 나왔습니다. 이 연구 결과는 콘텐츠 제작을 위해 제한된 인간 생성 데이터 세트에 의존해야 하는 AI 개발자들에게 새로운 과제를 제시합니다.
관련 기사: AI 딥페이크 때문에 미국 당국이 아동 보호에 어려움을 겪고 있다 - 보고서
영국 케임브리지 대학교와 옥스퍼드 대학교의 인공지능 연구원들은 인공지능이 생성한 콘텐츠로만 구성된 데이터셋을 활용하여 질문지를 작성하는 실험을 진행했습니다. 하지만 결과는 기대에 미치지 못했는데, 이해할 수 없는 답변들이 나왔기 때문입니다.
인공지능은 여전히 의미를 파악하기 위해 인간의 도움이 필요합니다
논문의 저자 중 한 명인 케임브리지 대학교의 자카르 슈마일로프는 ChatGPT와 구글의 제미니 같은 생성형 AI 챗봇의 기반 기술인 LLM에 입력되는 데이터에 대한 품질 관리가 필요하다고 말했습니다
"핵심은 훈련 데이터에 무엇이 포함되는지 매우 신중해야 한다는 것입니다. 그렇지 않으면, 틀림없이 문제가 발생할 것입니다.".
슈마일로프는 이 현상을 "모델 붕괴"라고 부른다고 설명했습니다. 이 현상은 텍스트 입력을 이용한 이미지 생성 모델을 포함하여 모든 종류의 인공지능 모델에 영향을 미치는 것으로 입증되었습니다.
연구 에 따르면 , AI가 생성한 데이터를 사용하여 한 모델에 반복적인 텍스트 프롬프트를 입력했을 때 의미 없는 결과가 생성되는 것으로 나타났습니다. 예를 들어, 연구진은 영국의 중세 교회 탑에 대한 텍스트로 테스트한 한 시스템이 단 9세대 만에 '잭래빗'이라는 단어만 반복적으로 나열하는 결과를 얻었다는 사실을 발견했습니다.
캘리포니아 대학교 컴퓨터 과학자 하니 파리드는 이러한 결과에 대해 논평하면서 데이터 붕괴 현상을 동물 근친교배에서 흔히 나타나는 문제에 비유했습니다.
"만약 어떤 종이 자기 자손끼리 근친교배를 하고 유전자 풀을 다양화하지 못하면 그 종의 붕괴로 이어질 수 있습니다."라고 파리드는 말했다.
연구진이 인간이 생성한 데이터를 AI 데이터에 결합했을 때, 시스템 붕괴는 순수하게 AI가 생성한 콘텐츠만 사용했을 때보다 더 느리게 진행되었습니다.
연구진: AI는 소수 집단에 대한 편견을 악화시킬 수 있다
언어 모델은 인터넷에서 수집한 방대한 양의 텍스트에서 토큰(단어 또는 단어의 일부) 간의 연관성을 구축하는 방식으로 작동합니다. 학습된 패턴을 기반으로 통계적으로 가장 가능성이 높은 다음 단어를 출력하여 텍스트를 생성합니다.
관련 기사: ChatGPT로 구동되는 곰 인형 포가 아이들에게 잠자리 동화를 읽어줍니다
7월 24일 학술지 네이처에 발표된 이 연구는 데이터 세트에서 몇 번 언급된 정보는 반복되지 않을 가능성이 높다는 것을 보여줍니다. 연구진은 이러한 현상이 이미 소외된 소수 집단에 부정적인 영향을 미칠 수 있다고 우려하고 있습니다.
실제 사용 사례에서 모델 붕괴를 방지하기 위해 연구에서는 AI 생성 콘텐츠와 사람이 생성한 콘텐츠에 워터마크를 삽입할 것을 제안했습니다. 그러나 경쟁 AI 기업 간의 협력 부족으로 인해 이 또한 문제matic 될 수 있다고 지적했습니다.
이번 연구 결과는 인공지능이 소설이나 신문 기사 작성 등 콘텐츠 제작 분야에서 인간을 완전히 배제하게 될 것인지에 대한 논쟁이 고조되는 시점에 나왔습니다.
'재귀적으로 생성된 데이터로 학습된 AI 모델은 붕괴한다'라는 제목의 이 연구 결과는 해당 논쟁에 종지부를 찍었습니다. 즉, 인간이 아직 AI 시스템에서 완전히 배제되지는 않았다는 것입니다.
