AI 모델은 AI 생성 데이터로 학습 시 ‘난해한 결과’ 생성

대규모 언어 모델(LLM)은 이전 버전의 AI 생성 자료로 학습하면 내용과 뉘앙스가 부족한 출력을 생성한다는 새로운 연구가 발견했습니다. 이 결과는 콘텐츠에 제한된 인간 생성 데이터 세트에 의존하는 AI 개발자들에게 새로운 도전을 제시합니다.

또한 읽기: AI 딥페이크가 미국 당국의 아동 보호를 어렵게 만들고 있다 – 보고서

영국 케임브리지 대학과 옥스퍼드 대학의 인공지능 연구자들은 오직 AI 생성 콘텐츠로 구성된 데이터 세트에 의존하는 프롬프트 작성을 시도했습니다. 그 결과는 이상적이지 않았으며, 이해할 수 없는 응답을 생성했습니다.

AI는 여전히 인간이 의미를 부여해야 합니다

논문 저자 중 한 명인 케임브리지 대학의 Zhakar Shumaylov은 ChatGPT와 구글의 제미니와 같은 생성형 AI 챗봇의 기반 기술인 LLM에 공급되는 데이터에 대한 품질 통제가 필요하다고 말했습니다. Shumaylov은 다음과 같이 말했습니다.

“우리가 훈련 데이터에 어떤 것이 들어가는지 매우 신중해야 한다는 메시지입니다. [그렇지 않으면] 모든 것이 항상, 증명되게 잘못됩니다.”

이 현상을 Shumaylov은 ‘모델 붕괴(model collapse)’라고 설명했습니다. 이는 텍스트 프롬프트를 사용하여 이미지 생성을 전문으로 하는 모델을 포함하여 모든 종류의 인공지능 모델에 영향을 미치는 것으로 입증되었습니다.

연구에 따르면, 한 모델에서 AI 생성 데이터를 사용하여 반복적인 텍스트 프롬프트를 사용하면 난해한 결과가 생성되었습니다. 예를 들어, 연구자들은 영국의 중세 교회 탑에 대한 텍스트로 테스트된 한 시스템이 단 9세대 만에 잭러빗의 반복적인 목록을 생성하는 것을 발견했습니다.

출력에 대해 논평한 캘리포니아 대학교의 컴퓨터 과학자 Hany Farid은 데이터 붕괴를 동물 근친교배의 고질적인 문제와 비교했습니다.

“한 종이 자신의 자손과 근친교배를 하고 유전자 풀을 다양화하지 않으면 종의 붕괴로 이어질 수 있습니다.”라고 Farid은 말했습니다.

연구자들이 AI 데이터에 인간 생성 데이터를 주입했을 때, 붕괴는 순수하게 AI 생성 콘텐츠로만 실행될 때보다 더 느리게 발생했습니다.

연구자: AI가 소수 집단에 대한 편향을 악화시킬 수 있음

언어 모델은 종종 인터넷에서 스크랩된 방대한 양의 텍스트에서 토큰(단어 또는 단어 부분) 간의 연관성을 구축하여 작동합니다. 이들은 이러한 학습된 패턴을 기반으로 통계적으로 가장 확률이 높은 다음 단어를 생성하여 텍스트를 만들어냅니다.

또한 읽기: ChatGPT 탑재 곰인형 Poe, 아이들에게 잠자리 이야기 읽어주기

7월 24일 저널 네이처(Nature)에 게재된 이 연구는 데이터 세트에서 몇 번 언급된 정보가 반복되지 않을 가능성이 높다고 보여주었습니다. 연구자들은 이것이 이미 소외된 소수 집단에 부정적인 영향을 미칠 수 있다고 우려했습니다.

실제 사용 사례에서 모델 붕괴를 피하기 위해 연구는 AI 생성 콘텐츠와 인간 생성 콘텐츠에 워터마킹을 제안했습니다. 그러나 이는 경쟁 AI 회사 간의 조정 부족으로 인해 문제가 될 수 있다고 밝혔습니다.

이 연구 결과는 소설 및 신문 기사 작성 포함하여 콘텐츠 창작에서 인간의 완전한 배제가 AI로 인해 발생할 것인지에 대한 논쟁이 고조되는 시점에 나왔습니다.

‘재귀적으로 생성된 데이터로 학습 시 AI 모델 붕괴’라는 제목의 이 연구 결과는 그 논쟁을 종식시켰습니다. 즉, 인간은 아직 방정식에서 제거되지 않았습니다.