연구자들은 AI-언어 모델의 신뢰성 문제 발견

워터루 대학의 연구원들이 수행한 최근 연구는 대규모 언어 모델, 특히 ChatGPT의 초기 버전의 정확성과 신뢰성에 대해 상당한 우려를 제기했습니다.

"Reliability Check: An Analysis of GPT-3’s Response to Sensitive Topics and Prompt Wording"라는 이 연구는 사실, 음모론, 논쟁, 오해, 고정관념, 허구를 포함한 6가지 범주에 걸쳐 모델의 진술 이해를 심층적으로 다룹니다. 

이러한 발견은 이러한 모델이 자주 실수를 하고, 자기 모순을 보이며, 유해한 허위 정보를 확산시킨다는 것을 시사합니다.

연구는 대규모 언어 모델의 문제점 강조

연구에서 연구원들은 ChatGPT가 사실과 허위 정보를 구분하는 정확성을 평가하기 위해 다양한 문의 템플릿을 사용하여 1,200개 이상의 진술에 대한 ChatGPT의 반응을 테스트했습니다. 결과는 우려스러웠는데, 모델은 일관성 없는 모습을 보였습니다. 진술 범주에 따라 ChatGPT는 잘못된 진술에 4.8%에서 26%의 시간 동안 동의했습니다.

특히 우려스러운 발견 중 하나는 모델이 단어의 미묘한 변화에 취약하다는 것이었습니다. 예를 들어, 진술 앞에 "I think"와 같은 구문을 추가하면, ChatGPT는 진술이 거짓일지라도 동의할 가능성이 더 높았습니다. 이러한 응답의 일관성 부족은 사용자를 혼란스럽게 하고 모델의 정확성에 의존하지 못하게 만들었습니다.

데이비드 R. 체리톤 컴퓨터 과학과의 단 브라운(Dan Brown) 교수는 대규모 언어 모델의 더 넓은 사용 맥락에서 이러한 발견의 중요성을 강조했습니다. 그는 많은 다른 모델이 OpenAI의 모델에서 생성된 데이터로 훈련되어 유사한 문제를 영속화할 수 있다고 지적했습니다.

대규모 언어 모델이 진실과 허구를 일관되게 구분하지 못하는 능력은 그들의 신뢰성에 대해 심각한 의문을 제기합니다. 이 연구의 주요 저자이자 컴퓨터 과학 석사 과정 학생인 아이샤 카툰(Aisha Khatun)은 이러한 모델이 다양한 응용 분야에서 점점 더 흔해지고 있다고 지적했습니다. 허위 정보가 즉시 눈에 띄지 않더라도, 이러한 모델이 우연히 잘못된 정보를 확산시킬 잠재력은 우려의 원인입니다.

프롬프트 단어의 중요성

연구에서 강조된 주목할 만한 측면 중 하나는 프롬프트 단어의 역할이 ChatGPT의 응답에 영향을 미치는 것입니다. 질문이나 진술을 구성하는 방식의 미묘한 변화는 모델의 출력에 상당한 영향을 미칠 수 있습니다. 

이는 사용자가 이러한 시스템과 상호작용할 때 주의를 기울이고 정확한 정보를 얻기 위해 사용하는 문구에 유의해야 함을 시사합니다.

대규모 언어 모델이 다양한 영역에서 중요한 역할을 계속함에 따라, 사실과 허구를 구분하는 능력의 문제는 근본적인 과제로 남아 있습니다. 단 브라운은 이 문제를 해결하는 것의 중요성에 대해 논평하며, 이러한 시스템에 대한 신뢰는 지속적인 우려가 될 것이라고 강조했습니다.