ChatGPT의 환각적 참조가 학문적 정직성 검토를 촉발

뉴브런즈윅 대학교 실험심리학 박사 과정 학생인 조던 맥도널드의 최근 블로그 게시글에서, ChatGPT가 권위 있는 참조로 제시한 인용문의 90% 이상을 생성했음이 드러났습니다. 

캐나다 심리학회 마인드 패드(Mind Pad)의 뉴스에 따르면, AI는 이제 실제 인용문과 구별하기 어려울 정도로 그럴듯한 가짜bibliographic 또는 참조 세부 정보를 생성할 수 있으며, 이는 작성자가 기억하고 저장할 수 있는 정보(저자, 제목, 이름 및 적절히 서식화된 디지털 객체 식별자(DOI))를 포함하기 때문입니다. 

학술 연구에서 AI의 이중 역할 탐색

학생들은 원문과 AI가 생성한 문법적으로는 정확하지만 사실관계가 틀린 인용문 간의 차이를 구별하는 데 어려움을 겪을 수 있으며, 이로 인해 학술 환경에서 아이디어의 독창성에 의문을 품게 됩니다.

이 연구는 심리학 분야의 인용문 진위 여부를 검증하는 것으로, 심리학의 다음 여섯 하위 분야를 포함했습니다: 심리학에서는 종교, 동물, 사회, 임상, 성격 및 신경심리학의 다섯 영역을 연구합니다. 

결국 하위 분야별로 100% 정확한 숫자, 즉 ChatGPT가 제시한 300개의 인용문이 생성되었으나, 그중 실제 존재하는 것은 32.3개에 불과했으며, 이는 명시된 영역에서 명확한 경향을 보여줍니다.

학술 작업의 열정으로서의 AI: 문제점과 단점

ChatGPT는 가짜 또는 정당한 발명을 모두 제공할 수 있습니다. 맥도널드의 연구도 이를 뒷받침합니다. 그러나 해당 연구에서 수행된 특정 프롬프트는 우리가 ChatGPT를 인용할 때 항상 보는 사례와 일치하지 않습니다. 

즉, 복잡한 모델의 오류로 인한 자재 절감은 주민들이 이러한 단순화를 신뢰하게 만듭니다. 또한, 이는 학교에서 필요한 생활 기술과 그 기술의 출처에 대한 논의를 촉발합니다. 

교육 연구를 수행하는 수단으로서 AI 학술의 역할이 정당화되는지는 AI가 전문가를 시뮬레이션하는 데 있어 달성할 수 있는 구별 불가능성의 정도에 달려 있습니다.

예를 들어, 주요 학술 과제를 위해 AI 도구를 사용하여 증거를 발견할 수 있습니다. 이 정보는 생생한 발표에 결정적이거나 다소 산만해 보일 수 있습니다. 따라서 AI 스마트 도구와 교수법은 신중한 고려가 필요합니다.

학문적 정직성에서 AI의 혜택과 위험 균형

그러나 이 연구는 학교에서의 AI 관련 어려움만 부각시키는 것이 아니라, 특정 상황에서 사용될 때 교육 및 연구 활동에서 이러한 기술이 가치 있는 도구로서 논의되도록 촉진합니다. 

교육자와 연구자들은 Chat GPT와 같은 AI 기술의 한계와 능력을 단순히 인식하는 것을 넘어 더 잘 이해하도록 장려되며, 이를 통해 학술적 기준에 영향을 주지 않고 이러한 기술을 최대한 활용할 수 있습니다.

맥도널드에 따르면, 이러한 모델이 막대한 이점을 가지고 있다는 사실이 우리가 그것들을 완전히 무시하게 만들어서는 안 됩니다. 특히 학술 주제에 대해 배우기 위해 그들의 결론에만 의존하도록 우리를 오도할 경우 더욱 그렇습니다. 결과들은 또한 AI가 학생 작업에 관여했음을 나타내는 지표로서 AI 생성 모순 가능성을 시사합니다.

AI의 추가 발전은 그 적용 영역과 잠재적 한계를 명확히 하는 데 목적이 둔 추가 연구를 필요로 합니다. 스캐빈지는 AI 기반 표절 및 기타 부정 행위 탐지를 위한 새로운 전술을 연구할 예정입니다. 

한편 ChatGPT와 같은 AI가 학술 연구에서 다양한 이점을 가져올 수 있지만, 다른 한편으로는 분석가나 연구자를 오도할 수 있는 문맥이 벗어난 정보(또는 위조된 정보)를 제공하는 단점이 있습니다.