레딩 대학교 연구진은 인공지능(AI)이 작성한 답안을 시험에 제출하는 흥미로운 연구를 진행했습니다. 그 결과는 인간dent의 답안보다 훨씬 뛰어났으며, 교수들은 AI가 작성한 답안과 인간이 작성한 답안을 구분하지 못했습니다.
연구진은 인공지능(AI)이 생성한 수정되지 않은 답변을 제출하기 위해 33개의 가짜 학생dentdent만들었습니다. 이 답변들은 심리학 시험에서dent들의 온라인 평가를 위해 ChatGPT-4라는 AI 도구를 사용하여 생성되었습니다. 연구진은 단답형 및 에세이 형식의 63개 문항에 대한 AI 답변을 제출했으며, 채점을 담당한 교수들은 연구 사실을 알지 못했습니다.
대학들은 다시 손으로 쓰는 시험 방식으로 돌아가지 않을 것이다
정보가 부족한 대학교수들은 33개의 시험 답안지 중 단 하나만 인공지능이 작성한 것으로dent. 나머지 32개는 인공지능이 작성한 것으로 밝혀지지 않았고, 실제dent보다 높은 점수를 받았습니다. 실제로 인공지능이 작성한 답안지의 83%가 실제dent보다 높은 점수를 받았습니다.
관련 기사: 중국 교육용 AI 앱, 미국 시장 공략
이번 연구는 에티엔 로에쉬 교수와 피터 스카프 부교수가 주도했습니다. 스카프 부교수는 이번 연구가 학업 평가의 공정성과 인공지능이 학업 평가에 미칠 영향에 대해 국제적으로 중요한 의미를 지닌다고 밝혔습니다. 그는 다음과 같이 말했습니다.
"우리가 반드시 손으로 쓰는 시험으로 완전히 되돌아가지는 않겠지만, 전 세계 교육계는 인공지능에 맞서 진화해야 할 것입니다."
스카프 교수는 대부분의 교육기관이 보다 공정한 평가를 보장하기 위해 전통적인 절차에서 벗어났다고 언급했습니다. 두 교수는 자신들의 연구 결과가 "교육자들에게 경종을 울리는 것"이라고 강조했습니다
AI 에세이는 탐지율이 낮습니다
연구진은 AI가 작성한 에세이가 거의 감지되지 않는다고 밝혔는데, 그 이유는 AI 에세이의 94%가 검사에서 아무런 문제점을 발견하지 못했기 때문입니다. 이 연구를 발표한 학술지 Plos One은 이러한 낮은 감지율이 과대평가되었을 가능성이 높다고 지적했습니다
"특히 우려스러운 점은 AI가 제출한 과제가 실제 학생dent 제출한 과제보다 훨씬 높은 점수를 받았다는 것입니다."
해당 학술지는 또한dent이 AI를 이용해 부정행위를 하고도 발각되지 않을 수 있으며, 심지어 AI를 사용하지 않은 정직한 학생들보다 더 높은 점수를 받을 수도 있다고 지적했습니다. 연구를 위해 AI가 생성한 답안이 가짜dent을 통해 1학년부터 3학년까지의 과목에 제출되었습니다. 그 결과, AI는 1학년과 2학년 과목에서 인간dent보다 높은 점수를 받았습니다.
하지만 3학년 시험에서는 인간이 더 높은 점수를 받았습니다. 연구진은 이러한 결과가 인공지능이 적어도 현재 상태에서는 "trac추론"에 능숙하지 않다는 믿음과 일치한다고 밝혔습니다.
인공지능은 여전히 추론 능력이 부족하다
이 연구는 또한 인공지능의 추론 능력이 시간이 지남에 따라 향상되고, 탐지 가능성은 낮아질 것이라고 지적했습니다. 이는 학문적 공정성을 유지하기 더욱 어렵게 만들 것입니다. 연구진은 이 연구가 재택 시험이나 감독 없이 진행되는 시험의 종식을 가져올 수도 있다고 밝혔습니다.
뢰쉬 교수는 교육계가dent이 학습에 인공지능을 어떻게 활용할 수 있는지에 대해 합의해야 한다고 말했습니다. 그는 사회 전반에 걸쳐 신뢰를 유지하기 위해서는 다른 분야에서의 인공지능 활용에 대해서도 마찬가지로 합의가 필요하다고 강조했습니다.
관련 기사: 고등 교육 등록률 급감 문제를 해결하기 위한 기술 솔루션 등장
레딩대학교 교육 부총장인 엘리자베스 맥크럼 교수는 대학 측에서 재택 시험을 제한하고 있다고 밝혔습니다. 그는 대학이 실생활 상황, 특히 직장과 관련된 시나리오에서 지식을 적용해야 하는 다른 시험 방식을 개발하기 위해 노력하고 있다고 덧붙였습니다
맥크럼 교수는dent이 인공지능을 윤리적으로 사용하는 방법을 배우도록 일부 평가 과제에 인공지능을 활용할 수 있도록 허용할 것이라고 밝혔습니다. 그러나 다른 과제에서는 인공지능 도구를 사용할 필요가 없을 것이라고 덧붙였습니다. 그는 이러한 조치가dent의 인공지능 활용 능력을 향상시키고 현대 직장의 요구 사항에 대비하는 데 도움이 될 것이라고 말했습니다.
아미르 셰이크의 Cryptopolitan 보도
