미신고된 ChatGPT 사용이 과학 출판계에서 우려를 자아냄

최근 과학계에 파장을 일으킨 developments에서, 연구자들은 인기 있는 AI 챗봇인 ChatGPT가 과학 논문에서 부정확하게 사용된 사례들을 확인했습니다. 이러한 발견들은 연구 출판물의 투명성과 무결성에 대한 우려가 커지고 있음을 강조합니다.

발견

8월 9일, 저널 *Physica Scripta*는 복잡한 수학적 방정식을 풀이하려는 논문을 발표했습니다. 그러나 날카로운 눈매를 가진 컴퓨터 과학자 기욤 카바낙은 원고의 3페이지에서 이상한 구절을 발견했습니다: 'Regenerate response(응답 재생성)'. 이 구절은 사용자 프롬프트에 응답하여 텍스트를 생성하는 데 사용되는 AI 챗봇인 ChatGPT의 라벨인 것으로 밝혀졌습니다. 카바낙은 과학자들이 출판된 연구를 논의하는 플랫폼인 PubPeer에서 즉시 자신의 발견을 공유했습니다.

후속 조사 결과, 논문의 저자들이 원고 초안 작성에 ChatGPT를 실제로 사용했음이 밝혀졌습니다. 놀랍게도 이 이상 현상은 2개월간의 동료 검토 과정과 제판 단계 동안 발견되지 않았습니다. 결과적으로 출판사 IOP Publishing은 제출 시 도구 사용 사실을 신고하지 않은 저자들의 실수로 인해 논문을 철회하기로 결정했습니다.

더 넓은 문제

이 사례는 고립된 사건이 아닙니다. 4월 이후 기욤 카바낙은 PubPeer에 게시된 'Regenerate response(응답 재생성)' 또는 'AI 언어 모델로서 저는…'와 같은 ChatGPT 특유의 구절을 포함한 12개 이상의 저널 기사를 확인했습니다. Elsevier와 Springer Nature를 포함한 많은 출판사는 저자들이 이를 신고하는 한 ChatGPT 및 유사한 언어 모델의 사용을 허용합니다.

그러나 이러한 탐지 사례는 빙산의 일각에 불과합니다. 연구자들은 적절한 신고 없이 수많은 비공개 동료 검토 논문들이 ChatGPT를 활용했다고 의심합니다. 구절 자체도 진화했는데, ChatGPT는 업데이트를 통해 'Regenerate response' 버튼을 'Regenerate(재생성)'로 변경했습니다.

저널 전반에 걸친 미신고 사용

기욤 카바낙은 Elsevier 저널에 게재된 논문들에서 전형적인 ChatGPT 구절들을 발견했습니다. 한 사례에서 8월 3일 *Resources Policy*에 게재된 논문은 개발도상국에서 전자상거래가 화석 연료 효율성에 미치는 영향을 탐구했습니다. 카바낙은 방정식에서 불일치를 발견했지만, 결정적인 단서는 표 위에 있는 문장이었습니다: 'AI 언어 모델로서 저는 특정 표를 생성하거나 테스트를 수행할 수 없음을 유의해 주시기 바랍니다…'

Elsevier는 이 문제를 인지했으며 현재 조사 중입니다. 중국 선양에 있는 랴오닝 대학과 베이징에 있는 중국 국제무역경제협력학원 소속인 이 논문의 저자들은 의견 요청에 응답하지 않았습니다.

기만 행위 탐지의 어려움

신고를 하지 않고 컴퓨터 소프트웨어로 부분적 또는 전체적으로 작성된 논문은 새로운 것이 아니지만, 일반적으로 언어 패턴이나 오역된 구절과 같은 구별 가능한 흔적이 나타납니다. 그러나 ChatGPT의 표준 텍스트를 삭제하면 AI 생성 텍스트를 거의 발견하기 어렵게 만듭니다. 이는 사기꾼과 연구 무결성을 유지하려는 사람들 사이의 지속적인 '군비 경쟁'으로 묘사되는 과학 커뮤니티에 지속적인 도전을 제기합니다.

동료 검토에 미치는 영향

미신고된 ChatGPT 사용은 동료 검토된 학술 논문과 프리프린트(preprints)에서도 나타났습니다. PubPeer에서 마주친 저자들은 때때로 신고 없이 ChatGPT를 사용했다고 시인하기도 했습니다. 이러한 발견은 과부하 상태인 동료 검토자들이 적색 신호를 위해 원고를 철저히 검토할 충분한 시간이 없을 수 있다는 중요한 문제를 강조합니다.

가짜 원고의 증가

ChatGPT와 같은 생성형 AI 도구의 확산은 연구자들의 출판 산출량을 늘리려는 연구자들에게 가짜 원고를 생산하고 판매하는 페이퍼 밀(paper mills)의 잠재적 증가에 대한 우려를 제기합니다. 이 현상은 이미 어려운 학술 출판 문제를 악화시킬 위협이 됩니다.

기만 행위 파악하기

ChatGPT와 같은 언어 모델은 거짓 참조를 생성하는 것으로 알려져 있으며, 이는 원고에서 그 사용을 감지하려는 동료 검토자들에게 잠재적인 신호가 됩니다. 일부 경우에서 허위 참조가 식별되어 검토자들에게 적색 신호를 보내는 역할을 했습니다. 참조를 검증하는 경계심이 점점 더 중요해지고 있습니다.

과학 출판물에서 미신고된 ChatGPT 사용의 발견은 연구에서 투명성과 무결성의 중요성을 강조합니다. 진화하는 AI 도구들이 제기하는 도전에 직면한 과학 커뮤니티는 학술 출판의 신뢰성을 유지하기 위해 더 엄격한 지침과 동료 검토에서의 heightened 경계가 필수적임을 분명히 알 수 있습니다. 이러한 문제를 해결하는 것은 지식 추구가 윤리적 원칙과 엄격한 연구 관행에 기반을 유지하도록 보장하는 데 가장 중요합니다.