과학자들은 논문 내 ‘슬롭’ 폭발에 대해 더 엄격한 AI 공개를 촉구

AI 연구 내부에서 일하는 과학자들은 더 이상 무시할 수 없는 신뢰성 문제를 직면하고 있다.

AI 연구에 중점을 둔 주요 회의들은 검토 시스템이 약한 제출물로 막혀 반응했다.

주최자들은 인간의 노력 없이 생산된 논문과 동료 검토의 급증을 목격했다. 우려는 스타일이 아니다. 우려는 정확성이다. 정밀함이 중요했던 곳에 오류가 스며들고 있다.

저품질 논문이 검토자를 압도하면서 회의들이 단속

연구원들은 자동 작성 도구의 통제되지 않은 사용이 분야를 손상시킬 수 있다고 일찍 경고했다. 캘리포니아 대학교 버클리의 AI 연구원 이놀루와 데보라 라지는 상황이 빠르게 혼란스러워졌다고 말했다.

“실제로 우리 분야가 AI의 광범위한 사용으로 인해 이 혼란스러운 경험을 겪었을 때, AI가 다른 분야를 형성하는 것에 대한 열기가 매우 많다는 사실에는 약간의 아이러니가 있다”고 그녀는 말했다.

강력한 데이터는 문제가 얼마나 광범위해졌는지 보여준다. 8월에 발표된 스탠퍼드 대학교 연구에 따르면 컴퓨터 과학 논문의 최대 22%가 대규모 언어 모델 사용의 징후를 보였다고 한다.

텍스트 분석 스타트업인 팅그램은 2025년 국제학습표현학회(ICLR)의 제출물과 동료 검토를 검토했으며, 검토의 21%가 완전히 AI에 의해 생성되었으며, 절반 이상이 편집과 같은 작업에 이를 사용했다고 추정했다. 팅그램은 또한 발견했다. 제출된 논문 중 9%가 콘텐츠의 절반 이상을 이러한 방식으로 생산했다고 한다.

이 문제는 11월 tipping point에 도달했다. ICLR의 검토자들은 검토자 점수에 따라 상위 17%에 랭크된 AI 생성이 의심되는 논문을 표지했다. 1월, 탐지 기업 GPTZero는 NeurIPS에서 발표된 50편의 논문에서 100개 이상의 자동 오류를 보고했으며, 이는 해당 분야의 고급 연구에 대한 최상위 장소로 널리 간주된다.

우려가 커짐에 따라 ICLR은 회의 전에 사용 규칙을 업데이트했다. 언어 모델의 광범위한 사용을 공개하지 않은 논문은 이제 거부의 대상이 된다. 자동화를 사용하여 생성된 저품질 평가를 제출한 검토자는 자신의 논문이 거부되는 것을 포함하여 처벌을 받을 위험이 있다.

캘리포니아 대학교 버클리의 컴퓨터 과학 교수 한 파리는 “당신이 정말로 저품질이며 단지 잘못된 논문을 출판한다면, 왜 사회가 우리를 과학자로서 신뢰해야 합니까?”라고 말했다.

논문 부수가 급증하는 동안 탐지는 따라잡기 어려움

보고서에 따르면 NeurIPS는 2025년에 21,575편의 논문을 받았으며, 2024년의 17,491편과 2020년의 9,467편보다 증가했다. 한 저자는 한 해에 100편 이상의 논문을 제출했으며, 이는 한 연구원에게 전형적인 수준을 훨씬 초과한다.

오레곤 주립대학교 은퇴 교수이자 arXiv의 컴퓨터 과학 섹션 의장인 토머스 G. 디터리치는 오픈 리포지토리의 업로드도 급격히 증가했다고 말했다.

그래도 연구원들은 원인이 단순하지 않다고 말한다. 일부는 증가가 더 많은 사람들이 분야에 진입하는 데서 비롯된다고 주장한다. 다른 이들은 AI 도구의 광범위한 사용이 주요 역할을 한다고 말한다. 탐지는 자동화된 텍스트를 식별하기 위한 공유 표준이 없기 때문에 여전히 어렵다. 디터리치는 일반적인 경고 신호로 가짜 참조와 잘못된 수치를 들었다. 이를 저지른 저자들은 arXiv에서 일시적으로 금지될 수 있다.

상업적 압력도 배경에 자리 잡고 있다. 주목할 만한 시연, 치솟는 급여, 그리고 공격적인 경쟁은 분야의 일부가 양에 집중하도록 밀어붙였다. 라이는 과열의 순간이 빠른 결과를 찾는 외부자들을 끌어들이는 것이라고 말했다.

동시에, 연구원들은 일부 사용이 정당한 것이라고 말한다. 디터리치는 중국의 논문에서 작성 품질이 개선되었음을 지적했으며, 이는 언어 도구가 영어를 더 명확하게 재작성하는 데 도움이 되기 때문일 가능성이 높다고 말했다.

이 문제는 이제 출판물을 넘어선다. 구글, 앤티로픽, 오픈AI와 같은 기업들은 생명과학과 같은 영역에서 발견을 가속화할 수 있는 연구 파트너로서 자신의 모델을 홍보한다. 이러한 시스템은 학술 텍스트로 훈련된다.

파리는 훈련 데이터에 합성 재료가 너무 많이 포함되면 모델 성능이 저하될 수 있다고 경고했다. 과거 연구는 대규모 언어 모델이 선별되지 않은 자동화된 데이터를 공급받을 때 무의미한 것으로 추락할 수 있음을 보여준다.

파리는 연구 데이터를 스크래핑하는 기업들이 어떤 논문이 인간이 작성했는지 아는 데 강력한 동기가 있다고 말했다. 오픈AI의 과학 책임자 케빈 웰은 도구들이 여전히 인간의 검사를 필요로 한다고 말했다. “그것은 거대한 가속기가 될 수 있다”고 그는 말했다. “하지만 당신은 그것을 확인해야 한다. 그것은 엄격함에서 당신을 면제시키지 않는다.”