연구자들은 과학 연구에서의 오류를 줄이기 위한 AI 가이드라인을 제안합니다

증거는 기계 학습이 과학 연구에 적용되는 방식에 주요 결함이 있음을 입증했습니다. 이 문제는 다양한 분야를 다루는 많은 연구 논문에서 식별되었지만, 19명의 연구자 팀은 프린스턴 대학교의 컴퓨터 과학자인 Arvind Narayanan과 Sayash Kapoor의 감독 하에 과학에서 기계 학습의 책임 있는 사용에 대한 AI 가이드라인을 출판했습니다.

과학 연구를 위한 AI 가이드라인

저자들은 보고서에서 그들의 작업이 전체 연구 생태계에 만연할 수 있는 신뢰성 문제를 지적하려는 노력이라고 말합니다. Narayanan은 연구 방법의 무결성을 보호하기 위한 보편적 기준이 없으며, 기계 학습이 이제 모든 과학 분야에 적용되고 있으므로 이것이 10년 전 사회 심리학에서 관찰된 복제 위기보다 더 심각한 문제가 될 수 있다고 주장합니다. 그는 현재 위기를 재현성 위기라고 부릅니다. Narayanan이 말했듯이,

“우리가 전통적인 통계 방법에서 기계 학습 방법으로 졸업할 때, 발을 쏘는 방법이 훨씬 더 많습니다.”

출처: AzoAI.

하지만 건강 연구, 컴퓨터 과학, 사회 과학 및 수학 분야의 저자들은 긍정적인 소식도 가지고 있습니다. 그들은 현재 문제를 해결하는 데 도움이 되는 일련의 모범 사례가 있다고 말합니다. 과학 작업을 위한 체크리스트를 생산하기 위해 연구 노력을 조직하고 Narayanan과 함께 작업 중인 컴퓨터 졸업생 Kapoor는 문제가 체계적이며 해결책도 체계적이어야 한다고 말했습니다.

출판은 느려질 수 있지만 정확성은 증가합니다

새로운 합의 기반 체크리스트의 초점은 기계 학습을 활용하는 연구의 진위성을 보장하는 것입니다. 과학의 진보는 결과의 재현 가능성과 주장이 독립적으로 검증되어야 한다는 사실에 기반합니다. 이것이 없으면 이전 작업을 기반으로 새로운 과학 연구는 신뢰할 수 있는 기반으로 불가능하며, 전체 시스템은 신뢰성을 잃습니다.

새로운 체크리스트는 연구자들이 기계 학습 모델의 사용에 대한 상세한 정보를 제공하도록 요구합니다. 연구자들은 모델 훈련에 사용된 데이터 세트, 코드, 하드웨어 용량, 파일럿 설계 및 연구 목표와 함께 연구 결과에 대한 제약을 제공해야 하며, 초점은 투명성에 맞춰져 있습니다.

새로운 기준의 강화된 요구 사항이 새로운 연구 논문의 출판 속도를 늦출 가능성도 있지만, 이 이니셔티브의 연구자들은 이러한 규칙의 채택이 전반적인 발견 및 혁신율을 높이는 데 도움이 될 것이라고 여전히 믿고 있습니다. 

연구 저자 중 한 명인 프린스턴 대학교 박사 과정 학생인 Emily Cantrell은 과학 연구의 속도를 중요하게 생각하지만, 게재된 논문의 품질이 기준에 부합하도록 함으로써 미래의 논문이 추가 연구를 위해 이를 의존할 수 있다고 말했습니다. Kapoor는 오류가 집단적 영향력을 고려할 때 부정적이며 시간을 낭비하여 자금과 투자를 받는 과학 연구를 방해함으로써 비용을 발생시킨다고 말합니다.