研究者は科学的研究におけるエラーを減らすためのAIガイドラインを提案

証拠は、科学的研究における機械学習の適用方法に重大な欠陥があることを証明しています。この問題は、異なる分野をカバーする多くの研究論文で特定されていますが、19人の研究者のチームが、プリンストン大学のコンピュータサイエンティストであるArvind NarayananとSayash Kapoorの監督の下、科学における機械学習の責任ある使用に関するAIガイドラインを発表しました。

科学的研究のためのAIガイドライン

著者らは報告書で、彼らの作業は研究エコシステム全体に蔓延する可能性のあるこの信頼性の問題を指摘する取り組みであると述べています。Narayanan氏は、研究手法の整合性を保護するための普遍的な基準はなく、機械学習が現在全ての科学分野で適用されているため、これは10年前に社会心理学で観察された再現性危機よりも深刻な問題になる可能性があると主張します。彼は現在の危機を再現性危機と呼んでいます。Narayanan氏によると、

「従来の統計的手法から機械学習的手法へと移行すると、自分を撃ち抜く方法が vastly 多くなります。」

ソース: AzoAI.

しかし、健康研究、コンピュータサイエンス、社会科学、数学からの著者たちも、いくつかのポジティブなニュースを持っています。彼らは、ベストプラクティスのセットが現在の問題を解決するのに役立つと言っています。科学作業のためのチェックリストを作成するために研究努力を組織し、Narayananと協力しているコンピュータの大学院生Kapoor氏は、この問題は体系的なものであり、その解決策も体系的であるべきだと述べています。

出版は遅くなる可能性があるが、正確性は向上する

新しいコンセンサスベースのチェックリストの焦点は、機械学習を利用する研究の真正性を確保することにあります。科学の進化は結果の再現性と、主張が独立して検証されるという事実に基づいています。これがなければ、以前の作業の上に新しい科学的研究を信頼できる基礎で構築することは不可能であり、システム全体が信頼性を失います。

新しいチェックリストでは、研究者は機械学習モデルの使用に関する詳細な情報を提供することが求められます。透明性への焦点を当てるため、モデルの訓練に使用されたデータセット、そのコード、ハードウェアの容量、パイロットデザイン、研究目標、および研究の発見に関する制約をすべて提供する必要があります。

これらの新しい基準の増加した要件により、新しい研究の出版が遅くなる可能性もありますが、イニシアチブの研究者たちは、これらの規則の採用が全体的な発見と革新の率を増加させるのに役立つと信じています。 

研究の著者の一人であるEmily Cantrell（プリンストン大学の博士課程学生）は、科学的研究のペースを気にしているが、出版される論文の品質が基準を満たすことを確保することで、将来の論文がさらなる研究のためにそれらに依存できると述べました。Kapoor氏もまた、エラーは集団的な影響を考慮すると悪影響を及ぼし、時間を無駄にし、結果として資金や投資を得る科学的研究を妨げるため、コストがかかると述べています。