Pesquisadores Sugerem Diretrizes de IA para Reduzir Erros na Pesquisa Científica

As evidências provaram que existem grandes falhas na forma como o aprendizado de máquina é aplicado na pesquisa científica. Este problema foi identificado em muitos artigos de pesquisa que cobrem diferentes campos, mas uma equipe de 19 pesquisadores de diferentes disciplinas publicou diretrizes de IA sobre o uso responsável do aprendizado de máquina na ciência sob a supervisão de Arvind Narayanan e Sayash Kapoor, ambos cientistas da computação na Universidade de Princeton.

Diretrizes de IA para pesquisa científica

Os autores dizem no relatório que seu trabalho é um esforço para apontar este problema de credibilidade que pode prevalecer em todo o ecossistema de pesquisa. Narayanan argumenta que não há padrões universais para proteger a integridade dos métodos de pesquisa, e o aprendizado de máquina agora é aplicado em todos os campos científicos, então isso pode se tornar um problema mais sério do que a crise de replicação observada na psicologia social uma década atrás. Ele chama a crise atual de crise de reprodutibilidade. Como disse Narayanan,

“Quando passamos dos métodos estatísticos tradicionais para os métodos de aprendizado de máquina, há um número muito maior de maneiras de se atirar no pé.”

Fonte: AzoAI.

Mas os autores da pesquisa em saúde, ciência da computação, ciências sociais e matemática também têm algumas notícias positivas. Eles dizem que um conjunto de melhores práticas pode ajudar a resolver o problema atual. Kapoor, estudante de graduação em ciência da computação, que organizou o esforço de pesquisa para produzir a lista de verificação para o trabalho científico e está trabalhando com Narayanan, disse que o problema é sistêmico e a solução para ele também deve ser sistêmica.

A publicação pode desacelerar, mas a precisão aumentará

O foco da nova lista de verificação baseada em consenso é garantir a autenticidade da pesquisa que utiliza aprendizado de máquina. A evolução da ciência é baseada na reprodutibilidade dos resultados e no fato de que as reivindicações devem ser validadas independentemente. Sem isso, a nova pesquisa científica não é possível de forma confiável sobre o trabalho anterior, e todo o sistema perde a credibilidade.

A nova lista de verificação exige que os pesquisadores forneçam informações detalhadas sobre o uso de modelos de aprendizado de máquina, pois são obrigados a fornecer os conjuntos de dados usados para treinar o modelo, seu código, capacidades de hardware, desenho piloto e objetivos de pesquisa, junto com quaisquer restrições nas descobertas do estudo, já que o foco está na transparência.

Embora também seja uma possibilidade que os requisitos aumentados dessas novas normas possam desacelerar a publicação de novos estudos de pesquisa, os pesquisadores da iniciativa ainda acreditam que a adoção dessas regras será útil para aumentar a taxa de descoberta e inovação em geral. 

Uma das autoras do estudo, Emily Cantrell, que é estudante de doutorado na Universidade de Princeton, disse que eles se preocupam com o ritmo da pesquisa científica, mas, garantindo que a qualidade dos artigos publicados esteja à altura, os artigos futuros podem depender deles para pesquisas adicionais. Kapoor também diz que os erros são adversos considerando seu impacto geral em uma base coletiva e desperdiçam tempo, o que por sua vez custa dinheiro, pois impedem a pesquisa científica que recebe financiamento e investimento.