Uma iniciativa conjunta das plataformas Hugging Face e alphaXiv colocou agentes de inteligência artificial diante de um desafio de grande escala: verificar se resultados apresentados em artigos científicos poderiam ser reproduzidos. A experiência ocorreu em meio ao crescimento acelerado do número de trabalhos submetidos à International Conference on Machine Learning, a ICML, que neste ano aceitou cerca de 6 mil artigos.
Mais de 1.200 participantes se envolveram no desafio e, ao todo, foram analisados mais de 2 mil trabalhos. Os agentes de IA foram utilizados para executar tarefas relacionadas à reprodução dos experimentos e à verificação das evidências apresentadas nos artigos. O participante vencedor, Jansen Tang, que não é pesquisador de inteligência artificial, conseguiu reproduzir os resultados de 363 artigos em 19 dias com o auxílio de uma equipe de agentes de IA.
A iniciativa também encontrou problemas. Centenas de resultados não puderam ser reproduzidos ou apresentaram evidências consideradas insuficientes, e os organizadores confirmaram até o momento pelo menos 12 artigos com erros reais que haviam passado pela revisão humana.
O experimento não significa que a IA possa substituir a revisão por pares. Questões como novidade, relevância e significado científico ainda exigem avaliação humana. O resultado, porém, aponta para uma possível utilização dos agentes de IA como ferramentas complementares para ampliar a capacidade de verificação da pesquisa científica em um cenário no qual o volume de publicações cresce mais rapidamente do que a capacidade de avaliação dos pesquisadores.
Fonte: Science
Texto produzido com auxílio de Inteligência Artificial e revisado pelo autor.
Confira nossa Política de Uso de IA.
Deseja divulgar a sua revista científica ou notícia gratuitamente no Periódico Eletrônico? Envie um email para
