IA pode ajudar a identificar pesquisas de qualidade antes da revisão por pares

O crescimento acelerado do número de artigos científicos publicados a cada ano tem ampliado um dos principais desafios da comunicação científica: identificar rapidamente pesquisas de alta qualidade em meio a um volume cada vez maior de manuscritos. Uma nova ferramenta baseada em inteligência artificial pretende contribuir justamente para esse cenário, oferecendo uma avaliação preliminar da qualidade de preprints antes mesmo da revisão por pares.

Pesquisadores da Universidade de Tel Aviv desenvolveram o QED (Quality Evaluation and Discovery), um sistema de IA capaz de analisar o conteúdo de manuscritos científicos e estimar sua qualidade com base em características do próprio texto. A proposta foi apresentada em um estudo divulgado pela revista Nature e repercutido pelo portal The Scientist.

Diferentemente dos indicadores tradicionalmente utilizados para estimar o impacto de uma pesquisa, como fator de impacto do periódico, número de citações ou reputação institucional dos autores, o QED considera exclusivamente as informações presentes no manuscrito. O objetivo é reduzir a influência de fatores externos que, muitas vezes, acabam interferindo na percepção da qualidade de um estudo.

Para desenvolver o modelo, os pesquisadores treinaram a IA com milhares de artigos da área biomédica e, posteriormente, aplicaram o sistema à análise de mais de 57 mil preprints publicados no bioRxiv. Cada manuscrito recebeu uma pontuação denominada QED Score, que busca refletir aspectos como originalidade, consistência científica e potencial contribuição para o avanço do conhecimento.

A equipe também realizou uma etapa de validação para verificar se as avaliações produzidas pela IA correspondiam à percepção de especialistas. Em situações em que havia divergência entre a classificação atribuída pelo QED e o nível do periódico em que o artigo foi posteriormente publicado, revisores independentes analisaram os manuscritos sem conhecer os resultados da ferramenta.

Em aproximadamente 75% dessas comparações, os especialistas concordaram com a avaliação produzida pelo sistema. Em diversos casos, a IA identificou trabalhos considerados de alta qualidade que acabaram sendo publicados em periódicos de menor prestígio. Da mesma forma, alguns artigos publicados em revistas de elevado fator de impacto receberam avaliações menos favoráveis, indicando que a reputação do periódico nem sempre reflete integralmente a qualidade científica de um manuscrito.

Os resultados reforçam um debate crescente sobre a utilização de métricas alternativas para avaliação da produção científica. Há anos, pesquisadores e organizações internacionais defendem que indicadores como o fator de impacto não sejam utilizados como principal parâmetro para medir a qualidade de pesquisas individuais. Nesse contexto, ferramentas baseadas em inteligência artificial podem representar uma nova abordagem para apoiar a descoberta e a avaliação de trabalhos científicos.

Os próprios autores, entretanto, fazem questão de destacar que o QED não foi desenvolvido para substituir a revisão por pares. A análise crítica realizada por especialistas continua sendo considerada essencial para avaliar metodologia, interpretação dos resultados, limitações do estudo e relevância para a comunidade científica. A proposta é que a inteligência artificial funcione como uma camada adicional de apoio, auxiliando editores na triagem inicial de manuscritos e ajudando pesquisadores a identificar estudos relevantes em um universo crescente de publicações.

A iniciativa também acompanha uma tendência mais ampla de incorporação da inteligência artificial aos fluxos editoriais. Nos últimos anos, diferentes ferramentas passaram a oferecer suporte para detecção de plágio, identificação de imagens manipuladas, revisão linguística, verificação de referências e até auxílio à seleção de revisores. O QED amplia esse movimento ao explorar um dos aspectos mais complexos da comunicação científica: a avaliação da qualidade do próprio conteúdo científico.

Embora os resultados sejam promissores, especialistas ressaltam que sistemas desse tipo ainda precisam passar por validações adicionais em diferentes áreas do conhecimento e demonstrar transparência quanto aos critérios utilizados para gerar suas avaliações. Afinal, qualquer ferramenta que influencie decisões editoriais deve ser utilizada de forma responsável, ética e sempre como apoio ao julgamento humano.

Se futuras pesquisas confirmarem sua eficácia, ferramentas como o QED poderão contribuir para tornar a descoberta de pesquisas relevantes menos dependente da reputação de periódicos e mais centrada na qualidade do conhecimento produzido, um objetivo que há décadas vem sendo perseguido pela comunidade de comunicação científica.

Fonte: THE SCIENTIST
Texto produzido com auxílio de Inteligência Artificial e revisado pelo autor.
Confira nossa Política de Uso de IA.

Deseja divulgar a sua revista científica ou notícia gratuitamente no Periódico Eletrônico? Envie um email para