Porque a maioria dos resultados dos artigos publicados são falsos?

Aumenta a preocupação com relação a integridade dos achados científicos

Por Sergio Arthuro *

Num artigo publicado na prestigiada revista Public Library on Science (PLoS) Medicine, o Dr. John Ioannidis (Escola de Medicina das Universidades de  Ioannina – Grécia, e Tufts – EUA) alega que há uma preocupação crescente de que os resultados falsos podem ser a maioria (ou até a grande maioria) dos achados de pesquisa publicados recentemente. Além disso, em muitos dos atuais campos científicos, os resultados das investigações podem muitas vezes ser simplesmente medidas precisas do viés predominante.

Segundo o autor do artigo [1], os achados das pesquisas são muitas vezes refutados por evidências subsequentes, o que faz parte do progresso científico, apesar de gerar confusão e desapontamento. Refutação e controvérsia são vistos em toda a gama de pesquisas, desde ensaios clínicos e estudos epidemiológicos tradicionais [2,3] até as de cunho molecular mais modernas [4,5]. Entretanto, uma certa desconfiança com relação a veracidade dos resultados dos artigos científicos já vem ocorrendo há um certo tempo, e outros cientistas também já levantaram essa questão [6-8].

Estudiosos do método científico apontaram que a alta taxa de não-replicação (falta de confirmação) das descobertas científicas é consequência principalmente de uma estratégia mal fundamentada de reivindicar resultados conclusivos com base em um único estudo, avaliado por significância estatística formal, ou seja, por um valor de “p” menor do que 0,05 [9-11]. Dessa forma, as pesquisas não deveriam ser resumidas simplesmente por valores de “p”, mas, infelizmente, o que acontece é exatamente o contrário. Segundo ou autor, outros fatores também favorecem a publicação de resultados falsos, como quando existe: a) “n” baixo, b) excessiva flexibilidade no desenho, resultados e/ou análise, c) muito interesse financeiro envolvido, e d) muitas equipes perseguindo significância estatística num campo científico. Uma maior atenção para esses fatores pode ser a solução do problema.

Muito do que acontece também, segundo o Dr. Ioannidis (assim como na minha experiência), é o uso da expressão “resultado negativo”, que é utilizada quando os resultados não estão de acordo com a hipótese prévia, que é baseada simplesmente na maioria dos achados anteriores. Se quase todo mundo achou que a substância X diminui a dor de cabeça, mas meus resultados não mostraram isso, eu simplesmente digo que “meus resultados deram negativos”. Consequentemente, não consigo publicar os dados, pois as revistas não se interessam por esse tipo de resultado, com exceção do Journal of Negative Results, criada para atender esse tipo de demanda, que com certeza é a maioria. O que ocorre muitas vezes também é que os cientistas fazem milhares de experimentos e análises até que cheguem aos resultados que eles queriam encontrar, sem se preocupar em replicar seus experimentos, ou mesmo se a estatística utilizada foi a correta. Assim, não é que os trabalhos sejam fraudulentos, mas sim, deveriam ser mais criteriosos.

O que observo bastante também é que muitos cientistas fazem experimentos simples, mas usam ferramentas matemáticas e estatísticas extremamente complexas (que muitas vezes só eles entendem, e nem mesmo os revisores do artigo são capazes de compreender) mas que dão os resultados que eles esperavam e/ou que a maioria dos cientistas encontrou. Entretanto, isso já é suficiente para gerar um artigo – que muita gente chama de paper (apesar de que eu não vejo necessidade de usar uma palavra em outra língua se temos um equivalente em português) gerando um tipo de “papercracia”, já que os artigos são praticamente os únicos responsáveis por angariar recursos para fazer mais pesquisa, para gerar mais artigos, para ganhar mais dinheiro e prestígio, para fazer mais pesquisa, para gerar mais artigos etc. Com o artigo publicado, os cientistas responsáveis têm a plena convicção de dever cumprido, e que os outros cientistas que se virem para dar um passo a frente, sem nem mesmo se preocupar em tentar replicar os próprios resultados.

Como conclusão, podemos dizer que o método científico é uma excelente ferramenta, mas o sistema de avaliação da ciência atual é cheio de falhas e merece uma revisão urgente, para evitar a publicação de resultados falsos e a perpetuação das conclusões enviesadas, favorecendo assim as pesquisas que realmente tragam algo de bom, justo e útil para a humanidade.

* Médico, doutor em Psicobiologia e Divulgador Científico

Sugestões de Leitura

1. Ioannidis, JPA (2005) Why Most Published Research Findings Are False. PLoS Med 2(8): 696-701.

2. Lawlor DA, Davey Smith G, Kundu D, Bruckdorfer KR, Ebrahim S (2004) Those confounded vitamins: What can we learn from the differences between observational versus randomised trial evidence? Lancet 363: 1724-1727.

3. Vandenbroucke JP (2004) When are observational studies as credible as randomised trials? Lancet 363: 1728–1731.

4. Michiels S, Koscielny S, Hill C (2005) Prediction of cancer outcome with microarrays: A multiple random validation strategy. Lancet 365: 488–492.

5. Ioannidis JPA, Ntzani EE, Trikalinos TA, Contopoulos-Ioannidis DG (2001) Replication validity of genetic association studies. Nat Genet 29: 306–309.

6. Colhoun HM, McKeigue PM, Davey Smith G (2003) Problems of reporting genetic associations with complex outcomes. Lancet 361: 865–872.

7. Ioannidis JP (2003) Genetic associations: False or true? Trends Mol Med 9: 135–138.

8. Ioannidis JPA (2005) Microarrays and molecular research: Noise discovery? Lancet 365: 454–455.

9. Sterne JA, Davey Smith G (2001) Sifting the evidence: What’s wrong with significance tests. BMJ 322: 226–231.

10. Wacholder S, Chanock S, Garcia-Closas M, El ghormli L, Rothman N (2004) Assessing the probability that a positive report is false: An approach for molecular epidemiology studies. J Natl Cancer Inst 96: 434–442.

11. Risch NJ (2000) Searching for genetic determinants in the new millennium. Nature 405: 847–856.