Um pouco mais sobre voodoo

Há algumas semanas foi postado um texto sob a confiabilidade da ressonância magnética funcional (fMRI). Tenho trabalhado com a análise de dados de fMRI nos últimos anos e gostaria de acrescentar algumas informações que acredito ser relevantes sobre este tema. A grande discussão sobre este assunto veio à tona com o artigo de Vul et al. 2009 (http://www.edvul.com/pdf/Vul_etal_2008inpress.pdf e http://www.edvul.com/pdf/VulEtAl.2009.pdf ) originalmente entitulado “Voodoo correlations in social neuroscience” e posteriormente alterado para “Puzzlingly high correlations in fMRI studies of emotion, personality, and social cognition” a pedido editorial.

Os autores descrevem que o “quebra-cabeça” apareceu quando notaram diversos estudos de neuroimagem apresentando coeficientes de correlação extremamente altos entre a estimativa da ativação cerebral e variáveis comportamentais. Aparentemente, esta magnitude de correlação seria praticamente impossível, considerando-se a variabilidade intraindividual dos mapas de ativação via fMRI e da dos resultados de testes comportamentais. Assim, os autores mostraram (conceitualmente e através de simulações) que dependendo da forma como o dado de fMRI é analisado, o “voodoo” pode aparecer. Este é um problema clássico em inferência estatística e seleção de variáveis denominado “análise circular“ ou “dupla imersão” (double dipping, veja Kriegeskorte et al., 2009, na Nature Neuroscience entitulado “Circular analysis in systems neuroscience: the dangers of double dipping”). Um grande amigo meu radiologista (Dr. Edson Amaro Jr) tem uma descrição metafórica excelente para o problema: suponha que você deseja estimar a altura média do salto de sapos de uma lagoa. No entanto, você seleciona propositalmente apenas os sapos que pulam mais que meio metro para composição da sua média. É evidente que esta análise está enviesada e que a altura média do salto será superestimada.

Dependendo da forma como os dados de fMRI são analisados, este mesmo problema pode ocorrer, caso a análise seja circular. O problema descrito por Vul et al. é o seguinte: em um primeiro estágio são mapeadas as regiões cerebrais (representadas por “voxels”, o equivalente volumétrico do pixel) cuja magnitude do efeito BOLD (sinal medido na fMRI) é correlacionada com variáveis comportamentais. Em um segundo estágio, calcula-se a média dos coeficientes de correlação destes voxels que foram previamente mapeados em uma determinada região de interesse (ROI). Assim, nesta análise circular, somente os “sapos” com pulo mais alto foram incluídos nesta média, induzindo uma superestimativa no coeficiente de correlação médio da ROI. A análise circular deve ser evitada e os próprios autores já mostraram que muitos estudos de fMRI foram feitos de forma robusta e correta. É importante ressaltar que a análise circular não é um problema exclusivo da neuroimagem e tenho certeza de que muitos outros estudos de diversas áreas também apresentam a mesma limitação. Um exemplo: é uma prática extremamente comum coletar diversas variáveis em um estudo. Devido ao grande número de variáveis, alguns pesquisadores primeiramente calculam o coeficiente de correlação de Pearson entre estas variáveis e uma outra variável de interesse. Em seguida, realizam uma análise de regressão linear múltipla incluindo como variáveis preditoras somente as variáveis cujo coeficiente de correlação é estatisticamente diferente de zero. Qual a interpretação dos p-valores dos coeficientes deste modelo de regressão (para a hipótese nula de que o coeficiente é igual a zero), uma vez q as variáveis já foram “filtradas” por um teste utilizando o coeficiente de correlação de Pearson?

É importante ressaltar que este problema nada tem com a fisiologia do sinal BOLD ou com as fórmulas para os cálculos. Em outras palavras, o problema não reside na fMRI ou nas técnicas de análise, mas reside na interpretação dos resultados. Se o pesquisador entende a forma como o dado é analisada, ele sabe das limitações das mesmas e pode fazer uma interpretação adequada dos resultados. Infelizmente, muitos pesquisadores são simples usuários de softwares para análise de dados fMRI sem saber como ele funciona. Novamente, este não é um problema exclusivo da neuroimagem. Grande parte das análises estatísticas é realizada por pesquisadores que utilizam softwares estatísticos e não fazem a menor idéia de como ele funciona ou dos cálculos realizados. Estes softwares acabam se tornando uma caixa-preta “mágica” onde o pesquisador entra com os dados e recebe um p-valor. Note que esta deficiência não é um problema dos softwares em si, mas do uso inapropriado. Em suma, é extremamente importante que cientistas tenham conhecimento básico de estatística e principalmente da interpretação dos resultados de cada técnica, para que possam analisar seus dados adequadamente.

No que cabe a estatística, o artigo de Vul et al. (2009) não trouxe nenhum conceito novo. No entanto este artigo foi importante para lembrar a comunidade científica de que é importante sabermos detalhadamente, o que acontece em cada etapa do fluxograma que vai da formulação da pergunta, passando pelo desenho do experimento, coleta dos dados, análise de dados e obtenção de resultados. Esta é a única forma de realizar a interpretação correta dos resultados experimentais, evitando que algum “voodoo” venha nos incomodar.

João Ricardo Sato
Universidade Federal do ABC