Tudo o que Você Sabe Está Errado: A Crise de Replicação na Psicologia

“Homens e mulheres são o mesmo sexo! Porcos vivem em árvores! Os Astecas inventaram as férias! Aliens vivem como índios num parque nudista no Arizona! TUDO O QUE VOCÊ SABE ESTÁ ERRADO!” — Firesign Theater

O humor é um objeto fértil de estudo para qualquer construcionista social porque demonstra que a relatividade do significado é inteiramente dependente do contexto. Invertir o contexto é inverter o significado. Mas não vim aqui para falar sobre comédia. Vim para falar sobre ciência — especialmente as ciências sociais e médicas que constituem o pano de fundo de todo o trabalho terapêutico que fazemos.

A Metodologia e Suas Armadilhas Epistemológicas

A sexologia moderna só realmente começou em 1869 com a primeira edição de Psychopathia Sexualis de Richard von Krafft-Ebing, que era uma antologia de estudos de caso. Essa metodologia dominaria a sexologia e grande parte da psicologia até 1947, quando Alfred Kinsey publicou The Sexual Behavior of the Human Male com base em dados de pesquisa.

As metodologias têm armadilhas epistemológicas. No processo de iluminar algumas verdades, elas lançam outras na sombra. Como psicólogo, uma das coisas que sei é que cerca de 5% de tudo o que considero verdadeiro está errado. Consumo estudos que atendem ao padrão profissional predominante na pesquisa acadêmica: se uma hipótese testada num estudo de psicologia tem 95% de chance de estar certa, é verdadeira; se tem 94% ou menos, está errada.

O Problema da Replicação

Três grandes revistas de psicologia participaram do Projeto de Reprodutibilidade, que selecionou os 100 estudos mais importantes publicados em 2008 para replicação. Os resultados foram reveladores: se 100 estudos tivessem todos 5% de chance de falhar na replicação, esperídamos que 95 passassem. Na realidade, 60 falharam, 36 passaram e 2 foram ambíguos. A maioria dos que falharam tinha resultados na mesma direção dos originais, mas não alcançava significância estatística.

97% dos estudos enviados para publicação nas principais revistas alcançaram significância estatística, mas apenas 36% puderam ser replicados. O tamanho do efeito médio dos 100 estudos replicados foi metade dos originais — o equivalente a cortar pela metade o rendimento de combustível.

No Projeto de Replicação, o diretor Brian Nosek enfatiza que nenhuma evidência de desonestidade foi encontrada. Isso não se trata de falta de integridade. Há várias fontes de viés: p-hacking (manipulação metodológica para aumentar a probabilidade de alcançar significância estatística); coletar parte dos dados e verificar os resultados antes de completar a coleta; e arquivar resultados negativos são apenas algumas das ações que enviesam os resultados experimentais.

Implicações para a Prática Clínica

Nós clínicos, ocupados com nossa clientela e burocracia, temos viéses próprios sobre quais desses estudos consumimos. A maior parte de nós selecionou o trabalho clínico em preferência à pesquisa acadêmica. Até os mais fanáticos na atualização profissional provavelmente mantêm viéses do período de sua formação muito depois de terem deixado a escola.

A maior fonte de viés, no entanto, permanece epistemológica. Com dinheiro e tempo limitados, é muito mais fácil obter financiamento para resolver grandes problemas que afetam muitas pessoas. O estigma social é difícil de pesquisar porque as sociedades têm interesses em mantê-los, em vez de gastar dinheiro arriscado na esperança de subvertê-los. Parece que há viéses, como disse a senhora sobre as tartarugas, até o fundo.

Tudo isso deve nos dar uma pausa quando exigimos que a prática clínica seja mais “baseda em evidências”. O esforço para coletar dados experimentais é extremamente valioso, desde que apreciemos as limitações de nossos métodos e tenhamos cuidado de não interpretá-los em excesso.

Talvez o Firesign Theater estivesse certo. Tudo o que você sabe está errado! Com os dados do Projeto de Replicação em mãos, estamos cerca de metade do caminho. Mesmo antes de verificar nossos privilégios, seria prudente verificar nossos viéses.