Estudos famosos que não se replicaram
Aula 13 de 31 do curso “Hackeie seu cérebro”. Grátis, com animações e teste.
A crise de replicação
O grande teste da ciência é simples: outras pessoas repetem o experimento e chegam ao mesmo resultado. Em 2015, uma grande equipe de cientistas fez esse teste com 100 estudos de revistas de ponta em psicologia. Nos originais, 97% tinham resultado “significativo”. Nas réplicas, só 36%. Isso não quer dizer que dois terços da psicologia são mentira: alguns efeitos são só menores do que pareciam, outros dependem das condições. Mas ficou claro que um estudo bombástico numa revista ainda não é fato. Os mais atingidos foram os experimentos em que uma palavra ou imagem supostamente mudava o comportamento. É disso que trata esta lição.
Pensar em dinheiro deixa egoísta?
Em 2006 saiu uma série de experimentos: lembravam as pessoas de dinheiro de forma sutil, com frases, notas de brinquedo na mesa ou uma proteção de tela com dólares. Depois, supostamente, elas tentavam um problema difícil sozinhas por mais tempo, ajudavam menos e até afastavam mais as cadeiras pra conversar: 118 cm contra 80. A história se espalhou em livros: “dinheiro nos torna individualistas”. Aí vieram as réplicas. Uma grande série de 2015 não achou efeito. Uma análise de 2019 mostrou que, nos estudos com plano anunciado antes, o efeito é quase zero, e que experimentos “bem-sucedidos” pareciam ser mais publicados. Selo: não se replicou.
Imaginar um professor não soma pontos
Estudo de 1998: pediram a uns estudantes que imaginassem por cinco minutos um professor típico, e a outros um hooligan do futebol. Depois, um quiz. Os “professores” acertaram 55,6% das perguntas; os “hooligans”, 42,6%. Lindo: pense em alguém inteligente e fique mais inteligente. Livros populares amavam. Em 2018, dezenas de laboratórios repetiram com um mesmo plano anunciado antes e milhares de participantes. A diferença entre os grupos foi praticamente zero. Selo: não se replicou. Pensar num professor antes da prova não faz mal, mas quem dá os pontos é o sono, a revisão e fazer exercícios, não o astral.
Lavar a culpa
Outra história linda: o “efeito Macbeth”. Num estudo de 2006, as pessoas lembravam de algo errado que fizeram e depois escolhiam mais lenços antissépticos como brinde e completavam mais rápido palavras como “sabão” e “lavar”. A conclusão soava poética: consciência pesada pede limpeza física. Mas várias réplicas independentes, inclusive em países diferentes, não acharam efeito. Selo: não se replicou. É um bom exemplo de armadilha: quanto mais literária soa a descoberta, mais ela é recontada e menos se pergunta se alguém repetiu.
De onde vêm as falsas descobertas
Quase ninguém mentiu de propósito. Três coisas agiram. Primeira: amostras pequenas. Com 30 pessoas por grupo, o acaso facilmente gera uma “diferença”. Segunda: análise flexível. Dá pra calcular de vários jeitos: tirar participantes “estranhos”, comparar por gênero, por hora do dia. Testando 20 opções no limite usual de 5%, a chance de achar pelo menos um “achado” por sorte é de uns 64%. Terceira: as revistas preferiam publicar o “uau”, e os experimentos sem efeito ficavam na gaveta. Assim, os acasos mais sortudos chegavam à publicação. Não é sobre cientistas burros, é sobre o piloto automático: todo mundo quer ver um padrão.
A ciência se corrige
Em 2012, o autor de um dos best-sellers mais famosos sobre o pensamento escreveu uma carta aberta aos colegas que estudavam priming de comportamento: ele “vê um desastre de trem chegando” e pediu que eles mesmos repetissem os experimentos. Depois admitiu: “Confiei demais em estudos pequenos”. O capítulo de priming do livro dele se apoiava muito neles. Não é vergonha, é a ciência funcionando: o erro foi achado e as regras mudaram. Hoje bons estudos anunciam o plano antes, recrutam centenas ou milhares de participantes e repetem em vários laboratórios ao mesmo tempo. Os selos “discutível” e “não se replicou” deste curso vêm justamente daí.
Hack: 4 perguntas pra “cientistas provaram”
Quando vir “cientistas provaram”, faça quatro perguntas. Primeira: outras equipes repetiram? Um estudo é motivo de curiosidade, não fato. Segunda: quantas pessoas participaram? Dezenas é pouco; centenas ou milhares já é sério. Terceira: o plano de análise foi anunciado antes? Assim há menos chance de “achar” algo por acaso. Quarta: não soa bonito demais? Se uma palavra supostamente muda o comportamento em 40%, provavelmente não é verdade: efeitos reais em psicologia costumam ser modestos. As respostas muitas vezes levam dois minutos: busque o nome do estudo mais a palavra “replication” (réplica).
Faça você: destrinche um vídeo
Ache no feed um vídeo ou post dizendo “cientistas provaram”, “um estudo mostrou” ou “comprovado pela ciência”. Por exemplo, o Danya topou com um reels: “Cientistas provaram: um ritual matinal dá +40% de sucesso”. Tente três passos. Ache o original: se não há link e o estudo não é citado, já é sinal de alerta. Conte as pessoas: quantas participaram e quem eram. Procure réplicas: o nome do estudo mais “replication”. No caso do Danya, o original nem existia, e os “40%” vinham de um anúncio de curso. Cinco minutos de checagem economizam meses gastos em truques “comprovados”.
Teste-se
- Em 2015, 100 estudos de psicologia foram repetidos. Em que parcela das réplicas o resultado foi “significativo” de novo?
Resposta certa: Cerca de um terço: 36%. Sim. 97% dos originais foram “significativos” e 36% das réplicas. Não quer dizer que o resto é mentira, mas um resultado bombástico ainda não é fato. - Por que um estudo pequeno pode mostrar um “efeito uau” por acaso?
Resposta certa: Pouca gente dá grandes oscilações ao acaso, e o “uau” é mais publicado. Sim. Com 30 pessoas por grupo, o acaso desenha uma “diferença” fácil, e artigos sem efeito muitas vezes ficavam na gaveta. - Qual sinal indica melhor que dá pra confiar num efeito?
Resposta certa: Laboratórios independentes replicaram com um plano anunciado antes. Sim. Réplicas independentes com plano anunciado são a melhor defesa contra “descobertas” por acaso. - O estudo “pense num professor” deu 55,6% contra 42,6%. O que a grande réplica de 2018 mostrou?
Resposta certa: A diferença foi praticamente zero. Sim. Dezenas de laboratórios e milhares de participantes num só plano, e quase zero. Selo: não se replicou.