Estudios famosos que no se replicaron
Lección 13 de 31 del curso «Hackea tu cerebro». Gratis, con animaciones y un test.
La crisis de replicación
La gran prueba de la ciencia es simple: otras personas repiten el experimento y obtienen lo mismo. En 2015, un gran equipo de científicos hizo esa prueba con 100 estudios de revistas punteras de psicología. En los originales, el 97% tenía un resultado “significativo”. En las réplicas, solo el 36%. Eso no significa que dos tercios de la psicología sean mentira: algunos efectos son más pequeños de lo que parecían y otros dependen de las condiciones. Pero quedó claro que un estudio llamativo en una revista aún no es un hecho. Los más golpeados fueron los experimentos donde una palabra o imagen supuestamente cambiaba la conducta. De eso va esta lección.
¿Pensar en dinero te vuelve egoísta?
En 2006 salió una serie de experimentos: a la gente le recordaban el dinero de forma sutil, con frases, billetes de juguete en la mesa o un salvapantallas de dólares. Después, supuestamente, intentaban más tiempo un problema difícil solos, ayudaban menos e incluso separaban más las sillas para conversar: 118 cm frente a 80. La historia se extendió en libros: “el dinero nos vuelve individualistas”. Luego llegaron las réplicas. Una gran serie de 2015 no encontró efecto. Un análisis de 2019 mostró que en los estudios con plan anunciado de antemano el efecto es casi cero, y que los experimentos “exitosos” parecían publicarse más. Etiqueta: no se replicó.
Imaginar a un profesor no suma puntos
Estudio de 1998: a unos estudiantes les pidieron imaginar cinco minutos a un profesor típico, y a otros a un hooligan del fútbol. Luego, un test de cultura general. Los “profesores” acertaron el 55,6% de las preguntas; los “hooligans”, el 42,6%. Precioso: piensa en alguien listo y serás más listo. Los libros populares lo adoraban. En 2018 lo repitieron decenas de laboratorios con un mismo plan anunciado de antemano y miles de participantes. La diferencia entre grupos fue prácticamente cero. Etiqueta: no se replicó. Pensar en un profesor antes del examen no hace daño, pero los puntos los dan el sueño, el repaso y practicar ejercicios, no la actitud.
Lavarse la culpa
Otra historia preciosa: el “efecto Macbeth”. En un estudio de 2006, la gente recordaba una mala acción propia y después elegía más a menudo toallitas antisépticas como regalo y completaba antes palabras como “jabón” y “lavar”. La conclusión sonaba poética: la conciencia sucia pide limpieza física. Pero varias réplicas independientes, incluso en distintos países, no hallaron efecto. Etiqueta: no se replicó. Es un buen ejemplo de trampa: cuanto más literario suena un hallazgo, más se cuenta y menos se pregunta si alguien lo repitió.
De dónde salen los falsos descubrimientos
Casi nadie mintió a propósito. Actuaron tres cosas. Primera: muestras pequeñas. Con 30 personas por grupo, el azar da fácilmente una “diferencia”. Segunda: análisis flexible. Puedes calcular de muchas maneras: quitar participantes “raros”, comparar por sexo, por hora del día. Si pruebas 20 opciones con el umbral habitual del 5%, la probabilidad de dar con algún “hallazgo” por suerte ronda el 64%. Tercera: las revistas preferían publicar el “guau”, y los experimentos sin efecto se quedaban en el cajón. Así llegaban a imprenta las casualidades más afortunadas. No va de científicos tontos, sino del piloto automático: todos queremos ver un patrón.
La ciencia se corrige sola
En 2012, el autor de uno de los libros más famosos sobre el pensamiento escribió una carta abierta a los colegas que estudiaban el priming de conducta: “ve venir un choque de trenes” y les pedía repetir ellos mismos sus experimentos. Después admitió: “Confié demasiado en estudios pequeños”. El capítulo de priming de su libro se apoyaba mucho en ellos. No es una vergüenza, es la ciencia funcionando: se encontró el error y cambiaron las reglas. Hoy los buenos estudios anuncian su plan de antemano, reclutan cientos o miles de participantes y replican en varios laboratorios a la vez. Las etiquetas “discutido” y “no se replicó” de este curso vienen justo de ahí.
Truco: 4 preguntas a “los científicos demostraron”
Cuando veas “los científicos demostraron”, haz cuatro preguntas. Primera: ¿lo repitieron otros equipos? Un estudio es motivo de curiosidad, no un hecho. Segunda: ¿cuánta gente participó? Decenas es poco; cientos o miles ya es serio. Tercera: ¿se anunció el plan de análisis de antemano? Así hay menos opciones de “encontrar” algo por azar. Cuarta: ¿no suena demasiado bonito? Si una palabra supuestamente cambia la conducta un 40%, probablemente no es cierto: los efectos reales en psicología suelen ser modestos. Las respuestas suelen tardar un par de minutos: busca el nombre del estudio más la palabra “replication” (réplica).
Hazlo tú: analiza un vídeo
Busca en tu feed un vídeo o post que diga “los científicos demostraron”, “un estudio mostró” o “avalado por la ciencia”. Por ejemplo, Danya se topó con un reel: “Está demostrado: un ritual matutino da +40% de éxito”. Prueba tres pasos. Busca el original: si no hay enlace ni se nombra el estudio, ya es mala señal. Cuenta las personas: cuántas participaron y quiénes eran. Busca réplicas: el nombre del estudio más “replication”. En el caso de Danya, el original no existía, y el “40%” salía de un anuncio de un curso. Cinco minutos de comprobación ahorran meses en trucos “demostrados”.
Ponte a prueba
- En 2015 se repitieron 100 estudios de psicología. ¿En qué parte de las réplicas el resultado volvió a ser “significativo”?
Respuesta correcta: Alrededor de un tercio: 36%. Sí. El 97% de los originales fue “significativo” y el 36% de las réplicas. No significa que el resto sea mentira, pero un resultado llamativo aún no es un hecho. - ¿Por qué un estudio pequeño puede mostrar un “efecto guau” por azar?
Respuesta correcta: Poca gente da grandes vaivenes al azar, y el “guau” se publica más. Sí. Con 30 personas por grupo, el azar dibuja una “diferencia” fácilmente, y los artículos sin efecto solían quedarse en el cajón. - ¿Qué señal indica mejor que se puede confiar en un efecto?
Respuesta correcta: Laboratorios independientes lo replicaron con un plan anunciado de antemano. Sí. Las réplicas independientes con plan anunciado son la mejor defensa contra “descubrimientos” casuales. - El estudio “piensa en un profesor” dio 55,6% frente a 42,6%. ¿Qué mostró la gran réplica de 2018?
Respuesta correcta: La diferencia fue prácticamente cero. Sí. Decenas de laboratorios y miles de participantes con un plan, y casi cero. Etiqueta: no se replicó.