没能重复的著名实验
“大脑黑客”课程第 13 课，共 31 课。免费，有动画和小测验。
可重复性危机
科学最重要的检验很简单：别人重做实验，得出同样的结果。2015 年，一个大型科学家团队用这个办法检验了顶级心理学期刊上的 100 项研究。原始研究里 97% 得出了“显著”结果，重复研究里只有 36%。这不代表三分之二的心理学是骗人的：有些效应只是比看上去小，有些取决于条件。但事情很清楚了：期刊上一项轰动的研究还不等于事实。受冲击最大的，是那些号称一个词或一张图就能改变行为的实验。这一课就讲它们。
想到钱会让人变自私吗？
2006 年发表了一系列实验：研究者用短语、桌上的玩具钞票、满屏美元的屏保，悄悄让人想到钱。据说这之后，人们会更久地独自死磕难题，更少帮助别人，甚至把聊天用的椅子摆得更远：118 厘米对 80 厘米。这个故事在书里流传开来：“钱让我们变成个人主义者”。后来开始了重复研究。2015 年的一大批实验没找到效应。2019 年的一项分析显示：在提前公布方案的研究里效应几乎为零，而“成功”的实验似乎更容易被发表。标签：未能重复。
想象教授并不能加分
1998 年的一项实验：让一部分学生花五分钟想象一位典型的教授，另一部分想象一个足球流氓。然后做知识问答。“教授组”答对 55.6%，“流氓组”答对 42.6%。多美好：想想聪明人，你就变聪明。畅销书很爱这个实验。2018 年，几十个实验室按同一份提前公布的方案重做，参与者有好几千人。两组差异几乎为零。标签：未能重复。考前想想教授没坏处，但分数来自睡眠、复习和刷题，而不是心态。
洗掉罪恶感
又一个漂亮的故事：“麦克白效应”。2006 年的一项研究里，人们回忆一件自己做过的坏事，之后更常挑消毒湿巾当礼物，也更快把残缺单词补成“肥皂”“洗”。结论听上去很诗意：良心不安就想把身体洗干净。但好几次独立的重复研究，包括在不同国家，都没找到效应。标签：未能重复。这是个很好的陷阱例子：一个发现听起来越有文学味，就越有人转述，也越少有人问它到底被重复过没有。
假发现从哪儿来
几乎没人故意造假。起作用的是三件事。第一：样本太小。每组 30 人时，运气很容易造出一个“差异”。第二：分析太灵活。数据可以换着法子算：剔掉“奇怪”的参与者、按性别比、按时间段比。按常用的 5% 门槛检验 20 种方案，凭运气至少撞上一个“发现”的概率约 64%。第三：期刊更爱发表“哇”，没效应的实验就躺在抽屉里。于是最走运的巧合被印了出来。这不是科学家笨，而是自动驾驶：人人都想看到规律。
科学会自我纠错
2012 年，一本最著名的思维类畅销书的作者，给研究行为启动的同行写了一封公开信：他说自己“看到一场火车相撞就在前方”，请他们亲自重复自己的实验。后来他承认：“我太相信小样本研究了。”他书里讲启动效应的那一章，很大程度上就建立在这类实验上。这不丢人，而是科学的正常运作：错误被发现，规则随之改变。如今好的研究会提前公布方案，招募数百上千名参与者，并在多个实验室同时重复。这门课里“有争议”和“未能重复”的标签，正是由此而来。
妙招：对“科学家证明了”问 4 个问题
看到“科学家证明了”时，问四个问题。第一：别的团队重复过吗？一项研究只是好奇的理由，不是事实。第二：有多少人参与？几十人太少，几百上千才算认真。第三：分析方案是提前公布的吗？这样研究者凭运气“找到”东西的机会更少。第四：是不是好得不像真的？如果说一个词就能让行为改变 40%，多半不是真的：心理学里真实的效应通常很温和。答案常常两分钟就能查到：搜研究名称加上“replication”（重复）这个词。
动手试试：拆解一条视频
在信息流里找一条写着“科学家证明”“研究表明”或“有科学依据”的视频或帖子。比如达尼亚刷到一条短视频：“科学家证明：一个晨间仪式让成功率提升 40%。”试试三步。找原文：没有链接、也不说是哪项研究，这本身就是危险信号。数人数：多少人参与、都是谁。找重复：研究名称加“replication”。达尼亚那条根本找不到原文，“40%”来自一个课程广告。花五分钟核实，能省下浪费在“已被证明”的生活妙招上的好几个月。
自测一下
- 2015 年重做了 100 项心理学研究。重复研究中有多大比例再次得出“显著”结果？
正确答案: 约三分之一：36%. 对。原始研究 97%“显著”，重复研究 36%。这不说明其余都是假的，但轰动的结果还不等于事实。 - 为什么小研究可能凭运气得出“哇效应”？
正确答案: 人少随机波动就大，而“哇”更容易被发表. 对。每组 30 人时，运气很容易画出一个“差异”，没效应的论文常常躺在抽屉里。 - 哪个迹象最能说明一个效应值得信？
正确答案: 独立实验室按提前公布的方案重复了它. 对。按预先公布方案进行的独立重复，是抵御偶然“发现”的最好办法。 - “想想教授”实验得出 55.6% 对 42.6%。2018 年的大型重复研究发现了什么？
正确答案: 差异几乎为零. 对。几十个实验室、几千名参与者按同一方案，结果几乎为零。标签：未能重复。