Громкие опыты, которые не повторились
Урок 13 из 31 курса «Хакни свой мозг: курс с нуля». Бесплатно, с анимациями и тестом.
Кризис воспроизводимости
Главная проверка в науке простая: другие люди повторяют опыт и получают тот же результат. В 2015 году большая команда учёных решила проверить так 100 исследований из ведущих журналов по психологии. В оригиналах «значимый» результат был в 97% случаев. В повторах — только в 36%. Это не значит, что две трети психологии — враньё: часть эффектов просто меньше, чем казалось, часть зависит от условий. Но стало ясно: громкое исследование в журнале — ещё не факт. Особенно сильно пострадали опыты, где одно слово или картинка якобы меняли поведение. О них и этот урок.
Мысль о деньгах делает эгоистом?
В 2006 году вышла серия опытов: людям незаметно напоминали о деньгах — фразами, игрушечными купюрами на столе, заставкой с долларами на экране. После этого они якобы дольше решали трудную задачу сами, меньше помогали другим и даже ставили стулья для разговора дальше друг от друга: 118 см против 80. История разошлась по книгам: «деньги делают нас индивидуалистами». Потом начались повторы. Крупная серия 2015 года эффекта не нашла. Анализ 2019 года показал: в исследованиях, где план объявляли заранее, эффект почти нулевой, а «успешные» опыты, похоже, чаще попадали в печать. Метка: не подтвердилось.
Профессор в голове не прибавляет баллов
Опыт 1998 года: одних студентов просили пять минут представлять себе типичного профессора, других — футбольного хулигана. Потом была викторина. «Профессора» ответили верно на 55,6% вопросов, «хулиганы» — на 42,6%. Красиво: подумай об умном — и станешь умнее. Этот опыт любили популярные книги. В 2018 году его повторили десятки лабораторий по одному заранее объявленному плану, с тысячами участников. Разница между группами оказалась практически нулевой. Метка: не подтвердилось. Перед экзаменом думать о профессоре не вредно, но баллы приносят сон, повторение и разбор задач, а не настрой.
Смыть вину с рук
Ещё одна красивая история — «эффект леди Макбет». В опыте 2006 года люди вспоминали свой нехороший поступок, а потом чаще выбирали в подарок антисептические салфетки и охотнее дописывали неполные слова до «мыло» и «мыть». Вывод звучал поэтично: нечистая совесть хочет физической чистоты. Но несколько независимых повторов, в том числе в разных странах, эффекта не нашли. Метка: не подтвердилось. Это хороший пример ловушки: чем литературнее звучит открытие, тем охотнее его пересказывают и тем меньше спрашивают, повторяли ли его вообще.
Откуда берутся ложные открытия
Почти никто здесь не врал нарочно. Сработали три вещи. Первая: маленькие выборки. Если в группе 30 человек, случайность легко даёт «разницу». Вторая: гибкий анализ. Можно посчитать по-разному: убрать «странных» участников, сравнить по полу, по времени дня. Если проверить 20 вариантов при обычном пороге в 5%, шанс случайно найти хоть одну «находку» — около 64%. Третья: журналы охотнее печатали «вау», а опыты без эффекта оставались в столе. В итоге в печать попадали самые удачные случайности. Это не про глупость учёных, а про автопилот: всем хочется увидеть закономерность.
Наука чинит сама себя
В 2012 году автор одного из самых известных бестселлеров о мышлении написал открытое письмо коллегам, изучающим прайминг поведения: он «видит впереди крушение поезда» и просит их самим повторить свои опыты. Позже он признал: «Я слишком доверял маленьким исследованиям». Глава о прайминге в его книге во многом опиралась на такие опыты. Это не позор, а нормальная работа науки: ошибка найдена, правила поменялись. Теперь хорошие исследования объявляют план заранее, набирают сотни и тысячи участников и повторяют сразу в нескольких лабораториях. Метки «спорно» и «не подтвердилось» в этом курсе — как раз отсюда.
Хак: 4 вопроса к «учёные доказали»
Когда видишь «учёные доказали», задай четыре вопроса. Первый: это повторяли другие команды? Один опыт — повод заинтересоваться, а не факт. Второй: сколько было людей? Десятки — мало, сотни и тысячи — уже серьёзно. Третий: план анализа объявили заранее? Так у исследователей меньше шансов «найти» что-то случайное. Четвёртый: не слишком ли красиво? Если одно слово якобы на 40% меняет поведение, скорее всего, это неправда: настоящие эффекты в психологии обычно скромные. Ответы часто находятся за пару минут: поиск по названию исследования плюс слово «replication» (повтор).
Сделай сам: разбери ролик
Найди в ленте ролик или пост со словами «учёные доказали», «исследование показало» или «доказано наукой». Например, Даня наткнулся на рилс: «Учёные доказали: утренний ритуал даёт +40% к успеху». Попробуй три шага. Найди оригинал: если ссылки нет и исследование не называют, это уже тревожный знак. Посчитай людей: сколько участвовало и кто они. Поищи повторы: название исследования плюс «replication». У Дани оригинала не нашлось вообще, а «40%» оказалось из рекламы курса. Пять минут такой проверки экономят месяцы, потраченные на «доказанные» лайфхаки.
Проверь себя
- В 2015 году повторили 100 исследований по психологии. В какой доле повторов результат снова оказался «значимым»?
Правильный ответ: Около трети: 36%. Да. В оригиналах «значимых» было 97%, в повторах — 36%. Это не значит, что остальное — враньё, но громкий результат — ещё не факт. - Почему маленькое исследование может показать «вау-эффект» случайно?
Правильный ответ: Мало людей — большие случайные скачки, а «вау» охотнее печатают. Да. С 30 людьми в группе случайность легко рисует «разницу», а без эффекта статьи часто оставались в столе. - Какой признак сильнее всего говорит, что эффекту можно доверять?
Правильный ответ: Его повторили независимые лаборатории по плану, объявленному заранее. Да. Независимые повторы с заранее объявленным планом — лучшая защита от случайных «открытий». - Опыт «подумай о профессоре» дал 55,6% против 42,6%. Что показал большой повтор 2018 года?
Правильный ответ: Разница практически нулевая. Да. Десятки лабораторий и тысячи участников по одному плану — и почти ноль. Метка: не подтвердилось.