Пока в России гомеопаты эпично возражают меморандуму РАН, Даниел Канеман (англ. Daniel Kahneman, ивр. דניאל כהנמן) — нобелевский лауреат и один из основоположников поведенческой экономики — публично признаёт свою неправоту. Канеман ответил на критику одной из глав своей книги «Думай медленно… решай быстро», рассказал, что в прошлом опирался на исследования со слабой доказательной базой и назвал это «ошибкой».
Сейчас психология переживает не лучшие времена. Она столкнулась с так называемым «кризисом воспроизводимости исследований», и проявляется он в том, что учёные не могут повторить чужие эксперименты и подтвердить достоверность научных работ. Такие проблемы возникают в разных областях знаний, но психологии и медицине особенно не повезло. Два года назад в журнале Science опубликовали статью о том, как 270 человек пытались воспроизвести 100 психологических экспериментов. Им это удалось — но только в 39% случаев.
Особенно досталось явлению под названием «прайминг»: оно предполагает, что символы и объекты окружающей среды влияют на наше поведение, даже когда мы не обращаем на них внимания. Например, в одном из исследований, посвящённом праймингу, молодые люди якобы снижали темп ходьбы после того, как прочли текст о старости. В 2011 году Даниел Канеман выпустил книгу «Думай медленно… решай быстро», посвящённую последним открытиям в области социальной психологии. Она стала бестселлером и заслужила множество наград — в частности, от газет Los Angeles Times, The Wall Street Journal, The Economist и от Национальной академии наук США. В своём популярном труде Канеман не обошёл вниманием и прайминг — он рассматривает это явление подробно, едва ли не с любовью, и цитирует множество связанных с ним исследований.
Проблемы начались уже в год выхода книги — тогда в фальсификации обвинили голландского учёного Дидрика Штапеля, который занимался, в том числе, изучением прайминга. Ещё через год исследователи из Бельгии сообщили, что им не удалось повторить эксперимент с замедлением темпа ходьбы, о котором пишет Канеман. Нобелевский лауреат адресовал автору оригинальной научной работы открытое письмо и призвал его и других коллег проверить воcпроизводимость исследований прайминга.
Но на этом история не закончилась. Недавно исследователь из Торонтского университета (University of Toronto) Ульрих Шиммак (Ulrich Schimmack) решил проверить статистическую достоверность исследований, процитированных Канеманом в главе о прайминге. Шиммак серьёзно озабочен кризисом в области психологии, в 2014 году он создал специальный сайт с целью «увеличить воспроизводимость результатов опубликованных научных работ». Учёный разработал специальный статистический инструмент — «индекс воcпроизводимости» («replicability-index»), который на основе статистической значимости и статистической мощности рассчитывает вероятность повторения экспериментов.
«R-индекс ниже 50 показывает, что статистически значимый результат был получен за счёт подгонки к особенностям выборки, хотя сложно рассчитать, насколько», — пишет Шиммак.
Он проанализировал исследования, упомянутые нобелевским лауреатом, и пришёл к неутешительным выводам:
«В главе процитированы 12 научных работ, и 11 из 12 статей имеют R-индекс меньше 50. <...>
Читателям его [Канемана] книги не стоит рассматривать представленные исследования как научное обоснование того, что едва уловимые сигналы окружающей среды могут оказывать сильное и неосознаваемое влияние на поведение».
В комментариях к статье появился сам Даниел Канеман — он ответил на критику и не стал ничего отрицать:
«Авторы блога совершенно правы в том, что я слишком полагался на исследования с низкой статистической мощностью. Авторы блога, как и Эндрю Гельман (Andrew Gelman) до них, отмечают, что в этом есть определённая доля иронии, ведь первая опубликованная нами с Амосом Тверским статья была посвящена вере в «закон малых чисел», благодаря которому исследователи склонны доверять результатам исследований с неоправданно маленькими выборками. Мы также цитировали работу Овералла (John E. Overall) (1969), который показал, что «широкое распространение исследований с недостаточной статистической мощностью не только неэффективно, но и вредно: оно приводит к тому, что значительная часть опубликованных работ отвергает нулевую гипотезу без достаточных на то оснований». Наша статья была написана в 1969 и опубликована в 1971, но я не смог усвоить её урок».
Авторы блога Retraction Watch связались с Канеманом, и учёный подтвердил, что комментарий в блоге действительно принадлежит ему.
«Этот довод неопровержим: исследования, которые не обладают достаточной мощностью для выявления вероятных эффектов, должны периодически давать статистически незначимые результаты даже в тех случаях, когда гипотеза верна — отсутствие таких результатов говорит о том, что в публикации допущена ошибка. Более того, публикационное смещение негативно сказывается на двух основных инструментах, которые психологи используют для подтверждения гипотезы: метаанализе и концептуальной репликации.
Очевидно, что экспериментальные подтверждения идей, о которых я писал в этой главе, были гораздо менее убедительными, чем мне казалось, когда я писал книгу. Это была ошибка: я знал достаточно, чтобы умерить свой пыл по отношению к удивительным и элегантным исследованиям, на которые ссылался, но не продумал этот момент», — написал нобелевский лауреат Шиммаку.
Однако и отрекаться от скомпрометированных работ учёный не стал:
«Мне до сих пор симпатичны все процитированные мной исследования, и я не «разуверился в них», как выразился Дэниел Гилберт (Daniel Gilbert). Я был бы рад, если бы каждое из них воспроизвели на большой выборке. Однако я усвоил, что авторы, которые делают обзор какой-то области знаний, должны остерегаться подкреплять свои заявления яркими результатами исследований со слабой доказательной базой».
