Защита от темных искусств. Путеводитель по миру паранормальных явлений - [89]
Еще Молтон и его коллега попробовали обнаружить парапсихологические эффекты с помощью томографа[565]. Они набрали шестнадцать пар добровольцев: идентичных близнецов, влюбленных, друзей, родителей с детьми. Один человек из пары, находясь в томографе, должен был предугадать, какую из двух картинок ему покажут. В каждом тесте одна из потенциальных картинок была эротической либо неприятной, а вторая – нейтральной. Второй человек из пары знал правильный ответ и пытался телепатически его передать. Впрочем, справиться с заданием можно было не только с помощью телепатии. Предвидение будущего или дистанционное зрение (умение увидеть, что происходит в другой комнате) помогли бы не хуже. Так исследователи пытались максимально повысить вероятность успеха.
Испытуемые угадывали картинки с вероятностью 50 %. Исследователям не удалось обнаружить разницы в активности мозга добровольцев при правильных и неправильных ответах. В итоге Молтон окончательно разочаровался в парапсихологии. “Зато томограмма мозга моей матери была опубликована на обложке научного журнала”, – шутил ученый.
Молтон отмечал, что его собственные данные не просто не подтверждали того, что предвидение существует, а достоверно отличались от результатов Бема – и этому должно быть объяснение.
Существует способ проверить, не утаена ли часть данных[566]. Известно, что ученые склонны публиковать успешные результаты исследований независимо от размера использованной выборки. Избавиться от масштабных исследований с отрицательными результатами сложно. Отбрасывают преимущественно неудачные исследования с маленькими выборками. И тогда возникает особенность, которой не должно быть при честном изложении всех результатов: исследования с большой выборкой в среднем показывают меньший эффект, чем исследования с малой выборкой. Именно это Молтон обнаружил в экспериментах Бема. Похожую проблему нашли и другие исследователи[567]. И это не было похоже на случайность.
Есть и другие ситуации, когда наблюдается такая особенность. Предположим, что мы заранее не обозначили, сколько испытуемых будет в эксперименте. Протестировав человек двадцать и не добившись нужного результата, мы привлечем еще двадцать испытуемых, а затем еще и еще – до тех пор, пока не получим нужный результат (p < 0,05). Последствия такого подхода будут те же: чем больше выборка, тем слабее эффект. Результаты Бема в отдельных экспериментах были подозрительно близки к формальному статистическому порогу (p < 0,05), что согласуется с этой версией.
Третий способ всех обмануть – не формулировать четкой гипотезы, предсказывающей, в какую сторону должен проявляться эффект. Какие-то картинки “из будущего” испытуемые предугадывали, а какие-то – нет. Случаи второго типа Бем объяснял так: люди уже видели изображения в будущем, поэтому привыкли к ним и не считают интересными или яркими. Отклонения в обе стороны засчитывались за подтверждение феномена. Вместо того чтобы вычитать разнонаправленные ошибки измерений, он их складывал! А поскольку в маленьких выборках ошибки больше, то и измеренный эффект возрастает. Большинство экспериментов Бема отличаются постановкой, поэтому прямого противоречия не возникает: другие условия – другой результат. Так и хочется спросить: почему же ученый провел столько разных экспериментов, вместо того чтобы повторить один много раз? Ведь любой из описанных Бемом эффектов, будь он подтвержден, тянет по значимости на Нобелевскую премию.
Подчеркну, что перечисленные претензии можно предъявить не только к работе Бема, но и к исследованиям многих других ученых из самых разных областей. Приемы, использующиеся в подобных исследованиях, способствуют получению ложноположительных результатов. Ситуация осложняется еще и тем, что деятельность ученых часто оценивают по числу публикаций – вот почему многие цепляются даже за ненадежные эффекты. Кстати, ошибочная работа, которую многие опровергают, еще и цитируется часто. Поэтому опубликованная ерунда, к сожалению, не всегда вредит академической карьере.
В 2012 году психолог Арина Боунс написала сатирическую статью, где отметила, что в психологии более 97 % публикаций содержат положительные результаты[568]. Разве это не прямое доказательство того, что ученые предвидят исходы своих экспериментов еще лучше, чем испытуемые в исследованиях Бема! “Это делает последующую эмпирическую проверку излишней. Сделал предсказание – и нет никаких логических обоснований тратить ресурсы на реальный сбор данных и их анализ”, – шутит Боунс.
Излишнее стремление исследователей к положительным результатам – действительно очень большая проблема, особенно когда не исключена игра в “техасского стрелка”. Группа статистиков продемонстрировала, что, скрывая часть данных, постепенно увеличивая размер выборки и подгоняя гипотезу под получающиеся результаты, можно доказать все что угодно[569].
В ходе эксперимента ученые оценили возраст двадцати студентов с помощью статистической модели, учитывающей отцовский возраст. Возраст испытуемых после “вмешательства” – прослушивания одной из двух песен – определялся по паспортным данным. Статистический анализ показал, что после прослушивания композиции
