Неразумная обезьяна - [88]

Есть еще одна неопределенность, о которой я до сих пор избегал говорить, а именно – сложный вопрос о статистической значимости. Мы часто встречаемся с заголовками, которые, например, сообщают, будто нечто, считавшееся ранее безвредным, имеет статистически значимую связь с раком, или с утверждениями, будто определенная диета может снизить риск заболевания деменцией в статистически значимой степени. Но что это значит? “Значимость” – это, вероятно, одно из наиболее трудно понимаемых слов в науке, причем его часто не понимают и сами ученые. Представьте себе, что мы создали новое чудо-лекарство, которое, как мы полагаем, избавит от страданий больных мигренью. Наша гипотеза заключается в том, что это лекарство (назовем его агентом Х) снижает частоту приступов мигрени. С другой стороны, у нас есть и нулевая гипотеза, согласно которой нет никакой связи между приемом лекарства X и частотой приступов мигрени. Мы ставим эксперимент, разделив наших испытуемых на две группы. Одна группа получает лекарство, а вторая группа – плацебо. После завершения эксперимента нам надо ответить на два главных вопроса: действительно ли соединение X обладает эффектом, и можем ли мы отвергнуть нулевую гипотезу?

Для того чтобы ответить на эти вопросы, необходимо прибегнуть к статистике. Все мы невероятно разные – в обоих плечах исследования будут находиться люди, которые абсолютно по-разному реагируют на принимаемые ими вещества. В совершенном мире наша экспериментальная группа идеально бы представляла реальность, но поскольку мир несовершенен, а число испытуемых ограничено, рассчитывать на это мы не можем. Исключения в какой-либо одной или в обеих группах способны исказить средние значения, вводя в заблуждение экспериментаторов. Оба плеча могут отличаться друг от друга случайным образом, поэтому для того чтобы определить, является ли разница достоверной, нам надо применить статистические инструменты. Если применить эти инструменты адекватно, то они дадут нам превосходный результат, который позволит отличить полезный сигнал от шума и определить, существует ли на самом деле разница между группами. Результат можно считать статистически значимым, если мала вероятность того, что он возник случайно, – то есть скорее всего результат вполне реален. Важно понимать, что в данном случае статистическая значимость подразумевает, что лекарство производит какой-то эффект; это, правда, не обязательно гарантирует, что – как может на первый взгляд показаться непосвященному – эффект этот является существенным.

Но если ученые следуют таким строгим протоколам, то почему столь многие связи и тренды на деле оказываются неоднозначными или просто неверными? Очень часто вина лежит на ученых и врачах, которые не понимают сути обсужденных нами выше ошибок. В то время как авторитетные научные работы проходят фильтр тщательного рецензирования специалистами, статистически сомнительные утверждения могут проскакивать в остающиеся бреши и щели. Самым наглядным примером является здесь натуропатия, отрасль альтернативной медицины. Взяв на вооружение все что можно из других областей альтернативной медицины – от рефлексологии и гомеопатии до краниосакральной терапии, – натуропатия основывает свое учение на витализме, то есть на идее о том, что за здоровье и болезни отвечает некая эфирная жизненная сила. Эти идеи были давным-давно опровергнуты эмпирическими данными, и нет никаких надежных доказательств того, что натуропатическое лечение является хотя бы в какой-то мере эффективным. Но даже теперь, в научную эру, натуропатия, как это ни удивительно, остается весьма популярной. Отчасти причина заключается в том, что натуропатия ссылается на природу и на ошибочное представление широкой публики, будто ничто природное, ничто натуральное не может иметь побочных эффектов[58]. Предлагая простые формулы оздоровления и легкие ответы на трудные вопросы, натуропатия недооценивает как сложность медицины, так и сложность строения наших организмов.

Но любопытно тут другое: натуропаты настаивают, будто существуют научные доказательства того, что их методы лечения производят статистически значимый эффект на исход заболеваний. Однако если методы натуропатического лечения невозможно объяснить никакими правдоподобными механизмами и клиническими эффектами, то как могут сосуществовать эти взаимоисключающие друг друга утверждения? Ответ можно найти в тонкой природе понятия статистической значимости. Статистический подход проясняет результаты только в том случае, если исходные данные были хорошего качества, а анализ данных соответствовал ситуации и контексту. При безалаберном же применении результаты становятся бессмысленными. Все весьма немногочисленные исследования с положительным статистическим результатом, столь дорогим сердцу натуропатов, были плохого качества и проводились на небольших группах испытуемых. Это важно, так как в малых группах единственное значительное отклонение может исказить результаты анализа, поэтому чем меньше группа, тем менее надежными надо считать выводы. Примечательно, что преимущества натуропатии рассеиваются, когда исследуются большие группы испытуемых и когда улучшается качество статистического анализа – как, собственно, и следовало ожидать. В таких ситуациях выясняется, что широко разрекламированная статистическая значимость эффекта совершенно иллюзорна.