Что такое наука, и как она работает - [90]

Так почему же Фишер выбрал значение P = 0,05? Было ли какое-то объективное основание для выбора этого числа? Была ли озабоченность осуществимостью того, сколько событий вы можете наблюдать или насколько большая разница будет значимой? Ответ — нет. Фишер предложил это значение, потому что считал его разумным, и другие статистики и ученые согласились. Со временем критерий P = 0,05 стал стандартом значимости в науке, глубоко укоренился и догматически закрепился в ткани научных исследований. В той мере, в какой это правило соблюдается, оно придает научным наблюдениям объективный характер, поскольку ученым, проводящим исследование, не нужно задумываться, что делает наблюдение «значимым». Ведь значение P = 0,05 было заранее определено как приемлемая мера степени ошибки.

Несмотря на объективный характер заранее определенного и строгого критерия для вывода, который принимается как статистически значимый (реальный) по сравнению с тем, который является незначительным (не принимается), значение P = 0,05, тем не менее, было получено в результате существенно субъективного процесса: Р. А. Фишер предложил его, а остальные согласились. Каковы практические последствия использования значения P = 0,05 в качестве критерия значимости? Короче говоря, это означает, что не более, чем в 5 % случаев мы будем наблюдать явление, когда на самом деле никакого явления нет, или, другими словами, до 1 из каждых 20 наблюдаемых различий между группами не будет «реальным» различием. Я говорю про ошибочное обнаружение причинной связи, которая в действительности не существует (как сказано ранее, ошибка типа I). Однако может возникнуть и обратная ошибка, когда реальная связь существует, но не обнаруживается в собранных данных (часто называемая ошибкой типа II). Существует ряд методов для вычисления вероятности совершения ошибки типа I или типа II с любым заданным набором данных; однако значение P = 0,05 остается «золотым стандартом» для ошибок типа I[204].

Одно из отличительных преимуществ наличия Р-значения 0,05 в качестве «привратника» для важного наблюдения состоит в том, что оно обеспечивает уровень очевидной объективности для научного наблюдения. Эта объективность возникает независимо от субъективного происхождения значения Р, равного 0,05, поскольку это общепринятый жесткий критерий, которому научное сообщество строго следует. Однако у этого есть и обратная сторона — тенденция к бинарному, черно-белому мышлению. Рассмотрим ситуацию, когда кто-то тестирует новое лекарство и группа пациентов, получающих это лекарство, чувствует себя лучше, чем группа, получающая плацебо (или одобренное в настоящее время лекарство). В этом конкретном примере значение Р для разницы составляет 0,06, что обычно описывается как «статистически незначимое». Для многих ученых и статистиков значение Р, равное 0,06, фактически указывает на отсутствие каких-либо различий между группами. Другими словами, никакой разницы не наблюдалось, и группы можно считать идентичными. Этот тип бинарного мышления значительно упрощает формулировку результатов исследований как «научных фактов» из категории «да» или «нет» и позволяет создавать сети убеждений, которые выглядят прочно стоящими на детерминированном фундаменте, без намека на сомнительную вероятность.

Важность принятого «жесткого ограничения» легитимности (значение Р = 0,05) действительно невозможно переоценить. Это исключает извечное человеческое стремление изменить цель задним числом и признать открытие как значимое (прискорбная и стойкая человеческая склонность)[205]. Однако в то же время кажется близоруким и невежественным игнорировать все выводы и не принимать во внимание их в своем мышлении лишь потому, что они верны только в 94 % случаев. Другими словами, рассматривать наблюдаемую разницу со значением Р, равным 0,06, как если бы она была такой же, как если бы в данных не было никакой разницы[206].

На практике при приближении к граничному значению Р = 0,05 возникают вполне реальные опасности. Что касается ошибок типа I, это означает, что до 1 из каждых 20 лекарств, которые мы даем пациентам, неэффективно. Другими словами, приблизительно 1 из каждых 20 лекарств, которые мы проверяем на эффективность, будет признано полезным, хотя на самом деле оно бесполезно. Таким образом, теоретически 5 % (1/20) лекарств, которые вы можете купить, могут вообще не принести пользы. Некоторые люди обвиняют крупные фармацевтические компании в циничном использовании этой проблемы, в том, что, обладая огромными ресурсами и влиянием, они тестируют 20 случайных лекарств для лечения определенной болезни, зная, что как минимум одно из них будет одобрено для клинического использования в силу случайных колебаний факторов, даже если оно бесполезно. Затем компания будет продавать это лекарство на потенциально крупном и прибыльном рынке и продолжать делать это до тех пор, пока не будет проведено новое исследование, которое ставит под сомнение первоначальный результат, — если такое исследование вообще когда-либо проведут. Это пример использования математического преимущества ошибок типа I.