Что такое наука, и как она работает - [91]

С менее циничной точки зрения, если кто-то 20 раз проведет эксперимент, в котором нет реальной разницы между группами, то с вероятностью P < 0,05 в одной итерации эксперимента он обнаружит несуществующий эффект. Если отдельный ученый (или лаборатория) затем опубликует эту одну итерацию эксперимента и проигнорирует другие 19, это будет, по сути, недопустимым научным мошенничеством. Однако если 20 лабораторий проводят одно и то же общее исследование (без ведома друг друга), одна лаборатория, в силу стечения обстоятельств обнаружившая значительную разницу, наверняка опубликует свои результаты, а другие лаборатории — нет, поскольку им нечем похвастаться. Поскольку читатели научной литературы будут иметь доступ только к описанию эксперимента, в котором «значительный» эффект был обнаружен, это создаст видимость существенного прогресса в генерации знаний, хотя на самом деле это будет просто случайность[207]. Это может произойти из-за социального явления, которое называется «предвзятостью публикации» или «предвзятостью отчетности». Практикующим ученым хорошо известно, что журналы склонны отдавать предпочтение положительным результатам, а не отрицательным. Поэтому ученые, как правило, не сообщают о неудачных экспериментах, и даже если они это делают, журналы, как правило, не публикуют такие материалы. Таким образом, хотя значение P = 0,05 очень полезно и защищает от серьезных проблем, присущих нормальному человеческому наблюдению, безусловно, оно также может вызвать проблемы.

Предвзятость публикаций и отчетности также может привести к тому, что я называю «уменьшением систематической ошибки повторения». Если первоначальный эксперимент показал разницу между группами со значением P менее 0,05, обычно его повторяют еще несколько раз, чтобы увидеть, была ли разница лишь случайностью с вероятностью 1/20 или она постоянна и воспроизводима с течением времени. Это просто хорошая научная практика. Однако если в первоначальном эксперименте не удается обнаружить существенной разницы, то, как правило, ученые стараются не тратить ресурсы на повторение эксперимента, чтобы исключить, что реальная разница была упущена случайно. Такое поведение мотивировано (отчасти) затруднениями с публикацией отрицательных результатов, но также, вероятно, общей психологической предвзятостью человека — его склонностью придавать особое значение только очевидным положительным результатам. В любом случае, некоторые важные причинные связи в результате теряются из виду, потому что, когда они случайно упущены, второй раз их не ищут.

Существуют различные реальные ситуации, в которых строгое использование учеными P-значений нанесло реальный ущерб. Одним из примеров может служить разработка лечебных протоколов диализа почек. Многие ретроспективные данные свидетельствуют о том, что увеличение продолжительности диализа привело к увеличению продолжительности жизни пациентов с больными почками. Рандомизированное клиническое испытание для сравнения более длительных и более коротких процедур диализа показало разницу, как и предполагалось, но со значением P = 0,06. Как я говорил ранее, с формальной точки зрения такой результат не считается достоверно обнаруженным, поскольку с вероятностью 1/16 мог возникнуть случайно; поэтому экспериментаторы сделали вывод об «отсутствии разницы». Они действительно заметили разницу в своих данных, то есть одно значение отличалось от другого, но данные не соответствовали пороговому значению 0,05.

Исходя из этого «отсутствия разницы» между более длительными и более короткими схемами диализа, рекомендации по лечению пациентов изменили в сторону сокращения длительности диализа. В целом принятое решение можно сформулировать следующим образом. Данные показывают, что более длительное лечение диализом увеличивает пользу для пациентов; однако вероятность того, что это ошибочный вывод, составляет 6 %, и поскольку мы уверены в наличии пользы только на 94 %, этого недостаточно, чтобы оправдать более длительное лечение. После внесения этого изменения в лечебный регламент смертность пациентов повысилась. Оглядываясь назад, было признано, что это решение оказалось неверным и, вероятно, стоило здоровья и жизни большому количеству людей. Что стоило этим людям жизни, так это слепое и бездумное следование критерию P = 0,05, без учета более тонкого контекста и соотношения риск/польза от применения такого стандарта[208].

Для сохранения объективности научных исследований нужно иметь некоторое пороговое значение ошибки, чтобы уверенно сделать вывод, что наблюдаемая связь является «реальной», а не случайной, но имеет значение уровень, на котором мы проводим черту. Конечно, все мы хотели бы иметь самый низкий уровень ошибок в наших наблюдениях, так почему бы не установить значение Р = 0,01 или даже 0,0001? К сожалению, проведение экспериментов требует ресурсов, а иногда и огромных ресурсов. Как видно из табл. 9.1, при определенном значении масштаба (и, следовательно, стоимости) исследование достигает точки уменьшения отдачи от увеличения статистической мощности. Проведение клинических испытаний лекарств может стоить миллионы долларов, не говоря уже о том, что они оказывают очень заметное (и не всегда благотворное) влияние на жизнь участников. Таким образом, необходимость установить приемлемый для всех уровень допустимой ошибки является обоснованной, хотя и достойной сожаления реальностью. При этом есть некоторые ситуации, когда корректировка приемлемых статистических уровней погрешности действительно необходима.