Неразумная обезьяна - [91]

Хуже того – в последнее время научное сообщество поразил тяжкий недуг, суть которого можно выразить известной максимой “публикуйся или умри”. Дело в том, что если ученый публикует мало положительных результатов, то его работу могут перестать финансировать – вознаграждение за количество в ущерб качеству грозит всем нам. По этой причине надо очень настороженно относиться к единичным исследованиям, особенно в области медицины и в других сферах, где более охотно рассматривают не механизмы, а корреляции. Статистически значимый результат еще не говорит о том, что он (результат) “реален”, и об этом надо всегда помнить.

Так получилось, что мы с Джоном Иоаннидисом занимались моделированием прессинга принципа “публикуйся или умри” и его влиянием на достоверность публикуемых научных данных. Итоги нашей работы нас нисколько не удивили. Мы показали, что господствующая в современной науке парадигма вознаграждает сомнительные результаты, оставляя в тени строго обоснованные исследования и тем самым лишь замораживая проблему. Наука держится на воспроизводимости; без нее результат не выдерживает критики. Соответственно, этот вопрос в последние годы стал обсуждаться более энергично.

Импульс обсуждению придали движения “Открытый доступ” и “Открытые данные”. Их организаторы призывают ученых представлять все результаты – и положительные, и отрицательные, – а также данные, использованные для обоснования выводов, чтобы к ним могли обратиться и другие исследователи.

Но существуют и другие мощные инструменты для сравнения нескольких исследований, в особенности если их результаты противоречат друг другу или разнятся технические средства их проведения. Одним из таких методов является метаанализ, который можно определить как исследование исследований, оценивающее их по качеству и облегчающее получение более ясной картины на основе всех доступных данных. Такой подход требует множества исследований, которые можно было бы сравнить и взвесить по их качеству и охвату, и именно поэтому результаты единичного исследования следует считать предварительными и подлежащими изменениям. Данные науки всегда являются временными и находятся в процессе непрерывного текучего изменения. Это не слабость, а жизненно важное коренное свойство, позволяющее исправлять ошибки; на этом стояла, стоит и будет стоять наука.

Итак, мы с вами уже рассмотрели несколько примеров того, как статистика и числа могут вводить нас в заблуждение и как логические ошибки могут сделать статистику абсолютно туманной и обманчивой. Голые цифры, лишенные контекста, способны произвести ложное впечатление, даже если сами по себе они точны, и могут потребоваться некоторая изощренность и умение задавать умные вопросы для того чтобы увидеть в этих числах тот месседж, который они на самом деле содержат. Статистика – мощный инструмент, но наша коллективная интерпретация статистических данных оставляет желать лучшего. Если мы действительно хотим получать пользу от статистики, нам следует не жалеть сил на то, чтобы улучшить наше понимание ее, а иначе мы неизбежно падем жертвой досадных заблуждений.

Злоупотребление статистикой может лить воду на мельницу любого демагога, позволяя ему извращенно интерпретировать факты и самоуверенно влезать в любой спор, прикрываясь мистифицирующим облаком мнимой числовой достоверности. Стоит хотя бы окинуть взглядом политическую арену, где политики громогласно и агрессивно жонглируют лишенными всякого контекста числовыми данными, высказывая набившие оскомину противоречивые соотношения и нисколько не заботясь о достоверности или обоснованной интерпретации этих чисел. Такой спектакль удручает, и мы вправе спросить: как можно этого избежать? На индивидуальном уровне есть только один выход: овладеть принципами правильного использования статистических данных и научиться распознавать злоупотребления статистикой. Наш же коллективный страх перед числами должен заставить нас опасаться возведения статистики в абсолют. У нас нет уверенности в нашей математической грамотности, и поэтому злоупотребления часто остаются незамеченными. Тем не менее основы, которые я изложил выше, вполне постижимы для каждого человека. Не надо быть экспертом, чтобы выявлять наиболее очевидные погрешности статистики, предъявляемой для общего пользования.

Существует также убедительное доказательство того, что статистику лучше понимают, когда ее представляют в реальных числах; такой подход называют сообщением естественной частоты. Например, если пациенту говорят, что при приеме данного лекарства побочные эффекты встречаются в 10 процентах случаев, то лучше прояснить контекст и добавить, что “в группе из 100 человек, получающих это лекарство, у десяти возникает определенный побочный эффект”. От такого представления статистических данных пользу получат даже профессионалы: шокирующе большое количество медиков неправильно вычисляет вероятность заболевания СПИДом (как мы видели в примере с теоремой Байеса), но это количество резко сокращается, когда ситуацию описывают в понятиях естественной частоты (как это представлено в виде ветвей дерева частот в главе 12). При таком представлении статистических данных врачи, их оценивающие, почти единодушно начинают получать верные результаты. Это обратно тому, что выходит, когда статистику представляют голыми числами без всяких комментариев.