Обман в науке - [93]

То есть, если общая частота события невелика, даже блестящий тест может стать, мягко говоря, неточным. Из двух людей с положительным результатом в этой группе населения один будет действительно ВИЧ-инфицирован, а другой — нет. Шанс на то, что вы действительно ВИЧ-положительны, 50:50.

Давайте свяжем это с насилием. Самый лучший прогностический тест для психиатрического насилия имеет чувствительность 0,75 и специфичность 0,75. Еще труднее быть точным, если мы имеем дело с человеческим сознанием и меняющейся человеческой жизнью. Допустим, что 5 % пациентов, осмотренных бригадой психиатров в данном сообществе, в течение года совершат насильственное действие. Используя тот же самый математический метод, что и в случае с ВИЧ-тестом, мы узнаем, что наш лучший прогностический инструмент будет ошибаться в 86 случаях из 100. Для серьезного насилия, частота которого составляет 1 % в год, наш тест с чувствительностью 0,75 неправильно укажет на потенциального насильника 97 раз из 100. Стоит ли превентивно изолировать 97 человек, чтобы предотвратить три случая насилия? И стоит ли применять это в отношении алкоголиков и прочих антисоциальных типов?

Для убийства, самого редкого преступления среди пациентов с психозом, происходящего с частотой 1:10 000 в год, уровень ложноположительных результатов будет настолько высок, что лучший прогностический тест будет совершенно бесполезен.

Это не крик отчаяния. Есть вещи, которые можно делать, и вы можете попытаться снизить число насильственных преступлений, хотя трудно сказать, сколько «убийств в неделю» представляют собой явный провал системы, потому что, когда вы оглядываетесь назад и смотрите в ретроспектроскоп, может показаться, что все, что происходит, недвусмысленно ведет к одному негативному событию. Я только привожу вам математические выкладки для редких событий. Что с этим делать, решайте сами.

Вас посадят

В 1999 году юрист Салли Кларк (Sally Clark) предстала перед судом по обвинению в убийстве двух своих детей. Большинство людей сейчас знают, что в обвинении была допущена статистическая ошибка, но немногие знают истинную историю, или феноменальную степень статистического невежества, которая была продемонстрирована в суде. На процессе профессор Рой Медоу (Roy Meadow), эксперт, специализирующийся на родительском насилии над детьми, давал свидетельские показания. Медоу заявил (эта цитата стала знаменитой), что шанс того, что два ребенка в одной семье могли умереть от синдрома внезапной младенческой смерти (СВМС), равен 1 к 73 миллионам.

Это было очень сомнительное свидетельство по двум причинам: одну понять легко, вторую сложно. Поскольку вам придется сконцентрироваться на двух следующих страницах, вы будете более осведомлены в этом вопросе, чем профессор Рой Медоу, судья на процессе Салли Кларк, ее адвокаты, судьи апелляционного суда и почти все журналисты, освещавшие процесс. Сначала займемся легкой причиной.

Экологическая ошибка

Цифра 1 на 73 миллиона сама по себе неточна, как все сейчас признают. Она была рассчитана как 8,543 × 8,543, то есть как если бы шансы двух смертей от СВМС в одной семье были совершенно независимы друг от друга. Это неверно с самого начала, и ясно почему: в двух смертях в одной семье могли сыграть роль общие факторы окружающей среды или генетические факторы. Но забудьте о том, как вы были довольны собой, потому что это поняли. Даже если мы допустим, что вероятность двух случаев СВМС в одной семье гораздо выше, чем 1:73 000 000, скажем, 1:10 000, все равно такая цифра может иметь двоякое значение, как мы увидим.

Прокурорская ошибка

Реальный вопрос в этом деле — а что нам делать с этой сомнительной цифрой? Многие газеты в то время писали, что 1: 73 000 000 — это шанс того, что смерти детей Салли Кларк были случайными, то есть шанс того, что она невиновна. Многие в суде разделяли эту точку зрения, и факты, конечно, засели в сознании. Но это пример неправильного рассуждения, известный как «прокурорская ошибка», который довольно хорошо задокументирован.

Два младенца в одной семье умерли. Это сам по себе очень редкий случай. Если это произошло, суд должен рассмотреть два возможных объяснения: двойная внезапная младенческая смерть или двойное убийство. В нормальных обстоятельствах — до того как умерли дети — можно считать, что двойная младенческая смерть чрезвычайно маловероятна, но так же маловероятно и двойное убийство. Но после того как это случилось, оба объяснения — двойная внезапная младенческая смерть и двойное убийство — становятся гораздо более вероятными. Если мы хотим привлечь статистику, следует выяснить, какое из этих событий более редкое. Люди попытались подсчитать относительный риск этих двух событий, и в одной газете говорится, что он составляет 2:1 в пользу СВМС.

Этот решающий нюанс был не только ошибкой прокурора в то время — он был ошибкой всего суда; он также был упущен в апелляционном суде, на котором тем не менее было решено, что вместо 1:73 000 000 Рой Медоу должен был сказать «очень редко». Они признали и ошибку в вычислениях, и экологическую ошибку, «легкую проблему», о которой мы уже говорили, но они все же остались на его точке зрения, что двойная внезапная младенческая смерть — это чрезвычайно редкое событие.