Думай медленно — предсказывай точно. Искусство и наука предвидеть опасность - [34]
В 2008 году Дирекция национальной разведки, которая находится на верхушке всей системы шестнадцати разведывательных агентств, попросила Государственный совет по исследованиям создать комиссию. Задачей комиссии стало объединение исследований по хорошему прогнозированию и помощь РС в их применении. По стандартам Вашингтона это было дерзкое (или поспешное) решение. Далеко не каждый день бюрократия платит одному из самых уважаемых научных институтов в мире, чтобы тот провел объективное исследование, результаты которого могли бы доказать беспомощность этой самой бюрократии.
В работе комиссии принимали участие заслуженные ученые разных областей знаний, а председателем был назначен психолог Барух Фишхофф. Я тоже был в числе участников — возможно, из-за шумихи, которую поднял, когда в вышедшей в 2005 году книге «Экспертное политическое суждение» бросил вызов: «Можете ли вы побить играющую в дартс шимпанзе?» Спустя два года мы выдали заключение, которое было на 100 % в духе Арчи Кокрана: не верьте, пока не протестируете. «РС не должно опираться на аналитические методы, которые нарушают задокументированные поведенческие принципы или не имеют никаких доказательств эффективности, помимо интуитивной привлекательности», — отмечалось в нашем заключении. РС рекомендовалось «тщательно проверять текущие и предложенные методы в условиях, как можно более близких к реальности. Подобный подход к анализу, базирующийся на доказательствах, будет стимулировать дальнейшее обучение, необходимое для того, чтобы РС обходило противников государства в проницательности и динамичности»[69].
Это совсем простая идея, но, как происходило в медицине в течение тысячелетий, ею стандартно пренебрегают. Например, ЦРУ дает своим аналитикам инструкцию, написанную Ричардсом Хейером, бывшим аналитиком, которая содержит в себе полезные психологические подсказки, включая предубеждения, которые могут помешать мышлению аналитика. Это тонкая работа. И в этом есть смысл: базовое знакомство с психологией может помочь аналитикам избегать когнитивных ловушек и таким образом выдавать лучшие суждения. Но так ли все на самом деле? Никто не знает. Это никогда не проверялось. Некоторые аналитики думают, что подобная подготовка имеет такую инстинктивную привлекательность, что ее не нужно подвергать проверке. Звучит знакомо, правда?
Даже на вопрос на 50 миллиардов долларов — «Насколько точны прогнозы разведывательных аналитиков?» — нет ответа. Конечно, некоторые думают, что они знают. Высокопоставленные чиновники могут утверждать, что РС не ошибается в 80 или 90 % случаев, но это только предположения. Как врачи XIX века, которые были уверены, что их лекарства излечивают пациентов в 80–90 % случаев, они могут быть правы, или почти правы, или совсем не правы. В отсутствие мерок для подсчета точности не существует ни одного осмысленного способа призвать разведывательных аналитиков к ответственности за точность. Заметьте слово «осмысленного» в последнем предложении. Потому что, когда директора национальной разведки тащат распекать в Конгресс — это тоже ответственность за точность. Пусть к ответу в данном случае призывают люди плохо проинформированные и своевольные, пусть процедура не служит никакой иной цели, кроме как политической игре на зрителя, но это ответственность. По контрасту, для того чтобы осмысленно призвать к ответственности, требуется не просто расстроиться, когда что-то пошло не так. Требуется систематическая оценка точности — по всем вышеизложенным причинам. Но прогнозы разведывательного сообщества никогда не подвергались систематической оценке. Вместо этого существует ответственность за процесс: разведывательным аналитикам говорят, что они должны делать, когда проводят исследования, думают и оценивают ситуацию, и они несут ответственность за соответствие этим стандартам. Рассматривали ли вы альтернативные гипотезы? Искали ли вы контрдоказательства? Это все разумно, но суть прогнозирования не в том, чтобы проставить галочки во всех пунктах списка «как делать прогноз», а в том, чтобы предвидеть будущее. Ответственность за процесс, а не за результат — это как если бы от врачей требовали, чтобы они мыли руки, осматривали пациента и думали обо всех симптомах, но не проверяли при этом, как работает назначенное ими лечение.
Разведывательное сообщество не одиноко в таком подходе к работе. Количество организаций, которые производят или покупают прогнозы, не заботясь о том, чтобы проверить их на точность, просто ошеломляет. Но благодаря шоку от катастрофы, которая случилась с предсказанием ОМП в Ираке, а также тычку со стороны комиссии Государственного совета по исследованиям и усилиям некоторых преданных своему делу чиновников, РС решило что-нибудь по этому поводу предпринять. А именно IARPA решило. Агентство передовых исследований в области разведки очень мало кому известно за пределами разведывательного сообщества. И это неудивительно. В этом агентстве нет шпионов и приключений, нет там и аналитиков, которые интерпретируют информацию. Его работа — организовывать и поддерживать исследования с высоким риском, но и высокой отдачей, которые повысили бы возможности РС. В этом
