Думай медленно — предсказывай точно. Искусство и наука предвидеть опасность - [26]
>Хорошо откалиброванный, но трусливый (сверху);
>хорошо откалиброванный и смелый (снизу)
Математическая основа этой системы была разработана Гленом В. Брайером в 1950 году. Соответственно, ее результаты называются результатами Брайера. По сути, они показывают дистанцию между вашим прогнозом и тем, что на самом деле случилось. Поэтому тут как в гольфе: чем ниже результаты, тем лучше. Идеал — ноль. Прогноз от подстраховщика с вероятностью 50 на 50 или произвольное угадывание в целом даст результат Брайера 0,5. Прогноз, максимально неверный, — то есть такой, в котором утверждается, что событие произойдет с вероятностью 100 %, а оно не происходит, — получает катастрофический результат 2,0, настолько удаленный от Истины, насколько это вообще возможно[56].
Итак, мы прошли долгий путь. У нас есть вопросы для прогнозирования с четко сформулированными терминами и временны́ми рамками. У нас есть много предсказаний с числами и есть математическая основа для подсчета результатов. Мы устранили двусмысленность настолько, насколько это вообще в человеческих силах, и готовы полным ходом отправиться в эпоху Нового Просвещения, так?
Не вполне. Вспомните: основная суть наших занятий — определение возможности оценить точность предсказаний, чтобы понять, что в прогнозировании работает, а что нет. Чтобы сделать это, мы должны интерпретировать значение результатов Брайера, что требует еще двух параметров: эталона для сравнения и сопоставимости.
Давайте предположим, что у вас обнаружили результат Брайера 0,2. Это далеко от божественного всезнания (0), но намного лучше угадывания шимпанзе (0,5), так что такой результат соответствует уровню ожидания от, скажем, человеческого существа. Но этим дело не ограничивается. Значение результата Брайера зависит от того, на что именно составляется прогноз. Например, очень просто представить обстоятельства, при которых результат Брайера 0,2 будет выглядеть разочаровывающим. Например, возьмем погоду в Фениксе, штат Аризона. Каждый июнь там очень жарко и солнечно. Прогнозист, который будет следовать бездумному правилу «всегда ставь 100 % на жарко и солнечно», получит результат Брайера, близкий к нулю, и легко обставит результат 0,2. Настоящее мастерство покажет здесь только тот прогнозист, который способен на большее, нежели бездумно предсказывать «без изменений». Это момент всегда недооценивают. Например, после президентских выборов 2012 года Нейта Сильвера, а также Сэма Вонга из Принстона и других предсказателей превозносили за то, что они угадали итоги по всем пятидесяти штатам, но при этом почти никто не заметил, что самое грубое универсальное предсказание «без изменений» (если штат голосовал за демократов или республиканцев в 2008 году, он сделает то же самое в 2012-м) дало бы результат 48 из 50. Поэтому восторженные восклицания, слышные в то время: «Он угадал все 50 штатов!» — самую малость преувеличивали суть дела. К счастью, предсказатели выборов — профи, они знают, что улучшение прогнозов, как правило, происходит миллиметр за миллиметром.
Еще один эталон сравнения — другие прогнозисты. Кто может обставить всех остальных? Кто может побить совокупный прогноз? Как они умудряются это делать? Чтобы ответить на эти вопросы, требуется сравнить результаты Брайера — что, в свою очередь, требует равных условий. Прогноз погоды в Фениксе гораздо легче предсказания погоды в Спрингфилде, штат Миссури, где она постоянно меняется, так что несправедливо было бы сравнивать результаты Брайера метеорологов в Фениксе и в Спрингфилде. Результат Брайера 0,2 в Спрингфилде может быть знаком того, что перед нами — метеоролог мирового класса. Вывод простой, но несет в себе важную подоплеку: выкапывание старых прогнозов из газет редко предоставляет возможность сравнить, так сказать, яблоко с яблоком, потому что вне пределов турниров прогнозисты редко предсказывают одинаковые события в один и тот же временной период.
Сложите вместе все эти соображения — и мы готовы приступать. Как Арчи Кокрану и другим пионерам медицины, основанной на свидетельствах, нам нужно проводить аккуратно организованные эксперименты. Собрать прогнозистов. Задать им, избегая двусмысленностей, большое количество вопросов с конкретными временными рамками. Потребовать от прогнозистов, чтобы они использовали выраженные в числах степени вероятности. И подождать какое-то время. Если исследователи сделали свою работу, результаты будут четкими. Информацию можно проанализировать и получить ответы на ключевые вопросы («Насколько хороши прогнозисты?», «Кто из них лучший?», «Что их отличает?»).
Этим я и начал заниматься в середине 1980-х, но сразу натолкнулся на сложности. Несмотря на то, что я практически умолял лучших специалистов принять участие в исследовании, никто из них не согласился. И тем не менее я умудрился завербовать 284 серьезных профессионала, дипломированных эксперта, зарабатывающих на жизнь анализом политических и экономических тенденций и событий. Некоторые из них были из академической среды — университетов или НИИ. Другие работали в разных департаментах правительства США, в международных организациях вроде Всемирного банка или Международного валютного фонда или в СМИ. Кое-кто из них даже был довольно знаменит, другие хорошо известны в профессиональных сообществах, некоторые только начинали карьеру и пока ничем не прославились. И все равно следовало гарантировать им анонимность, потому что даже те эксперты, которым далеко было до уровня элиты вроде Тома Фридмана, не хотели рисковать своими репутациями ради нулевой профессиональной отдачи. Анонимность также гарантировала, что участники не будут испытывать давления или бояться попасть впросак, а значит, сделают лучшие предположения. Эффекты публичности могли подождать до следующего исследования.
