Думай медленно — предсказывай точно. Искусство и наука предвидеть опасность - [25]
Но давайте представим себе, что в Греции не произошло вообще никакого дефолта. Смогли бы мы сказать, что Фергюсон был не прав? Нет. Он ведь только сказал, что дефолт «может» произойти, а «может» — пустое слово. Оно говорит только о возможности чего-то, без уточнения степени ее вероятности. «Может» произойти практически все что угодно. Я могу с уверенностью предсказать, что на Землю завтра могут напасть инопланетяне. А если не нападут? Это не будет означать, что я не прав. Каждое «может» снабжено сноской, в которой мелким шрифтом приписано «или не может». Однако интервьюер не заметил мелкий шрифт в прогнозе Фергюсона и не попросил его уточнить, что именно он имел в виду[55].
При серьезном отношении к оценкам и улучшениям такие прогнозы никуда не годятся. В прогнозах нужно указывать четко определенные термины и временны́е рамки. Они должны использовать числа. И еще один необходимый момент: прогнозов должно быть много.
Мы не можем заново проиграть историю, поэтому не можем оценить одно вероятностное предсказание; ситуация меняется, когда мы располагаем множеством вероятностных прогнозов. Если метеоролог говорит, что завтра пойдет дождь с вероятностью 70 %, этот прогноз оценить невозможно. Но если он предсказывает погоду на завтра, послезавтра, послепослезавтра — и так в течение месяцев, — все прогнозы можно свести в таблицу и определить кривую показателей. Если прогнозирование идеально, дождь будет идти в 70 % случаев, когда предсказывается вероятность 70 %, что он пойдет; в 30 % случаев, когда объявляется вероятность 30 %, и т. д. Это называется калибровка. Она может быть изображена в виде простого графика. Идеальную калибровку выражает диагональная линия на графике.
>Идеальная калибровка
Если кривая метеоролога сильно выходит вверх за эту линию, значит, у него недостаток уверенности: то, что она предсказывает с 20 %-ной уверенностью, происходит в 50 % случаев (см. следующую страницу). Если кривая сильно опускается за линию вниз, значит, у метеоролога переизбыток уверенности: то, что он предсказывает с 80 %-ной уверенностью, происходит в 50 % случаев.
>Два вида нарушения калибровки: недостаток уверенности (над линией) и переизбыток уверенности (под линией)
Этот метод хорошо подходит для прогнозов погоды, потому что погода каждый день новая, и прогнозы быстро накапливаются. Для таких событий, как президентские выборы, он не годится — ведь должны пройти века, причем не потревоженные войнами, эпидемиями и прочими чрезвычайными происшествиями, которые нарушают чистоту глубинных причин, чтобы сформировалась какая-то статистика. Тут поможет творческий подход. Например, можно сосредоточиться на результатах конкретного штата в президентских выборах — и тогда получим за выборы не один, а 50 прогнозов.
И все равно остается проблема. Из-за того, что для калибровки требуется много прогнозов, оценивать те, которые касаются редких событий, непрактично. И даже когда речь идет о повседневности, мы должны быть терпеливыми сборщиками информации — и осторожными ее интерпретаторами.
Как бы ни была важна калибровка, дело не только в ней, потому что, говоря об идеальной точности прогноза, мы представляем себе не «идеальную калибровку». Идеальность — это божественное всезнание, когда после слов «это случится» что-то случается, а после слов «это не случится» — не случается. Технический термин для такого всезнания — «разрешение».
Два графика на странице 84 показывают, как калибровка и разрешение запечатлевают разные аспекты хорошего прогнозирования. График сверху представляет идеальную калибровку, но плохое разрешение. Калибровка здесь идеальна, потому что, когда прогнозист говорит, что что-то случится с вероятностью 40 %, это происходит в 40 % случаев, а когда говорит, что вероятность 60 %, — это действительно происходит в 60 % случаев. Но разрешение при этом плохое, потому что прогнозист никогда не выходит за теневые рамки зоны «возможно», между 40 и 60 %. График внизу представляет великолепные калибровку и разрешение. Калибровка вновь идеальна, потому что события происходят с прогнозируемой частотой: предсказанное с вероятностью 40 % происходит в 40 % случаев. Но на этот раз прогнозист гораздо более решителен и точно распределяет высокие вероятности событиям, которые происходят, и низкие вероятности событиям, которые не происходят.
Комбинируя калибровку и разрешение, мы получаем систему оценки, которая полностью выражает наше ощущение от того, что должен делать хороший прогнозист. Если кто-то говорит, что событие Х произойдет с вероятностью 70 %, и событие происходит — это достаточно неплохой прогноз. Но если кто-то предсказал Х с вероятностью 90 % — его прогноз лучше. А прогнозист, достаточно смелый, чтобы предсказать Х с уверенностью 100 %, получает наивысшую оценку. Однако самоуверенность наказуема. Если кто-то говорит, что Х — верный случай, то он должен понести убытки, если Х не случится. Вопрос о том, насколько велики эти убытки, дискуссионен, но наиболее верно думать о нем в терминах тотализатора. Если я говорю, что «Янкиз» побьют «Доджерс» с вероятностью 80 % и готов на это поставить, я предлагаю вам ставку 4 к 1. Если вы принимаете и ставите со своей стороны 100 долларов, вы заплатите мне 100 долларов, если «Янкиз» выиграют, а я заплачу вам 400 долларов, если они проиграют. Но если я скажу, что вероятность победы «Янкиз» 90 %, я подниму ставку до 9 к 1. Если, по моему мнению, вероятность победы 95 %, ставка поднимается до 19 к 1. Это экстремальное значение. Если вы согласитесь поставить 100 долларов, я заплачу вам 1900 в случае, если «Янкиз» проиграют. Оценочная система в прогнозировании должна использовать подобное наказание.
