Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет - [4]

Управляемые данными предсказания способны обеспечить нам успех – или привести к неудаче. Шансы на неудачу возрастают, когда мы отрицаем собственную роль в процессе. Перед тем как потребовать большего от данных, мы должны потребовать больше от себя.

Если вы знаете мою предысторию, то такая точка зрения может показаться вам довольно странной. Многие слышали о том, что я умею работать с данными и статистически их обрабатывать. Я использую имеющуюся информацию для создания довольно успешных прогнозов. В 2003 г., когда мне уже порядком надоело консультировать клиентов, я занялся созданием системы, получившей название PECOTA, цель которой состояла в предсказании результатов игроков Главной бейсбольной Лиги. Она имела целый ряд инноваций (например, ее прогнозы носили вероятностный характер, и в них указывался диапазон возможных исходов для каждого игрока). Сравнив наши результаты с соответствующими результатами конкурирующих систем, мы обнаружили, что смогли их переиграть. В 2008 г. я создал веб-сайт FiveThirtyEight, призванный предсказать результаты надвигавшихся выборов. Прогнозы FiveThirtyEight правильно назвали победителя президентского голосования в 49 из 50 штатов, а также победителей голосования в 35 штатах по итогам выборов в Сенат.

После выборов со мной связалось несколько издателей, желавших заработать на издании пользовавшихся успехом книг типа «Moneyball» и «Фрикономика»[3] (в которых были приведены истории «ботаников», завоевавших мир). Они хотели, чтобы и в моей книге рассказывалось бы о чем-то подобном, то есть о предсказаниях, основанных на данных в различных областях, начиная от бейсбола и заканчивая финансами и национальной безопасностью.

Однако, пообщавшись в течение четырех лет более чем с сотней экспертов в десятке областей, прочитав сотни журнальных статей и книг и пропутешествовав в ходе своего расследования от Лас-Вегаса до Копенгагена, я постепенно понял, что предсказания в условиях эры Больших данных оказываются не особенно успешными. Мне же повезло сразу на нескольких уровнях: во-первых, из-за того, что я достиг успеха, несмотря на огромное количество сделанных ошибок (о которых я поговорю позднее), и, во-вторых, из-за того, что я правильно выбирал свои битвы.

Бейсбол, например, – уникальный, исключительный случай. Можно сказать, что это особенно яркое и открывающее нам глаза исключение, и в книге объясняется, почему это так и почему через десяток лет после выхода «Moneyball» фанаты статистики и скауты сотрудничают между собой в условиях, близких к полной гармонии.

В книге приведены и некоторые другие примеры, вселяющие в нас надежду. Один из них – прогнозирование погоды, требующее и человеческих суждений, и компьютерных мощностей. Метеорологи имеют довольно плохую репутацию, однако им удалось достичь заметного прогресса в работе: они способны предсказать место появления центра урагана в три раза точнее, чем четверть века назад. Кроме этого, мне довелось встречаться с игроками в покер и людьми, делавшими ставки на спортивные события и переигрывавшими Лас-Вегас. Встречался я и с программистами, создавшими для компании IBM компьютер Deep Blue, который смог обыграть чемпиона мира по шахматам.

Однако все эти примеры прогресса в области прогнозирования с лихвой уравновешиваются массой примеров неудач.

Если бы мне нужно было назвать единственную определяющую черту американцев – то, что делает нас исключительными, – я бы назвал веру в идею Кассия, в то, что мы сами контролируем собственную судьбу. Наша страна была создана на заре промышленной революции религиозными бунтарями, считавшими, что свободный поток идей помогает распространять не только религиозные, но и научные и коммерческие убеждения. Значительная доля наших сильных и слабых черт – нашей изобретательности и нашего трудолюбия, нашего высокомерия и нашего нетерпения – проистекает из непоколебимой веры в идею о том, что мы сами выбираем собственный путь.

Однако новое тысячелетие началось для американцев отвратительно. Мы не ожидали атак 11 сентября. Основная проблема заключалась в нежелании увидеть информацию. Как и в случае с нападением на Перл-Харбор шестью десятилетиями ранее, у нас имелись все сигналы. Однако мы не сопоставили одни сигналы с другими. При отсутствии достойной теории о поведении террористов мы оказались слепы к данным, а атаки оказались для нас «неизвестным неизвестным».

Немало неудачных предсказаний было связано и с недавним глобальным финансовым кризисом. Наша наивная вера в модели и неспособность понять, насколько сильно они полагаются на довольно хрупкие предположения, уже привела к разрушительным результатам. Кроме этого, я обнаружил, что даже в более рутинных условиях мы неспособны спрогнозировать рецессии более чем за несколько месяцев – и совсем не потому, что не стараемся этого сделать.

Несмотря на значительный прогресс в контроле уровня инфляции, можно сказать, что во всех остальных важных вопросах творцы нашей экономической политики действуют вслепую.

Модели прогнозирования, опубликованные политологами в преддверии президентских выборов 2000 г., предсказали убедительную победу Ала Гора, причем с большим перевесом