Формула - [24]
Если результативность ограничена, значит ли это, что все винодельческие конкурсы несовершенны? Данные Ходжсона указывают именно на это[45]. Повторив эксперимент четыре раза на протяжении четырех лет, он пришел к поразительному выводу, что любой судья последователен в оценке одного и того же вина лишь в 18 процентах случаев. Когда Ходжсон наблюдал последовательность в оценке конкретного вина, оно почти всегда получало низкую оценку — иными словами, если судье изначально не понравилась конкретная бутылка шардоне, она не нравилась ему и при второй и третьей дегустации. Мы умеем распознавать дерьмо. Но с лучшими винами судьи колебались в 82 процентах случаев. Один и тот же судья порой то присуждал вину золотую медаль, то вообще не упоминал его в своих заметках, хотя вино при этом не менялось.
Полученные результаты озаботили и поразили Ходжсона. Он не собирался компрометировать сообщество, в котором занимался любимым делом. Он лишь хотел понять и улучшить систему, а потому принялся анализировать свои данные с другого ракурса, надеясь отличить хороших судей от плохих. Может, были «идеальные судьи», которые неизменно определяли золотых медалистов, даже если их коллеги испытывали затруднения? Вернувшись к данным, Ходжсон изучил их, чтобы найти надежных судей. И он нашел их: каждый год около 10 процентов судей были последовательны в своих оценках. Если при первой дегустации они признавали вино достойным золотой медали, при второй и третьей дегустации они также присуждали ему первенство. Если им не нравилось вино, они отвергали его снова и снова. Такие результаты окрыляли! Год за годом выявляя этих надежных судей и привлекая их в жюри все новых конкурсов, Ходжсон мог превратить оценку вин в довольно точную науку. Но затем он провел последнюю проверку и сравнил результативность «идеальных судей» в разные годы. Новости были неутешительными. Он не обнаружил соответствия между прошлыми заслугами судей и их текущей надежностью. Судья мог быть исключительно последовательным в один год, но совершенно ненадежным на следующий. Очевидно, не существовало конкретного набора навыков, которыми можно было овладеть. Не было ни одного выдающегося судьи, на оценки которого можно было полагаться год за годом.
«Я не хочу опускать руки и признавать, что все происходит по воле случая, ведь я считаю, что это не так, — сказал Ходжсон. — Но результаты говорят именно об этом». Некоторое время Ходжсон и сам был судьей, а потому, возможно, не захотел признавать очевидное, но я сделаю это за него: данные не оставляют сомнений. Распределение золотых медалей в виноделии основано на лженауке. Я не хочу сказать, что вина-победители плохи. Как раз наоборот — они превосходны. Именно поэтому победа на винодельческом конкурсе определяется волей случая.
Несколько лет назад мне выпал шанс послушать выступление Лан Лана в симфоническом зале. Лан Лан невероятно талантлив и, как считается, входит в число лучших пианистов мира. Я никогда прежде не видел, как он играет, и во время концерта вдруг понял, что мне сложно сконцентрироваться на музыке. Я не мог оторвать глаз от движений его тела. Он подчеркнуто наклонялся, когда требовалось взять ноту высокой октавы, а его пальцы подрагивали, когда он отнимал их от клавиатуры. Да, меня восхищали его таланты, но не меньше меня поражала его жестикуляция.
Как выяснилось, пианист красовался не просто так[46]. Чиа-Юн Цай, ученый из Университетского колледжа Лондона, попросила профессиональных музыкантов и любителей музыки предсказать, кто из трех финалистов выиграет конкурс классической музыки. Одна группа испытуемых слушала только аудиозаписи каждого выступления. Другая группа слушала аудиозаписи и смотрела видео. Наконец, третьей группе показали только видео без звука, что кажется безумным при определении лучшего музыканта.
Перед экспериментом как эксперты, так и дилетанты полагали, что легче всего будет определить победителя на основании аудиозаписи без видеоряда. В конце концов, это был музыкальный конкурс. Но Цай обнаружила, что группа, использовавшая одни аудиозаписи, верно определяла победителя лишь примерно в 25 процентах случаев. Учитывая, что выбирать приходилось всего из трех вариантов, этот результат был хуже, чем при случайном выборе ответов в тесте! Как эксперты, так и дилетанты, полагавшиеся исключительно на слух, не соглашались с членами жюри и присуждали победу другому музыканту.
Как ни странно, лучше всего победителя определяла та группа, которая смотрела видео без звука, а следовательно, ориентировалась лишь на жестикуляцию исполнителей, не слыша музыки. В этой группе и эксперты, и дилетанты оказывались правы примерно в половине случаев. Иными словами,
