Убийственные большие данные - [3]

Если вы сравните результаты двух тестов девочки, количество набранных баллов должно остаться стабильным или, в лучшем случае, увеличиться. Но если она наберет меньше баллов, чем в прошлом году, будет очень просто увидеть разницу между ее результатами и результатами более успешных учеников.

Но насколько эта разница возникла по вине учителя? Сложно сказать, и модели MPR располагают лишь несколькими числами для сравнения. В компаниях Больших данных, таких как Google, напротив, исследователи проводят постоянные тесты и отслеживают тысячи переменных. Они могут изменить шрифт рекламного объявления с синего на красный, испытать каждую версию на десяти миллионах пользователей и отследить, на какую из версий пришлось больше кликов. Они используют этот отклик, чтобы оттачивать свои алгоритмы и их действия. И хотя у меня есть много претензий к Google (до этого мы еще доберемся), нельзя не признать, что такой тип тестирования – это эффективное использование статистики.

Попытка подсчитать, какое воздействие один человек может иметь на другого в течение учебного года, – гораздо более сложная задача. «Есть столько факторов, которые вмешиваются в процесс обучения, что проанализировать их крайне сложно», – говорит Высоцки. Более того, попытка оценить эффективность учителя, проанализировав результаты тестов всего лишь 25 или 30 учеников, статистически несостоятельна и просто смехотворна. Эти числа слишком малы, учитывая потенциальное количество вариантов, в которых «что-то пошло не так». В самом деле, если бы мы анализировали учителей со статистической тщательностью интернет-поисковика, нам пришлось бы привлечь для теста тысячи или даже миллионы случайно выбранных учеников. Специалисты по статистике оперируют большими числами, чтобы сбалансировать исключения и аномалии. (И ОМП, как мы увидим, зачастую наказывает тех, кто оказывается исключением.)

Что не менее важно, статистические системы требуют ответной реакции – чтобы вовремя увидеть, что алгоритмы сбились с курса. Специалисты по статистике используют ошибки, чтобы «натренировать» свои модели и сделать их более интеллектуальными. Если Amazon.com в результате ошибочной корреляции начнет предлагать девочкам-подросткам книги по уходу за лужайками, количество кликов резко снизится – и алгоритм будет оттачиваться, пока заново не настроится. Без обратной связи, однако, статистический механизм может и дальше работать с ошибками и искажать анализ, при этом не обучаясь на этих ошибках.

Многие компоненты ОМП, которые я буду обсуждать в этой книге, включая систему оценки прогресса учеников, введенную школьным округом Вашингтона, ведут себя именно так. Они предлагают собственное определение реальности и исходят из него, чтобы оправдать свои результаты. Это самовозобновляющийся, крайне деструктивный – и весьма распространенный тип модели.

Когда система оценивания MPR объявляет Сару Высоцки и 205 других учителей бездарностями, город их увольняет. Но откуда система узнает, что она выдала правильный результат? Ниоткуда. Сама система определила их как бездарностей – и именно в таком качестве они и рассматриваются. Двести шесть «плохих» учителей уходят. Один этот факт призван продемонстрировать эффективность оценивающей модели – ведь она избавляет школьный округ от недостаточно хорошо работающих учителей. Вместо того чтобы искать правду, система оценки становится ее воплощением.

Это один из примеров петли обратной связи ОМП. В этой книге мы увидим и множество других примеров подобных петель. Работодатели, например, все более широко используют кредитную историю соискателей для оценки потенциальных новых работников. Считается, что люди, которые вовремя платят по кредитам, с большей вероятностью будут следовать правилам и не опаздывать на работу. На самом деле есть множество ответственных людей и хороших работников, которым случалось пережить неудачное стечение обстоятельств, от которых пострадала их кредитная история. Но убеждение в том, что плохая кредитная история коррелирует с плохим исполнением рабочих обязанностей, оставляет людям, имевшим проблемы с выплатами кредитов, гораздо меньше шансов найти работу. Безработица подталкивает их к бедности, что еще сильнее ухудшает их кредитную историю – и еще сильнее понижает шансы на получение работы. Это спираль, ведущая вниз. Работодатели никогда не узнают о том, какое количество хороших работников они потеряли из-за того, что сосредоточились на кредитной истории кандидатов. В ОМП многие вредные установки прикрываются математикой – и с этого момента практически не проверяются и не подвергаются критическому анализу.

Это подчеркивает еще одну распространенную особенность ОМП: это оружие имеет свойство наказывать бедных. Отчасти это происходит из-за того, что ОМП разработано для того, чтобы оценивать большие массы людей. Оно специализируется на больших числах, и оно дешево. Это часть его привлекательности. К богатым же людям, с другой стороны, зачастую используется индивидуальный подход. В привилегированной юридической фирме или в частном детском саду личные рекомендации и личные встречи будут значить больше и случаться гораздо чаще, чем в сети ресторанов быстрого питания или в испытывающем финансовые трудности городском школьном округе. Мы постоянно видим, что привилегированные слои обслуживаются и анализируются людьми, а массы – машинами.