Убийственные большие данные - [2]

Я подобрала название для таких вредоносных моделей: оружие математического поражения, или сокращенно ОМП. Сейчас мы с вами разберем один пример, и я продемонстрирую разрушительные возможности этого оружия.

Как часто бывает, все началось с благой цели. В 2007 году Адриан Фенти, новый мэр Вашингтона, решительно взялся за улучшение недостаточно успешных школ. Перед ним стояла непростая задача: в то время половина старшеклассников едва дотягивала до конца девятого класса и лишь 8 % восьмиклассников осваивали соответствующую их возрасту программу по математике. Фенти нанял реформатора в области образования Мишель Ри и назначил ее на высокую должность председателя городского школьного совета Вашингтона.

Основной причиной, по которой ученики не получали знаний в достаточном количестве, считалось низкое качество преподавания. Поэтому в 2009 году Ри привела в действие план по «выкорчевыванию» плохих учителей. Этот процесс вскоре распространился на всю страну, затронув районы с наиболее проблемным образованием. И с точки зрения системного проектирования план был идеальным: давайте оценим учителей, избавимся от самых плохих и поместим самых лучших туда, где они смогут принести больше всего пользы. Говоря языком специалистов по анализу данных, это «оптимизирует» школьную систему, предположительно обеспечив лучшие результаты для детей.

Кто стал бы с этим спорить, кроме самих «плохих» учителей? Ри разработала инструмент оценки учителей под названием IMPACT, и к концу 2009–2010 учебного года федеральный округ уволил всех преподавателей, чьи результаты оказались в нижних 2 %. К концу следующего учебного года еще 5 %, то есть 205 учителей, были уволены из школ.

У Сары Высоцки, учительницы пятого класса, казалось бы, не было повода для беспокойства. Она преподавала в средней школе Макфарланда всего два года, но уже удостоилась высоких оценок своей работы и от директора школы, и от родителей своих учеников. В одном отзыве подчеркивалось ее внимание к детям, в другом было отмечено, что «она – одна из лучших учительниц, с которыми мне когда-либо доводилось сталкиваться».

Однако в конце 2010–2011 учебного года Высоцки получила крайне низкий результат в тесте IMPACT. Проблема заключалась в новой системе подсчета, известной как моделирование коэффициента улучшения знаний учеников, которая оценивала эффективность преподавания математики и языковых навыков. Этот результат, выданный алгоритмом, составлял половину общей оценки Сары Высоцки – и он перевесил положительные оценки со стороны школьной администрации и местного сообщества. У округа не осталось выбора, кроме как уволить ее вместе с другими 205 учителями, результат теста у которых оказался ниже минимального порога.

Это не выглядело ни охотой на ведьм, ни сведением счетов. В таком подходе городского школьного совета есть логика. В конце концов, администраторы могут просто дружить с очень плохими учителями. Они могут восхищаться их стилем или лояльностью. Плохие учителя вполне могут производить впечатление хороших. И в Вашингтоне, как и во многих других школьных округах, минимизировали фактор человеческой предвзятости и сосредоточились на результатах, основанных на объективных данных: достижения детей в математике и чтении. Официальные лица пообещали, что цифры будут говорить сами за себя, что цифры более справедливы.

Разумеется, Высоцки посчитала цифры ужасно несправедливыми и захотела узнать, откуда они взялись. «Я не думаю, что кто-либо понимал это», – позже сказала она мне. Как хороший учитель может получить такой ужасный результат? В чем заключалась система подсчета увеличения коэффициента знаний учеников?

Дело оказалось весьма запутанным. Школьный округ пригласил консалтинговую компанию Mathematica Policy Research (MPR) из Принстонского университета, чтобы она помогла разработать критерии оценки. Задачей MPR было оценить прогресс в образовании учеников округа, а затем подсчитать, в какой степени улучшение или ухудшение их результатов зависело от учителей. Задача, конечно, была непростой. Исследователи знали, что на результаты может повлиять множество факторов, от социально-экономической ситуации до специфических индивидуальных нарушений способности к обучению. Алгоритмы MPR должны были учитывать эти факторы, и это было одной из причин, по которой они оказались такими сложными.

И в самом деле, попытки вместить человеческое поведение, деятельность и потенциал в алгоритмы – это непростая работа. Чтобы понять, с чем пришлось столкнуться MPR, представьте себе десятилетнюю девочку, которая живет в бедном квартале на юго-востоке города Вашингтон. В конце учебного года она сдает стандартизированный тест для пятого класса. После этого ее жизнь продолжается. У нее могут появиться семейные или финансовые проблемы. Она может переехать в другой дом или переживать за брата, у которого возникли проблемы с законом. Она может страдать из-за собственного лишнего веса или бояться какого-нибудь школьного хулигана. В любом случае в следующем году она сдает еще один стандартизированный тест, теперь уже предназначенный для шестиклассников.