Голая статистика. Самая интересная книга о самой скучной науке - [111]

Может быть, может быть… Весьма внушительный подводный камень такого подхода заключается в том, что жизнь, как правило, гораздо сложнее швыряния обглоданных куриных ножек из одного конца кухни в другой. Да, на каком-то этапе мы могли сократить налоги, однако примерно на том же этапе развертывались другие «активизации». В колледжи могло поступить большее число женщин, интернет и другие технологические новшества привели к повышению производительности американских рабочих, стоимость китайской национальной валюты оказалась заниженной, профессиональный бейсбольный клуб Chicago Cubs уволил своего генерального менеджера и т. д. Все, что произойдет после сокращения налогов, нельзя приписывать исключительно сокращению налогов. Проблема любого анализа, который можно отнести к категории «до и после», заключается в том, что если одно событие (событие A) произошло после какого-то другого (события B), то это отнюдь не означает, что событие B послужило причиной события A.

Подход, который мы обозначили как «разница в различиях», может помочь идентифицировать последствия некоторой активизации при выполнении двух условий. Во-первых, мы анализируем данные «до» и «после» для той группы или юрисдикции (подведомственной области), которые получили соответствующее активирование, например данные по безработице для округа, реализовавшего программу обучения новым профессиям. Во-вторых, сравниваем эти данные с показателями безработицы за тот же период времени для какого-либо похожего округа, который не реализовал данную программу.

Предполагается (что довольно важно), что две группы, используемые для такого анализа, в целом сопоставимы – за исключением активирования; таким образом, любое значимое различие в исходах между этими группами может быть обусловлено оцениваемой нами программой или политикой. Допустим, что один округ в штате Иллинойс реализует программу обучения новым профессиям в надежде снизить уровень безработицы. Однако в течение двух последующих лет безработица продолжает расти. Означает ли это, что программа провалилась? Как это выяснить?

Разумеется, на этой арене могут действовать множество экономических сил, в том числе и вероятность продолжительного экономического спада. Подход «разница в различиях» сравнил бы изменение уровня безработицы в течение какого-то времени в оцениваемом нами округе с уровнем безработицы в каком-либо из соседних округов, где не реализуется программа обучения новым профессиям. Эти два округа должны быть похожи во всех остальных важных аспектах, таких как структура промышленности, демографическая картина и т. п. Как уровень безработицы в округе, где реализуется программа обучения новым профессиям, изменяется со временем в сравнении с округом, в котором такая программа не внедрена? Мы можем оценить эффект данной программы, сравнив изменения в этих округах за время, в течение которого проводилось данное исследование («разница в различиях»). Другой округ в этом исследовании действует, по сути, как контрольная группа, что позволяет нам воспользоваться данными, собранными до и после воздействия. Если контрольная группа выбрана правильно, то она будет подвергаться воздействию тех же более широких сил, что и подопытная группа. Подход «разница в различиях» может быть особенно поучителен, когда активирование сперва оказывается неэффективным (после начала реализации программы обучения новым профессиям уровень безработицы повышается), хотя контрольная группа показывает, что в отсутствие активации эта тенденция могла быть еще хуже.

Анализ на основе разрывности. Один из способов создать подопытную и контрольную группы – сравнить исходы для какой-то группы, которая едва подходит для воздействия или активирования, с исходами для группы, которая едва превысила порог непригодности и не получает активирования. Те, кто окажется чуть выше или чуть ниже некоторого случайно выбранного предела, например результата сдачи экзаменов или минимального дохода семьи, будут почти идентичны во многих важных отношениях; то обстоятельство, что одна группа получила активирование, а другая – нет, является, по сути, делом случая. В итоге мы можем сравнить их исходы таким способом, который позволял бы сделать значимые выводы относительно эффективности соответствующего воздействия.

Допустим, какому-то учебному округу требуется летняя школа, в которой могли бы заниматься отстающие ученики. Руководство округа хотело бы знать, представляет ли собой какую-либо долгосрочную учебную ценность такая программа летнего обучения. Как обычно, простое сравнение учеников, посещающих и не посещающих эту школу, было бы не только бесполезно, но даже вредно. Ученики, которые посещают такую школу, ходят туда именно потому, что являются отстающими. Даже если программа обучения в этой школе весьма эффективна, успеваемость ее учеников в долгосрочной перспективе все же, по-видимому, будет хуже, чем успеваемость учеников, не нуждающихся в дополнительных занятиях. Мы хотим знать, какой будет успеваемость отстающих учеников после посещения летней школы по сравнению с их успеваемостью в случае, если бы они ее не посещали