Как сделать, чтобы ребенок учился с удовольствием? Японские ответы на неразрешимые вопросы - [23]

Сравнение того, что было бы с Дэкисуги в школе с маленькими классами и в стандартной школе, называется в статистике контрфактическим моделированием.

К сожалению, даже в XXI веке еще не изобрели робота-клона. И все же есть способ, который позволяет применить контрфактический подход – это сравнительный эксперимент со случайной выборкой. В нашем случае мы можем при помощи жеребьевки произвольно выбрать маленькие классы (экспериментальная группа) и стандартные классы (контрольная группа), исключив влияние родителей при выборе школы. Обе группы в среднем окажутся в аналогичных начальных условиях (при достаточном количестве участников).

Перед экспериментом требуется проверить начальные условия – сравнить такие параметры, как успеваемость, дополнительные занятия и кружки, доход и образование родителей, наличие дедушек и бабушек, живущих с детьми. Если статистически не возникнет расхождения между двумя средними значениями, значит, мы сравниваем яблоки с яблоками.

Таким образом, мы исключили смещение отбора. После нескольких лет учебы разница между этими группами будет определяться только количеством учеников в классе. Это и есть причинно-следственный эффект (схема 41).

Другие типы экспериментов

Почти в каждой главе этой книги я рассказывала о сравнительных экспериментах со случайной выборкой. Можно вспомнить и так называемые естественные эксперименты из главы 2 при описании исследований профессора Кэролайн Хоксби и профессора Грэга Дункана. Естественные эксперименты не планируются учеными специально. Условия для них возникают при изменении системы или когда складывается ситуация, максимально схожая со сравнительным экспериментом. Из-за того, что эти условия возникают спонтанно, их называют естественными.

Исследование профессора Хидэо Акабаси, о котором шла речь во главе 2, и исследование профессора Брайена Джейкоба из 5-й главы считаются естественными, но в них используется так называемый метод регрессии с точками разрыва. Это ясно на примере схемы 42, в которой описан метод исследования профессора Джейкоба.

По горизонтальной оси указаны оценки учащихся в школах, выделенных в категорию испытательных до внедрения новой системы (=1996 год), по вертикальной оси – оценки после внедрения системы (=1999 год). Если бы не появились испытательные школы и тренинги для преподавателей, можно было бы предполагать наличие положительной корреляции: школы, в которых были хорошие результаты в 1996 году, показали их и в 1999 году, поэтому на левом графике оценки 1996 и 1999 годов образуют непрерывную линию. Однако если бы из-за изменения системы в 1996 году преподаватели в испытательных школах добились улучшения успеваемости, то возле пограничной линии между испытательными и обычными школами возникли бы разрывы, как показано на правом графике.

Разница (разрыв) между экспериментальной и контрольной группами – причинно-следственный эффект внедрения тренингов для преподавателей.

Результат исследования оказался таким, как на левом графике, – без разрывов. Это означает, что тренинги не оказали влияния на улучшение качества преподавания.

Таким образом, эксперименты необязательно должны быть сравнительными, со случайной выборкой.

Эксперимент для образовательной политики

Давайте посмотрим, как используются сравнительные (или аналогичные им) эксперименты при внедрении новых приемов в области обучения.

Вначале определяется цель; самая распространенная – улучшение успеваемости. Затем с помощью сравнительных экспериментов тестируются различные методы ее достижения для определения их эффективности.

Разумеется, чтобы улучшить успеваемость, недостаточно одного метода. Поэтому мы рассмотрим три фактора, обладающих причинно-следственным эффектом: малочисленные классы, разделение класса на группы по успеваемости, занятия после школы.

Как уже говорилось, причинно-следственный эффект выражается разницей в успеваемости между экспериментальной и контрольной группами в ходе эксперимента. Эта разница и затраты на внедрение метода показывают соотношение между стоимостью и результатом.

Это очень важно понимать, ведь малочисленные классы, к примеру, требуют серьезных финансовых затрат. Нужно нанимать дополнительных преподавателей, увеличивать количество классных комнат. Даже если мы докажем, что малочисленные классы обладают высокой эффективностью, но эта мера окажется слишком дорогостоящей, на практике она внедрена не будет. Скорее выберут меру, которая окажется самой дешевой и приведет к самому большому эффекту по улучшению успеваемости. Это называется высокое соотношение стоимости и эффекта. Сравнив его в трех выбранных методах, мы узнаем, какой из них даст результат с наименьшими затратами.

Только тогда можно целенаправленно делать инвестиции в наиболее эффективную меру. Получив научные доказательства, органы местной власти и комитеты по образованию смогут объяснить необходимость перемен школам, родителям и налогоплательщикам.

Такие полномасштабные сравнительные эксперименты, как STAR-проект в Теннесси, проводятся в мире довольно редко, зато бывает много мелкомасштабных экспериментов. Начать с малого, добиться большего – это стиль принятия решений в США. Сначала эксперименты проводятся в ограниченном объеме. После доказательства эффективности они внедряются на уровне штата, а потом и всей страны.