Очень общая метрология - [22]
Однако самое важное не в этом. Многие из нас слышали, что существуют сложные задачи, а некоторые даже такие задачи видели. Сводится ли сложная задача к последовательному решению простых задач? Некоторые сторонники тестов отвечают, что да, сводится. И умение быстро решать простые задачи эквивалентно умению решать сложные — за большее время. Но в Физико-математической школе при МИЭМе экспериментально показано, что это не так. В течение ряда лет мы принимаем экзамены следующим способом. Школьники сдают два экзамена, оба — письменная математика, но один — тест: 30 или 60 задач на один час, другой — обычный экзамен: шесть задач на три часа. Так вот, корреляция между результатами довольно слаба. Можно лишь сказать, что тот, кто показал очень плохой результат на одном экзамене, не покажет очень хороший на другом.
Результаты за один из годов показаны на рисунке. По оси абсцисс — результат на тесте (максимум — 100 баллов), по оси ординат — на «большом» экзамене (максимум — 24 балла), каждая точка — один человек. Всего проэкзаменовано около 300 человек. Наиболее вероятный балл по тесту — 40 (из 100), по экзамену — 6 (из 24), то есть функция распределения на «большом» экзамене сдвинута в сторону меньших баллов. Это означает, что наши задачи были немного сложнее, чем надо. Что касается разрешающей способности, то чем равномернее распределение, тем лучше. У нас ширина функций распределения на уровне 1/2 амплитуды оказалась 60 (из 100) и 10 (из 24) соответственно, что следует признать неплохим результатом (по крайней мере тесты ЕГЭ по этим параметрам хуже — см. ниже).
Как связаны результаты теста и экзамена? При полной корреляции между тестом и экзаменом все точки легли бы на прямую, то есть оценка на тесте позволяла бы точно предсказать оценку на экзамене, при отсутствии корреляции результат на тесте не влиял бы на вероятность получения того или иного результата на экзамене. Из рисунка видно, что связь есть, а обсчет этих данных показывает, какова она. Получение плохого результата по тесту (нижние 7 % испытуемых, результат менее 20 из 100) означает, что наиболее вероятный результат на экзамене будет 3 (из 24), а не 6, как в общем случае. Попадание на тесте в нижние 40 % испытуемых (результат менее 40 из 100) уже мало что значит — наиболее вероятный результат на экзамене будет 5, а не 6 (из 24).
При этом надо отдельно и предельно ясно сказать, что все это лишь статистика — никакие средние данные ничего не говорят о конкретном человеке. Из рисунка видно, что был испытуемый, набравший почти максимум очков на тесте и лишь половину на экзамене, и был — набравший на тесте 16 из 100 (очень плохой результат) и больше половины очков на экзамене.
Попробуем понять, чем это может объясняться. Первая (простейшая) причина — интеллектуальная выносливость. Одно дело — решать задачу минуту, другое — час. А сохранять интеллектуальную активность три часа? В древности олимпиады по математике в МГУ длились пять часов, и уйти раньше считалось у нас западло. Но это сфера психологии, а что можно сказать в рамках собственно методологии интеллектуальной деятельности? Сложная задача — это не последовательность простых шагов, это дерево решения. Если в каждой точке можно применить пять приемов, то через пять шагов мы имеем за три тысячи вариантов. Причем внешне не очень успешный шаг может привести к успеху позже.
Умение быстро решать простые задачи так же не означает умения решать сложные, как умение быстро выбрать лучший ход не означает умения выиграть партию. В данном случае «силовая атака», то есть тупой перебор, дела не спасает в силу ограниченности времени. Поэтому в компьютерных шахматных программах ключевое место — так называемая «оценка позиции», и название это не случайно: человек каким-то образом оценивает ситуацию в целом. Нечто похожее имеется и при решении задач. Человек смотрит на выражение и ворчит — не, некрасиво… бред какой-то получается… или наоборот — во, так-то оно лучше, смотрите, как элегантно, тут квадрат, и тут квадрат, а ну-ка… Возможно, что именно это — умение оценить перспективность пути решения, не проходя по всему этому пути, — и есть то, что отличает человека, успешно решающего сложные задачи, от не умеющего их решать. Причем навык оценки позиции возникает только при решении большого количества сложных задач.
Кроме того, с помощью сложных задач может быть проверена одна весьма важная для жизни вещь — способность к обучению и навык обучения. Задача может быть построена так, что для ее решения необходимо наличие этой способности. Разумеется, такое делается редко, но с тестами это сделать вообще вряд ли возможно, причем по принципиальной причине: тест не осуществляет обратной связи, испытуемый не должен знать, правильно ли он решил задачу.
А нельзя ли совместить плюсы одного метода с плюсами другого? Один метод — найти некоторый промежуточный вариант, из средних по объему задач. Второй метод, который применили мы и независимо от нас применяют во многих тестах в США: «тест» содержит как типичные тестовые задачи, так и «большие» задачи. Возможно, что при создании системы тестов имело бы смысл изучить опыт педагогических систем, давно применяющих тестирование. Целью нашей работы не является критика ЕГЭ: во-первых, потому, что критика содержания ЕГЭ гораздо более увлекательна, нежели критика формального подхода, а во-вторых, потому, что решение о внедрении ЕГЭ принимается из совершенно иных соображений. Поэтому мы лишь предельно кратко остановимся на объЕГЭнии российского школьного образования.
