Очень общая метрология - [21]

Следующий очевидный и широко известный индекс — это интеллект. Люди хотят знать, насколько они умнее окружающих, а еще сильнее хотят узнать, насколько окружающие глупее их. Кроме собачатины, которой завалены прилавки и инет, существует большая и серьезная литература по вопросу. Прежде всего, бытовое понятие умный/глупый не покрывает явления, ибо даже на бытовом уровне видно, что на разных наборах задач ум проявляется по-разному. Так что одна область исследований — существуют ли типы ума, что это за типы, как их измерить в лаборатории, и как они проявляются в реальной ситуации, то есть при решении не тестов, а реальных задач. На основании представления о компонентах интеллекта (простейшая одноуровневая модель с простейшим взаимодействием) можно строить (как это и сделал Айзенк) композитный тест.

Например, Терстоун считал, что интеллект состоит из способности совершать арифметические операции, способности формулировать, способности понимать речь, памяти, способности комплексно решать проблемы с учетом опыта, пространственного мышления и способности распознавать и дифференцировать импульсы.

Мейки считал, что интеллект состоит из способности увидеть в проблеме внутреннюю организацию, способности перейти от одного содержания к другому, способности к пониманию целого, видению связей и способности упорядочить части проблемы по-иному.

Айзенк считал, что интеллект состоит из арифметических способностей, в том числе способности обнаруживать закономерности, лингвистических способностей, в том числе обнаруживать смысловые закономерности в тексте и постранственного мышления.

Для более узких ситуаций есть и более узкие гипотезы, например мы считаем, что способность решать сложные школьные задачи по математике состоит из двух компонент — умения правильно выбрать направление преобразование, то есть выбора, какой шаг сделать, и умения производить быстро и без ошибок простые вычисления, то есть делать эти шаги:

Сложное — много простого?

Эта заметка — о так называемом тестировании. В сознании людей сегодня проблема тестирования переплелась с проблемой единого экзамена. С самого же начала ясно скажем, что это — разные проблемы. Провести единый экзамен без тестирования можно. Но решить вопрос, нужен ли единый экзамен (предположим, что нам имеет смысл решать этот вопрос — хотя бы для того, чтобы иметь свое мнение и этим походить на нормальных людей), можно, только оценив эффективность экзамена, а она зависит от метода. В частности, может оказаться, что при каких-то методах его проведения единый экзамен хорош, а при каких-то других — плох, да настолько, что не нужен вообще. Поэтому вопрос о методе проведения экзамена является первоочередным. Определить эффективность экзамена прямыми методами (по последующей учебной и рабочей биографии) трудно, поэтому возникает соблазн заменить этот анализ пустыми разговорами, общественной активностью и политической волей. То есть чиновничьим волюнтаризмом.

В обыденном словоупотреблении тестирование — это решение испытуемым за ограниченное время относительно большого количества относительно простых задач, причем испытуемому предъявляется несколько вариантов ответов, из которых он должен выбрать правильный. Поэтому главные признаки тестирования — это простота задач и наличие вариантов ответов. Попробуем понять, что именно проверяет, а что не проверяет такой экзамен.

Собственно обучение — по крайней мере, в естественных и точных науках — это приведение ученика в такое состояние, когда он может решать задачи, которые могут возникнуть перед ним в дальнейшей жизни (в том числе и при дальнейшем обучении). Для решения задач человек должен знать факты, приемы решения, уметь выбрать прием и применить его. Возможно, что существует еще «нечто» (вдохновение, озарение, прозрение, творческий экстаз, единое информационное поле, ноосфера, эктоплазма, фэн-шуй и т. д.), но авторы полагают, что хоть какие-то шансы разобраться в устройстве мира появятся только в том случае, если речь пойдет о проверяемых и повторяемых фактах. Тогда решение задач сводится к знаниям, приемам и их выбору, и еще — уровню адреналина в крови.

Действительно, мы знаем, что никакой эктоплазмы в компьютере нет. Представьте себе Гермеса Трисмегиста перед этим компьютером — скорее всего, он как раз и заговорит о «нечто». Возможно, что перед человеческим мозгом мы выглядим сегодня так, как великий Трисмегист — перед компьютером. Утешьтесь тем, что сегодня люди знают, как работает компьютер, а Г.Т. был для своего времени умнейший человек.

Хорошо построенные тесты проверяют знание фактов и умение применить один прием, причем распространенный. Редко применяемый, малоизвестный, экзотический прием в тест включить трудно — задача не будет простой. Умение выбрать прием тест проверяет слабо — этот выбор требует времени, тем большего, чем выбор менее очевиден. Наконец, тест почти не способен проверить умение применить несколько приемов — по той же причине. При этом тест проверяет умение выбрать прием из списка, причем малого (в действительно хорошем тесте каждый неправильный вариант ответа является результатом применения неправильного приема), в жизни же списков обычно не предъявляют.