Простые идеи и записные мысли 2011 г. - [4]
Причем составление вопросов и ответов к ним, один из главных моментов в системе тестирования. Но, чтобы не было простого списывания, по выборке - «вопрос – ответ» с использованием компов и смартфонов, тексты реальных вопросов (варианты) должны меняться. Вот, как это может выглядеть на детском простом примере.
Канонический текст вопроса и ответов:
«А и б сидели на трубе, А упало, б пропало, кто остался на трубе?»
Ответы: А, б, в,г,д,и,к,л,м,н, никто. Правильный ответ «и».
А реально, на экране испытуемого, появится семантически преобразованный вопрос, но логически тождественный каноническому.
Допустим такой: «Ё и е лежали на скамье, Ё скатилось, е разбилось, что мы видим на скамье?» И ответы: Ё, е, и, п, р, с, т, ничего. Вот и ломай голову, как найти подсказку, хотя канонический набор вопросов и ответов открыт у тебя в компе. И никого соответствия № вопроса - № правильного ответа. Как это, нередко, практикуют в простых, убого сделанных тестировках.
А при другом запуске теста этот преобразованный вопрос, может выглядеть так: «В траве лежали w и q. W смылась, всем сказав «ку-ку», а q, слова не разобрав, вскочила много выше трав. Что завалялось в траве? И соответствующий набор ответов. Конечно, преобразовывать-сочинять такие вопросы автоматически, имея лишь канонический текст вопросов, непросто. Но используя методы ИИ, возможно. Потому, для начала можно использовать упрощенное преобразование текстов канонических вопросов, с помощью бригады учителей предметников.
Даже в вопросах по математике, где, обычно, используют жесткую логику и четкие формулировки, применение семантически преобразованных вопросов допустимо. Возьмем канонический тип вопроса: «Определить площадь круга радиусом 1 м»? Вот как может выглядеть преобразованный вопрос: «На клумбе диаметром 10 м цветы. Каждый занимает 0,3 кв.м. Сколько цветков на клумбе?» И соответствующий набор ответов. А в следующем запуске вопрос может преобразоваться в такой: «Круглую медаль площадью 25 кв. см поместили в квадратную рамку. Чему равна сторона минимальной рамки?» И свой набор ответов.
Т.е. на каждый канонический вопрос (а их должно быть не менее 1500 по предмету), программный автомат будет выдавать один, из нескольких десятков преобразованных вопросов. Потому вероятность, что у экзаменуемых в одном кабинете появится одинаковый вопрос, почти нулевая. То в вопросе будет фигурировать прямая задача, то обратная. То там будут цветки, то медали или любые круглые предметы и т.п. И такое по всем вопросам, а не только по вопросу о площади круга. Списывание через поиск, по системам подсказок на своем «компе», которые (подсказки-шпаргалки) обязательно появятся, будет проблематично. Однако, это будет более длительный процесс, чем самостоятельное решение. Но про безопасность системы несколько позже.
Уже, сегодня не проблема составить, допустим, по курсу математики, полторы тысячи канонических вопросов и выложить их в Инет. А к составлению преобразованных вопросов, которые будут выводиться на экран тестируемого ученика, привлечь 10-20 предметников, которые бы изменяли вопросы, составляли верные и неверные ответы. Допустим на «канонику» о площади круга в 1 м, следующий вариант вопроса буде «… в 1,2 м, следующий в 1,5 м» и т.д. Да и вариации слов текста приветствуются. Таких вопросов можно изобретать по 300 шт. в день. Тогда за неделю все, 1500 вопросов, будут обновлены. И никакие «электрошпроры» не помогут!
Но это тривиальное решение. Посадить «10-20 гребцов на галеру», сегодня «не катит». Лучше поставить мотор и переделать «галеру» в катер, с толковым капитаном. В нашем случае, это создать программный автомат преобразования ежедневного или, хотя бы, еженедельного преобразования всех вопросов. И эти новые вопросы должны подвергаться контролю и редакции группы «людей-экспертов». Мало ли что программа придумает. ИИ надо держать под контролем.
Алгоритмы семантических преобразований каноники к тексту, логически тождественному исходному смыслу, достаточно сложны, но возможны. Здесь основной критерий – минимальное повторение слов канонического текста вопроса в преобразованном вопросе и максимальное повторение одинаковых слов во всем массиве канонических вопросов. И базы слов по главным смысловым словам канонических вопросов. Так, в канонических вопросах по курсу математике, из множества слов, допустим таких, как: найти, определить, вычислить, узнать т.п., надо определить одно слово и только его использовать в текстах этих вопросов. Зато в преобразованных вопросах его не использовать. Программный алгоритм будет заменять это слово синонимами или словами, близкими по смыслу. Также необходимо создать алгоритмы ответов для реального вопроса, с определение одного правильного. Задача непростая, но решаемая.о. Все эти решения и будут одним из «
