ПОСТРОЕНИЕ  АДАПТИВНЫХ  СИСТЕМ  ТЕСТИРОВАНИЯ  ЗНАНИЙ

Веретенникова  Ксения  Олеговна

студент  5  курса  факультета  информационных  технологий  Российского  государственного  социального  университета,  РФ,  г.  Москва

E-mail:  zxcasd1056@gmail.com

Альтиментова  Дина  Юрьевна

научный  руководитель  старший  преподаватель  кафедры  моделирования  информационных  систем  и  сетей  РГСУ,  г.  Москва  Российского  государственного  социального  университета,  РФ,  г.  Москва

В  статье  рассмотрены  вопросы  построения  адаптивных  по  отношению  к  целям  учебного  процесса  и  студенту  информационно-контролирующих  систем,  построенных  на  основе  стандартных  систем  управления  учебным  процессом.

Системы  управления  учебным  процессом  (LMS-системы)  предназначены  для  повышения  уровня  и  качества  всех  сторон  учебного  процесса  за  счет  внедрения  автоматизированных  методов  обработки  всех  представленных  в  системах  видов  информации.  Основной  идеей  их  построения  является  автоматизация  обычных  преподавательских  функций.

Для  оптимального  построения  содержательной  части  учебных  материалов  и  выполнения  последующих  операций  с  ними  содержание  дисциплины  разбивается  на  систему  взаимосвязанных  модулей,  освещающих  отдельные  законченные  его  темы. 

Для  обеспечения  полного  контроля  уровня  знаний  по  изучаемой  дисциплине  к  тестированию  по  ее  модулям  необходимо  добавить  входное  тестирование  для  проверки  остаточных  знаний  по  ранее  изученным  предметам.

Тестирование  по  назначению  подразделяется  на:

1.  учебное,  проводимое  самостоятельно  для  оценки  знаний  самим  обучающимся;

2.  контрольное,  проводимое  под  наблюдением  преподавателя  для  объективной  оценки  реального  уровня  знаний. 

Учебное  тестирование  всегда  выполняется  по  подразделам.  Результаты  анализа  ответов  оперативно  объявляются  учащемуся.  Также  в  результате  анализа  текущих  ответов  формируется  траектория  контроля  —  выбирается  число  и  содержание  очередных  вопросов  и  практических  заданий.  В  конце  опроса  выставляется  общая  оценка  в  баллах  и,  если  необходимо,  общие  рекомендации  по  повторному  изучению  материала.

Контрольное  тестирование  может  выполняться  по  подразделам,  разделам  и  всему  курсу  —  в  зависимости  от  запроса.  Для  сокращения  времени  опроса  текущие  результаты  контроля  не  объявляются  учащемуся.  В  конце  опроса  выставляется  общая  оценка  в  баллах.  Независимо  от  уровня  контроля  для  системного  группового  анализа  знаний  формируется  парциальная  балльная  оценка  знаний  в  отдельности  по  каждому  подразделу.

Тестирование  знаний  в  зависимости  от  фазы  учебного  процесса  и  решаемых  задач  можно  подразделить  следующим  образом:

1.  по  цели  тестирования  —  учебное  и  контрольное;

2.  по  охвату  проверяемого  материала  —  тестирование  по  модулям,  разделам  и  всей  дисциплине;

3.  в  зависимости  от  состава  тестирующих  материалов  —  одноуровневое,  двух  уровневое  и  трехуровневое  тестирование.

Адаптивная  система  тестирования  должна  адаптироваться  к  уровню  знаний  студента  с  целью  более  полного  его  выявления. 

Каждый  тестирующий  блок  модуля  содержит  базовый  набор  из  20—30  вопросов  для  проверки  теоретических  знаний.  Если  тестируется  обзорный  материал,  то  данный  материал  является  достаточным  для  проверки  знаний.  Такое  тестирование  назовем  одноуровневым.

Если  же  подраздел  содержит  теоретические  материалы  и/или  методику  решения  задач,  то  базовый  тестирующий  раздел  в  зависимости  от  содержания  учебного  материала  целесообразно  дополнить  следующими  материалами:  1)  теоретическими  вопросами  повышенной  сложности,  2)  задачами,  3)  задачами  повышенной  сложности.  В  сумме  число  k  предлагаемых  видов  тестирующих  материалов  по  подразделу  не  должно  превышать  3.  В  зависимости  от  числа  k  предлагаемых  уровней  тестирования  (1,  2  или  3)  соответствующая  схема  тестирования  названа  1-,  2-  и  3-уровневой. 

Для  адаптации  процесса  тестирования  к  уровню  подготовки  студента  предложено  выделить  на  каждом  уровне  2  фазы  опроса:

1.  основную  (обязательную),  на  которой  задаются  начальные  тестовые  задания;

2.  уточняющую  (необязательную),  на  которой  задаются  дополнительные  тестовые  задания,  позволяющие  уточнить  знания  студента  на  текущем  проверяемом  уровне.

Общим  принципом  адаптации  процесса  тестирования  к  степени  подготовки  учащегося  предложено  принять  следующее  правило:  если  число  правильных  ответов  в  основной  фазе  опроса  не  превышает  половины  (недостаточный  уровень  знаний),  то  производится  уточнение  знаний  на  текущем  уровне,  если  число  правильных  ответов  больше  половины,  то  осуществляется  переход  к  основному  опросу  на  следующем  более  высоком  уровне.

Для  иллюстрации  стратегии  опроса  и  оценивания  знаний  предложено  использовать  t-деревья,  где  t  —  базовое  число  тестовых  заданий  основной  фазы  опроса  по  одному  модулю  при  тестировании  всей  дисциплины  (задается  с  учетом  специфики  проверяемого  предмета).  Данное  число  минимально  и  составляет  основу  расчета  числа  тестовых  заданий  модуля  при  проверке  одного  раздела  и  одного  данного  модуля. 

Рассмотрим  потенциальные  возможности  предлагаемого  алгоритма  по  его  адаптации  к  рассмотренным  выше  факторам.

1.  Адаптацию  к  цели  тестирования  (учебное  или  контрольное)  предлагается  осуществлять  за  счет  формы  оценки  результатов  выполнения  тестов,  выдачи  результатов  выполнения  тестов  студенту  или  передачи  их  преподавателю  и  т.  д.

2.  Адаптацию  к  охвату  проверяемого  материала  предлагается  производить  путем  кратного  увеличения  числа  основных  тестовых  заданий  t  в  случае  дисциплинарного  охвата.  При  тестировании  раздела  предлагается  применять  число  основных  тестовых  заданий  по  модулям,  равное  t×k_p,  при  тестировании  только  одного  модуля  число  основных  тестовых  заданий  по  нему  принимаем  равным  t×k_м.  Коэффициенты  k_p  и  k_м  —  целые  числа.  Их  величины  следует  выбирать  с  учетом  сложности  и  характера  тестируемого  учебного  материала.

3.  Адаптация  к  составу  тестирующих  материалов  производится  путем  выбора  числа  уровней  в  соответствующем  t-дереве.

4.  Адаптация  к  уровню  подготовки  студентов  осуществляется  при  помощи  самой  структуры  t-дерева,  учитывающей  различные  сценарии  развития  тестирования.

Рассмотрим  построение  деревьев  опроса  на  примере  1-уровневого  и  2-уровневого  тестирования.  Для  простоты  примем  число  тестовых  модульных  заданий  t  при  тестировании  всей  изучаемой  дисциплины,  равное  2.  Коэффициенты  k_p  и  k_м  примем  равными:  k_p  =  2,  k_м  =4. 

1-уровневое  тестирование.  Рассмотрим  модульный  охват.  При  заданных  параметрах  t  =  2,  k_p  =  2,  k_м  =4  принцип  оценивания  следующий:  при  наборе  на  первой  фазе  опроса  t  =  0  знания  учащегося  оцениваются  в  минимальную  сумму  0  баллов  и  он  исключается  из  дальнейшего  тестирования.  При  получении  максимального  числа  баллов  t  =  2  знания  учащегося  оцениваются  в  максимальную  сумму  100  баллов,  и  он  также  исключается  из  дальнейшего  тестирования  (каждый  правильный  ответ  оценивается  в  50  баллов). 

При  получении  1  балла  в  первой  фазе  производится  уточняющий  опрос  с  заданием  t  /2  =  1  тестов  из  того  же  набора.  Для  оценки  баллов  за  каждый  правильный  уточняющий  ответ  предложено  исходить  из  того,  что  при  1  правильном  ответе  в  первой  основной  фазе  и  1  правильном  ответе  в  уточняющей  фазе  должна  получиться  сумма,  несколько  меньшая  100  баллов.  Принимая  такую  сумму  равной  (2/3)×100  »  70  баллов,  получим,  что  каждый  правильный  ответ  на  уточняющий  тест  должен  оцениваться  в  20  баллов.  Алгоритм  одноступенчатого  тестирования  проиллюстрирован  на  дереве  опроса  на  рис.1.  Рис.  1.а)  задает  схему  алгоритма  для  дисциплинарного  охвата  тестирования  при  t  =2,  рис.  1.б)  —  для  охвата  по  разделу  при  t  =2,  k_p  =  2.  На  схеме  черными  точками  показаны  листья  дерева,  обозначающие  завершение  тестирование,  белами  –  промежуточные  вершины,  в  которых  тестирование  еще  не  завершено.  Рядом  с  листьями  указано  число  правильных  ответов  и  начисленная  сумма  баллов.

а)                                                       б)

Рисунок  1.  Схема  алгоритма  одноступенчатого  тестирования

2-уровневое  тестирование.  Вначале  необходимо  назначить  распределение  максимальных  баллов,  получаемых  в  первой  и  второй  фазе  опроса  при  модульном  охвате  тестируемого  материала.  Допустим,  что  при  максимальном  результате  на  первой  фазе  учащийся  может  получить  несколько  больше  половины  максимального  числа  баллов  »  60.  Тогда  стоимость  одного  правильного  ответа  в  первой  фазе  будет  равна  30  баллов.  Поскольку  100  баллов  соответствуют  2  правильным  ответам  на  вопросы  повышенной  сложности,  то  стоимость  каждого  такого  правильного  ответа  равна  20  баллов.  Если  на  втором  этапе  используются  обычные  тестовые  вопросы,  то  их  стоимость  принимается  меньше,  чем  20  баллов,  т.  е.  равной  15. 

Обозначим  число  правильных  ответов  в  основной  фазе  через  t₁.  Число  неверных  ответов  –  через  f₁.  При  этом  t₁  +  f₁  =  t.  В  зависимости  от  результатов  основной  фазы  (t₁)  по  общему  принципу  адаптации  процесса  тестирования  на  текущем  уровне  к  степени  подготовки  учащегося  выбираются  два  дальнейших  варианта  продолжения.

1.  Учащийся  набрал  не  более  половины  максимально  возможного  числа  баллов:  t₁  £  t  /2. 

При  t₁  =  0  считается,  что  у  учащегося  полное  отсутствие  знаний  по  предмету,  его  знания  оцениваются  в  0  баллов  и  тестирование  прекращается. 

При  0  <  t₁  £  t/2  –  промежуточная  ситуация,  при  которой  необходимо,  учитывая  общий  невысокий  уровень  знаний,  уточнить  его,  используя  тестовые  вопросы  (поскольку  вопросы  повышенной  сложности  задавать  практически  бесполезно).  Число  дополнительных  тестовых  вопросов  принято  равным  t  /2. 

2.  При  t/2  <  t₁  с  учетом  повышенного  уровня  знаний  его  уточнение  целесообразно  выполнять  с  использованием  вопросов  повышенной  сложности.  Их  число  также  принимается  равным  t/2. 

Получаемый  алгоритм  двухступенчатого  тестирования  проиллюстрирован  на  2-дереве  опроса  при  t=2  и  k_p  =  2  на  рис.2.  Рис.  2.а)  задает  схему  алгоритма  для  дисциплинарного  охвата  при  t  =2,  рис.  2.б)  —  для  охвата  по  разделу  при  t  =2,  k_p  =  2.

а)                                                       б)

Рисунок  2.  Схема  алгоритма  2-уровневого  тестирования  с  параметрами  t  =2,  k_p  =  2

Список  литературы:

1. Свиридов  А.П.  Статистическая  теория  обучения.  М.,  Издательство  РГСУ,2009.  —  576  с.,  илл  131,  библ.  —  398  назв.