МЕТОДИКА РАСЧЕТА ТЕСТОВЫХ ХАРАКТЕРИСТИК

Бовтрукевич Мария Викторовна,

студент 3 курса, кафедра информационных технологий, БГУ, г. Минск

E-mail: shporann@mail.ru

Киреенко Анна Владимировна

студент 3 курса, кафедра информационных технологий, БГУ, г. Минск

E-mail: shporann@mail.ru

Сиротина Ирина Казимировна

научный руководитель, ст. преподаватель, БГУ, г. Минск

На сегодняшний день вопрос тестового контроля очень актуален. Широкое применение он получил при проведении вступительной компании в вузы, при проверке знаний учащихся школ, лицеев, средних специальных и высших учебных заведений, при приеме на работу.Поскольку тестыпомогают определить человеку его способности, задатки, склонности, а также уровень знаний, умений и навыков, то они занялизначимую позицию в сфере образования.

Тест— это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной процедуры проведения и заранее спроектированной технологии и анализа результатов для измерения качеств и свойств личности, учебных достижений, изменение которых возможно в процессе систематического обучения [5, с. 14].

Педагогическим тестомназывается система заданий специфической формы, определенного содержания, равномерно возрастающей трудности — система, создаваемая с целью объективно оценить структуру и измерить уровень подготовленности учащихся (студентов). [1, с. 5].

Главная проблема тестовогоконтролязнаний— сам процесссозданиятестов, ихунификацияианализ.Чтобы довеститестдополнойготовностикприменениюнеобходимонесколько лет собирать статистические данные.Довольночастовстречаетсязначительныйсубъективизмвформированиисодержаниясамих тестов, в отборе и формулировке тестовых вопросов. Многое такжезависитот конкретной тестовой системы, от того, сколько времени отводится наконтроль знаний, от структуры включенных в тестовое задание вопросов и т. д.Для объективной оценки уровня знаний необходимо грамотное составление теста: недостаточно придумать вопросы и варианты ответов, так как в этом случае может возникнуть немало противоречий, ошибок, неопределенностей, задания могут оказаться слишком простымиили же наоборот, слишком сложными. Всвязи с чемтестовые задания проходят процесс специальной оценки, который мы и рассмотрим в нашей работе.

Цельюнашей работы является систематизация методов, позволяющих рассчитывать тестовые характеристики. Проведя анализ научной литературы по теме исследования [1—6], мы отобрали самые распространенные тестовые характеристики, собрали их воедино, подробно расписали их применение, составили общие правила для создания качественного теста, привели примеры. Мы надеемся, что данная работа усовершенствует такую форму проверки знаний, как тестовый контроль, что в свою очередь улучшит качество образования.

В теории и практике тестовых измерений последователи выделяют разнообразные тестовые характеристики: надежность, валидность, дискриминативность, социокультутраняя адаптированность, достоверность, однозначность, стандартизированность, точность, сложность, нормирование и др. В данной работе в силу спецификации нашего исследования мы рассмотрели следующие из них: надежность, валидность, дискриминативность.

Дискриминативностьзадач определяется, как способность отделять испытуемых с высоким общим баллом по тесту от тех, кто получил низкий балл, или испытуемых с высокой продуктивностью учебной деятельности от испытуемых с низкой продуктивностью. [5, с. 162].

Для вычисления дискриминативности мы будем использовать метод крайних групп: при расчете дискриминативности тестового задания учитываются результаты наиболее и наименее успешных студентов. Доля членов крайних групп может изменяться в широких пределах в зависимости от величины выборки. Чем больше выборка, тем меньшей долей испытуемых можно ограничиться при выделении групп с высоким и низким результатами. Нижняя граница «отсечения групп»составляет 10 % от общего числа испытуемых в выборке, верхняя —33 %. В нашей работемы будем использовать 27 % группу, так как при таком процентном соотношении достигается максимальная точность определения дискриминативности.

Индекс дискриминации Dопределяетсякак разность между долей лиц, правильно решивших задачу, из «высокопродуктивной»и «низкопродуктивной»групп и находится поформуле:

,                                                   (1)

где: Nn_max— количество студентов в группе лучших, верно выполнивших задание; Nn_min— количество студентов в группе худших, верно выполнивших задание; N_max— общее количество испытуемых в группе лучших; N_min— общее количество испытуемых в группе худших.

В. К. Гайда и В. П. Захаров предлагают вычислять коэффициент дискриминации, рассчитывая меру соответствия между успешностью решения одной задачи и всего теста. Этот показатель будет являться коэффициентом дискриминации, для его расчета используют формулу:

 ,                                                 (2)

где: x— среднее арифметическое значение всех индивидуальных оценок по тесту;

x_n— среднее арифметическое значение оценок по тесту у тех испытуемых, которые правильно решили задачу;

δ_x— среднеквадратическое отклонение индивидуальных оценок по тесту для выборки;

n— число испытуемых, правильно решивших задачу;

N_d— общее число испытуемых.

Коэффициент дискриминации может принимать значения от —1 до +1. Высокое положительное значение дискриминативности тестового задания свидетельствует об эффективности деления испытуемых, высокое отрицательное значение свидетельствует о непригодности данной задачи для теста, о ее несоответствии суммарному результату. Результат D≥0,3 считается удовлетворительным. Если значение коэффициента близко к 0, то задачи должны рассматриваться как некорректно сформулированные.

Валидностьозначает пригодность тестовых результатов для той цели, ради чего проводилось тестирование [6]. Валидность—это характеристика способности теста служить поставленной цели измерения [1]. Валидностьопределяет, насколько тест отражает то, что он должен оценивать [5].

Различают следующие ее виды: содержательная валидность — характеристика репрезентативности содержания теста по отношению к запланированным для проверки знаниям и умениям [1, с. 342];конструктная(концептуальная) валидность — характеристика адекватного измерения теоретического конструкта,т. е. действительно ли тест на умственное развитие определяет коэффициент умственного развития; критериальнаявалидность—определяет способность теста служить индикатором строго определенных особенностей, форм поведения;текущаявалидность — характеристика теста, отражающая его способность различать испытуемых на основании того признака, который является объектом выявления в данной методике;прогностическаявалидность предоставляет информацию о том, насколько точно можно судить о качестве, выявленном в ходе тестирования, по прошествии определенного времени после измерения [5, c. 181].

Для оценки валидности теста обычно используют корреляцию между показателями теста и некоторым внешним критерием. Для педагогических тестов в качестве критерия обычно берутся оценки экспертов, выставленные ими при традиционной проверке знаний студентов без использования тестов. Процесс валидизации осложняется необходимостью установления меры согласованности оценок экспертов, которых обычно бывает не менее трех человек.

Валидностьпо количественным способам определенияпреимущественно выясняетсяс помощью качественных оценок, как правило, с привлечением экспертов [5, c. 183]:офакторноманализе говорят, когда для определения валидности используется факторный анализ с целью определения факторных нагрузок и факторного состава теста; консенсуснаявалидность — для получения второго ряда оценок используют данные внешних экспертов; эмпирическая валидность — для получения второго ряда оценок используют результаты, полученные путем применения методики известной ранее или из других источников.

В данной работе мы рассмотрим пример расчета валидности с учетом результатов тестирования и экспертных оценок:

,                                      (3)

где:  — среднееарифметическоеэкспертных оценок,

 —стандартное отклонение этих оценок:

                                                      (3.1)

                                             (3.2)

Аналогично  — среднееарифметическоетестовых баллов студентов, а
 — стандартное отклонение этих баллов, вычисляются также по формулам (3.1), (3.2).

Надежностьюназывается характеристика теста, отражающая точность тестовых измерений, а также устойчивость  тестовых результатов к действию случайных факторов [1, с. 319].

Различают два вида надежности: надежность как устойчивость; надежность как внутреннюю согласованность.

Надежность как устойчивость. Устойчивость результатов теста — возможность получения одинаковых результатов у испытуемых в различных случаях. Надежность как устойчивостьизмеряется с помощью повторного проведения теста на той же выборке испытуемых, обычно через две недели после первого тестирования. Надежность теста тем выше, чем более согласованы результаты одного и того же человека при повторной проверке знаний посредством того же теста или эквивалентной его формы (параллельного теста). Для нахождения данной характеристики предлагают в [2], [1] использовать формулу Пирсона:

,                              (4)

где X_i— тестовый балл i-го испытуемого при первом измерении;

Y_i— тестовый балл того же испытуемого при повторном измерении;

N—количество испытуемых.

Надежность как внутренняя согласованность. Внутренняя согласованность определяется связью каждого конкретного элемента теста с общим результатом, тем, насколько каждый элемент входит в противоречие с остальными, насколько каждый отдельный вопрос измеряет признак, на который направлен весь тест. Для проверки внутренней согласованности рассматриваются следующие методы: метод расщепления или метод автономных частей; метод эквивалентных бланков; метод Альфа Кронбаха. В методе расщепления применяются формулы: Спирмана-Брауна; Рюлона; Кьюдера-Ричардсона; Стенли. Если значения коэффициента rпопадают в интервал 0,80—0,89, то говорят, что тест обладает хорошей надежностью, а если этот коэффициент не меньше 0,90, то надежность можно назвать очень высокой. При применении метода расщепления тестовую матрицу разбивают на две половины, состоящие из заданий с четными и нечетными номерами.

Формула Спирмена —Брауна выглядит так:

                                                            (5)

Перед применением этой формулы, надо применить формулу (3). Обратите внимание на то, что в данном случаи X_i— тестовый балл i-го испытуемого за задания с четным номером; Y_i— тестовый балл того же испытуемого за задания с нечетным номером.

Формула Рюлона выглядит так:

,                                                      (6)

Дисперсия разностей между результатами каждого испытуемого по обеим половинам тестаS²_dнаходится по формуле:

,                         (6.1)

где:X_i— тестовый балл i-го испытуемого за задания с четным номером;

Y_i— тестовый балл того же испытуемого за задания с нечетным номером.

Дисперсия суммарных баллов результатаS²_zнаходится по формуле:

,                                    (6.2)

где: Z_i— суммарный балл за весть тест i-го студента.

Формула Кьюдера-Ричардсонавыглядит так:

,                                                  (7)

где: p_j— доля правильных ответов на j-ое задание, т.е. кол-во правильных ответов, деленное на кол-во студентов;

q_j— доля неправильных ответов на j-ое задание, т. е. кол-во неправильных ответов, деленное на кол-во студентов (q_j=1 —p_j);

S²_z— дисперсия суммарных баллов результата, которая вычисляется по формуле (5.2).

При подсчете надежности по формуле Стенли студентов необходимо разделить на две группы. В первую группу войдут 27% «сильных» студентов (те, кто набрал наибольшее количество баллов), а в слабую 27% «слабых» студентов (те, кто набрал наименьшее количество баллов).

Формула Стенли:

,                         (8)

где W_L— количество неправильных ответов на данный вопрос в слабой группе;

W_H— количество неправильных ответов на данный вопрос в сильной группе;

n— количество вопросов в тесте;

k— количество испытуемых в сильной (слабой) группе, т. е. 27 % от общего числа испытуемых.

Коэффициент Альфа Кронбаха показывает внутреннюю согласованность характеристик, описывающих один объект, и находится по формуле:

,                                                   (9)

где: S²_Y— дисперсия суммарных баллов результата, которая вычисляется по формуле (3.2);

S²_Yi— дисперсия элемента i.

Методику расчета тестовых характеристик покажем на конкретном примере. Мы получили результаты тестирования студентов, представленные в таблице 1.

Таблица 1

Результаты первого тестирования

Спустя две недели тест провели повторно и получили результат, представленный в таблице 2.

Таблица 2

Результаты второго тестирования

Используя данные таблиц, перейдем к расчету всех вышеперечисленных характеристик.

Дискриминативность

1.Рассчитываем количество студентов в крайних группах, сразу округляя до целых:.

2. Рассмотрим группу лучших и группу худших, в каждой из которых будет по 3 человека. Получим таблицу 3.

Таблица 3

Сводная таблица тестирования с экспертными оценками

Таким образом в группу лучших входят студенты под номером 1, 10, 4; в группу худших: 3, 5, 2 (если встречаются студенты с одинаковым баллом за тест, учитываем экспертные оценки).

3. Составимтаблицу4, состоящую только из студентов группы лучших и студентов группы худших, сразу рассчитывая количество студентов в каждой группе, правильно выполнивших задание.

Таблица 4

Сводная таблица тестирования с экспертными оценками
для крайних групп

4. Рассчитываем индекс дискриминативности для каждого задания по формуле (1):

, , , , , , , , , .

Длаем вывод, что задания 6 и 7 недискриминативны.

Валидность

В таблице 6найдены E_i(экспертная оценка),Z_i( общий балл за тест), n— известно, в нашем случае равно 10.

1.     Находим и по формуле (3.1):

,.

2.     Находим  и  по формуле (3.2):

,.

3.Валидность рассчитывается по формуле (3). Для удобства отдельно посчитаем:

.

Получим: .

Надежность как устойчивость

1. Для начала построим таблицу 5.

Таблица 5

Нахождения надежности по формуле Пирсона

2. Применим формулу (4):

.

Надежность как внутренняя согласованность. Данную характеристику мы будем считать методом расщепления по формуле Рюлона (6).

1. Для начала найдем дисперсию разностей между результатами каждого испытуемого по обеим половинам теста. Заполним таблицу 6.

Таблица 6

Расчет дисперсии разностей результатов

2. Применим формулу (6.1): .

3. Найдем дисперсию суммарных баллов результата, предварительно построив таблицу 7.

Таблица 7

Расчет дисперсии суммарных баллов

4. Применяя формулу (6.2), а затем и формулу (6), получим:

, .

Интерпретация результатов

1. Надежность как устойчивость: поскольку значение коэффициента приблизительно равно 0,923, то тест имеет высокую степень надежности. Значит, с этой точки зрения он составлен очень хорошо.

2. Надежность как внутренняя согласованность: значение коэффициента корреляции приблизительно равно 0,198. Это говорит о низкой надежности, поэтому лучше провести повторное тестирование с целью определения, какие тестовые задания необходимо заменить.

3. Дискриминативность: недискриминативны задания 6 и 7, так как неудовлетворительным считается коэффициент дискриминации менее 0,3. Это значит, что эти задания непригодны для теста и их необходимо заменить.

4. Валидность: степень корреляции между результатами теста и внешним критерием (экспертными оценками) достаточно высока и составляет 0,962823. Данный результат говорит о высокой валидности рассмотренного теста.

Обращаем ваше внимание на особые случаи.

• Иногда при нахождении коэффициента надежности происходит деление на нуль. Это может произойти, если все студенты имеют одинаковое количество правильных и неправильных ответов. Такое редко бывает на практике, скорее всего, произошла утечка ответов. В данном случае следует тест провести повторно.
• При нахождении надежности как устойчивости, так же возможен случай, который дает в ответе неопределенность, т. е. происходит деление нуля на нуль. Такое может произойти, когда студент дал одинаковое количество правильных и неправильных ответов на первом и повторном тестировании. Это означает, что тест составлен очень удачно или же наоборот, очень неудачно. Советуем вам проверить другие тестовые характеристиками и, исходя из них, сделать заключение.
• При расчете валидности также возможен случай, когда происходит деление на 0. Это может произойти в том случае, если все студенты имеют одинаковое количество правильных и неправильных ответов или, если все экспертные оценки одинаковы. Такой случай редко может произойти на практике, скорее всего, произошла утечка ответов, и данный результат искажен.

Рекомендации для тестолога

Если мы хотим составить тестовые задания, обладающие удовлетворительной дискриминативностью, то необходимо избегать следующего: 1) излишней сложности, запутанности формулировок; 2) неоднозначности условий; 3) очевидности решения; 4) зависимости результата от памяти или от других индивидуальных особенностей испытуемого, а не от уровня развития тех умений и навыков, для оценки которых разрабатывается тест; 5) абсурдности, нереальности вариантов ответов; 6) появления двух и более правильных ответов, не оговоренных в условии.

Существуют следующие способы повышения валидности теста: 1) подбор оптимальной трудности заданий для обеспечения нормального закона распределения баллов по тесту; 2) экспертиза качества содержания теста;
3) расчет оптимального времени выполнения теста; 4) подбор заданий с высокой дискриминативностью.

Предварительное исследование источников ненадежности позволяет по возможности устранить их влияние при конструировании теста. К числу таких источников обычно относят: 1. Субъективизм при оценке результатов выполнения заданий теста. Наиболее эффективный метод преодоления отмеченного недостатка — использование закрытых заданий, которые благодаря возможности объективной оценки результатов выполнения при прочих равных ведут к повышению надежности теста. 2. Угадывание. Как показывают специальные исследования, угадывание существенно снижает надежность теста, особенно в тех случаях, когда тестируется группа слабых учеников, которые обычно прибегают к догадке при выполнении наиболее трудных заданий теста. 3. Отсутствие логической корректности формулировок заданий теста. Как правило, некорректные задания пропускают сильные ученики, что в целом негативно отражается на надежности теста. 4. Неоправданный выбор весовых коэффициентов. При правильном положении вещей выбор весовых коэффициентов в процессе подсчета индивидуальных баллов обучаемых должен базироваться на соответствующей теории. 5. Длина теста. Надежность растет по мере увеличения длины теста. Для удовлетворительной, но не хорошей надежности обычно достаточно 30 заданий теста. 6. Отсутствие стандартной инструкции к тесту. Инструкции к тесту должны быть предельно стандартизованы и точны. Любые неоднозначности, двусмысленности и отступления от требований стандартизации в инструкции ведут к снижению надежности теста. 7. Иные источники ненадежности связаны с испытуемыми, а не с заданиями теста. Например, испытуемый может плохо себя почувствовать во время работы над тестом либо ошибиться в инструкции. На результаты выполнения теста могут повлиять усталость и скука, температура в помещении, шум за окном и т. п.

В заключение отметим, что в рамках нашего проекта с целью оптимизации процесса эмпирической обработки тестовых характеристикстудентами специальности «Информатика» Фалеем Александром и Березюком Сергеем разработани реализован онлайн сервис.Обработка пользовательских данных разделена на три этапа: прием информации от клиента и формирование массивов исходных данных, обработка значений с помощью расчетных формул и алгоритмов, компоновка и вывод результатов пользователю. Целевой аудиторией данного сервиса преимущественно могут стать учителя школ и преподаватели вузов.Адрес проекта: www.qualitester.com.

Список литературы:

1. Аванесов В. С. Композиция тестовых заданий/ В. С. Аванесов. — М.: Адепт, 1998. — 217 с.

2. Аванесов В. С. Применение заданий в тестовой форме в новых образовательных технологиях / В.С. Аванесов // Школьные технологии. — 2007. — № 3. — С. 146—163.

3. Аванесов В. С. Форма тестовых заданий: учеб. пособие / В. С. Аванесов. М.: Центр тестирования, 2005. — 120 с.

4. Гуцанович С. А., Радьков А. М. Тестирование в обучении математике: диагностико-дидактические основы / С. А. Гуцанович, А. М. Радьков. — Мозырь: Издательский Дом «Белый Ветер», 2001. — 168 с.

5.Майоров А. Н. Теория и практика создания тестов для системы образования. — Москва: «Интеллект-Центр», 2002. — 296 с.

6.Челышкова,М.Б. Теория и практика конструирования педагогических тестов. — Москва: «Логос», 2002. — 432 с.