About some approaches for converting test scores into grades

Full Text

Введение

Распространение компьютерного тестирования для оценки результатов освоения учебной дисциплины в высшем учебном заведении зачастую приводит к необходимости перевода тестовых баллов (от 0 до 100) в привычную пятибалльную шкалу отметок. В соответствии с устоявшейся на практике терминологией в статье термины «отметка» и «оценка» будут использоваться как синонимы, несмотря на их принципиальное отличие друг от друга.

Пятибалльная шкала отметок является порядковой, в то время как тестовые баллы относятся, в общем случае, к интервальной шкале. В случае результатов прохождения конкретного теста ее можно рассматривать как шкалу отношений.

Перевод баллов тестирования в отметки происходит либо с использованием таблицы или номограммы соответствия некоторого диапазона тестовых баллов отметкам, либо применяется некоторое математическое выражение, позволяющее определить отметку [1, 2, 3].

В первом случае определение интервалов, соответствующих отметкам, представляется и является субъективным и не учитывает множество скрытых факторов.

Применение математических выражений для указанных выше целей тоже не лишено недостатков. Например, в [2] предлагается соотношение вида

$Y=\mathrm{3,3}\cdot lg\left(\frac{100}{100-X}\right)$,                                                                               (1)

где Y - – отметка по пятибалльной шкале, X - тестовые баллы.

Здесь представлена нелинейная зависимость величины отметки от тестового балла. Если даже не учитывать проблему с областями определений и значений в (1), просматривается завышенный уровень требований к знаниям испытуемых. Например, отметке «3» соответствует значение X = 75, что, очевидно, сильно завышено. Кроме того, здесь не учитывается сложность конкретного теста.

В качестве еще одного варианта зависимости отметки от тестового балла в этих работах рассматривается зависимость вида

$Y=a{X}^n+b$,                                                                                         (2)

Где a, b, n ‒  – коэффициенты, подлежащие определению.

Из них нас будет интересовать коэффициент, n определяющий тип зависимости.

При n = 1 мы получаем линейную зависимость, n < 1 соответствует сублинейной зависимости, n ‒ 1 дает надлинейную зависимость.

В случае линейной зависимости наблюдается прямая пропорциональная зависимость между оценками и индивидуальным тестовым баллом. Это самая простая зависимость, но на практике она, как правило, не используется.

Сублинейные зависимости означают, что при переходе к отметкам больший интерес представляет возможность лучшей классификации в области низких баллов для сложных тестов. Надлинейные зависимости предпочтительнее применять, в области высоких оценок для простых тестов.

Даже в случае применения математических выражений при переводе тестовых баллов в отметки, очевидно, сохраняется проблема субъективности выбора типа зависимости и значений используемых параметров, не говоря о признании теста простым или сложным.

Результаты и обсуждение

Постановка задачи

В данной работе авторами предпринята попытка уменьшить субъективный фактор при переводе тестовых баллов в отметки. Кроме этого, сравнить полученные результаты с ситуацией привлечения мнения экспертов по формированию таблиц перевода баллов тестирования в отметки пятибалльной шкалы.

В дальнейшем будем предполагать, что, рассматривая большое количество тестируемых, значение тестового балла можно считать непрерывной случайной величиной.

Шкала отметок, являясь порядковой, разбивает тестируемых на непересекающиеся группы, внутри каждой из них распределение тестового балла близко к нормальномузакону. Это можно считать следствием ЦПТ [4], если разбиение на эти группы проведено корректно.

Вышеизложенное позволяет предположить возможность выделять интервалы тестовых баллов, соответствующих определенным отметкам поэтапно. Например, сначала выделить интервал, соответствующий отметке «2» (что иногда можно рассматривать как отметку «не зачтено»). Повторяя эту процедуру, можно выявить интервалы тестовых баллов для остальных отметок.

Пусть из k (количество тестируемых) студентов, k₁ человек получили отметку «2» (неудовлетворительно), k₂ – остальные отметки.

Предполагая нормальность распределения тестовых баллов внутри этих двух групп, обозначим μ₁, σ₁ и μ₂, σ₂ – математические ожидания и среднеквадратические отклонения. Тогда:

$f_1\left(x\right)=\frac{1}{{\sigma }_1\sqrt{2\pi }}{e}^{\frac{{\left(x-{\mu }_1\right)}^2}{2{\sigma }_1^2}}$,                                                                               (3)

$f_2\left(x\right)=\frac{1}{{\sigma }_2\sqrt{2\pi }}{e}^{\frac{{\left(x-{\mu }_2\right)}^2}{2{\sigma }_2^2}}$                                                                               (4)

плотности распределения, а

$F_1\left(x\right)=\frac{1}{{\sigma }_1\sqrt{2\pi }}\underset{-\infty }{\overset{x}{}}{e}^{\frac{{\left(x-{\mu }_1\right)}^2}{2{\sigma }_1^2}}dx$,                                                                   (5)

$F_2\left(x\right)=\frac{1}{{\sigma }_2\sqrt{2\pi }}\underset{-\infty }{\overset{x}{}}{e}^{\frac{{\left(x-{\mu }_2\right)}^2}{2{\sigma }_2^2}}dx$,                                                                   (6)

функции распределения для каждой из этих групп, соответственно [5].

Разобьем диапазон баллов тестирования [0, 100] на N промежутков одинаковой длины.

Обозначим Fact_i фактическую частоту попадания в n-ый промежуток, а Teor1_i, Teor1_i – теоретические частоты для первой и второй групп в отдельности.

$Teor{1}_i=k_1\left(F_1\left(x_i\right)-F_1\left(x_{i-1}\right)\right)$,                                                                   (7)

$Teor{2}_i=k_2\left(F_2\left(x_i\right)-F_2\left(x_{i-1}\right)\right)$,                                                                   (8)

Тогда теоретическая частота попадания в n-ый промежуток .

Введем в рассмотрение квадратичный функционал

$Teo{r}_i=Teor{1}_i+Teor{2}_i$,                                                                           (9)

Значения величин k₁, k₂, μ_1, μ_2, σ_1, σ₁ находим, минимизируя функционал (9)[ 6], учитывая их неотрицательность, требования к математическим ожиданиям μ₁ < μ₂ ≤ 100 и ограничения на среднеквадратические отклонения с учетом «правила трех сигм» для попадания теоретических баллов в диапазон от 0 до 100.

Граничное значение тестового балла, разделяющее отметку «2» от остальных находим как локальный минимум функции

$h\left(x\right)=k_1{f}_1\left(x\right)+k_2{f}_2\left(x\right)$.                                                                           (10)

Проиллюстрируем изложенное выше на примере реального тестирования в ЮГУ (по естественно-научной дисциплине), в котором k = 130, N = 10.

Фактическое распределение результатов тестирования представлено на Рис. 1, а в Таб. 1 – значения статистик.

 

Рисунок 1 – Фактическое распределение результатов тестирования

 

Таблица 1.

Среднее	61,67
Медиана	62,96
Стандартное отклонение	18,03
Асимметричность	-0,46
Минимум	12,96
Максимум	96,30
Счет	130

 

Наблюдаемая существенная отрицательная асимметричность позволяет предположить наличие в выборке группы студентов, получивших низкие тестовые баллы. Этот же факт наблюдается и на Рис. 1.

Теоретические и фактические частоты представлены на Рис. 2. Теоретические частоты получены в результате минимизации функционала (9).

 

Рисунок 2 – Теоретические и фактические частоты

 

Граничное значение тестового балла, разделяющее отметку «2» от остальных, находим как локальный минимум функции (10). В нашем примере пороговое значение отметок «3» и выше равно 29,07 (смотри Рис. 3). При необходимости пороговое значение округляется.

 

Рисунок 3

 

В итоге количество студентов, получивших отметку «2», оказалось равным 7. Распределение остальных студентов представлено на Рис. 4, а в Таб. 2 – значения соответствующих статистик.

 

Рисунок 4

 

Таблица 2

Среднее	64,09
Медиана	62,96
Стандартное отклонение	15,27
Асимметричность	0,01
Минимум	30,56
Максимум	96,30
Счет	123

 

Повторяя процедуру выделения пороговых значений тестовых баллов сначала для отметки «4», а затем для отметки «5», были найдены значения 64,59 и 80,14, соответственно. В результате применения рассматриваемого подхода в данном примере получено следующее распределение студентов по отметкам: Рис. 5, Таб. 3.

 

Рисунок 5

 

Таблица 3

Отметка	Количество студентов
2	7
3	54
4	49
5	20

 

Чтобы сравнить полученные результаты с ситуацией привлечения экспертного мнения по формированию таблиц перевода баллов данного теста в отметки пятибалльной шкалы, в Таб. 4 представлены пороговые значения, предложенные шестью экспертами.

 

Таблица 4

Отметка	Эксперт А	Эксперт Б	Эксперт В	Эксперт Г	Эксперт Д	Эксперт Е
3	45	40	50	55	60	45
4	60	60	70	75	75	70
5	75	70	90	90	90	85

 

Как видно из таблицы, субъективные мнения экспертов о сложности теста и требованиях к освоению учебной дисциплины существенно различаются, что вполне ожидаемо. Распределения студентов по отметкам в зависимости от эксперта представлены на Рис. 6, а на Рис. 7 – распределение при пороговых значениях, усредненных по экспертам. Усреднение проводилось посредством нахождения простого среднего арифметического, что не могло учесть различия в квалификации привлеченных экспертов.

 

Рисунок 6

 

Рисунок 7

 

Все распределения студентов по отметкам, полученные с учетом мнения экспертов, включая осредненное, статистически (при 1% уровне значимости) отличаются друг от друга. И нет объективных оснований предпочесть мнение одного эксперта или выбрать осредненное.

Заключение и выводы

Рассмотренная в работе проблема перехода от тестовых баллов, полученных студентом в результате прохождения теста по учебной дисциплине, к пятибалльной шкале отметок имеет несколько аспектов. Перечислим некоторые, лежащие на поверхности. С одной стороны, правила перевода тестовых баллов в отметки должны быть сформулированы до начала прохождения теста. В этом случае невозможно избавиться от крайней субъективности, формулируя их как жесткие или в форме «рекомендаций». С другой стороны, попытка уменьшить влияние субъективного фактора в этом вопросе, предложенная в данной работе, предполагает многократное использование конкретного теста с предварительным его прохождением для накопления достаточной статистики. И только после этого проведения тестирования «на отметку» с четкими правилами. Но и в этом случае проблема субъективности не решается в полной мере. Например, остается открытым вопрос выбора количества интервалов N. Вероятно, можно пытаться решить его, применяя инструменты математической статистики.

По мнению авторов, возможен несколько иной подход к компьютерному тестированию, как инструменту проверки уровня освоения учебной дисциплины, неявно включающий в себя элементы классического экзамена. Он заключается в использовании многоуровневого тестирования. Тестируемый должен последовательно пройти задания уровня отметки «3», уровня «4» и уровня «5», причем, переход к следующему уровню становится возможным только при условии получения «зачета» по предыдущему. Тестовые задания различных уровней должны не пересекаться, различаться по типу и возрастать по степени сложности при возрастании уровня отметки. Наиболее напрашивающимся такой подход представляется при изучении естественно-научных дисциплин. Например, к уровню «3» можно отнести задания теста, относящиеся к определениям изучаемых в дисциплине объектов, терминологии, понятийному аппарату. Без прохождения этого уровня бессмысленно говорить о более сложных вещах. На уровне «4» задания относятся к свойствам изучаемых объектов и их взаимодействию друг с другом. Уровень «5» предполагает применение знаний при решении практических и ситуационных задач.

Многоуровневый подход, по-видимому, исключит ситуацию, когда в рамках одного теста студент может, например, верно сформулировать условие монотонности дифференцируемой функции, дав перед этим неверные определения понятиям «функция», «монотонность», «дифференцируемость».

Создание многоуровневого теста для проверки уровня освоения учебной дисциплины технически, очевидно, более трудоемко по сравнению с «обычным» тестом. Тем не менее, определение порогового значения для получения «зачета» в рамках одного уровня является более простой задачей, чем выделение уровней отметок «3», «4», «5».

About the authors

Mikhail G. Korotkov

Yugra State University

Author for correspondence.
Email: mkorotkov@rambler.ru

Candidate of Physical and Mathematical Sciences Associate Professor of the Engineering School of Digital Technologies

Russian Federation, Khanty-Mansiysk

Aleksey A. Petrov

Yugra State University

Email: averpetrov@mail.ru

Candidate of Physical and Mathematical Sciences, Associate Professor of the Engineering School of Digital Technologies

Russian Federation, Khanty-Mansiysk

References

Supplementary files