Характеристическая кривая задания

Характеристическая кривая задания (ХКЗ) - это график функции, который показывает вероятность выполнения определенного задания теста людьми с разными уровнями способностей.

Необходимость ХКЗ

Зачастую при тестовой оценке способностей используется метод общей оценки. Однако возникает проблема: при таком подходе не учитывается сложность заданий (т.е. способности индивида, решившего 3 сложных задания и того, который решил 3 простых задания, оцениваются как равные). В связи с этим возникает необходимость использования норм.

Например, можно использовать уровень трудности ("p-значения", т.е. пропорция испытуемых, выполняющих задания) наиболее сложных правильно решенных заданий как показатель способностей. Так же можно вычислить среднюю сложность правильно решенных заданий. Однако проблема остается: слишком уж много разных показателей можно содать на основе "p-значений", и становится не ясно, какой именно показатель следует использовать для оценки способностей.

Один из возможных подходов к разрешению этой проблемы состоит в применении имеющейся математической модели, описывающей результаты выполнения человеком теста.

Допущения, необходимые для построения ХКЗ

• вероятность верного выполнения индивидуумом задания зависит от способностей конкретного человека и от степени сложности тестового задания.
• "локальная независимоть" (верное выполнение конкретного задания не зависит от успешности человека в выполнении других заданий, т.к. вероятность верного выполнения задания - функция способностей человека). Таким образом, каждое задание должно представлять собой новую проблему, не зависящую от предыдущих.
• все задания шкалы оценивают один конструкт
• вероятность того, что индивид с крайне низким уровнем способностей решит задание умеренной сложности, стремится к нулю
• вероятность того, что индивид с очень высоким уровнем способностей решит задание умеренной сложности, стремится к единице
• уровень трудности задания - это точка на кривой, в которой индивид верно решит задание с вероятностью в 50%
• по обе стороны от этой точки есть диапазон способностей, где вероятность верного решения индивидо задания равномерно распределяется от 0 до 1.

Так, ХКЗ будет выглядеть следующим образом:

Этот график отображает вероятность верного решения задания людьми с разным уровнем способностей. На этом рисунке представлена "однопараметрическая модель" ХКЗ, так как она отображает только параметр сложности задания. Это график "логистической функции", который можно описать математически:

$P_i(true|\varphi) = \frac{e^{1.7(\varphi-b_i)}}{1+e^{1.7(\varphi - b_i)}}$,

где $P_i(true|\varphi)$ - вероятность того, что человек решит задание i правильно при условии, что он имеет уровень способностей, равный φ; e=2,718; φ - способности личности; b_i - уровень трудности задания i.

Двухпараметрическая логистическая модель

В двухпараметрической ХКЗ учитываются сразу два параметра: показатели дискриминации (a) и трудности (b). Показатель дискриминации - показатель "рассеивания" значений по оси ОХ.

$P_i(true|\varphi) = \frac{e^{1.7a_i(\varphi-b_i)}}{1+e^{1.7a_i(\varphi - b_i)}}$.

Трехпараметрическая логистическая модель

Здесь принимается в расчет также и вероятность угадывания (при наличии вариантов ответа задании).

$P_i(true|\varphi) = c_i+(1-c_i)\frac{e^{1.7a_i(\varphi-b_i)}}{1+e^{1.7a_i(\varphi - b_i)}}$,

где c_i - вероятность, с которой индивид с с очень низким уровнем способностей ответит на задание верно.

Применение ХКЗ

Все три математические модели (ХКЗ) описывают связи между способностями человека и вероятностью его успешности при решении конкретных тестовых заданий. Т.е. имея информацию об уровне способностей индивида и параметрах задания, мы можем установить вероятность верного решения задания конкретным человеком. Данный подход используется в теории сложности заданийй, где реализуется обратная логика: получив ответы человека на тестовые задания, мы хотим установить вероятные значения параметров каждого задания и уровень способностей каждого индивида.

Литература

• Колин Купер "Индивидуальные различия", М. 2000, изд. "Аспент пресс"