Применение статистики в оценивании

Основная статья: Оценка программ

Статистика широко применяется в оценивании программ. Способ, при помощи которого проводится оценка программы и соответствующих относящихся к программе факторов, в большой степени определяет те аналитические методы и статистические показатели, которые будут использоваться в процессе оценивания.

Уровни статистического измерения

Главным критерием при выборе тех или иных статистических показателей является уровень статистического измерения. В 1946 году Стивенс (Stevens) выделил четыре таких уровня :

1. номинальный (или дискретный);
2. порядковый;
3. интервальный;
4. отношение.

В дальнейшем именно эти уровни использовались для описания эмпирических данных.

Номинальный уровень статистического измерения включает в себя постановку в соответствие чисел и данных для дальнейшего распределения их по группам. Отличие переменных порядкового уровня от переменных номинального состоит в том, что первые имеют упорядоченную связь между своими категориями. К примеру, участники программы по переквалификации по окончании данной программы могут быть разделены на «успешных» (те, кто закончили курсы и смогли найти работу в течение двух недель), «частично успешных» (закончили курсы, но не смогли найти работу в течение двух недель) и «неуспешных» (не смогли закончить курсы). Порядковые переменные в данном случае характеризуются последовательностью, в то время как номинальные служат исключительно для различения категорий. Порядковые переменные играют ключевую роль в оценивании, так как для оценки мнения участников программы обычно используются порядковые нормы оценивания. Интервальные переменные и переменные в отношениях отражают основополагающий численный диапазон.

Важной деталью классификации Стивенса является необходимость сопоставить уровень статистического измерения с аналитическим методом. Как только уровень статистического измерения ключевых переменных в анализе был выбран, в большинстве случаев выбор подходящего аналитического метода является, в сущности, простым соблюдением формальности. Таким образом, сопоставление аналитического метода с уровнем статистического измерения является важной задачей оценщиков.

Описательная статистика и статистика вывода

Когда проводится расчет того или иного процесса или программы, числа могут быть сгруппированы различными способами. Если результирующие статистические данные, например, средние величины, используются для описания группы элементов, тогда цифровые данные называют описательной статистикой.

Во многих случаях, количество тех, кто получает услуги от программы настолько велико, что полное обследование приведет к чрезмерным затратам. В данном случае из всего количества выбирается репрезентативная группа, т.е. используется статистика вывода. При выборе репрезентативной группы оценщик должен руководствоваться следующими принципами :

1. Оцениваемая группа должна быть известна и опознаваема.
2. Возможность выбора той или иной категории оцениваемой группы необходимо рассчитать.
3. Репрезентативная группа должна быть соответствующего размера по отношению к размеру всей оцениваемой группы.
4. Необходимо оценить адекватность репрезентативной группы.

Доверительный уровень

Доверительный уровень отражает количество данных, необходимых оценщику для того, чтобы утверждать, что обследуемая программа имеет должный эффект. В общественных науках традиционно используется 95% доверительный уровень. Однако для большинства общественных программ уровень в 95% является излишним. Доверительный уровень в интервале 80-90% является достаточным для адекватной оценки программы. Таким образом, можно уменьшить размер репрезентативной группы, тем самым уменьшив и затраты на проведение оценки.

В процессе статистической оценки проверяется нулевая гипотеза, которая состоит в том, что программа не имела должного эффекта. Если полученные результаты значительно отличаются от изначальных предположений о правильности нулевой гипотезы, то последняя отклоняется.

Выбор подходящей статистики

Для выбора наиболее подходящей статистики в той или иной ситуации оценщикам необходимо использовать различные критерии. Определение основных вопросов при проведении оценки, выбор способа сбора информации и вид оцениваемой группы в большой степени влияют на выбор статистических методов.

Важное значение имеет размер репрезентативной группы. Если выбрана слишком маленькая группа, это может повлечь за собой неправильную оценку программы, слишком большая группа предполагает излишние затраты на проведение оценивания. Также для выбора статистического метода имеет значение количество наблюдений за единицами измерения. Например, если проводятся два или более наблюдения за одной и той же единицей измерения, может быть обследовано изменение во времени, что влечет за собой выбор статистического метода, пригодного именно для такого анализа.

Перед применением статистики оценщику необходимо рассмотреть распределение единиц измерения по различным переменным. Подобный анализ позволяет определить, в какой степени единицы измерения отличаются друг от друга. Например, если для оценивания представляет интерес раса участников курсов повышения квалификации и если только два из пятидесяти шести участников отличаются от остальных по расовому признаку, то в процессе оценки невозможно будет использовать расу в качестве переменной.

Преимущества использования статистики

Статистические показатели имеют важное значение при оценке эффективности проведения программы и ее социального эффекта. Правильно устроенная система статистических показателей обеспечивает оценщиков сводной информацией, позволяющей лучше оценить эффект, произведенной программой. Важно, чтобы в процессе оценивания использовалась аналитическая обработка собранных числовых данных. Использование статистики в процессе оценивания позволяет:

1. Сравнивать программы (или их отдельные компоненты) в различные периоды времени;
2. Сравнивать эффективность проведения программ с намеченными в начале программы целями. Это позволяет корректировать процесс применения программы на практике.
3. Сравнивать эффективность применения подобных программ в различных местах. Подобный подход может быть использован в централизованных системах для выявления неэффективного применения программы на практике.

Мета-анализ

Основная статья: Мета-анализ

Статистика широко применяется в мета-анализе. Мета-анализ представляет собой особый тип синтезирования информации, применяемый в процессе оценивания. Статистика при данном способе анализа используется для общей сводки, синтеза и интерпретирования полученных в ходе эмпирических исследований данных. Совмещая результаты различных исследований, мета-анализ позволяет увеличить положительный эффект от использования статистики и получить более точные результаты.

Литература

1. Joseph S. Wholey, Harry P. Hatry, Kathryn E. Newcomer Handbook of Practical Program Evaluation. Wiley_Default, 2004.
2. John M. Owen, Patricia J. Rogers Program Evaluation: Forms and Approaches. SAGE, 1999.
3. Valerie J. Caracelli, Methodology: Building Bridges to Knowledge, in: Evaluationsforschung: Grundlagen und ausgewaehlte Forschungsfelder / ed. by R. Stockmann, Leske + Budrich, Opladen. 2000, S. 165-191.