Логически-функциональная типология оценивания

Основная статья: Оценка программ

Данная типология выделяет различные виды оценивания по принципу целесообразности их применения на каком-то конкретном этапе программы и/или политики. Каждый тип оценивания имеет свою функциональную характеристику, которая определяет логичность его использования на той или иной стадии.

Предварительное оценивание (англ. ex-ante evaluation)

Предварительное оценивание направлено на оценку ситуации и результатов будущих программ, политик или мероприятий (pre-assessment). Предварительное оценивание часто именуют прогнозным, так как его применяют при определении валидности содержания программы, выполнимости задач, поставленных в ней, таким образом прогнозируя дальнейшее развитие программы. Предварительная оценка проводится на стадии планирования программы для ответа на вопрос — приведет ли сформулированная программа к намеченным в ней целям.

На стадии предварительного оценивания решается вопрос о целесообразности финансирования программы на этапе её дальнейшего внедрения.Предварительное оценивание является своего рода гарантией того, что ресурсы в ходе реализации программы не будут потрачены безуспешно и/или неэффективно. Данный тип оценивания также направлен на прогнозирование затрат, выбор наиболее эффективных мероприятий. Он является объективной основой для разработки дальнейших стратегий.

Прогнозное оценивание проводится для предварительного заключения о возможных результатах, последствиях и других аспектах внедряемой программы.

Процесс предварительной оценки представляет определённые выгоды в том смысле, что помогает избежать необоснованных расходов и издержек, повышает шансы программы на успех на этапе её реализации.В этом смысле предварительное оценивание позволяет разработать оптимальный проект программы - с минимальными и издержками и максимально эффективным воздействием на адресатов. Нахождение оптимального варианта порой представляется довольно сложной задачей: вся трудность состоит в том, что необходимо оценить потенциальное влияние, круг лиц, на которых в той или иной степени распространяется воздействие программы,определить возможные риски и непредвиденные издержки.

Технология предварительного оценивания позволяет судить о том, в какой взаимосвязи находятся отдельные параметры программы и каким образом изменения каждого из них влияет на результат программы. Не стоит забывать, что предварительное оценивание не может служить заменой итоговому оцениванию. Так, последнее оценивает уже сам результат, в то время как предварительное - альтернативный анализ.

Основной метод предварительного оценивания - экстраполяция данных о прошлом опыте для оценки гипотетических последствий и влияния будущей программы.

Определение "оцениваемости" программы (англ. evaluability assessment)

Определение "оцениваемости" необходимо для выявления возможности применения методов оценивания непосредственно к данной программе; таким образом определяется круг факторов и условий, являющихся потенциальными преградами и/или помехами для эффективной оценки.

На этом этапе оценщик делает вывод о согласованности, логичности и содержательности программы, доступности и возможности количественных и качественных измерений параметров данных, которые могут быть в дальнейшем использованы для проведения мониторинга и при оценке конечных результатов. Критерии оцениваемости (эффективность, результативность, релевантность, устойчивость, продуктивность; также выделяют: целесообразность, сфера действия,логичность,обоснованность) определяют готовность программы к оцениванию.

Определение "оцениваемости" – систематический процесс (этап), который также обуславливает результативность программы с точки зрения получения адекватных данных. Для определения "оцениваемости" оценщик должен обладать всем массивом информации, относящимся к программе: документы, проект, регламент и т.д.

Этап определения "оцениваемости" подобен процессному оцениванию, однако между этими двумя понятиями существует определённая разница. Если программа соответствует критерию оцениваемости, то существует возможность дальнейшего проведения оценки процесса или конечных результатов. Процессное оценивание обычно требует времени, поэтому вначале важно оценить возможность получения адекватных данных.

Если программа не подлежит оценке (либо она затруднена), оценщик должен выявить основные возможные причины – впоследствии на данном этапе программа может быть cкорректирована и/или улучшена в соответствии с полученными сведениями.

Сопровождающее оценивание (англ. on-going evaluation)

Сопровождающее оценивание (см. также Formative evaluation) осуществляется во время реализации программы или мероприятия (по возможности с самого начального момента её реализации). Оно используется для своевременной обратной связи на основе полученных (промежуточных) результатов для соответствующих акторов (политических, административных или общественных), чтобы создать возможность внесения коррективов ещё во время реализации программы или мероприятия. Сопровождающее оценивание также называют мониторингом хода реализации программы/политики/мероприятия.

Сопровождающее оценивание включает в себя систематический сбор данных относительно заданных индикаторов, чтобы обеспечить руководство по ходу программы. На этапе мониторинга оценивается степень прогресса и достижения поставленных задач, а также эффективность использования выделенных фондов, средств финансирования.

Сопровождающее оценивание направлено на оценку воздействия программы (на бенефицариев, адресатов, рецепиентов) в ходе её реализации и имеет особое значения для достижения эффективности программы.

Итоговое оценивание (англ. summative evaluation, ex-post evaluation)

• Итоговое оценивание программы (или другого предмета оценки), как правило, проводится после завершения программы (для текущих программ -соответственно сопровождающее оценивание);
• Итоговое оценивание может быть инициировано как третьей (внешней) стороной так и тем, кто принимает решения (например, финансирующее агентство, служба по контролю и надзору или люди, в будущем вовлеченные в оцениваемую программу);
• Итоговое оценивание может быть произведено как независимым оценщиком-экспертом, который подготавливает качественный внешний мониторинг-анализ, так и внутренними экспертами; впрочем, итоговое оценивание проводится также с помощью комбинации двух названных методов.

Результат итогового оценивания обычно оформляется в виде ряда альтернатив:

• внедрение программы (имплементация, приведение в действие);
• усиление поддержки программы (невозможность итогового заключения о программе);
• продолжение мер поддержки программы;
• учет конкретных, специфических обстоятельств (апробация);
• претерпевание определённых изменений (модификация и корректировка программы);
• прекращение программы

Для обеспечения независимости и беспристрастности оценки итоговое оценивание обычно проводится внешними оценщиками-экспертами (в отличие от формативного оценивания). Итоговое оценивание следует отличать от оценивания конечных результатов, так как последнее предполагает оценку на этапе получения конечного результата, а не во время самого процесса его достижения (может быть итоговым или формативным). Впервые смешение данных понятий произошло в предисловии к ERS Evaluation standards, 1980 Field Edition (Стандарты оценивания).

Итоговое оценивание не стоит путать с понятием глобального оценивания. Итоговое оценивание может быть как глобальным (общим), так и аналитическим.

Когда проводится итоговое оценивание текущей программы, то цель оценки - подготовить отчет о программе или же дать рекомендации к прекращению внедрения программы.

Мета-оценивание (англ. meta-evaluation)

В основе мета-оценивания лежит оценивание самой системы оценивания (см. мета). Такой вид оценивания позволяет постоянно обновлять и совершенствовать установленные показатели, процедуры оценки и.т.д. Принцип оценивания самой системы оценивания является одним из наиболее важных и значимых при создании эффективной системы оценивания страны в целом.

Оценщики нуждаются в определённых критериях, чтобы оценивать свою деятельность. Таким образом в рамках мета-оценивания разрабатываются и определяются общие стандарты оценивания, являющиеся своего рода ориентиром для деятельности по оценке. Мета-оценивание должно быть независимым, защищенным от стороннего влияния.

Майкл Скривен (1969) впервые представил термин «мета-оценивание» в своём "Докладе об образовательных продуктах" («the Educational Products Report») и предложил данную концепцию для оценки системы оценивания образовательных продуктов.

Леон Лессинджер (1970), Мальколм Провус (1973), Ричард Селигман (1973) и другие также обсуждали эту концепцию в рамках контроля образовательных программ.

При создании методологии мета-оценивания был разработан определённый набор критериев, необходимых для функционирования системы оценивания.

Cистема включает 11 критериев:

• внутренняя валидность,
• внешняя валидность,
• достоверность,
• объективность,
• релевантность,
• важность,
• определённый диапазон изучения,
• надежность и своевременность,
• распространение результатов,
• эффективность

Безусловно, оценщик не сможет осуществлять свою деятельность, базируясь на всех 11 принципах, однако он должен выстраивать некий баланс из этих критериев (наиболее значимые – эффективность,адекватность, полезность).

Литература

Предварительное оценивание

1. Evaluating economic instruments for environmental policy//Organisation for Economic Cooperation, OECD Publishing, 1997
2. Wollman, Helmut: Evaluation in public-sector reform: Toward a 'third wave' of evaluation? in: Hellmut Wollmann (ed.) 2003, Evaluation in Public Sector Reform, Cheltenham/Northampton: Edgar Elgar, pp. 1-11
3. Оценивание и реформы государственного управления: основные понятия и практики в международной перспективе (англ., аннот.)
4. Petra E. Todd and Kenneth I. Wolpin Ex ante Evaluation of Social Programs, University of Pennsylvania,June 1, 2005

Определение "оцениваемости" программы

1. Evaluating Socio Economic Development, SOURCEBOOK 2: Methods & Techniques. Evaluability assessment,Final Materials December 2003
2. Program Evaluation Briefing Series #6: Evaluability Assessment:Examining the Readiness of a Program for Evaluation, Juvenile Justice Evaluation Center,Justice Research and Statistics Association
3. Evaluability Criteria and evaluability, Session 9, Centre for Aids Development, Research and Evaluation

Сопровождающее оценивание

1. Беляев А., Цыганков Д. Оценивая эффективность реформы: новые технологии оптимизации государственной и отраслевой политики, Институт оценки программ и политик//"Вестник актуальных прогнозов 'Россия. Третье тысячелетие' ",№ 11, 2004
2. Wollman, Helmut: Evaluation in public-sector reform: Toward a 'third wave' of evaluation? in: Hellmut Wollmann (ed.) 2003, Evaluation in Public Sector Reform, Cheltenham/Northampton: Edgar Elgar, pp. 1-11

Итоговое оценивание

1. M.Scriven, Evaluation Thesaurus. 4th edition. London: Sage Publications, 1991 (p. 340)
2. Summative vs. Formative evaluation
3. Summative evaluation

Мета-оценивание

1. Яхнина В.С.,Цыганков Д.Б.Формирование системы оценивания и мониторинга эффективности научно-исследовательской деятельности как условие повышения инновационного потенциала российской науки
2. Stufflebeam D. Meta-evaluation//Paper №3,Occasional Paper Series,1973