Оценка программ

Оценка программ (англ. program/policy evaluation) - аналитический инструмент или процедура, предназначенная для измерения прямых эффектов, результативности и долгосрочных последствий реализации государственных программ, отраслевых политик, ассессмента воздействия , а также программ развития, проектов некоммерческого сектора, корпоративных программ. Соответственно, "оценочное исследование" – междисциплинарное исследование, использующее экономические, социологические, политологические методы в соответствии с признанными открытыми стандартами («руководящими принципами») национальных и международных обществ по оценке.

В последние десятилетия под "зонтичным брендом" оценивания активно развиваются подотрасли, напр., "ассессмент воздействия" (оценка регулирующего воздействия, оценка воздействия на конкуренцию, оценка воздействия на окружающую среду как направление оценки в области экологии и устойчивого развития, оценка воздействия на бедность), оценка эффективности научных организаций, аудит эффективности и т.д.

Термин "оценка" используется в таких подходах как "политико-управленческий цикл" и "Управление проектным циклом".

Основные задачи оценивания

- Спрогнозировать возможные последствия, результаты реализации государственной программы, воздействия законопроекта (на этапе разработки);
- Обеспечить обратную связь (т.н. «сопровождающие исследования»);
- Оценить степень достижения намеченных целей;
- Оценить, как и в какой мере наблюдаемые изменения связаны с проведёнными мероприятиями программы / политики;
- Предоставить в распоряжения заказчика доказательную информацию для усиления «политической поддержки» данной программы/политики.

Основные типологии оценивания

1. Логически-функциональная типология (основная статья):

• Предварительное (прогнозное) оценивание;
• Определение «оцениваемости» программы;
• Cопровождающее оценивание (мониторинг);
• Итоговое (суммирующее) оценивание ;
• Мета-оценивание (оценка проведённых оценочных исследований в данном секторе).

2. Типология по способу организации оценки (основная статья):

• Внутреннее оценивания / само-оценивание;
• Внешнее оценивание.

3. Типология по исполнителю работ (основная статья):

• Академические (научные) оценочные исследования
• Контрактные (коммерческие) оценочные исследования.

Практические этапы и основные методы оценки

Этапы оценивания (основная статья):

1. Договориться с сопричастными лицами о целях и выгодах от проведения оценивания;
2. Прояснить объект оценки, условия проведения и постановку вопроса;
3. Составить план и методический дизайн исследования;
4. Осуществить сбор, ввод и измерения релевантных данных;
5. Сделать выводы и интерпретировать их;
6. Направить заказчику предварительный вариант отчета для комментариев;
7. Подготовить финальный вариант отчета с предложениями о применении результатов оценки.

Методы оценки:

• Проведение экспертных и глубинных интервью (основная статья);
• Проведение опросов (основная статья);
• Статистические исследования (основная статья);
• Анализ издержек/выгод (основная статья);
• Эконометрические подходы (основная статья);
• Анализ документации, в том числе финансовой (основная статья).

Методологические сложности оценивания

Основная статья: Методологические «поколения» в оценивании

• Трудности в определении целей, особенно вследствие того, что мероприятия реформ проводятся, как правило, не по отдельности;
• Трудности в переводе целей в измеримые показатели;
• Сложности в получении достоверных эмпирических данных для описания показателей, чем более значим показатель, тем сложнее получить данные;
• Чем более отдалена цель, тем сложнее придать показателям конкретную форму;
• Сложность прогнозирования побочных эффектов и непреднамеренных последствий.

Для преодоления этих сложностей используются следующие ходы:

• Оценка с опорой на факты / сопровождающий мониторинг;
• Использование смешанных методов (количественные, качественные, статистические, peer review, анализ издержек-выгод и т.д.);
• Формирование исследовательской команды из представителей различных секторов (экономисты, социологи, политологи, отраслевые эксперты);
• Адаптация лучшего иностранного опыта к местным реалиям / бенчмаркинг.

Волны внедрения оценивания за рубежом

Основная статья: Волны внедрения оценивания за рубежом

• «Первая волна» (1960-е гг.) – фокус на итоговое оценивание масштабных национальных приоритетных программ;
• «Вторая волна» (с середины 1970-х) - в результате бюджетного кризиса больший упор делается на сокращение государственных расходов;
• «Третья волна» (с 1990-х) - волна административных реформ, оценка закрепляется законодательно;

В настоящее время за рубежом оценка - сложившаяся индустрия на растущем рынке, с начавшейся специализацией компаний, с профильными кафедрами, магистерскими программами, аспирантурами, профессиональными журналами, издательствами, национальными и международными ассоциациями, создавшими стандарты оценки.

Стандарты и принципы оценивания

Основная статья: Стандарты и принципы оценивания

• Program Evaluation Standards Объединенного комитета по оцениванию в образовании, США (2007 г.);
• Guiding Principles for Evaluators Американской ассоциации по оцениванию (2004 г.);
• Evaluations-Standards Германского Общества по оцениванию (2004 г.);
• Evaluations-Standards Швейцарского Общества по оцениванию (2000 г.);
• Good Practice Guidelines Общества по оцениванию Великобритании (2003 г.);
• La Charte de l'Evaluation Общества по оцениванию Франции (2006 г.);
• Принципы оценки Международной Сети «Оценка программ» (2000 г.).

Международные и национальные ассоциации оценивания

Основная статья: Международные и национальные ассоциации оценивания

Сегодня в мире насчитывается около 60 профессиональных сообществ, которые работают в сфере оценки. Их количество и число их членов продолжает с каждым годом увеличиваться. Наиболее быстрое развитие происходило в последние 8-10 лет.

• Американская ассоциация по оцениванию;
• Германское Общество по оцениванию;
• Швейцарское Общество по оцениванию;
• Общество по оцениванию Великобритании;
• Общество по оцениванию Франции;
• Европейское общество по оцениванию;
• Международная cеть "Оценка Программ" (действует в СНГ с 2000 года);
• Австрало-Азиатское общество оценки;
• Африканская ассоциация по оценке;
• Латино-Американская и Карибская сеть по оценке;
• Международная организация по сотрудничеству в области оценки (IOCE), создана в 2003 г.;
• Международная ассоциация оценки развития (IDEAS), создана в 2005 г.

Для обмена опытом оценивания, предоставления широкому кругу заинтересованных в оценке лиц актуальной информации о новых методах, результатах проведения оценок различных программ и политик, международные и национальные ассоциации оценивания выпускают профессиональные журналы по оценке.

Развитие оценивания в России и СНГ

Основная статья: Развитие оценивания в России и СНГ

Развитие оценивания в России и СНГ протекало практически одинаково. Незначительные расхождения можно найти лишь в подходах к данной процедуре, связанных с уровнем развития страны и её менталитетом.

С середины 1990-х годов, благодаря стремительному развитию некоммерческого сетора, появилась необходимость в оценивании программ.Некомммерческий сектор состоял в основном из дочерних фирм иностранных компаний или совместных российско-иностранных компаний. Основным требованием иностранных доноров для финансирования дочерних фирм на территории России и СНГ было проведение оценки и мониторинга проектов и программ.

Развитие оценивания в государственном секторе развивалось параллельно с некоммерческим и корпоративным сектором; первые интенсивные контакты представителей обоих сегментов относятся лишь к лету 2005 года.

См. также

• Академические и контрактные исследования

Избранная литература

1. Обзор учебников и учебных пособий
2. Коллоквиум "Оценивание программ и политик: методология и применение": сборник материалов, Вып. I (2006), Вып. II-III (2007), Вып. IV (2008).
3. Кузьмин А.И. Оценка проектов и программ. М., ПРЕСТО-РК, 2005 г.
4. Морс К., Страйк Р., Пузанов А.С. Эффективные решения в экономике переходного периода: Аналитические инструменты разработки и реализации социально-экономической политики. М.: Айрис-пресс, 2007. Часть 3. Мониторинг и оценка программ. С. 190-351.
5. International atlas of evaluation. New Brunswick Transaction Publishers, 2002.
6. Encyclopedia of evaluation. Sage Publications, 2005.
7. M. Q. Patton, Utilization-Focused Evaluation. 4th edition. London: Sage Publications, 2008.