Методологические «поколения» в оценивании

Основная статья: Оценка программ

На протяжении последних лет смысл, который мы вкладываем в слово «оценивание» неоднократно менялся. Менялась и роль оценщиков, и используемая методология. Вполне понятно, что система оценки становилась все сложнее, вбирая в себя ранее неохваченные области. Если обобщить полученную информацию о развитии методологии оценивания, то приблизительно можно выделить четыре поколения, о каждом из которых будет рассказано далее.

Первое поколение

Роль специалиста по оценке: проведение измерений

Данный этап базируется на проведении различных тестов. Все внимание уделялось тому, что мы сейчас называем азами — то есть базовым элементам. Наибольшее распространение получили исследования, непосредственно основыванные на эмпирическом опыте, полученном путем проведения различных опросов. Своим развитием сфера оценки обязана набирающему обороты изучению социальных наук. Кроме того, немаловажный толчок формированию дало продвижение линии научного менеджмента в производственной сфере. По этой линии необходимыми стали такие расчеты, как определение наиболее продуктивных методов работы и эффективных способов стимулирования работников в малопривлекательных областях. Роль оценщика оставалась чисто технической: он должен был знать вдоль и поперек доступный инструментарий, чтобы в любой из возможных ситуаций применить конкретную методологию. Если у ситуации не было известных аналогов, специалист по оценке должен был полагаться в ее разрешении на имеющийся опыт.

Второе поколение

Роль специалиста по оценке: описание

Акцент с измерений перемещается на цели и результаты работы. Задача оценщика — не только предложить проект возможных улучшений, но и предоставить заказчику программу реализации этих предложений. На данном этапе зарождается оценка программ. Основная роль оценщика здесь — описание достоинств и недостатков (сильных и слабых сторон) оцениваемого объекта в зависимости от поставленной цели. Само оценивание перестало быть эквивалентом проведения измерений, поскольку было расширено за счет методологии второго поколения.

Третье поколение

Роль специалиста по оценке: судейство

Недостатки, которые присутствовали в методологии второго поколения, выявили необходимость наличия экспертного мнения в процессе оценивания. Таким образом, роль специалистов по оценке на данном этапе можно охарактеризовать как «судейскую». Это далеко не означало, что независимые наблюдатели перестали выполнять остальные функции, которые были присущи им на двух первых этапах, как раз наоборот. Объектами рассмотрения стали не только сами проекты, но и поставленные цели. Были введены стандарты, в соответствии с которыми производилась оценка. Проблема, с которой столкнулись оценщики, заключалась в том, что роль судей была всегда за рамками их компетенции. Однако им приходилось подстраиваться под требования, которые диктовало время и обстоятельства.

Недостатки «старой методологии»

Изучению всего развития методологии с акцентом на последний его этап — четвертое поколение посвящена книга «Оценивание четвертого поколения» («Fourth generation evaluation») от авторов Губа(Guba) и Линкольн(Lincoln). В книге содержится указание на основные недостатки первых трех поколений, наличие которых привело к созданию новой методологии, а именно:

• Менеджериализм, то есть ситуация, при которой связь между оценщиком и управляющим (человеком, который нанимает оценщика) достаточно сильна, а между оценщиком и остальными акторами отсутствует.
• Недостаток внимания, уделяемого плюрализму мнений и ценностей в самой системе оценки. Причиной тому отчасти послужило отождествление оценивания с естественными науками.
• Чрезмерная зависимость от научной парадигмы. В качестве примера можно привести ситуацию, в которой оцениваемый объект рассматривается специалистом по оценке как существующий не в динамичной среде, а в некотором идеальном пространстве, которое полностью находится под контролем. Отсюда — усреднение результатов оценки.

Четвертое поколение

Роль специалиста по оценке: координация

Этот этап тесно связан с так называемой «четвертой волной» внедрения оценивания (основная статья). Акцент сделан на изменение ролей не только оценщиков, но и акторов, вовлеченных в работу над проектом. Это совместная работа, в которой оценщик не «стоит над» проектом, но является одним из равноправных членов, участвующих в его конструировании. Соответственно, и его мнение не является доминирующим. Таким образом, процесс оценки является взаимообучающим. Поскольку здесь в центре внимания люди и их знания, то залогом успешной работы являются коммуникативные навыки этих людей, желание делиться информацией и получать ее.

Ниже приведены этапы проведения процедуры оценивания:

1. Выявление списка акторов, имеющих отношение к оцениваемому проекту/процессу.

   Задачей специалиста по оценке является выявление всех без исключения акторов, даже тех, которые по некоторым причинам желают остаться в тени. Акторы имеют право на получение любой информации, собранной экспертами.

2. Выявление от каждой из групп акторов их соображений в отношении предмета оценки.

   Список мнений может быть изменен в процессе проведения оценивания.

3. Разработка методологии, которая позволила бы учесть вышеназванные соображения, а также все возникающие претензии и суждения, подвергнуть их критике, и принять во внимание итоговые результаты.
4. Достижение консенсуса, отражающего максимальное количество соображений.

   Консенсус должен быть найден поэтапно сначала на внутригрупповом уровне, а затем на межгрупповом.

5. Подготовка списка вопросов, мнение относительно которых дифференцированно, то есть не достигнут консенсуса.

   Разрешение подобных вопросов может быть достигнуто в случае поступления новой информации, либо проведения более глубокого анализа. Задача оценщика — выделить наиболее значимую информацию.

6. Сбор информации, необходимой для достижения консенсуса по данным вопросам.

   Иногда сбор дополнительной информации является невозможным. Это не значит, что оценщик должен делать что-то сверх человеческих возможностей, но его задача — использовать все возможные способы (законные).

7. Проведение переговоров по спорным вопросам между представителями каждой из групп.

   Повторное рассмотрение нерешенных вопросов, обсуждение новой информации. Возможно, некоторые вопросы останутся нерешенными, инициируя тем самым еще один этап сбора и обсуждения информации.

8. Составление общего отчета/ отдельных отчетов для каждой из групп акторов.
9. Повторное оценивание для разрешения ранее нерешенных вопросов.

   Велика вероятность появления новых вопросов, возникших на основе полученных результатов. Необходимо помнить, что проведение подобной оценки никогда не может считаться законченным. Оно может быть лишь приостановлено до появления новой информации или нового запроса на проведение оценки.

Пятое поколение

Роль специалиста по оценке: посредничество.

Основной труд, посвященный пятому поколению методологии — статья Даррела Коллей (Darrel Caulley) «Обзор подходов к программному оцениванию: пять поколений» («Overwiew of approaches to program evaluation: The five geverations»). По мнению автора, на данном этапе можно выделить следующие немаловажные составляющие:

• Самооценивание (субъектами самооценивания являются непосредственно участники программы). Происходит очередная смена роли специалистов по оценке: теперь они выступают в качестве посредников. Акторы (к которым, в свою очередь, относятся оценщики) сами определяют цели и результаты проведения оценки, которые они хотят получить на выходе. Самооценивание может быть как индивидуальным, так и групповым (к этой категории относят совместно проводимые исследования).
• Совместно проводимые исследования (Participatory Action Research). Такого типа исследования подразумевают привлечение всех участников к оценке программы или политики, которая, по их мнению, недостаточно эффективна. Производится анализ всевозможных сфер, которые так или иначе могли бы повлиять на ход внедрения программы. Это не своего рода консультация, а активное исследование, проводимое акторами для самих же себя. Для его описания больше всего подходит слово «демократический».

Литература

1. Caulley, D. (1993b), «Overview of approaches to programme evaluation: the five generations», in Guthrie J. (Eds),The Australian Public Sector: Pathways to Change in the 1990s, IIR Publications, Sydney, pp. 124—133
2. Egon G. Guba, Yvonna S. Lincoln. Fourth Generation Evaluation. SAGE, 1999, pp. 21-40
3. Egon G. Guba, Yvonna S. Lincoln. Gudelines and checklists for constructivist (a.k.a. fourth generation) evaluation. 2001, pp.2-3
4. Daniel B. Fishman. Postmodernism comes to program evaluation in: Evaluation and Program Planning, Vol. IS, pp. 263—270, 1992
5. Yoland Wadsworth. What is Participatory Action Research?1998
6. Д.Цыганков, М.Смирнова, «Четвертое поколение методов оценивания». Коллоквиум «Оценивание программ и политик: методология и применение»: сборник материалов Вып. I // под ред. Д. Б. Цыганова,М.: 2007