Стандарты и принципы оценивания

Основная статья: Оценка программ

Оценивание — специфическая сфера деятельности, которая не может осуществляться без учёта множества факторов. Для принятия максимально эффективного решения и достижения лучшего результата оценщику необходимо учитывать интересы множества сторон, тем или иным образом связанных с программой.
В течение долгого периода сообщество оценщиков в Европе (в отличие от успехов США) не придавало особого внимания разработке, внедрению и классификации профессиональных стандартов и принципов оценивания, которыми специалисты могли бы руководствоваться для улучшения качества оценки и координирования своей деятельности в международном масштабе. Стандарты и принципы оценивания — важный инструмент повышения объективности, увеличения полезности процесса.
Инициатором внедрения стандартов оценивания в Европе стал Вольфганг Бевел (1988), который первым привнес в профессиональную дискуссию обсуждение различных американских стандартов, в том числе, стандартов оценивания комитета Общества оценочных исследований (Evaluation Research Standards Committee 1982) и стандартов оценки образования (Joint Committee on Standards for Educational Evaluation 1981). Впоследствии была переведена на немецкий язык работа «Стандарты общества исследователей оценивания» (Koch, Wittmann 1990, Kistler, Becker 1990).
На настоящий момент ситуации в корне изменилась. Особенно успешно процесс классификации и внедрения стандартов происходит в Европе, причем можно выделить четыре страны-пионера исследования стандартов: Швейцария, Германия, Франция и Великобритания. Кроме того, область изучения и создания стандартов оценивания дополняется документами и работами международных сообществ оценщиков, которыми признается исключительная важность стандартов деятельности и осознается определенный потенциал для будущего развития отрасли (стандарты Европейской комиссией, Европейского общества по оцениванию).
Эффективная и объективная система стандартов и принципов оценивания вносит значительный вклад в поддержку качества и культуры оценивания. Причем развитая система стандартов в соответствующих обществах оценивания указывают на высокий уровень профессионализации оценивания, а по различиям между стандартами и принципами оценивания можно судить о культурных различиях между обществами оценщиков.

Стандарты оценки программ Объединенного комитета по оцениванию в образовании США

Стандарты оценки программ Program Evaluation Standards (2007 год) — документ, созданный Объединенным комитетом по оцениванию в образовании США. Документ включает в себя несколько подразделов: стандарты полезности (utility standards, 7 пунктов), степени выполнимости (feasibility standards, 3 пункта), стандарты корректности (правильности) выполнения оценивания (propriety standards, 8 пунктов), стандарты точности выполнения процесса оценивания (accuracy standards, 12 пунктов).

Руководящие принципы для оценщиков Американской ассоциации по оцениванию

Руководящие принципы для оценщиков Guiding Principles for Evaluators- документ, созданный Американской ассоциацией по оцениванию, AEA.

Восьмистраничный документ дает описание 5 основных принципов эффективного оценивания:

• точность и достоверность информации, используемой в процессе оценивания;
• компетентность исполнения оценивания;
• честность и открытость процесса оценивания, равенство в доступе к информации;
• уважение прав и свобод личности;
• обязательства, определяющиеся общественными интересами и с точки зрения общественного благосостояния

Международная сеть «Оценка программ» имеет сходные принципы оценивания. Более подробная информация о каждом из них изложена ниже.

Стандарты оценивания Германского Общества по оцениванию

Со второй половины 90-х годов в Германии оценивание как отдельная сфера деятельности получает стремительное развитие. Так в 1997 году Немецкое общество оценивания (Deutsche Gesellschaft fuer Evaluation e.V DeCEval) начинает процесс создания и формализации стандартов оценивания. Впоследствии была создана Комиссия по стандартам оценивания, которая выбрала «Стандарты оценки программ Объединенного комитета по оцениванию в образовании „ (США) и Стандарты SEVAL в качестве опорной точки для создания собственных стандартов. В октябре 2001 года собранием членов DeGEval был принят документ “Стандарты оценивания DeGEval» (DeGEval, 200a), разработанный Комиссией.

Стандарты DeGEval содержат четыре основные группы стандартов: полезность, степень сложности проведения, справедливость и точность, которые опубликованы в пятидесятистраничном документе с пояснениями к каждому пункту (сокращенные версии стандартов DeGEval представлены также на английском и русском языках).

После утверждения стандартов DeGEval несколько вопросов все же оставались спорными, например, о роли общества в применении стандартов оценивания или должно ли DeGEval самостоятельно проводить мета-оценивание, применяя стандарты DeGEval. Таким образом, было решено отказаться от проведения мета-оценивания (DeGEval 2002b).

В 2004 году также были приняты так называемые «Рекомендации к применению стандартов оценивания DeGEval в области самооценки» (DeGEval 2004). В 2004 году DeGEval был проведен опрос с целью промерить необходимость всевозможных изменений. Результаты исследования показали, что с одной стороны большинство выступает за адаптацию стандартов в своей основе, с другой стороны, в связи с этим возникает множество различных соображений, насколько полной и всеохватывающей должна стать переработка данного документа и к какому именно конечному продукту следует стремиться (Kotitschke 2004a&b).

Стандарты оценивания Швейцарского Общества по оцениванию

Процесс оценивания получил довольно стремительное развитие в Швейцарии в конце 1980-х — начале 1990-х гг. Одним из первых действий основанного в 1996 году Швейцарского общества оценивания (SEVAL) было создание рабочей группы для обсуждения вопросов качества и стандартов оценивания. После первой версии стандартов 1999 года собрание членов рабочей группы приняло в начале 2001 года собственные стандарты оценивания швейцарского общества оценивания (SEVAL-Standards; Widmer et al. 2000). Таким образом, SEVAL выступило в качестве пионера в этой области, став первым европейским обществом оценивания учредившим собственные стандарты оценивания.

Стандарты швейцарского общества оценивания SEVAL представляет собой двадцатистраничный документ (доступен на немецком, французском и английском языке). Документ состоит из 27 отдельных стандартов, которые разделены на четыре группы: полезность, степень сложности проведения, гибкость (возможность внесения изменений, корректность) и точность. Впоследствии некоторые стандарты были подкорректированы, многие — пересмотрены и переформулированы.

Стандарты SEVAL применяются в различных целях: в качестве оценочных критериев в образующем (формативных) или совокупном (суммарном) мета-оценивании, в качестве отправной точки для практики оценивания, как инструмент гарантии качества, а также как основа для дальнейших исследований и развития оценивания.

Стандарты оценивания Общества Великобритании по оцениванию

Общество оценивания Великобритании (UK Evaluation Society, UKES) было создано еще в 1994 году, при разработке стандартов был активно использован опыт оценщиков из Северной Америки. После долгих дискуссий в рамках рабочих заседаний UKES и анализа документов, полученных в рамках исследований, проведенных в других странах, было принято решение разработать новые стандарты оценивания, которые будут основываться на собственном, уникальном опыте Великобритании. Результатом этого решения стала разработка Руководства практики оценивания (Guidelines for good practice evaluation), сделанная UKES в 2003 году (UKES-Leitlinien, UKES 2003).

Руководство UKES — аналитический документ, состоящий из 6 страниц, сгруппированных в отдельные блоки для оценщиков (19 пунктов), заказчиков оценки (18 пунктов), для людей, принимающих участие в оценивании (7 пунктов) и для самооценщиков (17 пунктов). Каждый из перечисленных пунктов описывает детальное руководство практики оценивания. В введении Руководства практики оценивания также объясняются роль, функции и релевантность данного документа.

Руководство UKES постоянно корректируется, в документ все время вносятся определенные изменения, таким образом, Стандарты оценивания Великобритании представлять своего рода живую основу для дальнейшего развития и улучшения.

Особенностью Руководства UKES по оцениванию является ориентация на ролевое разделение процесса оценивания (собственно оценщик, заказчик, люди, задействованные в оценивании, самооценщики), что, в свою очередь, вызвало огромный интерес со стороны международного сообщества оценщиков.

Стандарты оценивания Общества Франции по оцениванию

В начале 1990-х гг. научным советом по оцениванию (Conseil scientifique de l’evalution) были введены Стандарты для оценки качества практики оценивания (Conseil scientifique de l’evalution, 1996). Французское общество оценивания (Societe francaise d’evalution; SFE), созданное в 1999 году, начало процесс создания 'Хартии оценивания. Рабочая группа «Стандарты и деонтология» (Standards et deontologie), созданная к тому времени, занималась, главным образом, анализом уже готовых документов из других стран. Осенью 2003 года генеральным собранием SFE, был утвержден документ под названием «Хартия оценивания государственных политик и программ» (Charte de l’evalution des politiques publiques et des programmes publics; SFE-Charte; SFE 2003).

Хартия SFE (помимо оригинальной версии существует также на английском, немецком, русском языках) — документ, состоящий из двух страниц, содержит преамбулу и в общей сложности шесть основных принципов оценивания, каждый из которых коротко описан в Хартии:

• множественность (принятие во внимание множественности точек зрения для получения адекватного представления о ситуации),
• дистанцирование (процесс оценивания происходит автономно от процессов управления и принятия решений),
• компетентность (лица, профессионально участвующие в процессе оценивания, используют специальные навыки в области разработки и реализации оценивания),
• уважение личности (уважение права, неприкосновенность и безопасность всех сторон-участниц),
• прозрачность (публичное представление результатов оценивания, четкое изложение его предмета, конечных целей, аудитории, поставленных вопросов, используемых методов),
• своевременность (решение об оценивании должно быть принято тогда, когда оценивание способно достигнуть поставленных целей),
• ответственность (лица и субъекты, участвующие в процессе оценивания, предоставляют информацию, необходимую для проведения оценивания, совместно отвечают за надлежащее применение принципов оценивания).

Принципы оценки Международной Сети «Оценка программ»

В основе принципов оценки Международной Сети «Оценка программ» лежат пять ключевых позиций.

1. Основой оценки программ может быть только точная и достоверная информация
2. Исполнение работы по оценке должно быть компетентным
3. Специалисты по оценке программ гарантируют честность и открытость всего процесса оценки
4. Специалисты по оценке программ уважают безопасность и достоинство людей, с которыми они взаимодействуют в процессе своей профессиональной деятельности
5. Специалисты по оценке программ имеют профессиональные обязательства, определяющиеся общественными интересами и общественным благом

Во-первых, оценивание предполагает соответствие определенным техническим стандартам, которые включают в себя надежные методы сбора информации — точные и достоверные сведения. Во-вторых, оценивание как отдельная сфера деятельности должна осуществляться специалистами, обладающими профессиональными навыками и умениями. В-третьих, профессиональные оценщики обязаны обеспечивать прозрачность процесса оценки, в том числе специалисты должны гарантировать доступ для всех заинтересованных сторон к информации о конечных целях, используемых методах, критериях оценки и полученных в процессе оценивания результатах. В-четвертых, признание прав и свобод всех сторон-участниц процесса оценивания — одно из условий получения качественных результатов деятельности. Специалисты по оценке программ ответственны за уважение особенностей людей, сопричастных к оценке (культура, религия, пол, ограничение физических возможностей, возраст, сексуальная ориентация и этническое происхождение). Таким образом, решения должны приниматься после согласования точек зрения всех сопричастных лиц. Последний, пятый принцип, акцентирует внимание на социальной значимости процесса оценки с точки зрения защиты общественных интересов. Специалисты оценивания должны соблюдать определенный баланс между нуждами клиента и прочими нуждами. Более того, оценивание должно быть инициировано, организовано и реализовано во имя общих интересов. В процессе принятия решения должны приниматься во внимания социальные факторы, должны быть учтены интересы всех стейкхолдеров, преодолены противоречивые ситуации, разрешены трудные дилеммы в случае конфликта интересов участников. По возможности, для адекватной оценки издержек и выгод также требуется учёт социальной ставки дисконтирования. Оценщику следует ориентироваться на соответствующее определенной сфере значение ставки.

Литература

1. Widmer, Thomas. Evaluationsstandards in Europa, in: Joint Committee on Standards for Educational Evaluation (ed.). Handbuch der Evaluationsstandards. 3. Auflage Wiesbaden, VS Verlag für Sozialwissenschaften. 2006. pp. 301–312.
2. American Evaluation Association’s Guiding Principles for Evaluators
3. Принципы оценивания Международной Сети «Оценка программ»
4. Общество по оцениванию Франции SFE
5. Германское общество по оцениванию
6. Швейцарское общество по оцениванию