Экспертные оценки

Экспертное оценивание — процедура получения оценки проблемы на основе группового мнения специалистов (экспертов). Совместное мнение обладает большей точностью, чем индивидуальное мнение каждого из специалистов. Данный метод можно рекомендовать для получения качественных оценок, ранжирования – например для сравнения нескольких проектов по их степени соответствия заданному критерию.

Этапы экспертного оценивания

1. Постановка цели исследования.
2. Выбор формы исследования, определение бюджета проекта.
3. Подготовка информационных материалов, бланков анкет, модератора процедуры.
4. Подбор экспертов.
5. Проведение экспертизы.
6. Статистический анализ результатов.
7. Подготовка отчета с результатами экспертного оценивания.

Постановка цели исследования

Экспертное оценивание предполагает создание разума, обладающего большими способностями по сравнению с возможностями отдельного человека. Источником сверхвозможностей мультиразума является поиск слабых ассоциаций и предположений, основанных на опыте отдельного специалиста. Экспертный подход обладает большими возможностями по решению задач, не поддающихся решению обычным аналитическим способом:

1. Выбор лучшего варианта решения среди имеющихся.
2. Прогнозирование развития процесса.
3. Поиска возможного решения сложных задач.

Перед началом экспертного исследования необходимо четко определить его цель, (проблему), и сформулировать соответствующий вопрос для экспертов. При этом рекомендуется придерживаться следующих правил:

1. Четкое определение условий, времени, внешних и внутренних ограничений проблемы.
2. Возможность ответа на вопрос с доступной человеческому опыту точностью.
3. Вопрос лучше формулировать как качественное утверждение, чем как оценку числа. Для численных периметров не рекомендуется задавать более пяти градаций.
4. Эксперты оценивают возможные варианты, не следует ожидать от них построения законченного плана действий, развернутого описания возможных решений.

Выбор формы исследования, определение бюджета проекта

Существующие виды экспертных оценок можно классифицировать по признакам:

1. По форме участия экспертов: очное, заочное. (Очный метод позволяет сосредоточить внимание эксперт на решаемой проблеме, что повышает качество результата, однако заочный метод может быть дешевле).
2. По количеству итераций (повторов процедуры для повышения точности) – одношаговые и итерациями.
3. По решаемым задачам: генерирующие решения и оценивающие варианты.
4. По типу ответа: идейные, ранжирующие, оценивающие объект в относительной или абсолютной (численной) шкале.
5. По способу обработки мнений экспертов: непосредственные и аналитические.
6. По количеству привлекаемых экспертов: без ограничения, ограниченные. Обычно используется 5 – 12 человек экспертов.

Наиболее известные методы экспертных оценок: метод дельфы, мозговой штурм и метод анализа иерархий. Каждому методу соответствуют свои сроки проведения и потребность в экспертах.

После выбора метода экспертного оценивания можно определить затраты на процедуру, которые включают: Оплата экспертов, аренда помещения, канцтовары, оплата специалиста по проведению и анализу результатов экспертизы.

Подготовка информационных материалов

Подготовка информационных материалов, бланков анкет, инвентаря и модератора процедуры

Эксперты, перед вынесением суждения, должны разносторонне рассмотреть представленную проблему. Поэтому, для проведения процедуры необходимо подготовить информационные материалы с описанием проблемы, имеющиеся статистические данные, справочные материалы. Следует избегать следующих ошибок: упоминать разработчиков материалов, выделять тот или иной вариант решения, выражать отношение руководства к ожидаемым результатам. Данные должны быть разносторонние и нейтральные. Заранее необходимо разработать бланки анкет для экспертов. В зависимости от метода они могут быть с открытыми и закрытыми вопросами, ответ может даваться в виде суждении, парного сравнения, ранжированного ряда, в баллах или в виде абсолютной оценки. Саму процедуру проводит независимый модератор процедуры, который контролирует соблюдение регламента, раздает материалы и анкеты, но сам не высказывает свое мнение.

Подбор экспертов

Эксперты должны обладать опытом в областях, соответствующих решаемым задачам. При подборе экспертов следует учитывать момент личной заинтересованности, который может стать существенным препятствием для получения объективного суждения. Наиболее распространены методы Шара, когда один эксперт, наиболее уважаемый специалист, рекомендует ряд других и далее по цепочке, пока не будет подобран необходимый коллектив.

Проведение экспертизы

Проведение процедуры отличается в зависимости от используемого метода. Общие рекомендации:

1. Препятствовать давлению авторитетов (эксперт часто боится противоречить мнению большинства или наиболее уважаемого специалиста).
2. Установить и соблюдать регламент. Увеличение времени на принятие решения сверх оптимального не повышает точность ответа.

Статистический анализ результатов

После получения ответов экспертов необходимо провести их оценку . Это позволяет:

1. Оценить согласованность мнений экспертов. При отсутствии значимой согласованности экспертов необходимо выявить причины несогласованности (наличие групп) и признать отсутствие согласованного мнения (ничтожные результаты)
2. Оценить ошибку исследования
3. Построить модель свойств объекта на основе ответов экспертов (для аналитической экспертизы).

Подготовка отчета с результатами экспертного оценивания В отчете указывается цель исследования, состав экспертов, полученная оценка и статистический анализ результатов.

Смотри также

• Виды экспертных оценок
• Метод Дельфи
• Метод анализа иерархий
• Мозговой штурм
• Экспертный опрос

Литература

• Орлов А.И. Экспертные оценки. Учебное пособие. М.: ИВСТЭ, 2002
• Орлов А.И. Экспертные оценки. - Журнал "Заводская лаборатория". 1996. Т.62. No.1. С.54-60
• Гохман О.Г. Экспертное оценивание. Учебное пособие
• Т. Саати. Метод анализа иерархий. М.: "Радио и связь", 1993.