Эконометрические методы в оценивании

Эту статью следует викифицировать. Пожалуйста, оформите её согласно правилам оформления статей.

Для того, чтобы оценить программу, необходимо собрать информацию о результатах её реализации. Наиболее убедительными и наглядными являются результаты проведения реального эксперимента: наблюдатель сразу собственными глазами может опознать произошедшие изменения. Однако в число серьёзных недостатков этого метода входят дороговизна проведения серьёзных полномасштабных экспериментов, а также сложность их проведения, ведь подчас качественное оценивание политических программ требует получения экспериментальных данных о широком круге бенефициаров. Как же провести оценивание программы на практике, когда зачастую в наличии имеется лишь ограниченный массив данных за один период времени? На решение этой задачи и направлены эконометрические методы оценивания.

Эконометрические методы (англ. econometric methods of evaluation) представляют собой не экспериментальные методы оценивания и заключаются в совместном применении математического, статистического и экономического инструментария к анализу эмпирических данных с целью оценки эффекта программы.

Самым очевидным способом оценки изменений, произошедших в ходе реализации программы, являлось бы сравнение параметров двух состояний для каждого бенефициара: до и после проведения программы (например уровень образования индивида до и после проведения государством образовательной программы). Однако никто, чаще всего, не обладает таким массивом информации, так как до начала реализации программы средства на сбор подобных данных, как правило, не выделяются. Использование же эконометрических методов без привлечения значительных средств позволяет «оценить, что было бы, если бы индивид не участвовал в программе, то есть „рассчитать“ условное значение (англ. counterfractual) интересующего нас параметра в отсутствие программы» на основании данных только лишь одного периода.

В число эконометрических методов оценивания входят:

• метод сравнения средних,
• построение уравнения регрессии методом наименьших квадратов (англ. OLS),
• метод подбора контрольной группы (англ. matching),
• метод подбора контрольной группы по индексу соответствия (англ. propensity score matching),
• метод построения регрессии с переключением режимов (англ. switching regression)

Метод сравнения средних

Исходя из названия становится понятно, что оценка программы данным методом осуществляется на основании сравнения среднего значения интересующего нас показателя (уровня занятости, образования, дохода и т. д.) у тех кто участвовал в программе со средним значением этого же показателя в контрольной группе. В контрольную группу, для простоты вычислений, включают всех индивидов, в данной программе не участвовавших. Иными словами, метод сравнения средних акцентирует внимание на разнице средних значений показателей у двух групп индивидов:

d Y = E(Y | D=1) — E(Y | D=0)

Где Y₁ и Y₂ — средние значения показателя у участвовавших (D=1) и не участвовавших (D=0) в программе индивидов. Однако данный метод обладает существенными недостатками и подчас дает противоречивые оценки. В той или иной ситуации разница средних значений может получиться отрицательной: среднее значение интересующего нас показателя может быть больше при отсутствии программы, — однако это совсем не значит, что программа неэффективна. Включая в контрольную группу всех «остальных» людей, мы тем самым сравниваем «несопоставимых» индивидов: ведь программа изначально нацелена на людей с заниженным значением показателя (например, программа повышения уровня дохода населения направлена на людей, уровень дохода которых ниже среднего по стране), а контрольная группа может включать в себя миллионеров и очень состоятельных людей.

Построение уравнения регрессии методом наименьших квадратов (МНК-регрессия)

Метод оценивания заключается в построении двух уравнений регрессии средних значений интересующего нас показателя для двух сравниваемых групп индивидов в зависимости от контрольных показателей методом наименьших квадратов. Общий принцип данного метода схож с первым: мы по-прежнему сравниваем средние значения интересующего нас показателя. Однако теперь вместо двух средних значений мы можем составить уравнение регрессии для каждой группы:

Y_i = βx_i + sD_i + u_i

Где Y_i — среднее значение интересующего нас показателя, D_i — так называемая «дамми» — переменная участия в программе (D=0, 1), а s — показатель эффекта от проведения программы. Однако есть в данном подходе и существенные отличия: если раньше мы делили общество на бенефициаров и тех, кто в программе не участвовал, не учитывая их различий не по одному из критериев, то в рамках метода построения регрессии мы вводим некоторый контроль ряда переменных (x_i), решая тем самым проблему «несопоставимости» сравниваемых индивидов. Если в рамках первого метода нам приходилось сравнивать индивидов, живущих за чертой бедности, и миллионеров по уровню образования, то сейчас мы можем контролировать переменную x_i — «уровень дохода» и сравнить уровень образования участвовавших и не участвовавших в программе индивидов, изначально обладающих одинаковым уровнем дохода (живущих в одном регионе и т. д.).

Благодаря этому методу, таким образом, мы можем получить два уравнения регрессии — то есть две линейные зависимости интересующего нас показателя от контрольных характеристик, на основании чего можем делать соответствующие оценивающие выводы. В простейшем виде это может выглядеть так: для простоты рассмотрим все тот же пример реализации образовательной программы. Для получения оценки её эффективности необходимо сравнить средний уровень образования после проведения программы у тех, кто в ней участвовал (Y (D₁), и тех, кого данная программа не касалась (Y (D₀). Однако теперь мы производим сравнение только между индивидами, обладающими одним уровнем дохода (X_i) тем самым решая проблему несопоставимости индивидов: сравнивать бенефициара с индивидов больше не придется.

Пример задачи на сравнение средних: Ниже представлены объемы спроса на некое изделие за прошедшие 24 месяца. Необходимо с помощью методики сравнения среднего дать прогноз объема спроса на следующий месяц.

Месяц t	Спрос у	Месяц t	Спрос у
1	46	13	54
2	56	14	42
3	54	15	64
4	43	16	60
5	57	17	70
6	56	18	66
7	67	19	57
8	62	20	55
9	50	21	52
10	56	22	62
11	47	23	70
12	56	24	72

Метод подбора контрольной группы

Метод подбора контрольной группы имитирует естественный эксперимент и по своей идее наиболее близок к сопоставлению двух состояний одного индивида: до и после программы. Метод заключается в сравнении участвовавшего в программе индивида (D=1) и в ней не участвовавшего, но фактически сопоставимого по наблюдаемым характеристикам (Х) с первым:

d Y = E (Y₁ |D = 1, X) — E (Y₀ |D = 1, X)

Суть метода заключается в сравнении двух состояний будто бы одного и того же индивида. Значение интересующего нас показателя после проведения программы мы можем оценить по состоянию участвовавшего в программе индивида (D=1), а значение показателя до проведения программы — по состоянию не участвовавшего в программе индивида, очень схожего по многим наблюдаемым характеристикам с первым. Два индивида должны быть настолько похожи между собой, что второй также вполне мог бы участвовать в программе — поэтому D=1. Поиск таких схожих индивидов и представляет собой подбор контрольной группы. Таким образом, данный метод решает проблему формального отбора, с которой сталкивается предыдущий метод: мы фактически сравнивали тех индивидов, которые в ней участвовали, и тех, кого по разным причинам не взяли — и получали смещенные оценки. Кроме того, в рамках данного метода не фиксируется форма функциональной зависимости Y от X. Однако, порой бывает довольно сложно найти максимально схожих по многим характеристикам людей, что существенно затрудняет оценивание данным методом.

Метод подбора контрольной группы по индексу соответствия

Данный метод является вариацией вышеизложенного метода подбора контрольной группы с тем лишь отклонением, что позволяет значительно экономить время и сокращает число критериев, по которым ведется отбор участников контрольной группы. Теперь вместо подсчета многочисленных характеристик для того, чтобы найти схожих по наблюдаемым признакам индивидов, достаточно подсчитать индекс, характеризующий вероятность участия этого индивида в программе. Фактически это одно и то же: раз два человека с одинаковой вероятностью попали бы в данную программу — значит они непременно схожи по многим наблюдаемым характеристикам, а это в свою очередь значит, что их можно сравнивать между собой не боясь проблемы несопоставимости. Таким образом, два «схожих» индивида, независимо от того, участвовали они фактически в программе или нет, имеют близкие значения данных вероятностей, в связи с чем оценивание сводится к сравнению их значений интересующих показателей.

Метод построения регрессии с переключением режимов

Метод построения регрессии с переключением режимов заключается в составлении трех уравнений для участвовавших и неучаствовавших в программе индивидов: первое уравнение — уравнение, определяющее вероятность участия в программе:

I* = β(Y_0i — Y_1i) + γZ_i + ε_i I*>0 — участник I*<0 — неучастник

Два вторых уравнения показывают функциональную зависимость интересующего нас показателя Y от наблюдаемых контрольных характеристик X с учётов воздействия на Y также и ненаблюдаемых характеристик. Контрольной группой, исходя из этого, являются все те же формально сопоставимые по наблюдаемым характеристикам (Х) с адресатами, не участвовавшие в программе индивиды с учётом ненаблюдаемых характеристик, влияющих на принятие решения об участии (или неучастии) в программе.

Явным преимуществом данного метода является то, что он вбирает в себя ключевые идеи всех вышеизложенных методов: сравнивает средние значения интересующих нас показателей участвовавших и неучаствовавших в программе индивидов, сопоставимых однако по многим наблюдаемым критериям, — но и преодолевает главный их недостаток — обращает внимание на ненаблюдаемые характеристики индивидов.

Оценка ситуации на рынке труда эконометрическими методами

Доп. статья — Оценка гос политики и программ на рынке труда

Рынок труда можно поделить на два сектора: бюджетный и небюджетный. Представим себе, что планируется проведение программы, направленной на повышение зарплат бюджетников. Но главный вопрос: на сколько нужно повышать заработные платы работников бюджетного сектора, иными словами, на сколько вознаграждение бюджетников уступает вознаграждению в частном секторе?

В рамках метода сравнения средних необходимо найти средние значения интересующего нас показателя (уровня заработной платы) в группе, участвующей в программе (работники бюджетного сектора) и в контрольной группе (работников небюджетного сектора). Фактически, мы рассматриваем принадлежность к бюджетному сектору «как воздействие на группу индивидов, в результате которого их зарплаты отклоняются от тех, которыми могли бы быть в не бюджетном секторе». В результате сравнения средних выясняется, что средний уровень заработной платы не бюджетного сектора превышает средний уровень оплаты труда бюджетников на 19 %.

Однако, просто сравнив средние уровни оплаты труда по секторам, мы совершенно не учли многочисленных различий, им свойственных. В их числе разное соотношение женщин и мужчин, различия в уровне образования, по стажу и др. В случае же с использованием метода МНК-регрессия (англ. OLS) контрольной группой являются формально сопоставимые по наблюдаемым характеристикам работники не бюджетного сектора. Таким образом, если принять во внимание, например, пол и продолжительность рабочей недели, и построить два уравнения регрессии, характеризующих зависимость среднего уровня заработной платы от пола, то общий разрыв между заработными платами двух секторов сократится до 16 %.

Метод подбора контрольной группы (англ. matching) на практике обнаруживает свой главный недостаток: крайне сложно найти максимально соответствующих по множеству наблюдаемых характеристик работников частного сектора — подчас оказывается, что это все невозможно просчитать. На практике оказалось, что неучёт даже одной характеристики — региона приводит к существенным различиям. Без учёта регионов разница между уровнями оплаты труда составляет 21 %, с учётом регионов — 23 %.

Метод подбора контрольной группы по индексу соответствия (англ. propensity score matching), являющийся в данном случае более уместным, экономит время и позволяет получить более точное значение, учитывая, однако же, тот же самый набор характеристик. Согласно этому методу, средние уровни заработных плат различаются по секторам примерно на 21-22 %.

Учет ненаблюдаемых характеристик в рамках метода регрессии с переключением режимов (англ. switching regression) привел к сокращению разницы между оплатой труда в двух секторах до 17 %. Однако очень сложно найти способ выявления ненаблюдаемых характеристик, не влияющих на уровень заработной платы того или иного сотрудника, но которые бы воздействовали на показатель принятия решения о выборе сектора.

Таким образом, мы можем ясно видеть, что все без исключения методы дают схожие значения, которые тем точнее, чем большее число наблюдаемых и ненаблюдаемых характеристик мы берем в учёт.

Литература

1. Коллоквиум «Оценивание программ и политик: методология и применение»: сборник материалов, Вып. I (2006), Вып. II—III (2007), Вып. IV (2008).
2. Kevin Arceneaux, Alan S. Gerber, Donald P. Green Comparing Experimental and Matching Methods Using a Large-Scale Voter Mobilization Experiment. Oxford University Press, 2005
3. Deborah A. Cobb-Clark, Thomas Crossley Econometrics for Evaluations: An Introduction to Recent Developments. Economic Record, 2003