Анализ документации в оценивании

Анализ документации

Анализ документации (англ. document analysis) - это метод сбора данных посредством анализа документов для их последующей интерпретации и оценки программы. Термин «документация» означает процесс формального закрепления данных, полученных из письменных, устных, графических или археологических источников. В связи с чем, для исследователя документ является источником получения информации об интересующем его объекте. Этот источник информации может быть представлен в форме текстового материала, в формате visual media (включая аудио-ленты, фотографии, фильмы, и видеозаписи), а начиная с недавнего времени и в формате электронных данных. Сейчас оценщики используют e-mail переписку, мультимедиа и форумы как новые формы документации, которую нужно тщательно исследовать для достижения целей оценивания.

Цель анализа документации

Целью анализа документации является сбор фактов. Например исследователь может изучить брошюру программы, чтобы определить её основные цели и задачи, собрать дополнительные сведения. Но не все документальные факты подлежат анализу и оценке. Как правило исследователь анализирует документацию для того, чтобы найти те или иные факты в подтверждение гипотезы, которую он уже заранее для себя сформулировал. То есть анализ документации заключается в выборе из имеющихся документов «нужных» фактов. Таким образом, вопросы, гипотезы или общие идеи исследователя действуют как критерий для отбора фактов для их дальнейшей интерпретации и получения выводов. Анализ документации является лучшим методом поиска ретроспективной информации относительно программы и подчас может являться единственным источником получения такой информации. Анализ документации может быть проведен в любой момент, что особенно полезно на начальной стадии оценки, когда исследователю необходимо изучить программу, историю её реализации и определить её основные цели, задачи и т.д. При выполнении анализа документа, оценщик выясняет, какая информация уже собрана, а какую только предстоит собрать для оценки программы.

Преимущества анализа документации

• Документация содержит полный объем данных

В отличие от коротких выборочных исследований, которые проводятся оценщиками с целью получения информации о реализации программы и позволяют получить крайне ограниченный объем информации, документация по программе ведется с начала её создания до получения конкретных результатов и их анализа. Поэтому документы содержат полный объем информации, позволяют оценить общую картину реализации программы, а также построить прогнозные оценки и выявить основные тренды развития. Некоторые виды информации могут быть эффективно собраны именно посредством анализа документа. Очень часто оценщик должен знать заявленные цели программы, и документы - это источник такой информации. Вместо огромных затрат времени на общение с персоналом программы, подобная информация может быть получена из основных документов.

• Документы содержат более надежную информацию

Информация, получаемая посредством анализа документации зачастую является более достоверной и надежной, чем какая-либо другая. Результаты интервьюирования зависят от репортера, его умения задать «правильные» вопросы для получения релевантной информации – велик субъективный фактор. Интервьюирование основывается на памяти репортера, в то время как анализ документа не подчинен этому недостатку. Полученные со слов опрашиваемых данные могут содержать в себе фактические ошибки в силу неосведомленности респондентов или по причине неаккуратности репортера. Официальная документация как правило тщательно проверяется и свободна от пристрастий и необъективности репортера.

• Анализ документации экономит ресурсы и время

При проведении опросов и интервью необходимо заранее договариваться о встрече и тратить на сбор необходимой информации значительное количество времени, после чего полученную информацию необходимо зафиксировать и выполнить отчет. Ничего из этого не нужно осуществлять при анализе документации, так как она может быть проведена в любое время и не требует кооперации большого числа людей. Документы часто находятся в общем пользовании и доступны в любое время при минимальных затратах.

• Некоторая информация может быть получена только из документов

Анализ документа может выявить информацию, которая не могла бы быть получена через опросы. Например, один исследователь, демонстрируя Ирландское доминирование в Бостонских общественных школах, идентифицировал Ирландские фамилии в списке служащих, определив таким образом, их долю в общем числе служащих. Подчас персонал не склонен отвечать на вопросы, в связи с чем документы остаются единственным источником информации. Крайне сложно получить ретроспективную информацию о программе, особенно если её реализация уже завершилась. Люди, инициировавшие проведение программы, а также активно в ней участвовавшие могут не помнить всех деталей или оказаться недоступными на момент проведения оценки.

Недостатки анализа документации

• Обман со стороны автора документа

Часто документы пишут таким образом, чтобы программа выглядела лучше, чем она есть на самом деле. Подобное «приукрашивание» самой программы, хода её реализации и результатов вводит в заблуждение исследователей и может привести к неправильным интерпретациям и выводам оценщиков.

• Документ может содержать ошибки

Документ — это письменный отчет и также может содержать некоторые фактические ошибки. Очевидна связь содержания документа с памятью человека, ответственного за его составление. Отчеты могут отражать ошибки клерков, типографские ошибки, погрешность измерения, или содержать прямой обман. Отчеты агентств могут быть неточными или устаревшими.

• Документы не всегда достаточно детализированы

Несмотря на то, что исследователю может быть доступен весь объем документации, зачастую она не будет содержать большую часть необходимой информации и/или достаточно детализироваться. В Коннектикуте, например, государственные эксперты, осуществлявшие оценку программы социальной помощи студентам, получили огромное количество материалов, но так и не смогли выяснить, на основании какого критерия из 30000 студентов были выбраны лишь 6000. Если исследователь заинтересован внутренними процессами и процедурами принятия решения, необходимые данные скорее всего будут недоступны.

• Документы зачастую не содержат определений и остаются неясными

Определения и категории, используемые в документе, могут не удовлетворять исследователя и оставаться неясными, что затрудняет понимание сути программы и сбор необходимых фактов для достижения цели. Например, Hendrickson и Barber (1980) описывают оценку программы, когда в документации программы не содержалось ни одного развернутого определения используемых категорий данных, а заново нанятый персонал не имел опыта в сборе и документировании информации.

• Документация подвержена влиянию субъективного фактора

Любой документ отражает в себе то, что думал и знал на момент составления документа его автор. Документальные факты никогда не бывают «чистыми», так как не могут существовать в такой форме и всегда являются отражением мысли составившего документ человека. Это значит, что при первом рассмотрении документа, необходимо обращать внимание не на факты, в нем содержащиеся, а на человека, который составил этот документ. В идеале, в первую очередь необходимо изучить автора, а уж затем его документ, с тем чтобы понимать цель его составления и видеть возможные ошибки — намеренные или случайные.

• Документ может содержать нерепрезентативные примеры

Основным критерием сбора любой информации является репрезентативность выборки. Это делается для того, чтобы полученные данные не содержали в себе концентрации каких-либо сугубо конкретных признаков, а представляли общую картину в целом. Однако документ, как и любой другой источник информации, не защищен от подобной ошибки. Если примеры, приведенные в документе, не являются репрезентативными, то есть характерными для данного явления в целом, исследователь получает неадекватную картину происходящего, результатом чего могут стать смещенные оценки программы и неправильная интерпретация результатов. Единственным способом проверки данных на репрезентативность является сравнение зафиксированной в документе информации с информацией, полученной из других источников другими методами.

Виды анализа документации

• Отслеживание (англ. Tracking) – это процесс изучения документации с целью сбора информации, которая подтвердит или опровергнет гипотезу исследователя. Когда исследователь начинает изучать программу, результаты её реализации, его интересует, что именно привело к такому стечению обстоятельств, почему произошло именно так, а не иначе. Исследователь строит гипотезу, своё предположение относительно того, что послужило причиной этому, а затем шаг за шагом начинает проверять её путем анализа документов. Для оценки текущих результатов оценщик «возвращается» назад, воссоздавая ту цепочку событий и явлений, зафиксированных в документах, результатом которых стали имеющиеся итоги.

• Анализ содержания документа (англ. Content Analysis) - это метод анализа документации, который заключается в применении научных методов анализа документа с точки зрения его содержания. Основной формой анализа содержания документа является определение четкости и разборчивости текста самого документа, выявление степени его удобочитаемости (англ. readability). Подобный анализ включает в себя определение среднего числа слов в предложении, число общеопнятных слов, число сложных и длинных предложений и число абстрактных идей. Анализ документов с точки зрения их содержания также дает существенное представление о сути программы, которую необходимо оценить.

• Агрегирование имеющихся данных (англ. Case-Study Aggregation Analysis) - это метод анализа документации, который заключается в сборе всех имеющихся исследований, программ и документов на интересующую тему для агрегирования всего массива информации. Данный метод анализа документации позволяет понять, какая информация уже собрана и проанализирована, и какую информацию необходимо собрать. Агрегирование имеющихся данных позволяет собрать весь массив добытых сведений у одного исследователя или оценщика, что позволяет ему более адекватно понять суть той или иной программы.

Определение надежности документа

Существует четыре основных правила для определения степени надежности документа:

• Неполное наблюдение или плохая память являются причинами неадекватности утверждений. В результате. чем большее количество времени прошло с момента реализации программы до составления документа, тем менее надежен этот источник информации;
• Все документы составляются с определенной целью. Некоторые представляют собой отчеты о проделанной работе, другие составляются как обращение или пропаганда других людей. Чем серьёзнее было намерение автора составить простой отчет по фактической реализации программы, тем надежнее документ;
• Чем больше конфиденциальность информации, тем надежнее документ, так как конфиденциальная информация предназначена для внутреннеого пользования "посвященным" кругом людей, которым нет необходимости обманывать самих себя;
• Утверждения опытного образованного исследователя более правильны, нежели заявления простых наблюдателей. То есть чем больше опыт человека, составлявшего документ, тем надежнее информация содержащаяся в нем.

Особый интерес в современных условиях представляет анализ финансовой документации. Любое воздействие, будь то программа социальной помощи населению, сокращение налогового бремени или введение новых стандартов технического регулирования, ведет к перераспределению ресурсов, изменению затрат и выгод субъектов и объектов воздействия. В условиях ограниченности ресурсов и высоких рисков вопрос оценки результативности расходов становится все более актуальным. В связи с чем, для оценки целесообразности проведения программы необходимо сравнить издержки и выгоды от её реализации в целом для всего общества. Получить необходимую для этого информацию можно с помощь анализа финансовой документации.

Под финансовой документацией понимаются не только документы в узком смысле, но и проведение сбора исходных данных в публичных источниках, анализ данных статистических служб, анализ состояния цен, запросы котировок цен и т.д.

Анализ финансовой документации позволяет оценить масштабы реализации программы, источники её финансирования, а также механизмы реализации программы. Данный метод сбора информации позволяет выявить основные цели и приоритеты в реализации программы и является дополняющим к экспертным опросам и опроса представителей отрасли.

Одной и форм оценки целесообразности программ путем анализа финансовой документации является финансово-экономическое обоснование. В соответствии с Регламентом Государственной Думы Российской Федерации, Регламентом Правительства Российской Федерации, проекты нормативных правовых актов, реализация которых требует финансовых или материальных затрат, должны сопровождаться финансово-экономическим основанием, которое, по сути, также оценивает целесообразность реализации того или иного государственного вмешательства и результативность расходов. Финансово-экономическое обоснование позволяет обосновать необходимость введения нормативного правового акта исходя из положительного воздействия на общественное благосостояние.

1. Encyclopedia of evaluation. Sage Publications, 2005.
2. Caulley, D. Document analysis in program evaluation. Evaluation and Program Planning, 1983.
3. Guba, E.G., Lincoln, Y.S. Effective Evaluation. San-Francisco, 1981.
4. Hendrickson, L., Barber, L. Evaluation and Politics: a critical study of a community school program. Evaluation review, 1980.
5. Murphy, J.T. Getting the facts. Santa Monica, 1980.
6. Weiss, C.H. Evaluation Research, 1972.
7. Финансово-экономическое обоснование в современных условиях // Институт оценки программ и политик. М., 2008 г.