Критерии оценки OECD-DAC
Критерии OECD-DAC — базовый стандарт оценки проектов и программ развития. Построенная на них оценка рассматривает:
- релевантность — делает ли проект правильные вещи для своих благополучателей и контекста;
- согласованность — насколько он сочетается с другими вмешательствами и политиками;
- результативность — достигнуты ли цели и запланированные результаты и какие непреднамеренные эффекты возникли;
- эффективность — насколько хорошо ресурсы, время и деньги были превращены в результаты;
- воздействие — более широкие и долгосрочные изменения, в которые проект внёс вклад;
- устойчивость — вероятность того, что результаты сохранятся после окончания внешней поддержки, с финансовой, социальной и институциональной точки зрения.
Наряду с критериями мы анализируем качество концепции и плана проекта, качество и своевременность реализации и мониторинга, а также вовлечение стейкхолдеров в процессы и деятельность по проекту.
Логико-структурный подход (ЛСП)
Логико-структурный подход (Logical Framework Approach, LFA) — инструмент управления, применяемый в основном при разработке, мониторинге и оценке международных проектов развития; он также известен как целеориентированное проектное планирование (GOPP / OOPP). Используемый так, как задумали его создатели, ЛСП налагает логическую дисциплину на проектную команду, и результатом становится качественно разработанный проект.
Логическая структура имеет форму таблицы четыре на четыре. Четыре строки описывают четыре типа событий, происходящих в ходе реализации проекта: мероприятия, результаты, задача и цель. Четыре колонки содержат разные типы информации о каждом из них: текстовое описание; объективно проверяемые индикаторы; средства верификации; и допущения — внешние факторы, которые могут повлиять на события, но не контролируются менеджером проекта. Хороший проект обосновывает свои допущения, особенно потенциально «убийственные» — те, чьё невыполнение имело бы серьёзные негативные последствия для проекта.
Ядро матрицы — цепочка взаимосвязанных утверждений:
- если эти мероприятия реализованы и эти допущения выполняются, то будут получены эти результаты;
- если эти результаты получены и эти допущения выполняются, то будет решена эта задача;
- если эта задача решена и эти допущения выполняются, то будет достигнута эта цель.
Партнёры IMACON — авторы русскоязычного пособия по ЛСП и беларусского перевода классического руководства NORAD по планированию; оба доступны в разделе «Публикации».
Управление проектным циклом (PCM)
Методологии управления проектами определяют стандартные процессы, повышающие качество жизненного цикла проекта — его актуальность, реализуемость и эффективность, включая качество управления. Все они следуют логике цикла «планируй — делай — проверяй — действуй», в котором фазы связаны результатами: итог одной фазы (документ, отчёт, одобрение) становится входом для следующей.
Собственные версии таких методологий приняты Азиатским банком развития, Всемирным банком, Европейской комиссией и национальными правительствами. IMACON работает прежде всего с руководством Европейской комиссии «Управление проектным циклом» (2004), которое многие партнёры по развитию приняли как стандарт разработки, финансирования и оценки проектов. Проектный цикл ЕК включает пять фаз: программирование, идентификацию, формулирование, реализацию и оценку.
Институциональное развитие / укрепление организации (ИР/УО) и интегрированная организационная модель (ИОМ)
ИР/УО и ИОМ — инструменты, разработанные нашим партнёром MDF (Нидерланды).
Подход ИР/УО основывается на идее, что вмешательства с целью развития успешны только при широкой поддержке: в их планировании участвуют и те, кто ими управляет и их оценивает, и те, кто отвечает за реализацию, и планируемые благополучатели. Результаты развития устойчивы, если организации способны поддерживать соответствующий уровень услуг долгое время после прекращения основной финансовой, управленческой и технической помощи внешних доноров. Инструменты ИР/УО помогают оценивать и формулировать вмешательства с точки зрения институционального потенциала вовлечённых организаций — это процесс, который требует терпения, времени и гибких рабочих отношений, а не единичного краткосрочного проекта.
ИОМ — модель для описания, анализа и диагностики состояния и функционирования организации. Она уделяет особое внимание взаимоотношениям между элементами организации: их можно рассматривать по отдельности, но они взаимосвязаны и в идеале должны быть сбалансированы. Если баланс отсутствует или выражен нечётко, организация не может работать максимально эффективно, и необходимость изменений становится очевидной. ИОМ универсальна — она одинаково применима к департаменту правительства, НГО, органу местного управления или частной компании, — но это скорее организационная концепция, чем отдельный инструмент; для глубокого анализа нужны более специфические инструменты, выбранные под конкретную цель.
Картография результатов (Outcome Mapping)
Картография результатов, разработанная Международным исследовательским центром развития (IDRC, Канада), фокусируется на результатах, понимаемых как изменения в поведении, отношениях и деятельности людей, групп и организаций, с которыми программа работает непосредственно. Через «мониторинг результатов» организация может претендовать на вклад в достижение результатов, а не только на выполнение мероприятий. Метод:
- определяет результаты программы как наблюдаемые изменения в поведении её непосредственных партнёров;
- ориентирован на ожидаемые значительные изменения и на то, как программа способствует изменениям, а не контролирует или вызывает их;
- признаёт сложность процессов развития и контекстов, в которых они происходят;
- обращает внимание на логические связи между вмешательствами и результатами, не приписывая результаты какому-то одному вмешательству;
- требует участия сотрудников и партнёров программы на всех стадиях планирования, мониторинга и оценки.
Наиболее значительные изменения (Most Significant Change, MSC)
«Наиболее значительные изменения» (Дэвис и Дарт, 2004) — партисипативный метод мониторинга и оценки. Заинтересованные стороны решают, какие изменения будут фиксироваться, и участвуют в анализе данных. Истории о значительных изменениях собираются «на местах», а наиболее важные из них систематически отбираются коллегиями из представителей стейкхолдеров или персонала. Преимущества метода:
- участники сами выбирают, какую информацию собирать, и используются многообразные, а не стандартные данные;
- информацию анализируют все участники, а не отдельное звено; субъективность используется, а не подавляется;
- истории — богатый способ выразить изменения в жизни людей, свободный от заранее заданных показателей;
- метод нелинеен и открыт для результатов, которые сами участники видят в своей жизни;
- он упорядочивает большой массив информации в обзор наиболее существенных изменений, произошедших в результате вмешательства.
Организационный анализ (Forum Syd)
Эта методология организационного анализа в некоммерческой организации была разработана по заказу шведской организации Forum Syd — в основном на материалах Sida, собранных консультантом Петером Винаи в сотрудничестве с международными некоммерческими организациями, — и позднее переработана Грегером Йелмом из Rörelse & Utveckling (Стокгольм).
Она выносит на первый план разные взгляды на организационное развитие и процесс изменений, в том числе роли, которые может взять на себя внешний консультант, помогая с анализом и развитием организации. Методология содержит рабочие модели (модель лестницы, модель INTRAC и другие) для описания и оценки организации, а её главный практический инструмент — перечень вопросов для проведения организационного анализа. Метод предлагает способ работы с анализом и развитием организации, но не претендует на готовые формулы успеха.
«Октагон» (Sida)
В 1999 году Sida (Шведское агентство международного сотрудничества в целях развития) пригласило ряд шведских неправительственных организаций обсудить, как измерять результаты поддержки, направляемой на развитие потенциала местных партнёрских организаций. В мае 2000 года Петер Винаи от имени Sida представил этой группе модель «Октагон» — инструмент оценки и последующего мониторинга организаций.
«Октагон» — инструмент оценки сильных и слабых сторон НГО. Он помогает выстроить структуру диалога с партнёрской организацией, выбрать партнёров, сгруппировать их по потребностям во внутреннем развитии или определить момент, когда спонсору пора завершать поддержку. Модель даёт исчерпывающую картину потенциала организации и уровня её развития путём систематического обзора четырёх аспектов:
- цели и административно-управленческие структуры организации — организационная база;
- работа организации с целевыми группами или для них — итоговые результаты;
- возможности организации вести успешную деятельность: профессиональные качества сотрудников, финансы и система управления;
- способность организации устанавливать и поддерживать отношения с целевыми группами и другими субъектами гражданского общества.
Если такой анализ делается систематически на протяжении нескольких лет, он позволяет проследить изменения в организации — поэтому «Октагон» пригоден и для базовых (baseline) исследований, и для измерения результатов внутреннего развития организации за определённый период.
SenseMaker
SenseMaker связывает микронарративы с человеческим осмыслением, создавая возможности для поддержки решений, исследований и мониторинга в больших и малых организациях. Он привносит количественный подход в традиционно качественную область: большое количество коротких историй, проиндексированных самими авторами, выявляет закономерности, слабые сигналы и влияние культуры на принятие решений. SenseMaker поддерживает доказательную политику в условиях неопределённости и вовлечение целых коллективов или сообществ в мониторинг.
Собственные инструменты IMACON
Наряду с этими признанными методами IMACON применяет два инструмента, разработанных её партнёрами: модель IMACON для оценки замысла проектов и стратегического мониторинга портфелей проектов и «Инструментарий усиления жизнеспособности организации» для организационного развития организаций гражданского общества. Оба опубликованы и доступны бесплатно в разделе «Публикации».