Kryteria ewaluacji OECD-DAC
Kryteria OECD-DAC to minimalny standard ewaluacji interwencji rozwojowych. Oparta na nich ewaluacja ocenia:
- trafność — czy interwencja robi właściwe rzeczy dla swoich beneficjentów i kontekstu;
- spójność — jak dobrze pasuje do innych interwencji i polityk;
- skuteczność — czy cele i zamierzone rezultaty zostały osiągnięte i jakie niezamierzone rezultaty się pojawiły;
- efektywność — jak dobrze nakłady, czas i pieniądze zostały zamienione w rezultaty;
- wpływ — szersze, długofalowe zmiany, do których interwencja się przyczyniła;
- trwałość — prawdopodobieństwo, że korzyści utrzymają się po zakończeniu wsparcia zewnętrznego, z perspektywy finansowej, społecznej i instytucjonalnej.
Obok kryteriów badamy jakość koncepcji i projektu interwencji, jakość i terminowość wdrożenia i monitoringu oraz zaangażowanie interesariuszy w procesy i działania projektu.
Podejście matrycy logicznej (LFA)
Logical Framework Approach to narzędzie zarządzania stosowane głównie w projektowaniu, monitoringu i ewaluacji międzynarodowych projektów rozwojowych; znane jest także jako planowanie projektów zorientowane na cele (GOPP / OOPP). Stosowane tak, jak zamierzyli jego twórcy, LFA narzuca zespołowi projektowemu dyscyplinę logiczną, a rezultatem jest wysokiej jakości projekt.
Sama matryca logiczna to tabela cztery na cztery. Wiersze opisują cztery typy zdarzeń w trakcie realizacji — działania, produkty, cel szczegółowy i cel ogólny. Kolumny dostarczają czterech rodzajów informacji o każdym z nich: opis; obiektywnie weryfikowalne wskaźniki; źródła weryfikacji; oraz założenia — czynniki zewnętrzne, które mogą wpływać na zdarzenia, ale nie są kontrolowane przez kierownictwo projektu. Dobry projekt uzasadnia swoje założenia, zwłaszcza potencjalne „założenia zabójcze”, których niespełnienie miałoby poważne negatywne konsekwencje.
Rdzeniem matrycy jest łańcuch powiązanych hipotez:
- jeśli te działania zostaną zrealizowane, a te założenia się spełnią, to zostaną dostarczone te produkty;
- jeśli te produkty zostaną dostarczone, a te założenia się spełnią, to zostanie osiągnięty ten cel szczegółowy;
- jeśli ten cel szczegółowy zostanie osiągnięty, a te założenia się spełnią, to zostanie osiągnięty ten cel ogólny.
Partnerzy IMACON są autorami rosyjskojęzycznego przewodnika po LFA oraz białoruskiego tłumaczenia klasycznego przewodnika planowania NORAD — oba dostępne w dziale Publikacje.
Zarządzanie cyklem projektu (PCM)
Metodologie zarządzania projektami definiują standardowe procesy podnoszące jakość cyklu życia projektu — jego trafność, wykonalność i skuteczność, w tym jakość zarządzania. Wszystkie podążają za logiką cyklu „planuj — wykonaj — sprawdź — działaj”, w którym fazy łączą produkty: rezultat jednej fazy (dokument, raport, zatwierdzenie) staje się wejściem do następnej.
Własne wersje przyjęły Azjatycki Bank Rozwoju, Bank Światowy, Komisja Europejska i rządy krajowe. IMACON pracuje przede wszystkim z podręcznikiem Komisji Europejskiej „Project Cycle Management” (2004), przyjętym przez wielu partnerów rozwojowych jako standard opracowywania, finansowania i ewaluacji projektów. Cykl projektu KE ma pięć faz: programowanie, identyfikację, formułowanie, wdrażanie i ewaluację.
Rozwój instytucjonalny / wzmacnianie organizacji (ID/OS) i Zintegrowany Model Organizacyjny (IOM)
ID/OS i IOM to instrumenty opracowane przez naszego partnera MDF z Holandii.
ID/OS wychodzi z założenia, że interwencje rozwojowe udają się tylko przy szerokim poparciu: w planowaniu uczestniczą ci, którzy nimi zarządzają i je oceniają, ci, którzy odpowiadają za wdrożenie, oraz zamierzeni beneficjenci. Rezultaty rozwoju są trwałe, gdy organizacje potrafią utrzymać odpowiedni poziom usług długo po zakończeniu głównej pomocy finansowej, zarządczej i technicznej donorów zewnętrznych. Narzędzia ID/OS pomagają oceniać i projektować interwencje pod kątem potencjału instytucjonalnego zaangażowanych organizacji — to proces wymagający cierpliwości, czasu i elastycznej relacji roboczej, a nie pojedynczego krótkiego projektu.
IOM to model opisu, analizy i diagnozy funkcjonowania organizacji. Zwraca szczególną uwagę na relacje między elementami organizacji: można je rozpatrywać osobno, ale są wzajemnie powiązane i w idealnym przypadku powinny być zrównoważone. Gdy równowagi brakuje lub jest niejasna, organizacja nie może działać w pełni skutecznie, a potrzeba zmian staje się oczywista. IOM jest uniwersalny — stosuje się w równym stopniu do departamentu rządowego, NGO, samorządu czy firmy prywatnej — ale jest raczej koncepcją organizacyjną niż pojedynczym narzędziem; głębsza analiza wymaga bardziej szczegółowych instrumentów dobranych do celu.
Outcome Mapping
Outcome Mapping, opracowany przez kanadyjskie International Development Research Centre (IDRC), koncentruje się na rezultatach rozumianych jako zmiany w zachowaniu, relacjach i działaniach ludzi, grup i organizacji, z którymi program pracuje bezpośrednio. Dzięki monitoringowi rezultatów organizacja może wskazać swój wkład w rezultaty, a nie tylko dostarczenie produktów. Metoda:
- definiuje rezultaty programu jako obserwowalne zmiany w zachowaniu jego bezpośrednich partnerów;
- koncentruje się na oczekiwanych istotnych zmianach i na tym, jak program ułatwia zmianę, a nie ją kontroluje lub powoduje;
- uznaje złożoność procesów rozwojowych i kontekstów, w których zachodzą;
- patrzy na logiczne powiązania między interwencjami a rezultatami zamiast przypisywać rezultaty jednej interwencji;
- wymaga zaangażowania personelu i partnerów programu na wszystkich etapach planowania, monitoringu i ewaluacji.
Most Significant Change (MSC)
Most Significant Change (Davies i Dart, 2004) to partycypacyjna metoda monitoringu i ewaluacji. Interesariusze decydują, jakie rodzaje zmian mają być rejestrowane, i uczestniczą w analizie danych. Historie istotnych zmian zbierane są na poziomie terenowym, a najważniejsze z nich są systematycznie wybierane przez panele wyznaczonych interesariuszy lub pracowników. Zalety metody:
- uczestnicy wybierają, jakie informacje zbierać, a wykorzystywane są dane zróżnicowane, a nie standaryzowane;
- informacje analizują wszyscy uczestnicy, a nie tylko jednostka centralna; subiektywność jest wykorzystywana, a nie unikana;
- historie są bogatym sposobem wyrażania zmian w życiu ludzi, wolnym od z góry ustalonych wskaźników;
- metoda jest nieliniowa i otwarta na rezultaty, które uczestnicy sami dostrzegają w swoim życiu;
- porządkuje dużą ilość informacji w przegląd najistotniejszych zmian wywołanych interwencją.
Analiza organizacyjna (Forum Syd)
Ta metodologia analizy organizacyjnej w organizacjach non-profit została opracowana przez szwedzką organizację Forum Syd, w dużej mierze na podstawie materiałów Sida zebranych przez konsultanta Petera Winaia wspólnie z międzynarodowymi organizacjami non-profit, a później zrewidowana przez Gregera Hjelma z Rörelse & Utveckling w Sztokholmie.
Wysuwa na pierwszy plan różne perspektywy rozwoju organizacyjnego i procesu zmiany — w tym role, jakie może przyjąć zewnętrzny konsultant wspierający analizę i rozwój. Oferuje modele robocze (model schodów, model INTRAC i inne) do opisu i oceny organizacji, a jej głównym praktycznym narzędziem jest seria pytań do wykorzystania podczas analizy organizacyjnej. Metoda wprowadza sposób pracy z analizą i rozwojem organizacji; nie rości sobie prawa do gotowych recept na sukces.
Octagon (Sida)
W 1999 roku Sida zaprosiła szwedzkie organizacje pozarządowe do dyskusji o tym, jak mierzyć rezultaty wsparcia dla rozwoju potencjału i organizacji lokalnych partnerów. W maju 2000 roku Peter Winai w imieniu Sida przedstawił tej grupie Octagon — model oceny i monitorowania organizacji.
Octagon to narzędzie oceny mocnych i słabych stron NGO. Może strukturyzować dialog z organizacją partnerską, wspierać wybór partnerów, grupować ich według potrzeb rozwoju wewnętrznego lub wskazać moment, w którym donor powinien wygaszać wsparcie. Buduje kompleksowy obraz potencjału i profilu rozwoju organizacji poprzez systematyczny przegląd czterech aspektów:
- cele organizacji oraz jej struktury zarządcze i administracyjne — baza organizacyjna;
- działania organizacji z grupami docelowymi lub na ich rzecz — produkty;
- zdolność organizacji do skutecznej pracy: kompetencje zawodowe, środki finansowe i systemy administracyjne;
- zdolność organizacji do tworzenia i utrzymywania relacji z grupami docelowymi i innymi podmiotami społeczeństwa obywatelskiego.
Powtarzana systematycznie przez kilka lat analiza śledzi zmiany w organizacji — dlatego Octagon nadaje się zarówno do badań bazowych, jak i do mierzenia rezultatów wewnętrznego rozwoju organizacji w czasie.
SenseMaker
SenseMaker łączy mikronarracje z ludzkim nadawaniem sensu, tworząc zdolność wspierania decyzji, badań i monitoringu w organizacjach dużych i małych. Wnosi podejście ilościowe do tradycyjnie jakościowej dziedziny: duża liczba krótkich historii, indeksowanych przez samych autorów, ujawnia wzorce, słabe sygnały i wpływ kultury na podejmowanie decyzji. SenseMaker wspiera politykę opartą na dowodach w warunkach niepewności oraz zaangażowanie całych zespołów lub społeczności w monitoring.
Własne narzędzia IMACON
Obok tych uznanych metod IMACON stosuje dwa narzędzia opracowane przez swoich partnerów: model IMACON do oceny wniosków projektowych i strategicznego monitoringu portfeli projektów oraz Zestaw narzędzi wzmacniania żywotności organizacji do rozwoju organizacyjnego organizacji społeczeństwa obywatelskiego. Oba są opublikowane i dostępne bezpłatnie w dziale Publikacje.