O ewaluacji

Ewaluacja jest rozumiana jako:

• Ocena wartości projektu z zastosowaniem określonych kryteriów w celu jego usprawnienia, rozwoju lub lepszego rozumienia
• Zbieranie, analiza oraz interpretacja danych na temat znaczenia i wartości projektu przy zwróceniu uwagi na zagadnienia istotne dla zainteresowanych
• Ocena efektywności, skuteczności, oddziaływania, trwałości i zgodności projektu w kontekście założonych celów, porównywanie rezultatów projektu ze wstępnymi zamierzeniami

Wytyczne w zakresie ewaluacji programów operacyjnych na lata 2007-13  definiują ewaluację jako osąd (ocena) wartości interwencji publicznej dokonany przy uwzględnieniu odpowiednich kryteriów (skuteczności, efektywności, użyteczności, trafności i trwałości) i standardów. Osąd dotyczy zwykle potrzeb, jakie muszą być zaspokojone w wyniku interwencji oraz osiągniętych efektów. Ewaluacja oparta jest na specjalnie w tym celu zebranych i zinterpretowanych informacjach za pomocą odpowiedniej metodologii.

Ewaluacja może służyć wielu celom. Najczęściej ewaluacja prowadzona jest dla:

• Zbadania potrzeb np. beneficjentów
• Określenie kierunków i celów działań
• Poprawy przejrzystości podejmowanych działań
• Poznawania mechanizmów wdrażania programów i projektów
• Zwiększenie skuteczności i efektywności programów/projektów
• Wspomagania procesu podejmowania decyzji
• Identyfikowania słabych i mocnych stron interwencji
• Sygnalizowania pojawiających się problemów
• Określania stopnia zgodności z przyjętymi założeniami
• Zwiększania profesjonalizmu świadczonych usług
• Pogłębianie odpowiedzialności za program/projekt
• Demokratyzacji procesu zarządzania

Rodzaje ewaluacji

• ex-ante (przed realizacją programu/projektu)
• mid-term/on-going/ewaluacja bieżąca (podczas realizacji programu/projektu)
• ex-post (po zakończeniu realizacji programu/projektu)

Ewaluacja ex-ante

• Przeprowadzana jest przed wdrażaniem projektu/programu
• Ocenia na ile planowana interwencja jest trafna z punktu widzenia potrzeb (sektora, beneficjentów) oraz spójna w zakresie planowanych celów i sposobów ich realizacji
• Bada kontekst społeczny, gospodarczy, prawny
• Służy identyfikacji potencjalnych trudności
• Diagnozuje potrzeby i oczekiwania grupy docelowej

Ewaluacja mid-term

• Realizowana jest mniej więcej w połowie wdrażania interwencji
• Poddaje analizie osiągnięte na tym etapie produkty i rezultaty
• Dokonuje pierwszej oceny jakości realizacji projektu/programu
• Ocenia poczynione na etapie programowania założenia (cele, wskaźniki)
• Diagnozuje kontekst realizacji przedsięwzięcia
• Może przyczynić się do pewnych modyfikacji realizacji interwencji oraz aktualizacji przyjętych założeń

Ewaluacja ex-post

• Przeprowadzana jest po zakończeniu realizacji projektu/programu
• Ocenia ma ile udało się osiągnąć założone cele
• Ocenia skuteczność i efektywność interwencji oraz jej trafność i użyteczność
• Bada długotrwałe efekty (oddziaływanie) projektu/programu oraz ich trwałość
• Stanowi cenne źródło informacji użytecznych przy planowaniu kolejnych interwencji

Etapy procesu ewaluacji

• Planowanie ewaluacji
• Projektowanie ewaluacji
• Zbieranie i analiza danych
• Raportowanie
• Wykorzystanie wyników ewaluacji

Przystępując do przeprowadzania ewaluacji trzeba ją precyzyjnie zaplanować, by jak najskuteczniej wykorzystać czas i posiadane zasoby. Unika się w ten sposób również niebezpieczeństwa przeprowadzenia ewaluacji mało efektywnej, zwiększa się natomiast jej użyteczność. Im lepiej zaplanowana ewaluacja, tym większa szansa na przeprowadzenie jej w taki sposób, który dostarczy istotnych, wiarygodnych i rzetelnych informacji, odpowiadających potrzebom i zainteresowaniom jej odbiorców i użytkowników.

Kryteria ewaluacji

• Służą wskazaniu, co w ramach prowadzonej ewaluacji będzie podlegało ocenie
• Są pryzmatem przez który ewaluator patrzy na ewaluowane przedsięwzięcie, oceniając projekt pod kątem stopnia spełniania określonego kryterium

Najczęściej stosowane kryteria ewaluacji

• Trafność (relevance) - kryterium to pozwala ocenić, w jakim stopniu przyjęte cele projektu odpowiadają zidentyfikowanym problemom w obszarze objętym projektem i/lub realnym potrzebom beneficjentów
• Efektywność (efficiency) - kryterium to pozwala ocenić poziom „ekonomiczności” projektu, czyli stosunek poniesionych nakładów do uzyskanych wyników i rezultatów. Nakłady rozumiane są tu jako zasoby finansowe, ludzkie i poświęcony czas
• Skuteczność (effectiveness) - kryterium to pozwala ocenić, do jakiego stopnia cele przedsięwzięcia zdefiniowane na etapie programowania zostały osiągnięte
• Oddziaływanie/wpływ (impact) – kryterium to pozwala ocenić związek pomiędzy celem projektu i celami ogólnymi, tj. stopień, w jakim korzyści odniesione przez docelowych beneficjentów miały szerszy ogólny wpływ na większą liczbę ludzi w danym sektorze, regionie lub w całym kraju
• Trwałość efektów (sustainability) – kryterium to pozwala ocenić czy pozytywne efekty projektu na poziomie celu mogą trwać po zakończeniu finansowania zewnętrznego, a także czy możliwe jest utrzymanie się wpływu tego projektu w dłuższym okresie na procesy rozwoju na poziomie sektora, regionu czy kraju

Metody zbierania danych w ewaluacji

• Analiza dokumentów
• Wywiady
• Kwestionariusze
• Obserwacja

Inne metody zbierania danych użyteczne w ewaluacji

• Analiza dostępnych danych
• Dane z systemu monitoringu
• Studium przypadku
• Grupy fokusowe
• Opinie ekspertów

Raport końcowy – struktura

• Streszczenie raportu
• Spis treści
• Wprowadzenie
• Opis zastosowanej metodologii oraz źródła informacji wykorzystywanych w badaniu
• Opis wyników ewaluacji
• Wnioski i rekomendacje
• Aneksy (np. zastosowane narzędzia badawcze; tabele statystyczne; lista osób, z którymi z którymi przeprowadzono wywiady podczas badania)