Ewaluacja to jeden z kluczowych elementów nowoczesnej gospodarki oraz budowania polityk publicznych w oparciu o dowody, jak również rozwoju społeczeństwa obywatelskiego.
II Kongres Ewaluacyjny był ogólnopolskim wydarzeniem skierowanym do szerokiego grona odbiorców. Organizatorzy mieli na celu pobudzenie do integracji i myślenia o ewaluacji, bez względu na określoną branżę. Szeroka grupa odbiorców Kongresu sprawiła, że stał się on doskonałą okazją do wymiany doświadczeń i wiedzy praktyków, trenerów, przedstawicieli firm oraz wszystkich osób zainteresowanych wykorzystywaniem ewaluacji w swoich działaniach. Szeroka problematyka wykładów i warsztatów podkreślała bogactwo i różnorodność tematyki jakiej dotyczy ewaluacja.
II Ogólnopolski Kongres Ewaluacyjny
„Nowi aktorzy i nowe obszary w ewaluacji”
20 października 2017 r.
Centrum Zarządzania Innowacjami i Transferem Technologii Politechniki Warszawskiej
Podsumowanie warsztatów i paneli
- „Ewaluacja w obszarze bezpieczeństwa” – panel moderował: dr Marcin Zarzecki (Uniwersytet Kardynała Stefana Wyszyńskiego, Polskie Towarzystwo Ewaluacyjne)
W panelu prowadzonym przez prezesa PTE dr Marcina Zarzeckiego wzięli udział dr Leszek Buller (dyrektor Centrum Projektów Europejskich), płk dr hab. Tomasz Kośmider (dyrektor Instytutu Bezpieczeństwa Państwa ASzWoj), dr Grzegorz Abgarowicz (Instytut Politologii UKSW, kierunek Bezpieczeństwo Wewnętrzne), dr inż. Mariusz Ulicki (ekspert z zakresu cyberbezpieczeństwa).
Wzrost zainteresowania problemami bezpieczeństwa we wszystkich niemal obszarach szeroko pojmowanego życia społecznego, z jednej strony, oraz rozwój badań ewaluacyjnych we współczesnych systemach zarządzania, z drugiej, inspiruje do rozwoju ewaluacji w sferze bezpieczeństwa we wszystkich jego odmianach i zakresach. Polskie Towarzystwo przygotowując II Kongres Ewaluacji Polskiej pragnęło zorganizować jako integralną część jego programu, odrębną sesję poświęconą omówieniu polskich i międzynarodowych strategii, metod oraz praktyk badań ewaluacyjnych na użytek rozwoju działań w sferze bezpieczeństwa, niezależnie od stanu ich zaawansowania w polskich realiach zarządzania systemami bezpieczeństwa. Rozpoznanie istniejącego stanu rzeczy i zaplanowanie programu działań na najbliższą przyszłość, w tym omówienie celu i programu sesji, wskazanie ich potencjalnych uczestników oraz prac studyjnych było celem panelu, jako kroku w kierunku animacji badań ewaluacyjnych w sferze bezpieczeństwa.
Sumptem do ukonstytuowania panelu było seminarium zrealizowane na UKSW w Warszawie, na którym podjęto się trudnego zadania rozpoczęcia dyskursu na temat ewaluacji w bezpieczeństwie. Wnioskiem podstawowym z seminarium było przekonanie, że ewaluacja jest immanentną składową projektów i działań związanych z sektorem bezpieczeństwa, przy czym paradoksalnie nazwa ewaluacja rzadko jest stosowania w metodykach zarządzania kryzysowego lub w ogóle w iteracyjnych projektach dotyczących bezpieczeństwa. Postawiono roboczą hipotezę, iż pojęcie ewaluacja zakłada i ma sens w przypadku transparentności wniosków i rekomendacji będących jej wynikiem, natomiast w obszarze bezpieczeństwa transparentność nie jest wartością kluczową – jest dysfunkcjonalna. Postawiono pytania o zasadniczą rolę ewaluacji w obszarze bezpieczeństwa. Czy ewaluacja „zaszyta” jest w koncepcjach zarządzania kryzysowego? Czy istnieje inny feedback niż raport ewaluacyjny w metodyce działań w obszarze bezpieczeństwa. Czy brak formalizacji zawodu ewaluatora jest barierą dla rozwoju kultury ewaluacyjnej w obszarze bezpieczeństwa? Czy instytucjonalizacja ewaluacji w Polsce, jej często dyskutowana przypadkowość potransformacyjna, w naturalny sposób miała wpływ na wykluczenie/marginalizację ewaluacji w bezpieczeństwie? Jakie wyróżniamy rozwiązania europejskie w krajach w których istnieje rozwinięta kultura ewaluacyjna w bezpieczeństwie stanowiące referencję dla ewaluacji w Polsce? Jakie instancje wdrażają ewaluację w obszarze bezpieczeństwa? Czy należy powołać w ramach PTE sekcję ewaluacji w bezpieczeństwie?
Eksperci podzielili się doświadczeniami w zakresie rozumienia, planowania i zastosowania badań ewaluacyjnych zgodnie ze światowymi i polskimi standardami ewaluacji jako działania prorozwojowego, zapoznać z potrzebami i możliwościami aplikacji w konkretnych działaniach i projektach zarówno na poziomie bezpieczeństwa państwa, jak i bezpieczeństwa podmiotów regionalnych czy instytucjonalnych. Wychodzili z założenia, że ewaluacja jako wartościowanie konkretnych działań, poprzez wszystkie etapy i cechy procesu ewaluacyjnego, może być istotnym elementem wspierającym przedsięwzięcia na rzecz bezpieczeństwa w różnorodnym spektrum jego wymiarów i przejawów.
Ewaluacja jest przyczynkiem m.in. do tego by polityki bezpieczeństwa nie tworzyć reaktywnie w oparciu o popełniane błędy, ale by przewidywać zagrożenia. W trakcie dyskusji zwrócono uwagę na fakt, że bezpieczeństwo nie jest stanem, a ciągłym procesem. Zwrócono uwagę na fakt, że ewaluacja dziś w skali kraju to raczej wycieczka intelektualna niż realny system i działania. Podkreślono fakt, że to wielkie zadanie i misja PTE by uświadamiać decydentom i opinii publicznej czym jest ewaluacja i czym różni się od monitoringu i audytu. Wskazanie na konkretne problemy, tematy, jak i metodykę współpracy istotnych w rozwoju ewaluacji i bezpieczeństwa instytucji jest ważnym krokiem przygotowującym bliski i daleki ciąg działań ukonstytuowania ewaluacji w sektorze bezpieczeństwa.
- „Ewaluacja w pomocy społecznej” – panel moderował: Piotr Stronkowski (Polskie Towarzystwo Ewaluacyjne)
Panel poświęcony ewaluacji w pomocy społecznej pokazał, że jest to temat ważny, choć nie pozbawiony wyzwań. Ważny, bo ewaluacja może faktycznie przyczynić się do zmiany w pomocy społecznej. Przykładem może być badanie zrealizowane dla Regionalnego Ośrodka Polityki Społecznej w Poznaniu (ROPS) na temat ekonomii społecznej.
Badanie to, z punktu widzenia ROPS, było przełomowe, pozwoliło bowiem poddać ocenie konkretne organizacje, działające na rzecz rozwoju ekonomii społecznej w Wielkopolsce. Oceniono ich skuteczność, efektywność i jakość świadczonych usług. Dzięki udało się zidentyfikować czynniki wpływające na osiągane efekty. Badanie dostarczyło ok. 140 rekomendacji, spośród których większość została wdrożona. To, co wyróżniało to badanie, to seria ok. 10 warsztatów, służących wypracowaniu szczegółowych rekomendacji.
Ewaluacja pozwala też uchwycić zmiany społeczne. Przykładem może być ewaluacja programu aktywności lokalnej, prowadzonego na jednym z osiedli w Bielsku-Białej. Uchwycenie zachodzącej zmiany społecznej wymagało oddania głosu samym zainteresowanym – mieszkańcom osiedla. Wartościowych danych dostarczyła też rzadziej stosowana technika badawcza, taka jak np. fotografowanie miejsc, które uległy zmianie dzięki programowi. Ewaluacja w pomocy społecznej stanowi też wyzwanie.
W trakcie panelu uczestnicy wskazali kilka przykładów takich wyzwań:
Uwzględnienie perspektywy odbiorców usług – choć wydaje się to nieprawdopodobne, jeszcze do niedawna niektórzy zlecający badania nie uznawali za stosowne uwzględniać opinie użytkowników. Choć to się zmienia, to jednak nadal wyzwaniem pozostaje dostosowanie narzędzi i technik badawczych do możliwości odbiorców usług, w tym szczególnie osób niepełnosprawnych. Wymaga to uwzględnienia w budżetach badań odpowiednich środków.
Nastawienie na status quo w pomocy społecznej – część interesariuszy nie jest zainteresowana zmianą w sposobie działania, stąd też mają krytyczne nastawienie do ewaluacji, jako narzędzia wspierającego zmianę społeczną. Jest to zapewne jedna z kluczowych przyczyn niewielkiego wykorzystania ewaluacji w pomocy społecznej.
Różnice pomiędzy celami deklarowanymi (jawnymi), a celami faktycznymi (ukrytymi) działań realizowanych w pomocy społecznej – przykładem przywołanym w trakcie panelu jest deinstytucjonalizacja systemu pieczy zastępczej, do której władze powiatowe są zobligowane ustawowo, faktycznie jednak w ogóle nie są tym zainteresowane, gdyż zmniejszanie liczby dzieci wychowujących się w domach dziecka oznacza likwidację miejsc pracy w tego rodzaju placówkach oraz konieczność innego zagospodarowania infrastruktury, zaś rozwijanie rodzinnych form opieki nad dzieckiem wymaga umiejętności pozyskania i wspierania rodziców zastępczych oraz budowania z nimi partnerskich a nie paternalistycznych relacji. W trakcie panelu dyskutowano, jak ewaluacja ma się mierzyć z takimi problemami.
W panelu udział wzięli:
• Agnieszka Kowalska, OWES w Bielsku-Białej, wcześniej Ośrodek Pomocy Społecznej w Bielsku-Białej
• dr Izabela Rybka, Uniwersytet Papieski Jana Pawła II w Krakowie, Ogólnopolski Związek Rewizyjny Spółdzielni Socjalnych w Warszawie
• Jarosław Chojecki, Centrum Zarządzania Innowacjami i Transferem Technologii Politechniki Warszawskiej, wcześniej EvaluModeratorem panelu był Piotr Stronkowski, wiceprezes Polskiego Towarzystwa Ewaluacyjnego.
- „Ewaluacja w kulturze” – panel moderował prof. Leszek Korporowicz (Uniwersytet Jagielloński, Polskie Towarzystwo Ewaluacyjne)
Panel „Ewaluacja w kulturze” wybrany oprócz kilku innych paneli w stosunkowo nowych obszarach praktykowania badań ewaluacyjnych w polskiej rzeczywistości społecznej ukazać miał ich złożoność i społeczną odpowiedzialność w warunkach, w których nie możemy strategii ewaluacyjnych sprowadzić do technik pomiaru społecznego.
Podmiotowość aktorów zaangażowanych w działania kulturotwórcze stanowi szczególne wyzwanie w technokratycznych modelach ewaluacji nastawionej na funkcjonalne wkomponowanie w sterowane procesy makrospołeczne oraz ich lokalne korelaty. Główny gość panelu, prof. Dariusz Wadowski z Katolickiego Uniwersytetu Lubelskiego wskazał na wielkie zadanie społecznej strategii badań ewaluacyjnych jakim jest otwarcie na potrzeby, postawy ale i oczekiwania środowisk, których działania poddawane są ewaluacji. Podkreślił, iż jest to bardzo zaniedbany wymóg ewaluacji demokratycznej i dialogicznej, która powinna służyć wzmocnieniu stopnia podmiotowości, samodzielności i kreatywności osób i zespołów realizujących ewaluowane przedsięwzięcia. Sfera kultury jest w szczególny sposób zagrożona gdy realizowane w tym obszarze badania nie mają charakteru animacyjnego, gdy przedmiotowo traktują swoje zadania. Dlatego wsparcie ze strony rozwojowo pojmowanej ewaluacji jest wyjątkowo istotnym elementem jej zarządzania, ale także stymulowania najcenniejszych potencjałów.
Dyskusja potwierdziła istniejące już w środowisku PTE przekonanie, iż istniejące w obszarze kultury badania ewaluacyjne nie mają w istocie żadnej polityki koordynującej, realizowane są w sposób przypadkowy, zależny od partykularnych uwarunkować konkretnych działań, nie istnieje także żaden system wspierania rozwojowo pojętej ewaluacji, zarówno poprzez szkolenia, edukację, jak i koordynację. Dyskutanci podkreślali, iż ewaluacja w sferze kultury nie może wyczerpywać swojej misji poprzez promocję zasad przedsiębiorczości, komercjalizacji oraz eksponowanie ducha biznesu jako społecznej aksjologii działań ewaluacyjnych. Niska wiedza na temat możliwych funkcji badań ewaluacyjnych na poziomie samorządów, dyrekcji placówek kultury, a nawet środowisk kulturotwórczych i opiniotwórczych jest czynnikiem hamującym rozwój społecznej racjonalności ewaluacji, jak również inicjatyw jej twórczego zastosowania.
Jako zadanie dla najbliższych działań PTE określono próbę zaangażowania w animowanie i wspieranie rozwojowej funkcji ewaluacji w pracy ośrodków decydenckich, samorządowych i pozarządowych, w tym próbę koordynacji działań promocyjnych na poziomie centralnym i wypracowanie swoistej polityki ewaluacyjnej w sektorach kreatywnych. Jeśli bowiem zmierzać mamy w kierunku tzw. społeczeństw konceptualnych, to nie tylko sfera optymalizacji ekonomii i sfery zarządzania, ale także wartościowania obszaru potencjałów społecznych, kultury symbolicznej i aksjologicznej tożsamości życia duchowego wspólnot społecznych jest koniecznym warunkiem ich rozwoju. W obecnej sytuacji działania na rzecz wspomnianej polityki i sposobu realizacji działań ewaluacyjnych jako elementów zmiany społecznej nie posiadają wyodrębnionego centrum animacji i zadanie takie jawi się jako palące. Dyskutanci wskazywali konkretne instytucje jakie mogłyby podjąć się tego zadania. W tym celu działania PTE skierowane być muszą na urealnienie tego typu koordynacji, jak również na systematyczną edukację w zakresie ewaluacji rozwojowej poprzez współpracę z centralnymi, ale także regionalnymi ośrodkami ewaluacji, ośrodkami akademickimi oraz placówkami kultury.
Panel „Ewaluacja w kulturze” poprowadził prezes honorowy Polskiego Towarzystwa Ewaluacyjnego prof. Leszek Korporowicz.
- „Ewaluacja jako poszukiwanie kierunku rozwoju” – warsztat prowadziła: Dorota Szczepan-Jakubowska (Grupa TROP)
W programach unijnych i wielu innych działaniach ewaluacja jest traktowana jako narzędzie oceny efektywności wykorzystanych środków. Trenerka wyraża przekonanie, że marnowany jest w ten sposób ogromny potencjał tkwiący w systematycznym monitorowaniu postępów w projekcie
Szczególnie dotyczy to projektów zmiany: kulturowej, zmiany nastawień, struktury, czy strategii. Grupa TROP stosuje ewaluację on-going aby dowiedzieć się, jakie procesy zachodzą w danym projekcie: Czy dzieje się tam coś niepokojącego? Czy musimy zmodyfikować nasze działania aby osiągnąć pożądane rezultaty? W tym sensie ewaluacja staje się podstawowym narzędziem zarządzania. Na warsztacie trenerka podzieliła się swoim doświadczeniem w tym zakresie związanym z realizacją projektu wzmocnienia empatii wśród pracowników jednego z banków. W ramach pracy warsztatowej uczestnicy wspólnie zastanawiali się w jaki sposób badać efekty projektu, a w szczególności rozpoznać wzrost empatii wśród jego uczestników.
Przeprowadzona została ciekawa dyskusja nad wskaźnikami zmiany (w tym zmian kompetencyjnych, a nawet osobowościowych osiąganych w wyniku oddziaływania projektowego), szczególnie mierzonymi w różnych okresach realizacji projektu oraz interpretacją otrzymanych wyników.
Warsztat „Ewaluacja jako poszukiwanie kierunku rozwoju” poprowadziła Dorota Szczepan Jakubowska z Grupy TROP.
- „O czym powinni porozmawiać ewaluatorzy – refleksje nad ewaluacją w oparciu o analizę raportów dot. wdrażania EFS w Polsce” – warsztat prowadził Jarosław Chojecki (Centrum Zarządzania Innowacjami i Transferem Technologii Politechniki Warszawskiej, Polskie Towarzystwo Ewaluacyjne)
„O czym powinni porozmawiać ewaluatorzy?” to panel II Ogólnopolskiego Kongresu Ewaluacyjnego, który prowadził Jarosław Chojecki z Działu Badań i Analiz CZIiTT PW.
Podczas spotkania przedstawione zostały refleksje dotyczące ewaluacji, które stanowią „efekt uboczny” badania prowadzonego na zlecenie Ministerstwa Rozwoju, w którym poddano analizie prawie 350 raportów ewaluacyjnych opracowanych w ramach EFS. Rozmowa z uczestnikami koncentrowała się wokół tematów przedstawionych w prezentacji i dotyczyła:
– metodyk ewaluacji stosowanych przez ewaluatorów i jej wpływu oraz znaczenia dla uzyskiwanych wyników (szczególnie z perspektywy jakości i odwagi wypracowywanych wniosków i rekomendacji),
– modeli ewaluacji stosowanych w badaniach (w tym wpływie ich różnorodności na rozwój ewaluacji w Polsce oraz konsekwencjach, jakie niesie za sobą ich stosowanie),
– paradygmatów dominujących w prowadzonych badaniach i ich wpływie na wyniki (wskazanie dominującego paradygmatu i możliwych wynikających z tego konsekwencji, dla prowadzonych badań i wypracowywanych wniosków i rekomendacji),
– podejściach ewaluatorów do opracowywania wniosków oraz strategii związanych z opracowywaniem wniosków (w tym strategią tworzenia „bezpiecznych” wniosków i procesem „uśredniania wniosków” oraz niewielką ilością „wniosków średniego zasięgu”),
– wykorzystania oraz słabych i mocnych stron obecnych obecnie w ewaluacji podejść: theory based evaluation i analiz kontrfaktycznych (wiary w te podejścia, ich znaczenia dla obecnie prowadzonych ewaluacji i niebezpieczeństwach wynikających z ich stosowania).Zachęcamy do zapoznania się z jednym z pierwszych raportów z tego badania:
- „Ewaluacja zrównoważonego rozwoju, czyli ewaluator w antropocenie” – warsztat prowadziła Weronika Felcis (Polskie Towarzystwo Ewaluacyjne), Gość: Dariusz Szklarczyk (Fundacja Rozwoju Badań Społecznych)
Dyskusja na temat tego, jaki świat chcemy oddać kolejnym pokoleniom i jakie wyzwania stoją przed ewaluacją w antropocenie ropozczęła się od prezentacji Weroniki Felcis. Z kolei Dariusz Szklarczyk, prezes Fundacji Rozwoju Badań Społecznych otworzył dyskusję o tym jak badać rozwój zrównoważony na podstawie doświadczeń ewaluacji ex-ante Strategii na rzecz Odpowiedzialnego Rozwoju. Zwrócił uwagę m.in. na zagadnienie trafności i zrozumiałości wskaźników służących pomiarowi zrównoważonego rozwoju oraz problem zacieśniania współpracy pomiędzy wykonawcami ewaluacji i ocen oddziaływania na środowisko.
Także inni badacze jak Agnieszka Śnieżek z EVALU czy Małgorzata Kachniarz z Fundeko podzielili się swoimi doświadczeniami. Konkluzją spotkania była nadzieja, że uda się rozpocząć bardziej otwartą i twórczą współpracę, a także stymulować ewaluację Celów Zrównoważonego Rozwoju na poziomie krajowym.
Program
Tematyka wykładów oraz warsztatów dostosowana została do potrzeb przedstawicieli różnych instytucji i firm, poszukujących nowych dróg rozwoju z zastosowaniem wypracowanych w trakcie Kongresu pomysłów i pojawiających się w związku z nimi nisz biznesowych.
Skład Rady Programowej
prof. dr hab. Grzegorz Gorzelak, EUROREG (Uniwersytet Warszawski)
prof. dr hab. Jarosław Górniak, Instytut Socjologii (Uniwersytet Jagielloński)
prof. dr hab. Krzysztof Koseła, Instytut Socjologii (Uniwersytet Warszawski)
prof. dr hab. Leszek Korporowicz, Instytut Studiów Międzykulturowych (Uniwersytet Jagielloński)
prof. dr hab. Katarzyna Ornacka, Instytut Socjologii (Uniwersytet Jagielloński)
prof. dr hab. Włodzimierz Okrasa, Instytut Socjologii (Uniwersytet Kardynała Stefana Wyszyńskiego w Warszawie)
prof. dr hab. Jacek Szlachta Kolegium Ekonomiczno-Społeczne (Szkoła Główna Handlowa)
prof. dr hab. Ryszard Szarfenberg Instytut Polityki Społecznej (Uniwersytet Warszawski)
prof. dr hab. Kazimierz Frieske, Instytut Socjologii (Uniwersytet Warszawski)
Sponsorzy
Partnerzy
II Kongres Ewaluacyjny jest współorganizowany z Centrum Zarządzania Innowacjami i Transferem Technologii Politechniki Warszawskiej.
Centrum Zarządzania Innowacjami i Transferem Technologii Politechniki Warszawskiej to miejsce współpracy regionalnego biznesu, instytucji otoczenia biznesu, inicjatyw klastrowych, NGO-sów i administracji. Celem twórców CZIiTT było stworzenie na Mazowszu ośrodka badawczego wspierającego szeroko pojęty transfer technologii, zarządzanie technologiami, innowacjami i procesami oraz organizacją, poprzez umożliwienie realizacji badawczych projektów innowacyjnych w tych dziedzinach.
Działania CZIiTT skierowane są zarówno do środowiska akademickiego Politechniki Warszawskiej (naukowcy, studenci), innych szkół wyższych jak i środowiska naukowego z regionu, kraju, zagranicy. Beneficjentami są również mazowieccy przedsiębiorcy, w tym start-upy, jednostki sfery B+R z Warszawy i Mazowsza, jednostki samorządu terytorialnego oraz organizacje pozarządowe.
Oferta Centrum to połączenie nowoczesnego ośrodka z kreatywną przestrzenią (miejsce do pracy twórczej dla studentów, doktorantów i młodych naukowców, a także przestrzeń do organizacji konferencji, targów, seminariów) oraz funkcji merytorycznych. Obok nowoczesnej infrastruktury, którą tworzą m.in.: laboratoria do prowadzenia prac B+R z wykorzystaniem narzędzi informatycznych, sale kreatywne, nowoczesne zaplecze konferencyjno-wystawiennicze, socjalne, networkingowe, charakter miejsca tworzy kapitał intelektualny, a więc kadra Centrum odpowiadająca za merytoryczną działalność CZIiTT w zakresie, m.in.: konsolidacji działań uczelni na rzecz efektywnej komercjalizacji, transferu wiedzy i technologii, badań i analiz, rozwoju młodych innowacyjnych naukowców oraz inkubacji/preinkubacji.
II Kongres Ewaluacyjny został objęty patronatem
Polskiego Towarzystwa Socjologicznego
