Issue 1/2025

Evaluating policy interventions for displaced populations requires authentic stakeholder perspectives, yet traditional methods prove inadequate during humanitarian crises. This paper presents a meta-evaluation of an AI-powered tool utilizing Retrieval-Augmented Generation technology to process 521,089 Telegram messages from Ukrainian and Russian-speaking populations. Our central finding challenges initial design assumptions: while intended to simulate stakeholder perspectives, the tool proved most valuable as a document exploration platform for qualitative data analysis. This shift from simulation to exploration represents a significant methodological insight for evaluation practice. The technical architecture successfully implemented multi-stage filtering, hierarchical clustering into 249 thematic groups, and transparent retrieval mechanisms. We argue that AI technologies offer greatest promise not in replacing stakeholder engagement, but in enhancing evaluators’ capacity to systematically process qualitative data. This research contributes to debates on responsible AI integration in evaluation methodology.

Artykuł przedstawia „Zasady Przewodnie Polskiego Towarzystwa Ewaluacyjnego” jako aksjologiczno-etyczne wytyczne wspierające rzetelność, niezależność i użyteczność ewaluacji w Polsce. Omawia cztery filary aksjologii dokumentu oraz katalog czternastu zasad, które mają stanowić przewodnik profesjonalnego postępowania na wszystkich etapach ewaluacji oraz narzędzie komunikowania kwestii etycznych interesariuszom. Tekst lokuje ZP PTE w szerszym kontekście refleksji etycznej i projakościowej, wskazując punkty styczne między debatami środowiska socjologicznego a praktyką ewaluacyjną, a także zestawiając etycznie motywowane dążenia świata akademickiego z pragmatycznymi, wizerunkowymi uwarunkowaniami działań projakościowych branży badań komercyjnych. Autor wykorzystuje perspektywę dramaturgiczną Ervinga Goffmana do opisu ról, presji i napięć w ewaluacji oraz do identyfikacji obszarów, w których zasady mogą wspierać ochronę niezależności i wiarygodności procesu. Na podstawie doświadczeń z paneli konferencyjnych i warsztatów poświęconych ZP PTE w 2025 roku artykuł wskazuje ich potencjalną użyteczność dla zamawiających i wykonawców oraz podkreśla kluczowe wyzwanie wdrożeniowe: operacjonalizację zasad w postaci procedur, narzędzi i dobrych praktyk, które zapewnią aplikowalność dokumentu.

Artykuł podejmuje krytyczną analizę praktyki ewaluacji polityk publicznych w Polsce, ze szczególnym uwzględnieniem badań realizowanych w kontekście polityki spójności Unii Europejskiej. Na podstawie analizy Bazy Badań Ewaluacyjnych, 62 raportów ewaluacyjnych, bazy rekomendacji oraz wieloletnich doświadczeń autorek zidentyfikowano powtarzalne mechanizmy systemowo osłabiające poznawczą i decyzyjną funkcję ewaluacji. Należą do nich m.in. nadprodukcja badań i inflacja metodyczna, pozorność poznawcza, fragmentaryczność analiz, autocenzura w formułowaniu rekomendacji, brak współwłasności wniosków oraz niedopasowanie czasowe badań do procesów decyzyjnych. Autorki argumentują, że problemy te nie mają charakteru incydentalnego, lecz tworzą stabilny wzorzec instytucjonalny, w którym ewaluacja pełni głównie funkcję formalno-legitymizującą dotychczasowe działania. W artykule poddano także krytycznej refleksji tezę o przełomowym znaczeniu sztucznej inteligencji, wskazując, że bez zmiany logiki projektowania badań technologie te mogą wzmacniać istniejące dysfunkcje.

Artykuł przedstawia zarządzanie adaptacyjne jako podejście do zarządzania podmiotami w sektorze humanitarno-rozwojowym, którego fundamentem jest celowe i systematyczne organizacyjne uczenie się. W artykule zarysowano oczekiwania międzynarodowych organizacji międzyrządowych i pozarządowych w obszarze ewaluacji i procesów pokrewnych wobec polskich organizacji pozarządowych, z którymi podjęły one współpracę w odpowiedzi na kryzys humanitarny wywołany eskalacją wojny w Ukrainie w lutym 2022 roku. Artykuł kończy podsumowanie praktyk w obszarze MEAL – zarówno polskich organizacji pozarządowych, jak i ich międzynarodowych partnerów, w kontekście doświadczenia wspierania uchodźców z Ukrainy przebywających w Polsce. Kończy go konkluzja, że ogrom zebranego doświadczenia – nie tylko technicznej wiedzy, ale nade wszystko wyobraźni instytucjonalnej, to idealny moment na wypracowanie autonomicznej ścieżki organizacyjnego uczenia się przez polskie NGO, która pozwoli im na odegranie aktywnej roli w globalnym dialogu o standardach organizacyjnego uczenia się w działalności o charakterze humanitarno-rozwojowym.

Artykuł prezentuje syntetyczne ujęcie dyskusji panelowej poświęconej praktyce ewaluacji w samorządach lokalnych, prowadzonej podczas IV Międzynarodowego Kongresu Ewaluacyjnego. Analiza obejmuje cztery kluczowe obszary: specyfikę ewaluacji lokalnej, motywacje i potrzeby jednostek samorządu terytorialnego, bariery utrudniające realizację i wykorzystanie badań oraz potencjalne formy wsparcia rozwoju praktyk ewaluacyjnych. Wskazuje na zróżnicowane uwarunkowania organizacyjne i kulturowe, które wpływają na funkcjonowanie ewaluacji na poziomie lokalnym. Artykuł podkreśla znaczenie instytucjonalizacji, budowania kultury refleksyjnej oraz środowiskowej wymiany wiedzy jako warunków wzmacniania systemów ewaluacyjnych w JST.

Artykuł analizuje transformacyjny potencjał ewaluacji we współczesnych procesach społecznych, instytucjonalnych i metodologicznych, odwołując się do doświadczeń IV Międzynarodowego Kongresu Ewaluacyjnego Polskiego Towarzystwa Ewaluacyjnego. Autor przedstawia ewaluację nie jedynie jako narzędzie oceny efektywności działań publicznych, lecz jako mechanizm wspierający demokratyzację, dialog społeczny, inkluzywność oraz refleksyjne zarządzanie zmianą. Szczególna uwaga poświęcona została napięciu między technokratycznym, instrumentalnym wykorzystaniem ewaluacji a jej humanistycznym i rozwojowym wymiarem. Artykuł wskazuje, że współczesne przemiany – w tym cyfryzacja, analiza dużych zbiorów danych oraz rozwój sztucznej inteligencji – otwierają nowe możliwości metodologiczne, ale jednocześnie generują ryzyko redukcjonizmu i marginalizacji wartości społecznych. Podkreślono znaczenie synergii metod ilościowych i jakościowych oraz potrzebę budowania kultury ewaluacyjnej opartej na odpowiedzialności społecznej i pluralizmie wartości. Ewaluacja przedstawiona została jako aktywny czynnik transformacji społecznej, wymagający równowagi między efektywnością, partycypacją i etyczną refleksją nad celami zmiany.

This paper examines how inclusive and participatory evaluation can be sustained under the extreme conditions of war in Ukraine. Drawing on four practitioner perspectives - rapid evaluation, humanitarian assistance, mine action, and public administration - it argues that participatory approach is not optional but essential for relevance, legitimacy, and learning. The text highlights the shift from traditional, static evaluation models toward adaptive approaches such as Real-Time Learning, which enable continuous feedback and timely decision-making. It also explores ethical and methodological dilemmas, including trade-offs between speed and depth, safety and openness, and data quality and feasibility. Empirical examples from Caritas Polska and humanitarian mine action in Ukraine demonstrate how participatory practices can be implemented with vulnerable and traumatised populations. At the systemic level, the paper discusses the disruption of Ukraine’s data ecosystem and the need for “good-enough” evidence, triangulation, and rebuilding local statistical capacities. The study concludes that evaluation in wartime must prioritise learning, dignity, and local agency to support recovery and European integration.

Artykuł syntetyzuje najważniejsze wątki dyskusji panelowej poświęconej porażce w politykach publicznych, która odbyła się podczas IV Międzynarodowego Kongresu Ewaluacyjnego w 2025 r. Punktem wyjścia jest założenie, że porażka w politykach publicznych nie jest kategorią jednoznaczną, lecz zjawiskiem kontekstowym, procesowym i silnie zależnym od przyjętych kryteriów oceny. W artykule omówiono cztery zasadnicze problemy: sposoby definiowania porażki, przyczyny ograniczonego uczenia się z niepowodzeń, warunki konstruktywności porażki oraz możliwości tworzenia bezpiecznej przestrzeni dla „produktywnej porażki” w instytucjach publicznych. Szczególną uwagę poświęcono napięciu między logiką polityczną (politics) a merytoryczną (policy), słabej instytucjonalizacji uczenia się, ograniczeniom podejścia evidence-based oraz brakowi ciągłej, adaptacyjnej ewaluacji. Artykuł pokazuje, że porażka może mieć charakter produktywny, jeśli prowadzi do refleksji, korekty działań, ujawnienia mechanizmów systemowych lub wypracowania realistycznych rozwiązań, tzw. drugiego najlepszego wyboru. Warunkiem jej konstruktywnego wykorzystania jest jednak zmiana kultury organizacyjnej: odejście od logiki rozliczania i „pseudo sukcesu” na rzecz modelu ewaluacji wspierającego uczenie się, eksperymentowanie i adaptację polityk publicznych.