Online First

Evaluating policy interventions for displaced populations requires authentic stakeholder perspectives, yet traditional methods prove inadequate during humanitarian crises. This paper presents a meta-evaluation of an AI-powered tool utilizing Retrieval-Augmented Generation technology to process 521,089 Telegram messages from Ukrainian and Russian-speaking populations. Our central finding challenges initial design assumptions: while intended to simulate stakeholder perspectives, the tool proved most valuable as a document exploration platform for qualitative data analysis. This shift from simulation to exploration represents a significant methodological insight for evaluation practice. The technical architecture successfully implemented multi-stage filtering, hierarchical clustering into 249 thematic groups, and transparent retrieval mechanisms. We argue that AI technologies offer greatest promise not in replacing stakeholder engagement, but in enhancing evaluators’ capacity to systematically process qualitative data. This research contributes to debates on responsible AI integration in evaluation methodology.

Artykuł przedstawia „Zasady Przewodnie Polskiego Towarzystwa Ewaluacyjnego” jako aksjologiczno-etyczne wytyczne wspierające rzetelność, niezależność i użyteczność ewaluacji w Polsce. Omawia cztery filary aksjologii dokumentu oraz katalog czternastu zasad, które mają stanowić przewodnik profesjonalnego postępowania na wszystkich etapach ewaluacji oraz narzędzie komunikowania kwestii etycznych interesariuszom. Tekst lokuje ZP PTE w szerszym kontekście refleksji etycznej i projakościowej, wskazując punkty styczne między debatami środowiska socjologicznego a praktyką ewaluacyjną, a także zestawiając etycznie motywowane dążenia świata akademickiego z pragmatycznymi, wizerunkowymi uwarunkowaniami działań projakościowych branży badań komercyjnych. Autor wykorzystuje perspektywę dramaturgiczną Ervinga Goffmana do opisu ról, presji i napięć w ewaluacji oraz do identyfikacji obszarów, w których zasady mogą wspierać ochronę niezależności i wiarygodności procesu. Na podstawie doświadczeń z paneli konferencyjnych i warsztatów poświęconych ZP PTE w 2025 roku artykuł wskazuje ich potencjalną użyteczność dla zamawiających i wykonawców oraz podkreśla kluczowe wyzwanie wdrożeniowe: operacjonalizację zasad w postaci procedur, narzędzi i dobrych praktyk, które zapewnią aplikowalność dokumentu.

Artykuł podejmuje krytyczną analizę praktyki ewaluacji polityk publicznych w Polsce, ze szczególnym uwzględnieniem badań realizowanych w kontekście polityki spójności Unii Europejskiej. Na podstawie analizy Bazy Badań Ewaluacyjnych, 62 raportów ewaluacyjnych, bazy rekomendacji oraz wieloletnich doświadczeń autorek zidentyfikowano powtarzalne mechanizmy systemowo osłabiające poznawczą i decyzyjną funkcję ewaluacji. Należą do nich m.in. nadprodukcja badań i inflacja metodyczna, pozorność poznawcza, fragmentaryczność analiz, autocenzura w formułowaniu rekomendacji, brak współwłasności wniosków oraz niedopasowanie czasowe badań do procesów decyzyjnych. Autorki argumentują, że problemy te nie mają charakteru incydentalnego, lecz tworzą stabilny wzorzec instytucjonalny, w którym ewaluacja pełni głównie funkcję formalno-legitymizującą dotychczasowe działania. W artykule poddano także krytycznej refleksji tezę o przełomowym znaczeniu sztucznej inteligencji, wskazując, że bez zmiany logiki projektowania badań technologie te mogą wzmacniać istniejące dysfunkcje.