Ewaluacja

Ewaluacja (ang. evaluate "oceniać, szacować" z łac. evalesco "stawać się, być zdolnym, potężnieć" i evaleo "móc, zdołać")^[1] – systematyczne badanie wartości albo cech konkretnego programu, planu, działania (eksperymentu) bądź obiektu (programu komputerowego, programu nauczania, lekarstwa, rozwiązania technicznego) z punktu widzenia przyjętych kryteriów, w celu jego usprawnienia, rozwoju lub lepszego zrozumienia. Jest to ocena wartości interwencji z zastosowaniem określonych kryteriów tejże oceny, podejmowana w celu określenia efektywności interwencji, oszacowania w odniesieniu do celów, a także analizy wpływu na specyficzne problemy strukturalne^[2].

Ewaluacja jest relatywnym wartościowaniem kontekstowym w procesie całościowego ujmowania zjawisk, prowadzącym do: diagnozowania jakości, wyszczególniania właściwości i zależności, doskonalenia oddziaływań oraz formowania przemian na podstawie interpretacji wielu danych źródłowych oraz badań dystansowych i analiz^[3]. Ewaluacja jest częścią procesu podejmowania decyzji. Obejmuje wydawanie opinii o wartości działania poprzez systematyczne, jawne zbieranie i analizowanie o nim informacji w odniesieniu do znanych celów, kryteriów i wartości.

Historia

Za początek instytucjonalnego wykorzystania ewaluacji w Europie Henryk Mizerek za R. Lance'em Hoganen uznał 1792 rok kiedy to William Farish wprowadził stopnie szkolne jako miarę oceny osiągnięć uczniów^[4][5].

Typy i rodzaje ewaluacji

Typy

ze względu na przedmiot badania:

• ewaluacje procesów społecznych^[6],
• ewaluacje projektów,
• ewaluacje programów,
• ewaluacje polityk,
• ewaluacje tematyczne/horyzontalne,
• meta-ewaluacje^[7].

ze względu na kryterium czasu i cel:

• ewaluacja ex ante – projektująca potencjalną trafność, spójność, skuteczność i efektywność oddziaływań przed rozpoczęciem procesu formowania przemian (np. interwencji publicznej),
• ewaluacja on-going – prowadzona na bieżąco podczas procesu formowania przemian i wpływająca na optymalizację oddziaływań,
• ewaluacja mid-term – przeprowadzana w połowie okresu oddziaływań z wartościowaniem dotychczasowego wpływu na procesu,
• ewaluacja ad hoc – przeprowadzana w sytuacji wystąpienia zjawisk nieplanowanych, mająca na celu szybkie przeciwdziałanie zaistniałym problemom,
• ewaluacja ex post – podsumowująca po zakończeniu procesu, oceniająca skutki oddziaływań (interwencji) najczęściej wg kryteriów: skuteczności, efektywności, użyteczności i trwałości.

ze względu na usytowanie ewaluatora:

• ewaluacja wewnętrzna – przeprowadzana przez ewaluatora funkcjonującego w ramach instytucji odpowiedzialnej za realizację interwencji publicznej, z wykorzystaniem zasobów wewnętrznych,
• ewaluacja zewnętrzna – przeprowadzana przez ewaluatorów funkcjonujących poza instytucją odpowiedzialną za realizację interwencji publicznej (ewaluatorów zewnętrznych),
• ewaluacja hybrydowa – przeprowadzana jest niezależnie przez ewaluatora wewnętrznego oraz ewaluatora zewnętrznego.

ze względu na zasięg problematyki:

• ewaluacja programowa – dotycząca jednego programu operacyjnego,
• ewaluacja horyzontalna – dotycząca wybranych zagadnień w przekroju kilku programów.

ze względu na akcenty badawcze:

• ewaluacja oparta na teorii interwencji – koncentrująca się na tym, w jaki sposób i dlaczego dana interwencja osiągnie lub osiągnęła określone rezultaty,
• ewaluacja kontrfaktyczna – polegająca na ocenie efektów interwencji publicznej poprzez ich porównanie z sytuacją, która zaistniałaby w przypadku braku interwencji lub w przypadku realizacji innej interwencji,
• ewaluacja procesu – koncentrująca się na działaniach, które mają miejsce w trakcie wdrażania interwencji publicznej, skupiająca się na sposobach jej wdrażania i funkcjonowania,
• ewaluacja wpływu – koncentrująca się na efektach, oceniająca zmiany (zarówno zamierzone jak i niezamierzone) będące wynikiem realizacji interwencji publicznej^[8].

Rodzaje

Ewaluacja demokratyczna – to proces badawczy polegający na ocenianiu wartościującym, w którym sami respondenci (a nie eksperci) wytyczają normy uznawane za wartości w danym kręgu kulturowo-społecznym. Ustalane w ten sposób standardy ewaluatywne są na danym etapie rozwojowym charakterystyczne dla konkretnej populacji. Ocenianie wartościujące jest strategią odmienną od oceniania sprawdzającego osiągany poziom, a także pełniejszą od oceniania różnicującego grupy, umożliwia bowiem wyznaczenie tego, czy mierzone cechy, właściwości, zjawiska lub procesy są rzeczywistymi wartościami uznawanymi przez kwalifikowaną większość. Społeczny proces ewaluacji ma większą rangę niż opiniowanie autorytarne, pasujące raczej do decyzyjnej fazy zatwierdzania, zwanej walidacją.

Ewaluacja splotowa – polega na ocenianiu wartości zjawiska lub cech podmiotu uwikłanego w naturalnym kontekście procesów społecznych. Na wypadkową wartość składają się różne komponenty, przy czym bierze się pod uwagę zarówno czynniki korzystne, jak i niekorzystne, osłabiające wynik końcowy. Istotą ewaluacji splotowej jest interpretacja na kilku poziomach rozwarstwienia zmiennych po to, ażeby trafnie orzekać o tym, co było katalizatorem, a co hamulcem przemian. Ważne przy tym jest rozsądzanie, czy zaobserwowana przemiana cech jest korzystna/niekorzystna, czy może raczej jest typowym zjawiskiem w procesie rozwojowym, kiedy to następuje poprawa jednego komponentu wartości kosztem innego^[6].

Proces ewaluacji

Etapy procesu ewaluacji

1. Określenie tematu ewaluacji – co będzie podlegało ewaluacji?
2. Postawienie pytań kluczowych – pytań, na które szuka się odpowiedzi
3. Sformułowanie kryteriów wartościowania i obowiązujących w organizacji standardów
4. Ustalenie jakie zagadnienia należy przeanalizować w celu udzielenia odpowiedzi na pytania ewaluacyjne
5. Zidentyfikowanie źródeł potrzebnych informacji – np. dobór próby przy badaniu ankietowym, gdzie znaleźć konieczne dokumenty itp.
6. Wybranie metod pracy – badanie ankietowe, wywiady, obserwacja, analiza dokumentów
7. Opracowanie narzędzi – formularze ankiet, wytyczne do wywiadów
8. Przygotowanie harmonogramu ewaluacji oraz narzędzia monitoringu (sprawdzenie czy otrzymuje się potrzebne informacje)

Ewaluacja to systematyczne zbieranie informacji – już na etapie planowania powinno się określić jak będzie wyglądała ewaluacja działań:

• cele ewaluacji
• sposoby zbierania informacji
• terminy cząstkowe
• odbiorcy ewaluacji.

Dzięki temu, że ewaluacja jest systematycznym zbieraniem informacji, pozwala na ulepszanie podejmowanych działań jeszcze w trakcie ich realizacji. Jeśli na przykład podczas trwania programu okazuje się, że do osiągnięcia zamierzonych celów zostały użyte niewłaściwe środki, innymi słowy – są to działania nieadekwatne, które nie prowadzą do osiągnięcia celu – można podjąć decyzję o zmianie podejmowanych działań. Ewaluacja wiąże się wobec tego z oszczędnością pieniędzy, czasu i zasobów ludzkich.

Na osobie, która podejmuje się ewaluacji, ciąży moralny obowiązek zachowania obiektywizmu i etycznego podejścia do procesu ewaluacji. Bez tego cały proces przestaje być ewaluacją, a może przerodzić się w próbę manipulacji lub osiągania prywatnych celów.

Ewaluacja to umiejętność zbierania i analizowania takich informacji, by odpowiedzieć na pytanie, czy zostały osiągnięte zamierzone cele. Jeżeli celem działań ma być propagowanie zdrowego trybu życia, to przydatną informacją może być liczba zorganizowanych szkoleń pierwszej pomocy, wydanych poradników medycznych czy wyniki konkurs dotyczącego pomocy przedmedycznej.

Nie każda informacja będzie przydatna dla potrzeb ewaluacji (szum informacyjny), dlatego tak ważne jest pytanie o cele. Nie ma informacji dobrych czy złych – są tylko przydatne i nie dla danego procesu ewaluacji. Aby samo zbieranie informacji/danych było przeprowadzone prawidłowo, już na etapie planowania należy zadecydować, czego i w którym momencie chcemy się dowiedzieć. Należy także ustalić mierniki osiągnięcia celów.

Dane dzieli się na dwie grupy: jakościowe i ilościowe. Liczba uzyskanych punktów podczas testu sprawdzającego, średnia wieku uczestników kursu czy liczba wydanych poradników to dane ilościowe. Zaś kwalifikacje pracowników czy stosunki międzyludzkie panujące w danej grupie to typowe dane jakościowe. Najczęściej oba rodzaje tych informacji są potrzebne do dokonania rzetelnej ewaluacji.

Jest wiele sposobów zbierania informacji, w tym: ankieta, wywiad, obserwacja i analiza dokumentów. Każda z nich może odkryć przed nami różne aspekty tego samego przedsięwzięcia.

Kryteria ewaluacji

• trafność – to stopień, w jakim cele przedsięwzięcia są zgodne z wymaganiami beneficjenta, potrzebami lokalnymi oraz politykami i priorytetami partnerów i donorów;
• skuteczność – to stopień, w jakim przedsięwzięcie osiągnęło (lub ma osiągnąć) cele – przy uwzględnieniu stopnia ważności tych celów;
• efektywność – to ocena właściwego przekształcenia zasobów/środków (funduszy, ludzi, czasu, itd.) w efekty;
• użyteczność – to wszystkie konsekwencje wdrożenia przedsięwzięcia – krótko- i długoterminowe, bezpośrednie i pośrednie, pozytywne i negatywne, przewidziane i nieprzewidziane;
• trwałość – to stopień, w jakim efekty przedsięwzięcia oddziałują po jego zakończeniu^[9].

Wskaźniki ewaluacyjne

• wskaźniki zasobów,
• wskaźniki produktu,
• wskaźniki wyników,
• wskaźniki oddziaływania^[10].

Metody stosowane w ewaluacji

• Metoda badania dokumentów,
• Metody analizy i krytyki piśmiennictwa,
• Metody symulacji komputerowej,
• Metody obserwacyjne^[11],
• Metody sondażu diagnostycznego^[12],
• Metoda indywidualnych przypadków,
• Metody analizy i konstrukcji logicznej^[11].

Szczególne zastosowania ewaluacji w Polsce

W niektórych branżach określono szczególne ramy ewaluacji:

• w oświacie – ocena przydatności i skuteczności podejmowanych działań dydaktycznych, wychowawczych i opiekuńczych w odniesieniu do założonych celów, służącą doskonaleniu tych działań (Rozporządzenie MENiS z 23 kwietnia 2004). W nowszym Rozporządzeniu MEN (z 7 października 2009) definicja ogólniejsza: Ewaluacja – praktyczne badanie oceniające przeprowadzane w szkole lub placówce,
• w szkolnictwie wyższym – jest środkiem formułowania opinii na podstawie wskaźników (jakościowych lub ilościowych) uznanych za ważne i wiarygodne. Za pomocą tych wskaźników porównuje się faktyczne efekty programu kształcenia z oczekiwanymi^[13]. Jest to też droga do urzeczywistnienia realizacji w szkołach wyższych zarządzania publicznego bazującego na dowodach (evidence based policy), podnosząc tym samym skuteczność ich funkcjonowania^[14],
• w prawie – jest środkiem formułowania opinii w zakresie tego, czy dany akt prawny spełnił oczekiwania ustawodawcy^[15]. Odbywa się w procedurze tzw. oceny funkcjonowania ustawy, która została uregulowana w Regulaminie Pracy Rady Ministrów^[16],
• w polityce spójności – badanie społeczno-ekonomiczne, którego celem jest oszacowanie efektów wdrażania interwencji publicznych w odniesieniu do jasno sformułowanych kryteriów jakości (najczęściej skuteczności, efektywności, użyteczności, trafności i trwałości). Głównym wyzwaniem jest uchwycenie rzeczywistych efektów, tj. wskazanie jaka część zmiany sytuacji społeczno-ekonomicznej zaistniała dzięki realizacji polityki spójności. Drugim istotnym zadaniem jest odpowiedź na pytanie: dlaczego dana zmiana nastąpiła, czyli wyjaśnienie mechanizmów oddziaływania polityki spójności. Wymienione cele wpływają na wybór odpowiedniego podejścia metodologicznego, niezbędnego do zapewnienia wysokiego poziomu jakości procesu ewaluacji. Stąd rozwój oraz stosowanie zaawansowanych metod badawczych, w tym m.in. metod kontrfaktycznych oraz ewaluacji opartej na teorii interwencji^[8].

Zobacz też

• analiza kosztów i korzyści
• Action research

Przypisy

Bibliografia

• Boni Michał, Ewaluacja w strategicznym zarządzaniu państwem – perspektywa średnio- i długookresowa, [w:] Ewaluacja w strategicznym zarządzaniu publicznym, pod red. Agnieszki Haber, Macieja Szałaja, Warszawa 2010.
• Chmielewski Jan, Hoff Waldemar, Regulatory Impact Assessment (RIA) and Rationality of Law – Legal Aspects, „Management and Business Administration. Central Europe”, Vol. 23, No. 2/2015: p. 92–108, ISSN 2084-3356.
• Goleman Katarzyna, Ewaluacja..., „Czuwaj”, 5/2003.
• Górniak Jarosław, Ewaluacja w cyklu polityk publicznych, [w:] Ewaluacja funduszy strukturalnych – perspektywa regionalna, pod red. Stanisława Mazura, Kraków 2007, s. 11-28.
• Mizikaci Fatma, (2006), A Systems Approach to Program Evaluation Model for Quality in Higher Education, „Quality Assurance in Education”, no. 14 (1), s. 37–53.
• Olejniczak Karol, Teoria i praktyka ewaluacji w świetle doświadczeń europejskich, „Studia Regionalne i Lokalne” 2005, nr 4(22), s. 39-40.
• Pylak Korneliusz, Podręcznik ewaluacji projektów infrastrukturalnych, Warszawa 2009.
• Stachowiak-Kudła Monika, Wartościowanie decyzji publicznych metodą konsultacji z interesariuszami, [w:] Prawo administracyjne w ujęciu interdyscyplinarnym, pod red. B. Opalińskiego, Oficyna Wydawnicza Uczelni Łazarskiego, Warszawa 2014, s. 51-68.
• Stachowiak-Kudła Monika, Ewaluacja jako instrument zapewnienia jakości kształcenia w szkolnictwie wyższym, [w:] Refleksyjnie o współczesnym zarządzaniu, pod red. Barbary Kożuch i Łukasza Sułkowskiego, Instytut Spraw Publicznych Uniwersytetu Jagiellońskiego, Kraków 2016, ISBN 978-83-65688-00-2, s. 216-226.
• Turowski Bohdan, Zawicki Marcin, Funkcje, etapy, metody i narzędzia ewaluacji, [w:] Ewaluacja funduszy strukturalnych – perspektywa regionalna, pod red. Stanisława Mazura, Kraków 2007, s. 29-58.
• Ubermanowicz Stanisław, Ewaluacja splotowa InfoKultury. Skala dwuważonych ocen, Wydawnictwo Naukowe UAM, Poznań 2005, ISBN 83-232-1608-8.
• Wytyczne w zakresie ewaluacji polityki spójności na lata 2014-2020, Minister Inwestycji i Rozwoju, Warszawa: 10 października 2018.