Facilitovaná interní evaluace od teorie k praxi Mgr. Jiří Svobodník, ÚRR Moravskoslezsko Ing. Vladimír Sodomka, ČES

Transkript

1 Evaluace na rozcestí trendy a praxe Facilitovaná interní evaluace od teorie k praxi Mgr. Jiří Svobodník, ÚRR Moravskoslezsko Ing. Vladimír Sodomka, ČES

2 Obsah Zkušenosti z facilitované evaluace z pohledu ŘO Zkušenosti z facilitované evaluace z pohledu facilitátora Dobrá praxe

3 Úvod evaluace se můžete skutečně naučit, až pokud si je sami vyzkoušíte každá evaluace je jiná - jedna evaluace nestačí i jednoduché věci nemusí být tak jednoduché

4 Jak se zrodila myšlenka (výchozí situace na ROP MS) Většina evaluací je realizována interně: + krátký čas od myšlenky k realizaci ( DIY ), + za málo peněz stejně muziky jako externí evaluace, + - jednoduché, nekomplikované evaluační aktivity Zkušenosti evaluačního pracoviště ROP Moravskoslezsko s evaluací povětšinou jen teoretické (školení, CzechDET), zkušenosti jen z jednoduchých evaluačních aktivit Learning by doing - očekávání: naučit se teorii přes praktické příklady + naučit se praktické dovednosti na reálné evaluaci = 2v1

5 1. Interní evaluace absorpční kapacita Interní evaluace v rámci evaluačního tréninku: Evaluace intervence na posílení absorpční kapacity v zaostávající části regionu (září - prosinec 2009) Účastníci školení pod vedením školitele: vypracovali zadávací podmínky evaluace, zpracovali evaluační design, provedli řízené rozhovory s vedením a projektovými manažery 4 mikroregionů svá zjištění promítli do závěrů a doporučení typ Learning by doing poučení, dobrá praxe: 2v1 = školení + evaluace

6 2. Smíšená evaluace komunikační aktivity Řídícího orgánu ROP MS Smíšená evaluace: Evaluace realizace informačních a komunikačních opatření ROP Moravskoslezsko (srpen únor 2010) interní evaluační tým, 2 externí experti marketingová specialistka - zodpovědná za zpracování otázek okruhu II. Řízení a koordinace komunikačních aktivit a III. Komunikační nástroje evaluační expert: metodické vedení při sestavení evaluačních otázek a vytvoření evaluačního designu metodický dohled (supervize) nad průběhem evaluace - průběžné konzultace, oponentura závěrečné zprávy evaluace a dohled nad správnou metodologií a interpretací (zjištění > závěry > doporučení) typ Metodologická supervize poučení, dobrá praxe: důležité je dobře začít, správná interpretace zjištěných výsledků

7 Přínosy Kdy je důležitý odborný vstup evaluačního experta: při zahájení evaluace (otázky, design) metodická oponentura závěrečné zprávy (logická posloupnost: zjištění > závěry > doporučení) Jaké byly hlavní efekty facilitace evaluačních aktivit z pohledu ŘO? zvýšení kompetencí interního evaluačního týmu v oblasti evaluace využití předností interní a externí evaluace výhodou i pro externí evaluace (větší vhled zadavatele)

8 Ve jakých oblastech je potřeba nejvíce pomoci (1) Navedení na otázky a formulace evaluačních otázek Nastavení evaluačního designu - matice evaluačního designu vymyslet, jak měřit + odhadnout jak to bude vypadat proveditelnost, výsledek) zdroje a dostupnost dat ŘO zná velmi dobře uvědomění si koho bude zapotřebí zapojit/oslovit požadavky na vstupy připomenutí hlavních zásad reprezentativnost, principů Příprava metodických nástrojů důležité jak se ptát formulace pohled z venku vždy konzultace s odborníkem

9 V jakých oblastech je potřeba nejvíce pomoci (2) Sběr dat tazatel velmi klíčový (jestli se s ním bude vůbec bavit, jak bude chtít, aby byl viděn, schopnost vytáhnout potřebné a důležité informace) specifika interních evaluací ptá se donor (snaha ovlivnit prezentovat to lepší, lobbovat za své zájmy) facilitátor jistí nováčky Analýza a interpretace dat pomoc ve složitějších případech klíčová pomoc při interpretaci (evaluátor má snahu vylepšovat) Šíření evaluační myšlenky uvnitř instituce + psychická podpora pracovníkům evaluací

10 Vlastní evaluace zkušenost k nezaplacení Motto: Lépe jednou zkusit, než dvakrát vidět a třikrát slyšet prohloubení praktických dovedností a profesní jistoty pochopení práce evaluátora a nároků evaluace využití při zadávání a realizaci externích evaluací přinášení nových pohledů/ informací více z terénu ( ŘO ví nejlépe co žadatele/příjemce trápí ) Specifika: odlišný přístup k internímu evaluátorovi donorpříjemce tendence pomáhat příjemcům

11 Shrnutí dobrá praxe pohled ŘO: šetřím prostředky + mám dohled nad postupem evaluace od A do Z ( = malé riziko nepochopení zadání) + mám jistotu v metodologii evaluace zvýšení odborných kompetencí interního evaluačního týmu od zadávání k provádění evaluací argumenty od teorie přes facilitaci k praxi a vyšší odbornosti kvalitnější evaluace a výsledky cesta k vyšší akceptaci evaluací v instituci