KONFERENCE 2013 Odpovědnost za výsledky a výzvy pro 2014+ EVALUACE OP V LETECH 2004 2012 Mgr. Jiří Remr, Ph.D., MBA 28. 5. 2013 1
Obsah Programová teorie Pozornost věnovaná zainteresovaným stranám Implementace závěrů Transparentní metodika Objektivita, exaktnost Souhrnné vyhodnocení 2
Metodika meta-evaluace I. (předmět meta-evaluace) Velikost zkoumaného souboru: 176 evaluačních zpráv Postup provedení meta-evaluace: každá zpráva byla hodnocena třemi nezávislými posuzovateli; celkem tedy bylo provedeno 528 hodnocení individuální hodnocení byla sjednocena; koeficient shody činí 87 % byl vytvořen souhrn všech hodnocených evaluačních zpráv 3
Metodika meta-evaluace II. (kritéria meta-evaluace) Celkový počet hodnotících kritérií: 59 ukazatelů ( v 7 dimenzích) Programová teorie Charakteristika programu, jeho principů a mechanismů působení Popis teorie programu (Program Theory) Popis kontextu evaluace Pozornost věnovaná zainteresovaným stranám Odhad vhodnosti aktivit vykonaných v rámci programu vzhledem k potřebám cílových skupin Identifikace jednotlivých zainteresovaných stran Specifikace přínosu pro cílovou skupinu 4
Metodika meta-evaluace II. (kritéria meta-evaluace) pozornost věnovaná zainteresovaným stranám výkonnost, efektivnost objektivita, exaktnost 4 3 2 1 transparentní metodika implementace závěrů programová teorie Pozn.: 4 = nejlepší; 1 = nejhorší orientace na výsledky 5
Charakteristika evaluačních zpráv Finanční zdroj Programové období 46 evaluací 130 evaluací 3 7 45 67 74 55 23 26 období 2004 2006 období 2007 2013 ESF ERDF FS jiný údaje jsou v procentech období 2004 2006 údaje jsou v procentech období 2007 2013 Zdroj: INESAN, 2013 6
Charakteristika evaluačních zpráv Typ evaluace Rok zpracování zpráv on going hodnocení systému implementace ex ante další ad hoc hodnocení komunikačních aktivit hodnocení absorpční kapacity tématická evaluce STRATeval ex post interim 6 5 2 1 1 10 11 12 17 30 2012 2011 2010 2009 2008 2007 2006 2005 2004 5 1 12 9 9 12 16 16 20 jiný typ 7 Zdroj: INESAN, 2013 Pozn.: = 100 % údaje jsou v procentech 7
Programová teorie 8
Charakteristika programu, jeho principů a mechanismů působení podle programového období žádná 8% podrobná 32% období 2004 2006 73 období 2007 2013 20 podle finančního zdroje 70 27 10 ESF 54 38 8 ERDF 26 67 8 FS 25 50 25 Zdroj: INESAN, 2013 povrchní 60% podle rozsahu evaluační zprávy méně než 40 stránek 16 70 14 40 99 stránek 28 64 8 100 a více stránek 50 46 4 údaje jsou v procentech podrobná povrchní žádná 9
Pozornost věnovaná zainteresovaným stranám 10
Identifikace jednotlivých zainteresovaných stran podle typu evaluace ex ante 5 48 48 podrobná 17% on going hodnocení komunikačních aktivit 41 59 žádná 35% podle programového období 10 44 46 období 2004 2006 22 58 20 období 2007 2013 12 36 52 podle finančního zdroje ESF 28 66 6 Zdroj: INESAN, 2013 povrchní 48% ERDF FS 13 13 40 38 47 50 údaje jsou v procentech podrobná povrchní žádná 11
Implementace závěrů 12
Návrh konkrétních kroků ke zlepšení v definovaných oblastech žádný 2% podle programového období povrchní 25% období 2004 2006 období 2007 2013 69 88 28 12 3 podle rozsahu evaluační zprávy méně než 40 stránek 64 32 5 Zdroj: INESAN, 2013 podrobný 73% 40 99 stránek 100 a více stránek 73 82 27 17 2 údaje jsou v procentech podrobný povrchní žádný 13
Specifikace silných a slabých stránek posuzovaného programu/projektu ano 43% použití SWOT analýzy 28% ne 57% specifikace silných a slabých stránek 72% období 2004 2006 73 27 období 2004 2006 23 77 období 2007 2013 34 66 období 2007 2013 30 70 ano Zdroj: INESAN, 2013 ne údaje jsou v procentech použití SWOT analýzy údaje jsou v procentech specifikace silných a slabých stránek 14
Transparentní metodika 15
Popis metodiky provedené evaluace podle typu evaluace povinná 43 45 13 nepovinná 57 40 žádný podrobný 7% podle rozsahu evaluační zprávy 51% méně než 40 stránek 36 50 14 3 40 99 stránek 50 44 6 100 a více stránek 63 podle finančního zdroje 33 4 ESF 62 36 2 povrchní 42% Zdroj: INESAN, 2013 ERDF 46 42 12 FS 25 63 13 údaje jsou v procentech podrobný povrchní žádný 16
Provedení sekundárního primárního výzkumu v rámci evaluace neproveden žádný výzkum 15% provedení sekundárního i primárního výzkumu 56% ex ante podle typu evaluace 33 14 52 tématická evaluce 75 13 13 provedení primárního výzkumu 14% Zdroj: INESAN, 2013 provedení sekundárního výzkumu 15% hodnocení komunikačních aktivit údaje jsou v procentech provedení sekundárního i primárního výzkumu provedení sekundárního výzkumu provedení primárního výzkumu neproveden žádný výzkum 82 6 12 17
Provedení kvalitativního výzkumu Provedení kvantitativního výzkumu celkem podle finančního zdroje ESF ERDF FS podle typu evaluace ex ante tématická evaluce 63 hodnocení absorpční 60 kapacity podle data zpracování evaluační zprávy do roku 2006 2007 2012 Zdroj: INESAN, 2013 52 60 63 68 70 68 74 údaje jsou v procentech celkem podle finančního zdroje ESF ERDF FS podle typu evaluace ex ante tématická evaluce 75 hodnocení absorpční 80 kapacity podle data zpracování evaluační zprávy do roku 2006 2007 2012 29 42 57 63 68 68 75 údaje jsou v procentech 18
Objektivita, exaktnost 19
Využití exaktních informací uvádění jen slovních hodnot 12% exaktní informace nejsou uváděny 12% podle finančního zdroje ESF ERDF 22 11 58 61 6 17 14 11 uvádění jak konkrétních, tak i slovních hodnot 15% FS do roku 2006 2007 2012 9 17 63 55 63 12 12 25 13 podle data zpracování evaluační zprávy 8 24 uvádění jen konkrétních hodnot 61% Zdroj: INESAN, 2013 údaje jsou v procentech uvádění jak konkrétních, tak i slovních hodnot uvádění jen konkrétních hodnot uvádění jen slovních hodnot exaktní informace nejsou uváděny 20
Tabulky a grafy dokládající popisované jevy ani tabulky, ani grafy 6% jen grafy 2% tabulky i grafy 62% podle operačního programu OP Vzdělávání pro konkurenceschopnost OP Doprava OP Lidské zdroje a zaměstnanost 53 88 80 13 20 40 7 OP Podnikání a inovace 50 50 Integrovaný OP 40 20 40 jen tabulky 30% Zdroj: INESAN, 2013 tabulky i grafy jen tabulky jen grafy ani tabulky, ani grafy údaje jsou v procentech 21
Souhrnné vyhodnocení 22
Souhrnné vyhodnocení jednotlivých oblastí pozornost věnovaná zainteresovaným stranám objektivita, exaktnost 4 3 2 transparentní metodika výkonnost, efektivnost 1 implementace závěrů Zdroj: INESAN, 2013 programová teorie orientace na výsledky Pozn.: 4 = nejlepší 1 = nejhorší 23
Souhrnné vyhodnocení jednotlivých oblastí (diference mezi dvěma operačními programy) pozornost věnovaná zainteresovaným stranám objektivita, exaktnost 4 3 2 OP Vzdělávání pro konkurenceschopnost OP Rozvoj lidských zdrojů transparentní metodika výkonnost, efektivnost 1 implementace závěrů Zdroj: INESAN, 2013 programová teorie orientace na výsledky Pozn.: 4 = nejlepší 1 = nejhorší 24
Souhrnné vyhodnocení jednotlivých oblastí (podle finančního zdroje) pozornost věnovaná zainteresovaným stranám objektivita, exaktnost 4 3 2 transparentní metodika ESF ERDF FS výkonnost, efektivnost 1 implementace závěrů Zdroj: INESAN, 2013 programová teorie orientace na výsledky Pozn.: 4 = nejlepší 1 = nejhorší 25
Závěry 26
Mezi provedenými evaluacemi existují významné rozdíly (zejména v popisu metod, v designu a ve způsobu zpracování). Postupem času dochází k postupnému zlepšování prováděných evaluací; nevíce viditelný pokrok je ve využívání exaktních informací, v realizaci kvantitativních výzkumů a v odhadu účelnosti vynakládaných prostředků. Většina evaluací věnuje nedostatečnou pozornost identifikaci zainteresovaných stran. Výjimku v tomto ohledu představují evaluace komunikačních aktivit a evaluace financované z ESF; tyto evaluace se vyznačují podrobným popisem zainteresovaných stran. 27
Děkuji za pozornost Mgr. Jiří REMR, Ph.D., MBA jiri.remr@inesan.eu + 420 602 373 855 28