EVALUACE OP V LETECH VÝSLEDKY META-EVALUAČNÍHO ŠETŘENÍ Mgr. Jiří Remr, Ph.D., MBA

Rozměr: px

Začít zobrazení ze stránky:

Download "EVALUACE OP V LETECH 2004 2012 VÝSLEDKY META-EVALUAČNÍHO ŠETŘENÍ Mgr. Jiří Remr, Ph.D., MBA"

Kristina Matoušková
před 8 lety
Počet zobrazení:

1 KONFERENCE 2013 Odpovědnost za výsledky a výzvy pro EVALUACE OP V LETECH Mgr. Jiří Remr, Ph.D., MBA

2 Obsah Programová teorie Pozornost věnovaná zainteresovaným stranám Implementace závěrů Transparentní metodika Objektivita, exaktnost Souhrnné vyhodnocení 2

3 Metodika meta-evaluace I. (předmět meta-evaluace) Velikost zkoumaného souboru: 176 evaluačních zpráv Postup provedení meta-evaluace: každá zpráva byla hodnocena třemi nezávislými posuzovateli; celkem tedy bylo provedeno 528 hodnocení individuální hodnocení byla sjednocena; koeficient shody činí 87 % byl vytvořen souhrn všech hodnocených evaluačních zpráv 3

provedení meta-evaluace: každá zpráva byla hodnocena třemi nezávislými posuzovateli;

4 Metodika meta-evaluace II. (kritéria meta-evaluace) Celkový počet hodnotících kritérií: 59 ukazatelů ( v 7 dimenzích) Programová teorie Charakteristika programu, jeho principů a mechanismů působení Popis teorie programu (Program Theory) Popis kontextu evaluace Pozornost věnovaná zainteresovaným stranám Odhad vhodnosti aktivit vykonaných v rámci programu vzhledem k potřebám cílových skupin Identifikace jednotlivých zainteresovaných stran Specifikace přínosu pro cílovou skupinu 4

Charakteristika programu, jeho principů a mechanismů působení Popis teorie programu (Program Theory) Popis kontextu

5 Metodika meta-evaluace II. (kritéria meta-evaluace) pozornost věnovaná zainteresovaným stranám výkonnost, efektivnost objektivita, exaktnost transparentní metodika implementace závěrů programová teorie Pozn.: 4 = nejlepší; 1 = nejhorší orientace na výsledky 5

stranám výkonnost, efektivnost objektivita, exaktnost 4 3 2 1

6 Charakteristika evaluačních zpráv Finanční zdroj Programové období 46 evaluací 130 evaluací období období ESF ERDF FS jiný údaje jsou v procentech období údaje jsou v procentech období Zdroj: INESAN,

období 2007 2013 ESF ERDF FS jiný údaje jsou v procentech období

7 Charakteristika evaluačních zpráv Typ evaluace Rok zpracování zpráv on going hodnocení systému implementace ex ante další ad hoc hodnocení komunikačních aktivit hodnocení absorpční kapacity tématická evaluce STRATeval ex post interim jiný typ 7 Zdroj: INESAN, 2013 Pozn.: = 100 % údaje jsou v procentech 7

tématická evaluce STRATeval ex post interim 6 5 2 1 1 10 11 12 17 30 2012 2011 2010 2009 2008 2007

8 Programová teorie 8

9 Charakteristika programu, jeho principů a mechanismů působení podle programového období žádná 8% podrobná 32% období období podle finančního zdroje ESF ERDF FS Zdroj: INESAN, 2013 povrchní 60% podle rozsahu evaluační zprávy méně než 40 stránek stránek a více stránek údaje jsou v procentech podrobná povrchní žádná 9

26 67 8 FS 25 50 25 Zdroj: INESAN, 2013 povrchní 60% podle rozsahu evaluační zprávy méně než 40

10 Pozornost věnovaná zainteresovaným stranám 10

11 Identifikace jednotlivých zainteresovaných stran podle typu evaluace ex ante podrobná 17% on going hodnocení komunikačních aktivit žádná 35% podle programového období období období podle finančního zdroje ESF Zdroj: INESAN, 2013 povrchní 48% ERDF FS údaje jsou v procentech podrobná povrchní žádná 11

období 2004 2006 22 58 20 období 2007 2013 12 36 52 podle finančního zdroje ESF 28 66 6 Zdroj:

12 Implementace závěrů 12

13 Návrh konkrétních kroků ke zlepšení v definovaných oblastech žádný 2% podle programového období povrchní 25% období období podle rozsahu evaluační zprávy méně než 40 stránek Zdroj: INESAN, 2013 podrobný 73% stránek 100 a více stránek údaje jsou v procentech podrobný povrchní žádný 13

rozsahu evaluační zprávy méně než 40 stránek 64 32 5 Zdroj: INESAN, 2013 podrobný 73%

14 Specifikace silných a slabých stránek posuzovaného programu/projektu ano 43% použití SWOT analýzy 28% ne 57% specifikace silných a slabých stránek 72% období období období období ano Zdroj: INESAN, 2013 ne údaje jsou v procentech použití SWOT analýzy údaje jsou v procentech specifikace silných a slabých stránek 14

2004 2006 23 77 období 2007 2013 34 66 období 2007 2013 30 70 ano Zdroj: INESAN, 2013 ne údaje

15 Transparentní metodika 15

16 Popis metodiky provedené evaluace podle typu evaluace povinná nepovinná žádný podrobný 7% podle rozsahu evaluační zprávy 51% méně než 40 stránek stránek a více stránek 63 podle finančního zdroje 33 4 ESF povrchní 42% Zdroj: INESAN, 2013 ERDF FS údaje jsou v procentech podrobný povrchní žádný 16

stránek 50 44 6 100 a více stránek 63 podle finančního zdroje 33 4 ESF 62 36 2 povrchní 42%

17 Provedení sekundárního primárního výzkumu v rámci evaluace neproveden žádný výzkum 15% provedení sekundárního i primárního výzkumu 56% ex ante podle typu evaluace tématická evaluce provedení primárního výzkumu 14% Zdroj: INESAN, 2013 provedení sekundárního výzkumu 15% hodnocení komunikačních aktivit údaje jsou v procentech provedení sekundárního i primárního výzkumu provedení sekundárního výzkumu provedení primárního výzkumu neproveden žádný výzkum

Zdroj: INESAN, 2013 provedení sekundárního výzkumu 15% hodnocení komunikačních aktivit údaje jsou v procentech provedení

18 Provedení kvalitativního výzkumu Provedení kvantitativního výzkumu celkem podle finančního zdroje ESF ERDF FS podle typu evaluace ex ante tématická evaluce 63 hodnocení absorpční 60 kapacity podle data zpracování evaluační zprávy do roku Zdroj: INESAN, údaje jsou v procentech celkem podle finančního zdroje ESF ERDF FS podle typu evaluace ex ante tématická evaluce 75 hodnocení absorpční 80 kapacity podle data zpracování evaluační zprávy do roku údaje jsou v procentech 18

60 63 68 70 68 74 údaje jsou v procentech celkem podle finančního zdroje ESF ERDF FS podle typu evaluace ex ante tématická evaluce 75

19 Objektivita, exaktnost 19

20 Využití exaktních informací uvádění jen slovních hodnot 12% exaktní informace nejsou uváděny 12% podle finančního zdroje ESF ERDF uvádění jak konkrétních, tak i slovních hodnot 15% FS do roku podle data zpracování evaluační zprávy 8 24 uvádění jen konkrétních hodnot 61% Zdroj: INESAN, 2013 údaje jsou v procentech uvádění jak konkrétních, tak i slovních hodnot uvádění jen konkrétních hodnot uvádění jen slovních hodnot exaktní informace nejsou uváděny 20

podle data zpracování evaluační zprávy 8 24 uvádění jen konkrétních hodnot 61% Zdroj: INESAN, 2013 údaje jsou v procentech

21 Tabulky a grafy dokládající popisované jevy ani tabulky, ani grafy 6% jen grafy 2% tabulky i grafy 62% podle operačního programu OP Vzdělávání pro konkurenceschopnost OP Doprava OP Lidské zdroje a zaměstnanost OP Podnikání a inovace Integrovaný OP jen tabulky 30% Zdroj: INESAN, 2013 tabulky i grafy jen tabulky jen grafy ani tabulky, ani grafy údaje jsou v procentech 21

22 Souhrnné vyhodnocení 22

23 Souhrnné vyhodnocení jednotlivých oblastí pozornost věnovaná zainteresovaným stranám objektivita, exaktnost transparentní metodika výkonnost, efektivnost 1 implementace závěrů Zdroj: INESAN, 2013 programová teorie orientace na výsledky Pozn.: 4 = nejlepší 1 = nejhorší 23

24 Souhrnné vyhodnocení jednotlivých oblastí (diference mezi dvěma operačními programy) pozornost věnovaná zainteresovaným stranám objektivita, exaktnost OP Vzdělávání pro konkurenceschopnost OP Rozvoj lidských zdrojů transparentní metodika výkonnost, efektivnost 1 implementace závěrů Zdroj: INESAN, 2013 programová teorie orientace na výsledky Pozn.: 4 = nejlepší 1 = nejhorší 24

25 Souhrnné vyhodnocení jednotlivých oblastí (podle finančního zdroje) pozornost věnovaná zainteresovaným stranám objektivita, exaktnost transparentní metodika ESF ERDF FS výkonnost, efektivnost 1 implementace závěrů Zdroj: INESAN, 2013 programová teorie orientace na výsledky Pozn.: 4 = nejlepší 1 = nejhorší 25

26 Závěry 26

27 Mezi provedenými evaluacemi existují významné rozdíly (zejména v popisu metod, v designu a ve způsobu zpracování). Postupem času dochází k postupnému zlepšování prováděných evaluací; nevíce viditelný pokrok je ve využívání exaktních informací, v realizaci kvantitativních výzkumů a v odhadu účelnosti vynakládaných prostředků. Většina evaluací věnuje nedostatečnou pozornost identifikaci zainteresovaných stran. Výjimku v tomto ohledu představují evaluace komunikačních aktivit a evaluace financované z ESF; tyto evaluace se vyznačují podrobným popisem zainteresovaných stran. 27

28 Děkuji za pozornost Mgr. Jiří REMR, Ph.D., MBA

Podobné dokumenty

Společného monitorovacího výboru operačních programů Praha Adaptabilita a Praha Konkurenceschopnost

U S N E S E N Í Společného monitorovacího výboru operačních programů Praha Adaptabilita a Praha Konkurenceschopnost číslo 12 ze dne 3. prosince 2008 k Evaluačnímu plánu Operačního programu Praha Konkurenceschopnost