Roční operační vyhodnocení OP LZZ 2011

Roční operační vyhodnocení OP LZZ 2011 VSTUPNÍ ZPRÁVA Roční operační vyhodnocení OP LZZ 2011 1

Zpráva zpracována k datu: 12. 12. 2011 Zpráva zpracována pro: Česká republika - Ministerstvo práce a sociálních věcí Na Poříčním právu 1 128 01 Praha 2 Zpracovatel: HOPE-E.S., v.o.s., divize EUservis.cz Sídlo, kancelář Brno: Palackého tř. 10, 612 00 Brno IČ: 25342282 Kancelář Praha: Lidická 1, 150 00 Praha 5 Roční operační vyhodnocení OP LZZ 2011 2

Obsah 1 ÚVOD... 4 2 ŘEŠITELSKÝ TÝM A REALIZOVANÉ AKTIVITY... 4 3 METODIKA ŘEŠENÍ PROJEKTU... 6 3.1 PODKLAD DO VÝROČNÍ ZPRÁVY - ANALÝZA DAT Z VĚCNÉHO MONITORINGU... 7 3.2 PŘÍPADOVÉ STUDIE ÚSPĚŠNÝCH PROJEKTŮ... 27 3.3 METODICKÉ VEDENÍ PŘI NASTAVENÍ SYSTÉMU PRO ZJIŠŤOVÁNÍ ZPĚTNÉ VAZBY A JEHO REALIZACI... 40 3.4 NÁVRHY DOPORUČENÍ... 47 3.5 POPIS VÝSTUPŮ Z JEDNOTLIVÝCH ČÁSTÍ PROJEKTU... 47 3.6 ZAPOJENÍ JEDNOTLIVÝCH ČLENŮ TÝMU... 50 4 POPIS KLÍČOVÝCH METOD...50 4.1 DESK RESEARCH... 51 4.2 KVANTITATIVNÍ A KVALITATIVNÍ ANALÝZA... 52 4.3 TERÉNNÍ ŠETŘENÍ... 53 4.4 ANALÝZA PŘÍPADOVÉ STUDIE... 58 4.5 VYMEZENÍ VYBRANÝCH METOD... 60 5 SEZNAM ZDROJŮ INFORMACÍ A DAT...60 6 ČASOVÝ HARMONOGRAM...63 PŘÍLOHY...65 PŘÍLOHA 1 METODIKA VÝBĚRU PŘÍPADOVÝCH STUDIÍ... 66 PŘÍLOHA 2 POSTUP ŘEŠENÍ ÚKOLU 3.2... 66 PŘÍLOHA 3 ZNĚNÍ DOTAZNÍKOVÉHO ŠETŘENÍ V RÁMCI ÚKOLU 3.2... 66 PŘÍLOHA 4 SEZNAM RESPONDENTŮ - ODDĚLENÍ A JEJICH GARANTŮ PRO DOTAZNÍKOVÉ ŠETŘENÍ V RÁMCI ÚKOLU 3.2... 66 Roční operační vyhodnocení OP LZZ 2011 3

1 Úvod Ministerstvo práce a sociálních věcí ČR a společnost HOPE E. S., v.o.s. podepsaly dne 7. 11. 2011 smlouvu na realizaci projektu Roční operační vyhodnocení OP LZZ 2011. Vstupní zpráva je prvním výstupem evaluačního projektu Roční operační vyhodnocení OP LZZ 2011, jejímž cílem je doplnění nabídky a detailnější specifikace způsobu řešení evaluačních úkolů. Tato zpráva obsahuje přehled činností dokončených během počáteční etapy projektu, rozpracovává metodiku a způsoby řešení projektu a upřesňuje harmonogram postupu prací na realizaci zakázky. Zpráva vychází ze zadávací dokumentace zadavatele a nabídky zhotovitele. Hlavním cílem této evaluace je provést komplexní vyhodnocení průběhu a dosažených věcných výsledků programu v roce 2011, příp. v 1. polovině 2012, identifikovat jeho úspěchy i příp. nedostatky a poskytnout zadavateli informace relevantní pro jejich řešení. Předmětem zakázky je: 1) Zpracování podkladu do výroční zprávy pomocí analýzy dat z věcného monitoringu. 2) Zpracování případových studií úspěšných (příp. neúspěšných) projektů spolu s fotodokumentací projektů a dále koordinační činnost ostatních probíhajících evaluačních zakázek. 3) Metodické vedení při nastavení systému pro zjišťování zpětné vazby a jeho realizaci - zpětná vazba od klientů (žadatelé/příjemci) a zpětná vazba v rámci implementační struktury k realizaci Evaluačního plánu. Očekávaným dopadem této evaluace je kontinuální zvyšování kvality a efektivnosti programu a jeho projektů a v konečném důsledku jejich pozitivních dopadů na cílové skupiny. 2 Řešitelský tým a realizované aktivity Pro realizaci předmětné zakázky byl sestaven tým specialistů, který je dostatečně odborně a dovednostně vybaven pro efektivní realizaci poptávané zakázky. Tým disponuje znalostmi a zkušenostmi v oblasti evaluací programů financovaných ze SF, z oblasti rozvoje lidských zdrojů, politik trhu práce, vzdělávání, i sociální oblasti. Roční operační vyhodnocení OP LZZ 2011 4

řízení, schvalování reportování - - - Z a d a v a t e l ( M P S V ) - - - Vedoucí týmu, senior expert pro zaměstnanost a trh práce RNDr. Martina Hartlová - - - - - R e a l i z a č n í t ý m - - - - - - Senior expert pro vzdělávání a zaměstnanost: Ing. Jan Šild Senior expert pro evaluace a monitorování SF: Mgr. Matěj Mareš Junior experti pro evaluace a rozvoj lidských zdrojů: Mgr. Klára Šustrová, Ing. Lukáš Beránek Asistentka projektu: Mgr. Marie Štefánková Profesionální fotograf: Cyril Adámek Sociolog, expert na realizaci průzkumů: PhDr. Jiří Vinopal, Ph.D. - - - P o d k l a d y, d a t a, d o k u m e n t a c e O P - - - V rámci první etapy projektu byly realizovány tyto aktivity: 1) Úvodní schůzka se zadavatelem dne 1. 11. 2011 2) Schůzky týmu v týdenních intervalech 3) Sběr podkladových materiálů 4) Zprovoznění dokumentového serveru 5) Zprovoznění přístupů do IS MONIT7+ 6) Dopracování metodiky řešení projektu navržení finální podoby metodiky řešení projektu 7) Práce na evaluačním úkolu 2.1 Roční operační vyhodnocení OP LZZ 2011 5

8) Práce na evaluačním úkolu 3.2, včetně schůzky se zadavatelem 9) Příprava koordinačního workshopu k případovým studiím: Příprava podkladů Komunikace s řešitelskými týmy ostatních evaluačních projektů 10) Zpracování vstupní zprávy 3 Metodika řešení projektu Přístup k řešení k jednotlivým úkolům a dílčích otázek a jejich vzájemné propojení znázorňuje následující schéma: (časový sousled prací na evaluačních úkolech je uveden v harmonogramu aktivit v kapitole 6). Roční operační vyhodnocení OP LZZ 2011 6

3.1 Podklad do Výroční zprávy - Analýza dat z věcného monitoringu 3.1.1 Jaký je celkový věcný pokrok dosažený ke konci roku 2011 na úrovni programu i na úrovni os 1 až 5 s ohledem na původně stanovené cíle a důrazem na kvalitativní analýzu, tzn. jakého zde bylo dosaženo pokroku ve vztahu k: 1.1.1. plánovaným výstupům a výsledkům (tj. plánovaným hodnotám věcných monitorovacích indikátorů, včetně tzv. Lisabonských indikátorů)? Porozumění úkolu/evaluační otázce V roce 2011 bude možné ve větší míře využít a zhodnotit skutečný pokrok realizace programu díky postupu realizace projektů. Zpracujeme aktuální tabulku hodnot indikátorů a kvantitativně a především kvalitativně vyhodnotíme dosažený pokrok na úrovni celého programu a také na úrovni prioritních os 1 až 5. V prvního kroku okomentujeme a dále rozvedeme Analýzu věcného pokroku OP 2007-2013 zpracovanou MMR-NOK (leden 2011). Pokrok budeme hodnotit u ukončených projektů, ale zpracujeme i tabulku pro projekty ve stavu P45, resp. ty s uzavřeným právním aktem. Hodnocení nejen ukončených projektů, ale co největšího množství projektů (i v realizaci) je potřeba pro přesnější stanovení míry naplňování indikátorů nyní i v blízké budoucnosti. U nejvíce problematických indikátorů, vyhodnotíme zásobník projektů u nižších stavů (projekty, které splnily formální hodnocení a hodnocení přijatelnosti či věcné hodnocení, ale nemají ještě uzavřený právní akt). Nutnou součástí analýzy plnění indikátorů je provázání na analýzu finančního pokroku realizace, kdy je nutné propojit hodnocení dosažených indikátorů s mírou disponibilní alokace. Dále u identifikovaných problémových oblastí podpory provedeme analýzu výzev a jejich přispění či bariéry pro plnění daných indikátorů. Analyzujeme rozdílné podmínky u jednotlivých výzev, jejich dopady a jejich potenciál pro dosažení cílů prioritní osy. U problematických oblastí vyhodnotíme rovněž plnění úkolů ze strategie VPŘED a doporučíme další kroky (např. úpravu úkolů či jejich doplnění nebo zpřesnění). Součástí hodnocení bude kvalitativní zhodnocení plnění cílů OP LZZ a celkové realizace intervencí vzhledem k vnějšímu kontextu programu (zde navážeme v souvislosti s řešením evaluačních otázek 1.1.2 a 1.2). V případě dostupných dat pro hlavní indikátory provedeme zhodnocení ve vazbě na regionální situaci na trhu práce. Vzhledem k velkým rozdílům mezi regiony v míře nezaměstnanosti a obecně v situaci na trhu práce je vhodné hodnotit věcný pokrok i na regionální úrovni. Postup a harmonogram realizace úkolu/evaluační otázky 1. Návrh rozsahu potřebných dat pro provedení analýz (návrh výstupních sestav, určení potřebných výstupních sestav) (do 16. 12. 2011) 2. Nastavení postupů generování dat z ID na základě dohody se zadavatelem (nejpozději do 3. 1. 2012) Roční operační vyhodnocení OP LZZ 2011 7

3. Vygenerování dat z IS MONIT7+/MSC2007 (předpokládaný termín: 4. 5. 1. 2012) 4. Shromáždění potřebných statistických dat (leden až únor 2012 dle dostupnosti dat) 5. Výpočet a vyhodnocení plnění indikátorů OP LZZ (leden 2012) 6. Návrh kvalitativního zhodnocení plnění indikátorů OP LZZ (leden 2012) 7. Workshop s pracovníky MPSV (ŘO a ZS) (1. polovina února 2012) 8. Individuální konzultace/expertní panel (2. polovina ledna - 1. polovina února 2012) 9. Finalizace kvalitativního zhodnocení plnění indikátorů OP LZZ (nejpozději do 27. 2. 2012) Roční operační vyhodnocení OP LZZ 2011 8

Podotázky Vstupní informace a zdrojová data Způsob analýzy metody řešení Výstupy Odpovídá míra plnění indikátorů programovému cyklu? Odpovídá zaměření realizovaných projektů z hlediska naplňování indikátorů cílům programu? Jsou naplňovány stanovené cíle OP LZZ na úrovni programu a jednotlivých prioritních os? Odpovídá míra plnění indikátorů vyčerpanému objemu finančních prostředků? Výstup z IS MONIT7+ (alt. výstup z MSC 2007 z důvodu zajištění koherence dat mezi: NOK ŘO Výroční zpráva 2011 - ROV2011). Postup generování dat bude koordinován se zadavatelem. Předpokládané datum generovaní dat je 4.-5. 1. 2012 Výstupy ze statistiky (zejména předpokládáme využít dat ČSU) Předchozí výroční zprávy (pro zachycení časových řad) Výstup NOK: Analýza věcného pokroku OP v rámci programového období 2007-2013 Doporučení ze strategie VPŘED Výstupy realizovaných evaluačních studií: Strategická evaluace OP LZZ Longitudinální studie OP LZZ Kontrafaktuální evaluace OP LZZ Evaluace implementace principu Analýza dat z IS (vyhodnocení plnění indikátorů) Kvalitativní analýza (plnění cílů programu) Workshop s pracovníky MPSV (ŘO a ZS) Individuální konzultace/expertní panel Naplňování hodnot indikátorů programu (indikátory obsažené v PD) Vyhodnocení příčin případného nedostatečného/nadměrného plnění indikátorů (vyhodnocení bariér pro plnění indikátorů, zhodnocení zaměření výzev, plnění doporučení ze strategie VPŘED) Vyhodnocení potenciálu naplnění doposavad nedostatečně plněných indikátorů programu na základě stávajícího zásobníku projektů a s ohledem na vyčerpané prostředky programu Regionální analýza naplňování indikátorů Kvalitativní zhodnocení naplňování cílů na úrovni programu a prioritních os 1 až 5, a to s ohledem na cíle stanovené v OP LZZ, tak s ohledem na kontext programu (návaznost při řešení evaluační otázky 1.1.2 a Roční operační vyhodnocení OP LZZ 2011 9

inovativnosti v OP LZZ 1.1.3) Vstup do Výroční zprávy OP LZZ 2011 zahrnující i výstupy z řešení dalších evaluačních otázek tohoto úkolu (5 str.) Doporučení projednaná s jejich adresátem Roční operační vyhodnocení OP LZZ 2011 10

1.1.2. naplňování obecných cílů politiky soudržnosti, úkolů ESF, Strategických obecných zásad společenství a NSRR a cílů EU pro růst a zaměstnanost, příp. dalších aktuálních strategických cílů na úrovni ČR a EU? Porozumění úkolu/evaluační otázky OP LZZ není izolovaným svébytným programem, ale jedním z nástrojů k naplňování dlouhodobých cílů kohezní politiky Evropské unie. Z tohoto důvodu musí být OP LZZ viděn, implementován a hodnocen ve vazbě na nadřazené dokumenty a politiky. Na úrovni EU stanovují základní cíle a úkoly kohezní politiky a jednotlivých fondů Nařízení Rady (ES) č. 1083/2006 o obecných ustanoveních o ERDF, ESF a CF a Nařízení Evropského parlamentu a Rady (ES) č. 1081/2006 o ESF. Významným zastřešujícím prvkem je dále Lisabonská strategie, která je v ČR zastupována současným Národním plánem reforem ČR 2008-2010, v rámci něhož je pro OP LZZ relevantní zejména část Zaměstnanost. Na Lisabonskou strategii navazuje dokument Evropa 2020 Evropské komise. Klíčovými dokumenty stanovujícími rámec kohezní politiky v EU, resp. ČR pro dané programové období jsou Strategické obecné zásady Společenství, které vymezují orientační rámec pro intervenci Evropského fondu pro regionální rozvoj, Evropského sociálního fondu a Fondu soudržnosti v členských státech EU a Národní strategický referenční rámec, který představuje základní programový dokument ČR pro využívání fondů Evropské unie v období 2007 2013. Témata zaměstnanosti a sociální začleňování upravují dokumenty Rozhodnutí Rady ze dne 12. července 2005 o hlavních směrech politik zaměstnanosti členských států a Národní akční plán sociálního začleňování. Za každou prioritní osu budou vybrány klíčové body (cíle, doporučení, směry) sledovaného dokumentu, které se dotýkají zaměření dané osy a bude zhodnocen (přetrvávající) soulad nastavení prioritní osy s těmito cíli a doporučeními. Na úrovni celé prioritní osy bude posléze vyhodnoceno, do jaké míry se nalezená návaznost projevuje i ve vyhlášených výzvách a realizovaných projektech a zda tedy lze konstatovat, že realizace OP LZZ přispívá k plnění obecných cílů Společenství a relevantních národních politik. Ve sledovaných nařízeních a strategických dokumentech budeme hodnotit především dva typy cílů a doporučení: obecné cíle (zvyšování zaměstnanosti a zaměstnatelnosti); doporučení na provádění konkrétních přístupů nebo aktivit. Naplňování cílů a doporučení ve strategických dokumentech budeme hodnotit s využitím výstupů dalších evaluačních studií a výstupů z řešení evaluačních otázek 1.1.1, 1.2 a 1.3. Jednotlivé identifikované cíle, doporučení a směry definované ve strategických dokumentech budou vyhodnoceny z hlediska jejich naplňování dosud realizovanými intervencemi v rámci OP LZZ. Při tomto vyhodnocení se zaměříme jak na kvantitativní (objem prostředků, míra plnění indikátorů), tak kvalitativní (věcné zaměření projektů v porovnání s žádoucím dosahováním změny) aspekty realizovaných intervencí. Tento přístup nám umožní kvalitativní i kvantitativní posouzení jakého pokroku bylo dosaženo při naplňování strategických cílů a úkolů. Roční operační vyhodnocení OP LZZ 2011 11

Postup a harmonogram realizace úkolu/evaluační otázky 1. Analýza (meta-evaluace) dosud realizovaných evaluačních studií (prosinec 2011 leden 2012; v závislosti na dostupnosti výstupů) 2. Analýza relevantních strategických dokumentů identifikace cílů, doporučení a směrů (prosinec 2011 leden 2012) 3. Zhodnocení naplňování cílů, úkolů, doporučení a směrů strategických dokumentů intervencemi realizovanými v rámci OP LZZ (leden/únor 2012) 4. Workshop s pracovníky MPSV (ŘO a ZS) (1. polovina února 2012) 5. Individuální konzultace/expertní panel (2. polovina ledna - 1. polovina února 2012) 6. Návrh kvalitativního zhodnocení plnění indikátorů OP LZZ (leden 2012) 7. Finalizace vyhodnocení naplňování cílů a úkolů strategických dokumentů intervencemi realizovanými v rámci OP LZZ (27. 2. 2012) Roční operační vyhodnocení OP LZZ 2011 12

Podotázky Vstupní informace a zdrojová data Způsob analýzy metody řešení Výstupy Odpovídá zaměření realizovaných intervencí v rámci OP LZZ cílům strategických dokumentů na úrovni EU a ČR? Jaké cíle/aspekty těchto strategických dokumentů jsou intervencemi nedostatečně pokryty? Odpovídá zaměření realizovaných projektů jejich skutečnému smyslu, tj. přinášejí tyto projekty změny odpovídající cílům vymezeným ve strategických dokumentech? Jakého pokroku bylo prostřednictvím intervencí OP LZZ dosaženo při naplňování strategických cílů a úkolů? Výstup z řešení evaluační otázky 1.1.1, 1.1.3 a 1.2 Výstupy realizovaných evaluačních studií Strategická evaluace ESF Longitudinální studie OP LZZ Kontrafaktuální evaluace OP LZZ Evaluace implementace principu inovativnosti v OP LZZ Strategické dokumenty na úrovni ČR Nařízení Rady (ES) č. 1083/2006 Národním plánem reforem ČR 2008-2010 Národní strategický referenční rámec Národní akční plán sociálního začleňování Strategické dokumenty na úrovni EU Meta-evaluace realizovaných evaluačních studií Analýza strategických dokumentů Expertní vyhodnocení naplňování cílů strategií realizovanými intervencemi (meta-evaluace, využití výstupů z řešení evaluačních otázek 1.1.1, 1.1.3 a 1.2) Workshop s pracovníky MPSV (ŘO a ZS) Individuální konzultace/expertní panel Strukturovaný souhrn cílů, doporučení a směrů jednotlivých relevantních strategických dokumentů Zhodnocení naplňování cílů, úkolů, doporučení a směrů strategických dokumentů intervencemi realizovanými v rámci OP LZZ Doporučení projednaná s jejich adresátem Strategické obecné zásady Společenství Nařízení Rady (ES) č. 1083/2006 Nařízení Rady (ES) č. 1081/2006 Lisabonská strategie Evropa 2020 Rozhodnutí Rady ze dne 12. července Roční operační vyhodnocení OP LZZ 2011 13

2005 o hlavních směrech politik zaměstnanosti členských států Doporučení ze strategie VPŘED Roční operační vyhodnocení OP LZZ 2011 14

1.1.3. naplňování horizontálních témat EU? Porozumění úkolu/evaluační otázce K horizontálním cílům EU se počítají: rovné příležitosti, udržitelný rozvoj, princip partnerství. Horizontální téma rovné příležitosti vychází z koncepce gender mainstreamingu a rovnosti žen a mužů. Toto téma chápeme v širším kontextu, tzn. s ohledem na další potenciálně diskriminační charakteristiky (věk, etnický původ, zdravotní stav, sexuální orientace atp.). Problematické naplňování horizontálního cíle rovných příležitostí bylo zmiňováno také v ROV2010, předpokládáme proto v této části navázat na tento dokument, jeho zjištění a doporučení. Zhodnocení naplňování rovných příležitostí provedeme na základě vyhodnocení relevance tohoto tématu pro jednotlivé oblasti podpory a následně na základě naplňování příslušného indikátoru: počet podpořených osob v členění dle znevýhodněné skupiny. Na základě plnění tohoto indikátoru(ů), s ohledem na zaměření příslušných oblastí podpory, vyhodnotíme naplňování rovných příležitostí. Dále provedeme analýzu rozdílů v plnění a skutečném začlenění horizontálních témat v projektech oproti plánovaným a deklarovaným postupům v projektové žádosti. Výstupem bude zhodnocení, zda v rámci oblastí podpory, kde je to s ohledem na jejich věcné zaměření žádoucí, dochází k adekvátnímu naplňování principu rovných příležitostí. Toto zhodnocení bude založeno na kvantitativním vyhodnocení a posouzení plnění indikátorů a kvalitativním zhodnocení zaměření realizovaných projektů s ohledem na cíle OP LZZ u příslušných prioritních os a oblastí podpory. Horizontální cíl udržitelný rozvoj bude v rámci evaluace vyhodnocen s ohledem na jeho nízkou relevanci v OP LZZ pouze rámcově. Projekty v OP LZZ nemají za cíl přímo aktivně přispívat k plnění tohoto tématu. Podmínkou realizace projektu však je, aby nedocházelo k negativním dopadům na udržitelný rozvoj. Vyhodnotíme oblasti v OP LZZ, kde je toto téma relevantní a zhodnotíme naplňování tématu v jednotlivých oblastech. Hodnocení založíme na údajích v IS Monit7+ o naplňování horizontálních témat. Princip partnerství byl podrobně vyhodnocen v rámci již realizované evaluační studie ukončené v dubnu 2011 (Hodnocení implementace principu partnerství v operačním programu lidské zdroje a zaměstnanost). Při vyhodnocení naplňování tohoto principu, tak vyjdeme primárně z výstupů této evaluace, které dle potřeby aktualizujeme či jinak doplníme. Hodnocení horizontálních cílů bude provázáno s řešením ostatních evaluačních otázek (1.1.1, 1.1.2 a 1.2) s tím, že zhodnocení naplňování těchto cílů bude vyhodnoceno v souvislosti s plněním cílů OP LZZ a strategických cílů programů ESF a obecně cílů a úkolů v oblasti kohezní politiky a dalších relevantních strategických dokumentů a vzhledem k celkovému kontextu programu. Postup a harmonogram realizace úkolu 1. Vyhodnocení relevance horizontálních cílů pro jednotlivé oblasti OP LZZ 2. Vymezení dat z IS Monit 7+ pro provedení analýz (do 3. 1. 2012) 3. Vygenerování dat z IS MOnit7+/MSC2007 (předpokládaný termín: 4. 5. 1. 2012) 4. Vyhodnocení naplňování horizontálních cílů (leden/únor 2012) Roční operační vyhodnocení OP LZZ 2011 15

5. Workshop s pracovníky MPSV (ŘO a ZS) (1. polovina února 2012) 6. Individuální konzultace/expertní panel (2. polovina ledna - 1. polovina února 2012) 7. Finalizace hodnocení naplňování horizontálních cílů OP LZZ (27. 2. 2012) Roční operační vyhodnocení OP LZZ 2011 16

Podotázky Vstupní informace a zdrojová data Způsob analýzy metody řešení Výstupy Odpovídá míra naplňování horizontálních cílů obsahovému zaměření OP LZZ? Jaké oblasti OP LZZ nedosahují adekvátního naplňování horizontálních cílů? Výstup z IS MONIT7+ Postup generování dat bude koordinován se zadavatelem. Předpokládané datum generovaní dat je 4.-5. 1. 2012 Předchozí výstupy evaluačních studií (zejména ROV 2010, Evaluace naplňování principu partnerství) ESF Forum Výstup NOK: Analýza věcného pokroku OP 2007-2013 Výstupy z řešení dalších evaluačních otázek (1.1.1, 1.1.2 a 1.2) Meta-evaluace realizovaných evaluačních studií Analýza relevance horizontálních cílů pro jednotlivé oblasti OP LZZ Analýza dat z IS Monit7+ Expertní vyhodnocení naplňování horizontálních cílů Workshop s pracovníky MPSV (ŘO a ZS) Individuální konzultace/expertní panel Strukturovaný souhrn vyhodnocení relevance horizontálních cílů pro jednotlivé oblasti OP LZZ Zhodnocení naplňování horizontálních cílů v rámci OP LZZ prostřednictvím realizovaných intervencí Doporučení projednaná s jejich adresátem Roční operační vyhodnocení OP LZZ 2011 17

3.1.2 Dochází k odklonu od původně stanovených cílů programu tak, že by musela být provedena korekce na úrovni operačního programu, programových priorit či vyhlašovaných výzev? 1.2.1. Dochází k odklonu od původně stanovených cílů programu tak, že by musela být provedena korekce na úrovni operačního programu, programových priorit či vyhlašovaných výzev, v důsledku: významných socioekonomických změn, zejména v oblasti dlouhodobé nezaměstnanosti, rovnosti mužů a žen, snižování rozdílů mezi regiony a absorpční kapacity v problémových regionech apod.; Porozumění úkolu/evaluační otázce Tento úkol se přímo dotýká přehodnocení relevance nastavení cílů a zaměření OP LZZ. Předmětem hodnocení bude, zda nastavení OP LZZ (jeho cíle a strategie) stále odpovídá stávajícímu vývoji v socioekonomickém kontextu programu. V analýze navážeme přímo na výstupy ROV 2010, přičemž vyhodnotíme změny/posun v socioekonomickém vývoji a politickém kontextu za poslední rok. Aktuálními klíčovými trendy pro oblast rozvoje lidských zdrojů jsou zvyšování kvality vzdělání a zvyšování pedagogických kvalit pracovníků, protože dochází v ČR k poklesu kvality vzdělávání na všech úrovních. Významným je také trend drastického propadu kvality vzdělávání ve středoškolských a učňovských technických oborech, doprovázený poklesem zájmu studentů. Tato deindustrializace vzdělání je v ostrém kontrastu s požadavky trhu práce. Na rozdíl od vyspělých ekonomik se ČR vyznačuje nízkým podílem populace vzdělávající se po skončení formální studijní dráhy. Jedním ze zásadních problémů identifikovaných v oblasti zaměstnanosti je neexistence efektivní komunikace a slaďování nabídky s poptávkou mezi poskytovateli vzdělání a trhem práce, což může zvyšovat nezaměstnanost a snižovat efektivitu ekonomiky. Jako nejvíce problematickou skupinou pracujících se podle analýz jeví pracující se středním a středním odborným vzděláním, kteří v současné době představují velký potenciál naší ekonomiky. Výhledově ale patří středoškolsky vzdělaná pracovní síla k nejohroženějším segmentům trhu práce a bude patřit i k nedostatkovému segmentu. Řešení otázky bude vycházet ze stručné analýzy nejvýznamnějších dopadů aktuálního politického a socio-ekonomického vývoje v ČR a EU na implementaci OP LZZ. Zpracovatel počítá s využitím výstupů Strategická evaluace ESF s důrazem na OP LZZ, jehož dokončení je plánováno na konec roku 2011. Dalšími zdroji budou studie skupiny NERV 1, Analýzy věcných priorit a potřeb jednotlivých oblastí v působnosti MPO2 a dokumentu MMR k zaměření budoucí kohezní politiky3. Dále 1 Rámec strategie konkurenceschopnosti (Národní ekonomická rada vlády (NERV), duben 2011) 2 Analýza věcných priorit a potřeb jednotlivých oblastí v působnosti MPO pro zaměření podpory ze strukturálních fondů EU v příštím programovém období (2014+) (BermanGroup, 2011) Roční operační vyhodnocení OP LZZ 2011 18

budeme vycházet z dokumentů Hlavní směry zaměstnanosti 2008 2010, Usnesení Evropského parlamentu ze dne 11. března 2009 o provádění hlavních směrů politiky zaměstnanosti členských států v letech 2008 2010, Národního akčního plánu sociálního začleňování ČR 2008-2010, Strategie hospodářského růstu ČR a dalších. Postup a harmonogram realizace úkolu 1. Analýza (meta-evaluace) dosud realizovaných evaluačních studií 2. Sběr statistických dat 3. Vyhodnocení socioekonomického kontextu OP LZZ 4. Zhodnocení změn socioekonomického kontextu OP LZZ z hlediska relevance programu 5. Workshop s pracovníky MPSV (ŘO a ZS) (1. polovina února 2012) 6. Individuální konzultace/expertní panel (2. polovina ledna - 1. polovina února 2012) 7. Finalizace zhodnocení relevance OP LZZ (27. 2. 2012) 3 Souhrnný návrh zaměření budoucí kohezní politiky EU po roce 2013 v podmínkách České republiky, obsahující i návrh rozvojových priorit pro čerpání fondů EU po roce 2013. (MMR, červen 2011) Roční operační vyhodnocení OP LZZ 2011 19

Podotázky Vstupní informace a zdrojová data Způsob analýzy metody řešení Výstupy Je nastavení cílů a strategie OP LZZ stále relevantní s ohledem na aktuální vývoj socioekonomického kontextu programu? Jaké oblasti OP LZZ (na úrovni programu, prioritních os, vyhlašovaných výzev) si s ohledem na stávající socioekonomický kontext vyžadují korekce? Dosud realizované evaluační studie (zejména ROV2010 a Strategická evaluace ESF, výstupy realizovaných fokusních skupin) Data ze statistiky Studie ke směřování socioekonomického vývoje (viz text) Meta-evaluace realizovaných evaluačních studií OP LZZ a dalších relevantních studií ke směřování socioekonomického vývoje Analýza a vyhodnocení statistických dat Expertní vyhodnocení dopadů socioekonomických změn na relevanci programu Workshop s pracovníky MPSV (ŘO a ZS) Individuální konzultace/expertní panel Analýza socioekonomické situace oblastí relevantních pro OP LZZ Vyhodnocení změn v socioekonomickém vývoji z hlediska relevance nastavení OP LZZ na úrovni programu, prioritních os a vyhlašovaných výzev Doporučení projednaná s jejich adresátem Roční operační vyhodnocení OP LZZ 2011 20

1.2.2. Dochází k odklonu od původně stanovených cílů programu tak, že by musela být provedena korekce na úrovni operačního programu, programových priorit či vyhlašovaných výzev, v důsledku: potřeby ve větší míře nebo odlišným způsobem zohlednit významné změny priorit Společenství anebo celostátních nebo regionálních priorit; Porozumění úkolu/evaluační otázce Tento úkol se přímo dotýká přehodnocení relevance nastavení cílů a zaměření OP LZZ. Předmětem hodnocení bude, zda nastavení OP LZZ (jeho cíle a strategie) stále odpovídá stávajícímu vývoji ve změně priorit a cílů Společenství anebo celostátních nebo regionálních priorit. Při zodpovězení evaluační otázky 1.2.2 budeme vycházet především z předchozích analýz vztahujících se k otázce 1.1.2 (tzn., jakého bylo dosaženo pokroku ve vztahu k naplňování obecných cílů politiky soudržnosti, úkolů ESF, Strategických obecných zásad společenství a NSRR a cílů EU pro růst a zaměstnanost, příp. dalších aktuálních strategických cílů na úrovni ČR a EU?) a dopady budeme hodnotit ve vazbě na cíle operačního programu. Zaměříme se na současné problémy, které mohou být dlouhodobého i krátkodobého charakteru a různých projevů. Takovým aktuálním problémem může být začleňování sociálně vyloučených obyvatel (dlouhodobý problém) ve vybraných regionech, např. na Šluknovsku (geograficky periferní region), kde došlo v 90. letech ke komplexní restrukturalizaci (omezená nabídka pracovních příležitostí v regionu s vysokou mírou nezaměstnanosti; nyní patří mezi nejchudší části republiky). Jedná se o dlouhodobý problém, kterému se věnuje mj. Agentura pro sociální začleňování v romských lokalitách (Úřad vlády ČR), ale který eskaloval především v posledních několika týdnech. V tomto případě se tedy jedná o novou politickou prioritu, která se dotýká OP LZZ a finanční podpora z ESF by mohla na problém reagovat. Zpracovatel počítá s využitím výstupů Strategická evaluace ESF s důrazem na OP LZZ, jehož dokončení je plánováno na konec roku 2011. V kontextu této otázky je třeba uvést, že ne všechny změny priorit se musí nutně vyústit v korekci programu. Programy SF jsou nastavovány pro dané programové období s tím, že v průběhu tohoto období samozřejmě může docházet k vývoji a změnám celkových priorit v předmětných oblastech. Při posouzení relevance programu z tohoto hlediska, tak bude nezbytné vzít v potaz možnosti úprav zaměření programu a odlišit tak, jaké změny ve vymezení priorit by se měly odrazit již v tomto a jaké až v příštím programovém období. Postup a harmonogram realizace úkolu 1. Analýza (meta-evaluace) dosud realizovaných evaluačních studií 2. Zhodnocení změn priorit Společenství anebo celostátních nebo regionálních z hlediska relevance programu 3. Workshop s pracovníky MPSV (ŘO a ZS) (1. polovina února 2012) 4. Individuální konzultace/expertní panel (2. polovina ledna - 1. polovina února 2012) 5. Finalizace zhodnocení relevance OP LZZ (27. 2. 2012) Roční operační vyhodnocení OP LZZ 2011 21

Podotázky Vstupní informace a zdrojová data Způsob analýzy metody řešení Výstupy Odpovídá nastavení OP LZZ relevantním prioritám Společenství anebo celostátním nebo regionálním prioritám? Jaké oblasti OP LZZ (na úrovni programu, prioritních os, vyhlašovaných výzev) si s ohledem na změny priorit vyžadují korekce? Dosud realizované evaluační studie (zejména Strategická evaluace ESF, výstupy realizovaných fokusních skupin) Výstupy z řešení evaluačního úkolu 1.1.2 Meta-evaluace realizovaných evaluačních studií OP LZZ Analýza a vyhodnocení strategických dokumentů (využití výstupů z řešení evaluačního úkolu 1.1.2) Expertní vyhodnocení změn v prioritách na relevanci programu Workshop s pracovníky MPSV (ŘO a ZS) Individuální konzultace/expertní panel Analýza změn priorit relevantních pro OP LZZ Vyhodnocení relevance změn priorit pro nastavení OP LZZ na úrovni programu, prioritních os a vyhlašovaných výzev Doporučení projednaná s jejich adresátem Roční operační vyhodnocení OP LZZ 2011 22

1.2.3. Dochází k odklonu od původně stanovených cílů programu tak, že by musela být provedena korekce na úrovni operačního programu, programových priorit či vyhlašovaných výzev, v důsledku: obtíží při provádění? Porozumění úkolu/evaluační otázce V této fázi bude doplněno zhodnocení případných nutných změn ve vazbě na potíže s implementací programu a ve vazbě na vyhodnocení postupu realizace programu v rámci řešení evaluačních otázek 1.1. Budeme také částečně vycházet z dokumentů ROV 2010 a ROV 2009, které analyzujeme a zhodnotíme jejich promítnutí do praxe. Často zmiňovanou obtíží při provádění je neúměrně vysoká administrativní zátěž, na straně ŘO/ZS i příjemců. Doporučení se zaměřují především na snížení administrativní zátěže ŘO/ZS a tím zlepšení image OP LZZ ve společnosti. Výraznější redefinování cílů bylo navrženo pro oblast podpory 1.2 (kdy měly být finanční prostředky efektivněji nasměrovány ku prospěchu zaměstnanců restrukturalizovaných podniků a jejich uplatnitelnosti na trhu práce), dále byla navržena změna věcného zaměření u oblastí 2.1 a 2.2 (zařazení dalších podporovaných aktivit v dalších výzvách) či realokace prostředků v rámci prioritních os 1, 2, 3 a (v případě neuspokojivého tempa naplňování hodnot za rok 2011) u prioritní osy 5. Dílčím cílem bude zrevidování předchozích doporučení a jejich implementace do systému a dále na základě vlastní analýzy navržení dalších kroků pro zlepšení implementace celého programu a naplnění jeho cílů. Postup a harmonogram realizace úkolu Realizace této evaluační otázky bude navazovat zejména na řešení evaluačních otázek 1.1. Konečný termín pro řešení otázky je 27. 2. 2012. Roční operační vyhodnocení OP LZZ 2011 23

Podotázky Vstupní informace a zdrojová data Způsob analýzy metody řešení Výstupy Vyvolávají obtíže v postupu realizace programu nezbytnost korekcí OP LZZ na úrovni programu, prioritních os, vyhlašovaných výzev? Výstupy z řešení evaluační otázky 1.1 Meta-evaluace realizovaných evaluačních studií OP LZZ Expertní vyhodnocení problémů při realizaci programu na nastavení programu Workshop s pracovníky MPSV (ŘO a ZS) Strukturovaný souhrn obtíží s prováděním programu Doporučení projednaná s jejich adresátem Individuální konzultace/expertní panel Roční operační vyhodnocení OP LZZ 2011 24

3.1.3 Jaká doporučení na základě výstupů z řešení otázek 1.1 a 1.2 navrhujete pro další implementaci programu a jeho prioritních os, resp. pro přípravu dalších výzev a projektů, příp. pro přípravu programovacího období 2014+? Porozumění úkolu/evaluační otázce Na základě analýz k otázkám 1.1 a 1.2 provedeme syntézu získaných poznatků a kriticky zhodnotíme zjištěné nedostatky. Součástí předchozích analýz bude také analýza stavu doporučení a zlepšení uvedená v předchozích ROV a současný stav jejich implementace. Na základě těchto zjištění navrhneme další doporučení pro efektivnější a účinnější implementaci programu. Navržená doporučení se budou týkat implementace jednotlivých prioritních os, oblastí podpory a zaměří se také na doporučení pro přípravu dalších výzev a projektů. Na základě analýz dokumentů na národní i Evropské úrovni týkající se nového programového období 2014+ budou specifikována doporučení pro následující programové období. V případě zjištění problému v současném systému implementace navrhneme, jak daný problém řešit v rámci příprav a nastavení programu od roku 2014+. Při zpracovávání doporučení budou brány v potaz stávající doporučení VPŘED, která budou doplněna (rozvedena), případně bude zdůvodněn návrh na jejich úpravu. Postup a harmonogram realizace úkolu Realizace této evaluační otázky bude navazovat na řešení evaluačních otázek 1.1 a 1.2. Konečný termín pro řešení otázky je 27. 2. 2012. Roční operační vyhodnocení OP LZZ 2011 25

Podotázky Vstupní informace a zdrojová data Způsob analýzy metody řešení Výstupy Jaká opatření a doporučení by bylo vhodné realizovat v rámci další implementace OP LZZ na základě zjištění z řešení evaluačních otázek 1.1 a 1.2? Jaká opatření a doporučení by bylo vhodné realizovat v příštím programovém období 2014+ na základě zjištění z řešení evaluačních otázek 1.1 a 1.2? Výstupy z řešení evaluačních otázek 1.1. a 1.2 VPŘED Dokumenty na národní i Evropské úrovni týkající se nového programového období 2014 + Návrhy nových nařízení pro Evropský regionální rozvojový fond, Evropský sociální fond a Fond soudržnosti Národní rozvojové priority kohezní politiky po roce 2013 Meta-evaluace realizovaných evaluačních studií OP LZZ Expertní vyhodnocení zjištění z řešení otázek 1.1 a 1.2 Doporučení projednaná s jejich adresátem Evropa 2020 Strategie pro inteligentní a udržitelný růst podporující začlenění Pátá kohezní zpráva Rozpočtový výhled Evropské komise pro roky 2014 2020 Šestá zpráva o pokroku v oblasti hospodářské a sociální soudržnosti Strategie regionálního rozvoje ČR pro období 2014+ (v případě dokončení) Zpracovatel bude v průběhu realizace zakázky flexibilně reagovat na aktuální situaci, takže bude pracovat i s novými dokumenty relevantními pro přípravu nového programovacího období. Roční operační vyhodnocení OP LZZ 2011 26

3.2 Případové studie úspěšných projektů 3.2.1 Případové studie Evaluační úkol 2 zahrnuje zpracování případových studií projektů v rámci OP LZZ, včetně fotodokumentace a koordinace zpracování případových studií v běžících projektech. Konkrétně je pak evaluační úkol 2 chápán ve dvou rovinách: a) Jako příspěvek do výroční zprávy, resp. k části, která prezentuje příklady úspěšných projektů OP LZZ. Příklady úspěšných projektů budou rovněž zadavatelem využity v rámci další publicity, a to v plánovaném sborníku s příklady dobré praxe, jehož vydání je naplánováno na cca polovinu roku 2012. Sborník má širší veřejnosti prezentovat právě konkrétní příklady přínosu OP LZZ. b) Jako prostředek k identifikaci a prozkoumání úspěšných projektů z hlediska dosažených věcných výsledků a dobrých praxí (popř. špatných) a analýze jejich přenositelnosti na úrovni jednotlivých oblastí podpory či obecně. V rámci evaluačního úkolu 2 bude také vyvinuta metodika výběru případových studií, která bude využitelná v rámci této evaluace - ROV 2011, i obecně v případě pozdější potřeby konkrétní ilustrace výsledků (či dopadů) programu OP LZZ, a to za jakýmkoliv účelem. Evaluační otázka 2.1: Jakou navrhujete metodologii pro evaluaci (úspěšných) věcných výsledků na úrovni jednotlivých oblastí podpory a jejich vybraných projektů, která bude využitelná i v rámci dalších ročních operačních vyhodnocení? Porozumění úkolu/evaluační otázce V první fázi bude v rámci této části (2.1) navržena metodologie pro evaluaci úspěšných věcných výsledků na úrovni jednotlivých oblastí podpory, resp. části založené na případových studiích. Metodologie bude založená na způsobu výběru případových studií, které mají demonstrovat úspěchy projektů a mohou sloužit jako dobrá praxe, na následném způsobu zpracování samotné případové studie a na stanovení postupu přenositelnosti dobrých pra xí. Ve druhé části projektu (2.2) pak bude metodologie aplikována a bude zpracováno 21 případových studií. Na základě zkušeností se zpracováním všech případových studií může být v případě potřeby metodologie zpětně upravena tak, aby eliminovala případné problémy. Metodologie samotná se bude opírat o definování výběrových kritérií, pomocí kterých mohou být vybírány projekty v rámci OP LZZ. Cílem je navržení takové metodologie, která může být rámcově (částečně) platná i obecněji, nejen za účelem definování případových studií projektů dobré praxe, které budou zpracovány v rámci evaluační otázky 2.2. Metodologie bude také prokonzultována v širším plénu odborníků i zástupců zadavatele tak, aby došlo k širší shodě nad jejími principy. Jako platforma pro spolupráci odborníků a zadavatele budou sloužit i 2 workshopy (viz evaluační úkol 2.2). Na tomto místě pokládáme jako podstatné uvést, že jedním z kritérií, resp. podmínek, která determinuje výběr projektů pro případové studie, které mají sloužit jako příklady dobré praxe, Roční operační vyhodnocení OP LZZ 2011 27

je úspěšnost/neúspěšnost projektu. Úspěšnost projektu je bezpochyby nezbytné řešit množinou více individuálních kritérií, která však budou fungovat (plnit účel) pouze společně. Metodika tak musí řešit definování těchto kritérií. Zároveň je pravděpodobné, že v rámci některých oblastí podpory budou definována specifická kritéria úspěšného projektu, která budou platná jen v rámci této oblasti. Základní standard úspěšného projektu však bude definován společný. Součástí metodologie bude i návrh způsobu popisu příkladu dobré praxe. Bude tedy zodpovězena otázka, jak přistupovat k prozkoumání projektové kauzality/logiky, tzn. jaké předpoklady/aktivity/ postupy vedly k určitým výsledkům a proč. Pro popis případových studií navrhujeme využít teorii změny, která dobře demonstruje výsledky a dopady projektů (programu). Z časového hlediska metodologie výběru příkladů dobré praxe vždy zahrne výběr projektů vhodných pro případové studie v souslednosti: vytipování širšího okruhu vhodných projektů na základě schválených výběrových kritérií, konzultace s věcnými garanty oblastí podpory, hodnocení evaluátorem dle stanovených kritérií a užší výběr projektů na základě zjištění míry jejich možností/ochoty účinně spolupracovat s evaluátorem. Za účelem zpracování případových studií pak navrhujeme i šetření v terénu, tj. evaluační návštěvy projektů, v rámci kterých budou uskutečněny řízené individuální rozhovory a skupinové rozhovory (blíže viz následující tabulka). Součástí metodologie bude i návrh postupu při zjištění nefungujících projektů či špatné praxe. Pravděpodobně by mělo jít pouze o špatné praxe než o zcela nefungující projekty, které by se neměly do druhého (užšího) kola výběru dostat. Nezbytnou součástí bude i vyřešení otázky anonymizace/neanonymizace výstupů hodnocení a ošetření rizika neochoty realizátora projektu spolupracovat s evaluátorem apod. Cílem je dokumentovat nefungující praxi a následně zabránit její multiplikaci. Tato část však bude limitována na straně příjemců obavou a bariérou, že by identifikace špatné praxe vedla k nezpůsobilosti části výdajů. Metodika uvede i náhradní řešení, které by pracovalo s výsledky kontrolní činnosti v rámci implementačního systému OP LZZ (administrativní kontroly, kontroly na místě) a využilo je ke zpracování a formulování případových studií - anonymizovaných příkladů nefungující či problematické praxe. Při definování metodiky se zaměříme i na způsob, resp. začlenění kontextu a identifikace klíčových faktorů a bariér interního a externího prostředí do popisu případové studie. Dle jednotlivých oblastí podpory bude jistě možné identifikovat řadu faktorů (např. hospodářská krize, restrukturalizace podniků, boj proti kriminalitě, změna sociokulturního kontextu, změny v oblasti vzdělávání a celoživotního učení, apod.), které budou v závislosti na vývoj fází programového a projektového cyklu identifkovány a zhodnoceny ve vztahu k jednotlivým oblastem podpory (výzvám). Postup a harmonogram realizace úkolu 23. 11. 2011 První návrh metodologie (podklad pro workshop) 24. 11. 2011 Workshop Roční operační vyhodnocení OP LZZ 2011 28

Dle připomínek zadavatele Finální verze metodologie pro terénní šetření 28. 5. 2012 Konečná verze metodologie, upravená na základě terénního šetření a výsledků celého projektu Roční operační vyhodnocení OP LZZ 2011 29

Podotázky Vstupní informace a zdrojová data Způsob analýzy metody řešení Výstupy 2.1.1 Jaká je role případové studie v hodnocení věcných výsledků na úrovni oblastí podpory? Jaké jsou podmínky nezbytné pro její úspěšnou aplikaci? Evaluační studie Metodické příručky k metodice případových studií Výstupy z workshopu Desk research zhodnocení dosavadního využití případových studií, zejména za účely dobré praxe. Důraz na: - způsob definování výběru případových studií - metodu zpracování případové studie - metodu aplikace výsledků na hierarchicky vyšší úroveň (oblast podpory apod.). Konzultace metody se sociologem. Specifikace role a použití metody případových studií za účely ROV 2011, včetně podmínek její úspěšné aplikace 2.1.2 Jak přistoupit k výběru projektů pro případové studie? Jaký vliv na výběr má cíl/typ evaluace? Jak identifikovat dobrou/špatnou praxi? Co chápat pod pojmem úspěšný/neúspěšný projekt? Evaluační studie Metodické příručky k metodice případových studií Výstupy z workshopu k výběru případových studií Výstupy z ověření metody v terénu (realizace případových studií) Definování metodiky, která zahrne 3 hlavní části: - Definování (účelu) případové studie - Definování výběrových kritérií - Způsob aplikace metodiky Výběr úspěšných projektů pro potřeby ROV 2011 zahrne stanovení kritérií úspěšného projektu, resp. dobré praxe (se zohledněním specifik oblastí podpory). Kritéria v případě potřeby budou odrážet specifické podmínky jednotlivých oblastí podpory. Součástí metodiky bude i opatření na eliminaci rizik ukončení spolupráce s příjemcem či jiných skutečností, které by vedly k nemožnosti dokončit zpracování některé z případových studií (např. identifikace náhradního projektu). Definice úspěšného projektu (kritérií) Metodika výběru případových studií Workshop diskuse klíčových bodů metodiky na úrovni workshopu. Metodika bude poté dopracována a použita v praxi (ROV 2011). Na základě zkušeností může být dále upravena. Roční operační vyhodnocení OP LZZ 2011 30

2.1.3 Jaký typ a struktura případové studie bude pro potřeby ROV 2011 nejvhodnější? Evaluační studie Dostupná literatura Návrh typu případové studie je stanoven ve vazbě na cíle a zadání ROV 2011, tj. identifikace a prezentace úspěšných projektů, z nich část vhodných i pro medializaci. Využito bude teorie změny. Návrh typu a struktury případové studie Proběhne konzultace se zadavatelem a finální úprava struktury. Ke schválení bude rovněž předložena první zpracovaná případová studie, s cílem eliminace chyb. 2.1.4 Jakým způsobem hodnotit výsledky projektu? Jak přistupovat k prozkoumání projektové kauzality/logiky? Které předpoklady/ postupy/ aktivity vedly k dosaženým výsledkům? Evaluační studie Dostupná literatura Výstupy z workshopu Metodika bude zohledňovat požadavek triangulace metod, možnosti: - Analýza sekundárních informací a dat k projektu. - Řízený individuální rozhovor s vedením projektu. - Skupinový rozhovor s účastníky projektu. - Dotazníkové šetření mezi dalšími účastníky projektu (méně pravděpodobná metoda). Podmínkou aplikace metodiky bude terénní šetření, evaluační návštěvy. Popis způsobu hodnocení výsledků projektu Které předpoklady/ postupy/ aktivity k nim naopak nevedou? 2.1.5 Jak přistoupit k evaluaci širšího kontextu hodnoceného projektu, tj. příslušné oblasti podpory/ výzvy? Dokumentace k OP LZZ (prováděcí dokument, výzvy) Dostupná literatura Osobní či telefonické konzultace s příjemci a potenciálními uživateli. Expertní posouzení možností řešení přenosu dobré praxe (eliminace špatné praxe), se zohledněním specifik oblastí podpory. Výstupy budou ověřeny i s potenciálními uživateli metod (dobré praxe apod.). Bude zahrnovat konzultace v rámci workshopu. Metodika/postupy aplikace a využití dobrých a špatných praxí na úrovni oblastí podpory Výstupy z workshopu Roční operační vyhodnocení OP LZZ 2011 31

Evaluační otázka 2.2: Jak hodnotíte dosažené výsledky na úrovni vybraných projektů a jaké uvádíte příklady fungující/nefungující praxe, včetně detailního zdůvodnění (proč něco funguje/nefunguje, příp. za jakých podmínek by to fungovat mohlo)? Porozumění úkolu/evaluační otázce V této části půjde o aplikaci metodologie, která vzejde z řešení evaluační otázky 2.1. Budeme tedy identifikovat a popisovat úspěšné projekty z hlediska jimi dosažených věcných výsledků a dobrých praxí, které k těmto výsledkům vedly, příp. by k podobným výsledkům mohly (potenciálně) vést i u dalších projektů. Tyto výsledky popíšeme ve formě případové studie a listů dobé praxe (viz předchozí evaluační otázka). V prvním kroku bude tedy proveden výběr projektů na základě měřítek definovaných, projednaných a schválených zadavatelem v metodice. Následně budou zpracovány případové studie, a to ve všech oblastech podpory OP LZZ, kromě technické pomoci (prioritní osa 6) a oblasti podpory 1.1, ve které je realizována samostatná evaluace (celkem tedy půjde o 9 oblastí podpory). V oblastech podpory, kde je to relevantní, budou studie zaměřeny jak na grantové, tak na individuální projekty. U každé oblasti podpory budou zpracovány: vždy alespoň 2 případové studie, resp. prozkoumány 2 projekty (celkem tedy půjde minimálně o 18 studií) další 3 případové studie budou zaměřeny na ad-hoc určená témata/projekty ze strany zadavatele. Celkem tedy zpracujeme minimálně 21 případových studií. Vzhledem k potřebě zadavatele fotodokumentovat probíhající projektové aktivity úspěšných projektů (viz úkol č. 2.3), bude v souladu se zadávací dokumentací u každé zkoumané oblasti podpory zpracována případová studie vždy na jeden ukončený projekt a jeden projekt v realizaci, příp. bude dle potřeby a po dohodě se zadavatelem zvolen jiný postup. U již dokončených projektů bude možnost fotodokumentace pravděpodobně problematická, pokud ale nemá projekt přímou aktivitu v rámci udržitelnosti. Na základě zpracovaných případových studií zformulujeme příklady dobré praxe, popř. příklady špatné praxe, pokud na ně při zpracování projektu narazíme. V posledním kroku definujeme klíčové faktory úspěšného dosahování výsledků projektů a z druhé strany identifikujeme bariéry pro úspěšnou realizaci projektů v jednotlivých oblastech podpory OP LZZ. Součástí projektu (závěrečné zprávy) pak budou i strukturovaná doporučení formulovaná na základě této části, která budou směřována k podpoře dobré praxe ze strany implementační struktury OP LZZ). Roční operační vyhodnocení OP LZZ 2011 32

Postup a harmonogram realizace úkolu Do 2 týdnů od schválení metodologie Do 1 týdne od konzultace se zadavatelem Do 2 týdnů od výběru projektů Do 27. 2. 2012 Do 28. 5. 2012 Širší výběr projektů pro případové studie Úzký výběr projektů pro případové studie Případná náhrada projektů, jejichž nositelé odmítli spolupráci 1. část 9 případových studií 2. Část případových studií a navazující expertízy Roční operační vyhodnocení OP LZZ 2011 33

Podotázky Vstupní informace a zdrojová data Způsob analýzy metody řešení Výstupy 2.2.1 Které projekty jsou vhodné pro realizaci případových studií v rámci ROV2001? Informace k projektu dle navržené metodiky: IS MONIT7+, výroční zprávy, web, publikace a další ŘO/ZS příjemce Aplikace navržené metodiky. Vybrány musí být minimálně 2 případové studie za každou oblast podpory, s výjimkou prioritní osy 6 a oblasti podpory 1.1. Dále budou vybrány další 3 ad-hoc studie na vybraná témata, která budou stanovena zadavatelem, i ve spolupráci s dalšími subjekty (např. v rámci koordinačního workshopu). V souladu s metodikou budou návrhy konzultovány individuálně s věcnými garanty příslušných oblastí podpory na ŘO/ZS. Širší databáze projektů Finální výběr 21 projektů pro případové studie Zpracován bude vždy jeden ukončený a jeden běžící projekt a jeden grantový a jeden individuální projekt v dané oblasti podpory (pokud to bude možné). 2.2.2 Jakých výsledků dosáhly vybrané projekty? Informace k projektu Monitorovací zprávy IS MONIT7+ Aplikace navržené metodiky. Analýza a zhodnocení dat z IS MONIT+ a dalších uvedených zdrojů. Zpracované případové studie Fotodokumentace Mediální prezentace (web, brožury...) Konzultace s ŘO/ZS Evaluační návštěvy Individuální rozhovory - informace od příjemce, účastníci projektů Individuální rozhovor implementační struktura (ŘO/ZS; projektový manažer) Evaluační návštěva individuální rozhovor s příjemci Skupinový rozhovor účastníci projektů Popř. dotazníkové šetření mezi účastníky projektu (dle typu a fáze realizace projektu) bude definováno v metodice. (9 projektů: profesionální; ostatní: základní) Skupinové rozhovory účastníci projektů Roční operační vyhodnocení OP LZZ 2011 34

2.2.3 Jaké příklady dobré/špatné praxe lze z těchto projektů vyvodit? 2.2.4 Jaké jsou podmínky jejího dosažení (fungování)? Informace k projektům viz výše Dle navržené metodiky Informace k projektům viz výše Definování příkladů dobré (špatné) praxe ve sledovaných okruzích na základě výstupů předchozí aktivity. Při zpracování případových studií bude po celou dobu brán zřetel na tuto část. Metodika stanoví, čeho se dobrá (špatná) praxe může týkat (např. práce s cílovými skupinami, administrace publicita apod.). Obsahem bude i odhalení klíčových faktorů úspěšného dosahování výsledků projektů a identifikace bariér pro úspěšnou realizaci projektů v jednotlivých oblastech podpory OP LZZ. Listy dobré/špatné praxe Definování podmínek pro dosažení dobré praxe (fungování) a nefungování projektů Roční operační vyhodnocení OP LZZ 2011 35