Roční operační vyhodnocení OP LZZ 2011 PRŮBĚŽNÁ ZPRÁVA

Transkript

1 Roční operační vyhodnocení OP LZZ 2011 PRŮBĚŽNÁ ZPRÁVA 1

2 Zpráva zpracována k datu: Zpráva zpracována pro: Česká republika - Ministerstvo práce a sociálních věcí Na Poříčním právu Praha 2 Zpracovatel: HOPE-E.S., v.o.s., divize EUservis.cz Sídlo, kancelář Brno: Palackého tř. 10, Brno IČ: Kancelář Praha: Lidická 1, Praha 5 2

3 Obsah 1 ÚVOD VYMEZENÍ KONTEXTU A CÍLŮ PROJEKTU PRŮBĚH ŘEŠENÍ PROJEKTU PLÁNOVANÉ AKTIVITY HARMONOGRAM METODIKA ŘEŠENÍ PROJEKTU HLAVNÍ ZJIŠTĚNÍ A VÝSTUPY HLAVNÍ VÝSTUPY: HLAVNÍ ZJIŠTĚNÍ VYMEZENÍ VYBRANÝCH METOD PŘÍLOHY PŘÍLOHA 1 METODIKA VÝBĚRU PŘÍPADOVÝCH STUDIÍ PŘÍLOHA 2 STRUKTURA PŘÍPADOVÉ STUDIE PRO PŘÍKLAD DOBRÉ PRAXE PŘÍLOHA 3 STRUKTURA PŘÍPADOVÉ STUDIE PRO PUBLICITU PŘÍLOHA 4 UŽŠÍ POOL PROJEKTŮ VYBRANÝCH PRO PŘÍPADOVÉ STUDIE PŘÍLOHA 5 ZNĚNÍ DOTAZNÍKOVÉHO ŠETŘENÍ V RÁMCI ÚKOLU PŘÍLOHA 6 VÝSLEDKY DOTAZNÍKOVÉHO ŠETŘENÍ ÚKOLU PŘÍLOHA 7 PROGRAM KOORDINAČNÍHO WORKSHOPU ZE DNE

4 1 Úvod Ministerstvo práce a sociálních věcí ČR a společnost HOPE E. S., v.o.s. podepsaly dne smlouvu na realizaci projektu Roční operační vyhodnocení OP LZZ Průběžná zpráva je druhým výstupem evaluačního projektu Roční operační vyhodnocení OP LZZ 2011, jejímž cílem je představit použitou metodologii a průběh řešení evaluačních úkolů, hlavní zjištění, výstupy a případně dílčí závěry. Tato zpráva obsahuje přehled činností dokončených během první etapy projektu, představuje průběh řešení jednotlivých evaluačních úkolů a detailněji ukazuje metodické zpracování a způsoby řešení úkolů. Zpráva vychází ze zadávací dokumentace zadavatele a nabídky zhotovitele. Hlavním cílem této evaluace je provést komplexní vyhodnocení průběhu a dosažených věcných výsledků programu v roce 2011, příp. v 1. polovině 2012, identifikovat jeho úspěchy i příp. nedostatky a poskytnout zadavateli informace relevantní pro jejich řešení. Předmětem zakázky je: 1) Zpracování podkladu do výroční zprávy pomocí analýzy dat z věcného monitoringu. 2) Zpracování případových studií úspěšných (příp. neúspěšných) projektů spolu s fotodokumentací projektů a dále koordinační činnost ostatních probíhajících evaluačních zakázek. 3) Metodické vedení při nastavení systému pro zjišťování zpětné vazby a jeho realizaci - zpětná vazba od klientů (žadatelé/příjemci) a zpětná vazba v rámci implementační struktury k realizaci Evaluačního plánu. Očekávaným dopadem této evaluace je kontinuální zvyšování kvality a efektivnosti programu a jeho projektů a v konečném důsledku jejich pozitivních dopadů na cílové skupiny. 2 Vymezení kontextu a cílů projektu Smyslem této evaluace je provést evaluaci průběhu a výsledků dosažených díky OP LZZ v roce Provádět každoroční evaluace je řídící orgán povinen na základě Nařízení Rady (ES) č. 1083/2006 ze dne 11. července 2006 o obecných ustanoveních o Evropském fondu pro regionální rozvoj, Evropském sociálním fondu a Fondu soudržnosti a o zrušení nařízení (ES) č. 1260/1999, ustanovení článku 68, které stanovuje povinnost každoročně při předložení výroční zprávy o provádění podle článku 67 posoudit pokrok, kterého bylo při provádění operačního programu dosaženo, nejdůležitější výsledky dosažené během předchozího roku, finanční provádění a další faktory s cílem zlepšit provádění. Evaluace je také součástí Evaluačního plánu OP LZZ v rámci 2. etapy průběžného hodnocení OP LZZ. Dle Evaluačního plánu OP LZZ provádí řídící orgán mimo jiné evaluace operativní povahy za účelem podpory monitorování operačního programu. Tato evaluace je operativní povahy a je prováděna za účelem podpory monitorování operačního programu, přičemž tato podpora je v Evaluačním plánu 4

5 koncipována jakožto průběžné vyhodnocování operačního programu. Hlavním účelem této průběžné evaluace je pravidelné a systematické vyhodnocování implementace a realizace operačního programu a vyhodnocování změn v externím prostředí operačního programu. Cílem takové analýzy je lépe porozumět operačním výstupům a dosaženým výsledkům i pokroku směrem k dlouhodobějším dopadům a jeho převedení do systému doporučení. Průběžná evaluace by tedy měla současně poskytnout potřebná korektivní opatření, která pomohou řídícímu orgánu zlepšit systém implementace programu a zvýšit jeho úspěšnost. Hlavním cílem této evaluace je provést komplexní vyhodnocení průběhu a dosažených věcných výsledků programu v roce 2011, příp. v 1. polovině 2012, identifikovat jeho úspěchy i příp. nedostatky a poskytnout zadavateli informace relevantní pro jejich řešení. Cílem je poskytnout ŘO jasnou, přehlednou, srozumitelnou a z hlediska závěrů a doporučení využitelnou evaluační studii. 3 Průběh řešení projektu K zahájení projektu proběhlo úvodní setkání se zadavatelem, kde byl dohodnut postup prací, vymezen základní rozsah aktivit a jejich časová návaznost spolu se zdroji dat. V průběhu celého projektu jsou zadavateli předkládány pravidelné měsíční flash reporty a probíhá intenzivní komunikace mezi zadavatelem a dodavatelem, do které jsou zapojeni také odborníci MPSV na metodiku a garanti jednotlivých prioritních os. Níže je popsán postup a fáze zpracování jednotlivých dílčích evaluačních úkolů. Evaluační úkol 1 Cílem úkolu je provedení analýzy dat z věcného monitoringu programu a zhodnocení dosaženého věcného pokroku na úrovni programu i na úrovni prioritních os 1 až 5 ve vztahu k původně stanoveným cílům programu a k socio-ekonomickému a politickému vývoji v ČR a naplňování strategických cílů na úrovni ČR a EU. Důraz bude kladen na kvalitativní analýzu. V rámci zpracování evaluačního úkolu 1 proběhla jednání ohledně struktury výstupních dat z MSC2007 pro analýzu věcného monitoringu a byl dohodnut harmonogram předání a zpracování výstupů. Dodavateli byla předána předběžná data vygenerovaná zadavatelem dne Data k čerpání finančních prostředků a údaje ze statistiky od NOK byla dodavateli předána, v současné době probíhá jejich zpracování. Stále nedošlo k zafixování naplňovaných projekty, zadavatel přislíbil zaslání v nejbližší době. Po jejich obdržení dodavatel připraví podklad do Výroční zprávy a nad podklady uspořádá workshop se zástupci zadavatel (cca 2. týden v březnu, případně budou odborní garanti MPSV k výstupům a návrhům osloveni per rollam). Na základě workshopu/připomínek dojde k finalizaci vstupu do Výroční zprávy (v průběhu března). 5

6 Evaluační úkol 2 Evaluační úkol 2 se skládá ze tří částí, které na sebe navazují a vzájemně se prolínají. Úkol 2.1 Cílem úkolu je zpracování metodologie pro evaluaci věcných výsledků a provedení případových studií u vybraných projektů. Dne byla společně se Vstupní zprávou schválena metodika výběru případových studií a jejich analýzy (viz Příloha 1), na základě které pokračují další práce na úkolu. Metodika výběru projektů se liší na základě dvou typů případových studií projekty pro publicitu a typové projekty pro ukázku dobré praxe. Dodavatelem byl vypracován široký pool projektů vzniklý na základě dat z IS Monit, dostupných informací o úspěšných projektech a stránkách esfcr.cz. Předvýběr projektů vytipovaných pro případové studie byl poskytnut zástupcům zadavatele k posouzení vhodnosti projektů z hlediska bezproblémovosti, s otázkou na doplnění informace o vhodnosti projektu pro jednotlivé typy případových studií a doplnění dalších odpovídajících projektů. Na základě informací od projektových manažerů byl definován užší pool projektů, ze kterých byly na základě regionálního rozložení vybrány projekty vhodné k oslovení s žádostí o spolupráci. Užší pool projektů vybraných pro případové studie je uveden v Příloze 4. Následně došlo k oslovování zástupců projektů s prosbou o spolupráci. Na základě dohod o spolupráci s příjemci podpory vznikl konečný seznam projektů, které byly navštíveny v rámci první vlny případových studií. Tento seznam je uveden v tabulce 1. Tabulka 1: Seznam projektů, kde byly provedeny evaluační návštěvy OP IP / GP Reg. číslo projektu 1.1 GP CZ.1.04/ / IP CZ.1.04/ / GP CZ.1.04/ / IP CZ.1.04/ / GP CZ.1.04/ / GP CZ.1.04/ / Název Žadatel Zdroj stav Typ studie Vzdělávání zaměstnanců Městské nemocnice, a.s. ve Dvoře Králové nad Labem Městská nemocnice, a.s. Vysoké hodnocení projektu (Monit) Restart pro Českolipsko Úřad práce ČR Vysoké hodnocení projektu (Monit) Cílená opatření na trhu práce ve Zlínském kraji Rozvoj Národní soustavy povolání a Sektorových rad jako nástroje zaměstnavatelů k ovlivňování RLZ v ČR Komunitní plánování sociálních služeb Písek Začleňování romských rodin v Ústeckém kraji Euroface Consulting s.r.o. MPSV Centrum pro komunitní Práci Jižní Čechy Poradna pro občanství/ Občanská a lidská práva Vysoké hodnocení projektu (Monit) IS MONIT (projekt delší dobu v realizaci, potřebné téma) Vysoké hodnocení projektu (Monit) Vybrané PM pro účely publicity P5 P5 P5 P45 P5 P45 dobrá praxe dobrá praxe dobrá praxe dobrá praxe dobrá praxe dobrá praxe 6

7 OP IP / GP Reg. číslo projektu 3.3 GP CZ.1.04/ / GP CZ.1.04/ / GP CZ.1.04/ / GP CZ.1.04/ / Název Žadatel Zdroj stav Typ studie SILNÁ DVOJKA - poradenství a spolupráce dvou skupin žen v oblasti výroby a prodeje ručních prací: + 50 let (výrobce) a - 25 let (prodejce) Rovné příležitosti žen a mužů v komunitní knihovně Vsetín partnerství a zdravá komunita celoživotní vzdělávání - prosperita Optimalizace bezpečnostních procesů v prostředí Magistrátu města Ostravy Praha -Vídeň, Problematika zaměstnávání a pracovní integrace osob ohrožených drogovou závislostí Institut pro ženy, o.s. Masarykova veřejná knihovna Vsetín Statutární město Ostrava SANANIM Vysoké hodnocení projektu (Monit) P5 dobrá praxe Projekt přidán PM P5 dobrá praxe Vysoké hodnocení projektu (Monit) Vybrané programovými manažery (EA) pro účely publicity P5 P45 dobrá praxe public ita Úkol 2.2 Cílem úkolu 2.2 je realizovat metodickou i organizační podporu koordinace probíhajících evaluačních zakázek při výběru projektů pro případové studie a postupu jejich realizace tak, aby bylo dosaženo co největší doplňkovosti či návaznosti jednotlivých šetření a naopak nedocházelo k jejich duplikaci či nežádoucím překryvům. Za tímto účelem proběhl první workshop se zástupci zadavatele, zástupci ostatních evaluačních společností a garanty jednotlivých oblastí podpor, jehož cílem byla diskuze nad zvolenou metodikou pro výběr případových studií. Výstupem tohoto workshopu je schválená metodika, která byla přílohou č. 1 Vstupní zprávy. Jednotlivé evaluační společnosti byly nadále v kontaktu ohledně výběru projektů tak, aby nedocházelo k duplikacím či překryvům vybraných projektů. Společnostem IREAS a Navreme byl předložen užší pool projektů vybraných dodavatelem k připomínkám, obě společnosti výběr odsouhlasily a potvrdily, že nedochází k duplikacím. V plánu je uspořádání druhého workshopu nad zpětnou vazbou první vlny případových studií. Dle posledních dohod bude workshop pravděpodobně rozšířen i o stručné shrnutí zkušeností z jiných částí evaluace, např. různé metodické problémy dotazníkových šetření apod. Předpokládaný termín realizace workshopu je konec dubna. Úkol 2.3 Práce na úkolu 2.3 jsou naplánovány v návaznosti na druhou vlnu evaluačních návštěv u vybraných projektů. Koncem února byli oslovováni vytipovaní příjemci z užšího poolu projektů pro publicitu odsouhlaseného zadavatelem. Příjemce je potřeba oslovit především s ohledem na harmonogram jejich plánovaných aktivit tak, aby bylo možné navštívit projekt při některé z fotogenických aktivit. Profesionální 1 Návštěva proběhne v týdnu od

8 fotograf navštíví projekty v průběhu měsíců března a dubna, jako styl focení byly zvoleny reportážní a portrétové fotografie. Při realizaci focení budou dodrženy požadavky zadavatele ohledně zachycení vizuální identity ESF, příp. OP LZZ. Fotografie budou zachycovat především činnost účastníků projektů. Evaluační úkol 3 Evaluační úkol 3 je rozdělen do dvou samostatných úkolů s odlišným harmonogramem. Součástí obou úkolů bylo zajištění metodického vedení, podpory a předání know-how při zpracování dotazníkového šetření. Za tímto účelem proběhl dne Seminář k práci v online dotazníkovém softwaru LimeSurvey, kterého se účastnili zástupci zadavatele. Náplní semináře bylo seznámit účastníky s prostředím softwaru, představit možnosti, jaké tento typ dotazníkového šetření nabízí a předvést ukázku zpracování dotazníkového šetření. Dodavatelem byl vypracován návod pro práci v tomto online dotazníkovém softwaru použitelný pro samostatné zpracování šetření v dalších letech. Úkol 3.1 Dotazník pro evaluační úkol 3.1 byl konstruován na základě nového klientského přístupu a v souladu s plánem VPŘED. Zadavateli byl dne předán návrh metodiky pro zjištění zpětné vazby od klientů (šetření spokojenosti žadatelů a příjemců). Dne proběhla schůzka mezi zástupci dodavatele a zadavatele, kde byl prezentován odborný pohled sociologického experta a došlo k ujasnění postupu a metodiky dotazníkového šetření. Dne proběhla další schůzka ke konkrétní podobě dotazníku opět za přítomnosti sociologického experta. Dotazník prošel několika koly připomínek od metodiků zadavatele i garantů za dotčené oblasti podpory OP LZZ, finální verze dotazníku je uvedena v Příloze 5. V prvním březnovém týdnu dojde k programování dotazníkového šetření v softwaru LimeSurvey, které provede zástupce zadavatele za odborné asistence dodavatele. Dodavatel dále zajistí realizaci pilotního šetření, samotné šetření pak bude zajišťovat sám zadavatel za aktivní podpory dodavatele. Úkol 3.2 Na základě konzultací dodavatele se zadavatelem byl zkonstruován dotazník, jehož cílem byla aktualizace Evaluačního plánu OP LZZ na rok 2012, jeho doplnění o nové evaluační aktivity a témata a získání zpětné vazby k dosud realizovaným aktivitám. Dotazník byl naprogramován v online systému LimeSurvey a po schválení zadavatelem byl spuštěn dne Zároveň byl dotazník vytvořen také v offline wordové verzi a takto rozeslán garantům příslušných sekcí. Dotazníkové šetření probíhalo ve dnech od do a celkem do něj bylo zapojeno 32 osob. Jednalo se o zaměstnance jmenované jednotlivými garanty oddělení či vedoucími týmů. Výsledkem šetření je 17 dokončených dotazníků a 5 dotazníků nedokončených. Dne byly dle harmonogramu předány výstupy dotazníku se zpracovanými analýzami zadavateli. 8

9 3.1 Plánované aktivity Další postup prací bude probíhat na základě schváleného harmonogramu, následovat budou tyto aktivity: Finalizace analýzy dat z MSC2007 a statistik z NOK, na jejím základě bude vytvořen podklad do Výroční zprávy. Workshop nad zpracováním Výroční zprávy v plánu cca 2. týden v březnu, případně nahrazen oslovením odborných garantů MPSV per rollam a diskuze nad komentáři. Zpracování případových studií do požadované podoby v rozsahu min. 3 stran A4 pro každou studii. Uspořádání druhého workshopu k úkolu 2.2 nad zpětnou vazbou první vlny případových studií (pravděpodobné rozšíření i o stručné shrnutí zkušeností z jiných částí evaluace). Předpokládaný termín realizace workshopu je konec dubna. Návštěvy profesionálního fotografa u projektů vybraných pro publicitu. Programování dotazníku v online systému LimeSurvey prováděna v rámci principu learning-bydoing zástupci zadavatele (za asistence dodavatele). Dodavatel provede pilotní průzkum dotazníku. Spuštění dotazníku a rozeslání příjemcům lze nyní předpokládat cca Zadavatel zajistí zřízení ové adresy, ze které budou odkazy na dotazník odesílány. Správu u bude mít na starosti dle dohody buď dodavatel, nebo zadavatel. 9

10 3.2 Harmonogram listopad prosinec leden únor březen duben květen červen MPSV ROV 2011 podpis smlouvy Vstupní zpráva Úkol1 Anal. věcný monit. příprava export naplňování Workshop s ŘO, ZS x z toho 5 A4 do VZ Ú2 Koordinační workshop 1 x Úkol 2.1 metodika případov.s. metodika širší výběr případových studií užší výběr, příp. náhrada Koordinační workshop 2 x Ú 2.2 (1. část 9 případov.s.) evaluační návštěvy k případovým studiím Úkol 2.3 fotograf Úkol 2.2 (2. část 9-12 příp.) navazující expertízy evaluační návštěvy k případovým studiím expertízy Úkol vazba klienti DOT metodika příprava průzkumu DOT Úkol 3.2- vazba ŘO/ZS DOT příprava DOT výstup Průběžná zpráva 5.3. Návrh Závěrečné zprávy Workshop k návrhu ZZ x Finální verze Závěr. zprávy Flash-reporty Roční operační vyhodnocení OP LZZ

11 4 Metodika řešení projektu Přístup k řešení jednotlivých úkolů a dílčích otázek a jejich vzájemné propojení znázorňuje následující schéma: 11

12 5 Hlavní zjištění a výstupy Průběžná zpráva je zpracovávána v době, kdy je většina evaluačních úkolů ještě stále v realizaci a hlavní zjištění ještě tedy nejsou finální. V této kapitole uvádíme přehled hlavních výstupů, které jsou zahrnuty v Příloze technické části zprávy a dále hlavní zjištění z jednotlivých dílčích úkolů, které jsou v současné době finálně uzavřeny. 5.1 Hlavní výstupy: První koordinační workshop se zástupci ostatních evaluačních společností a garanty jednotlivých oblastí podpor (program workshopu je v Příloze 7). Vstupní zpráva schválena zadavatelem dne Na základě workshopu a konzultací dodavatele se zadavatelem byla vytvořena metodika výběru případových studií a jejich analýzy Příloha 1. Na základě širšího poolu projektů pro případové studie byl vypracován užší pool projektů. Ten byl poskytnut garantům jednotlivých oblastí podpor pro konečné schválení. Konečná verze je v Příloze 4. Evaluační návštěvy u první vlny případových studií, celkem 9 návštěv. Seznam navštívených projektů je uveden v tabulce 1. Do dne byla zadavateli předána první finální zpracovaná případová studie projektů prioritní osy 1. Finální verze dotazníku pro úkol 3.1 Zpětná vazba od klientů (příjemci) v Příloze 5. Proběhlo dotazníkové šetření pro úkol 3.2 Zpětná vazba v rámci implementační struktury k realizaci evaluačního plánu, podrobné výsledky šetření Vyhodnocení evaluačních potřeb v rámci OP LZZ jsou uvedeny v Příloze Hlavní zjištění V době zpracování průběžné zprávy byl dokončen pouze evaluační úkol 3.2. Ostatní úkoly byly v různé fázi rozpracovanosti, proto zde uvádíme pouze jejich předběžné výsledky. Celkový přehled o postupu prací je uveden v kapitole 3, souhrnný přehled dílčích výstupů v rámci jednotlivých evaluačních úkolů je uveden v Tabulce 3. Evaluační úkol 2.2 V rámci úkolu č. 2.2 se uskutečnil první workshop ke koordinaci evaluačních aktivit, který přinesl plodnou debatu mezi zástupci jednotlivých evaluačních týmů, zástupci zadavatele a garanty jednotlivých prioritních os. Z diskuze vyplynulo, že k překryvu při výběru případových studií mezi společnostmi Navreme, IREAS a HOPE nedochází. Debata se vedla především nad metodikou výběru případových studií pro uskutečnění evaluačních návštěv. Po diskuzi bylo stanoveno, že kritéria budou rozdílná na základě toho, zda se jedná o typový 12

13 projekt pro příklad dobré praxe nebo o publicitní projekt. Lišit se bude také hloubka a rozsah zjišťovaných ukazatelů. Jako typ studie byla zvolena evaluační studie (dle Yin, uvedeno v Hendl ). Jako typ výběru byl na základě diskuze zvolen pro typové projekty modelový typ a pro publicitní projekty extrémní typ případové studie (podle Flyvbjerg ). Výběrová kritéria byla rozdělena na nominační, eliminační a doporučující. Dále se vedla podrobná debata nad jednotlivými kritérii. Společnost IREAS zastávala názor, že rozhodujícím faktorem pro výběr případových studií je ochota firem ke spolupráci, proto byl tento bod zařazen jako jedno z eliminačních kritérií. Celá koncepce výběru případových studií, která vznikala na základě workshopu je uvedena v Příloze 1, kde jsou přesně definována jednotlivá kritéria nutná pro finální výběr projektu. Evaluační úkol 3.1 Cílem úkolu 3.1 bylo připravit a provést dotazníkové šetření a to ve spolupráci se zadavatelem metodou learning-by-doing. Očekávaným výsledkem úkolu bylo, aby pracovníci/pracovnice zadavatele byli schopni provést výzkum v dalších letech vlastními silami. Dodavatel uplatňoval princip silného metodického vedení, podpory a předání know-how při zpracování interního výzkumu spokojenosti klientů. Výsledkem společných snah zadavatele s dodavatelem je tedy zkušený tým zadavatele schopný na základě získaných informací provádět dotazníkové šetření v dalších letech samostatně. Na základě intenzivní komunikace mezi zadavatelem a dodavatelem, do které jsou zapojeni také odborníci MPSV na metodiku a garanti jednotlivých prioritních os byla vytvořena finální verze znění dotazníkového šetření, která je uvedena v Příloze 5. Evaluační úkol 3.2 Cílem tohoto evaluačního úkolu bylo zjištění zpětné vazby k realizaci Evaluačního plánu OP LZZ a podnětů pro jeho aktualizaci, resp. podnětů na evaluační potřeby, včetně měření počet podnětů pro evaluace mimo evaluační pracoviště, účast na workshopech/seminářích a počet realizovaných doporučení. Hlavním výstupem je Tabulka 2, která shrnuje všechny nové podněty pro evaluace mimo evaluační pracoviště a slouží jako podklad pro výpočet indikátoru počtu podnětů pro evaluace mimo evaluační pracoviště. Výsledkem indikátoru po provedeném dotazníkovém šetření je 7 nových podnětů pro evaluační úkoly. Tyto úkoly jsou: Naplňování vládních reformních cílů a cílů programového prohlášení vlády (Roční operační vyhodnocení, priorita: zcela nezbytné) Vyhodnocení prioritní osy 1 (Specifická hodnocení jednotlivých prioritních os, priorita: zcela nezbytné) Analýza možných monitorovacích nezávislých na sběru od příjemců (Různé analytické náměty pro přípravu OP 2014+, priorita: zcela nezbytné) Analýza politické potřebnosti (Různé analytické náměty pro přípravu OP 2014+, priorita: potřebné) Bez názvu příprava a nastavení implementace budoucího OP (Různé analytické náměty pro přípravu OP 2014+, priorita: potřebné) Ex-ante hodnocení (Ex-ante evaluace programu ESF pro období 2014+, priorita: zcela nezbytné) 2 Hendl, J. (2005): Kvalitativní výzkum: základy metody a aplikace. Praha: Portál 3 Flyvbjerg, B. (2011): Case study. In: Denzin, N. K. and Lincoln Y.S. (eds.): The Sage Handbook of Qualitative research, str

14 Zhodnocení nástrojů pro zlepšení fungování veřejné správy (Ex-ante evaluace programu ESF pro období 2014+, priorita: zcela nezbytné) Zpracované výsledky za dotazník k úkolu 3.2 jsou v Příloze 6, zde uvádíme souhrnné vyhodnocení zjištěných výsledků. Jako zcela nezbytný byl hodnocen úkol PO2 Vytvořit zaměření realizovaných rekvalifikačních kurzů na potřeby trhu práce a souladu získaných kvalifikací s požadavky trhu práce z evaluace Specifická hodnocení jednotlivých prioritních os a úkoly Zhodnocení vhodnosti zvolených nástrojů řešení oblastí intervence a nastavení implementační struktury a Vyhodnocení zkušeností z programového období z Ex-ante evaluace programu ESF pro období Tyto evaluace považovala za zcela nezbytné minimálně třetina všech respondentů a za potřebné další polovina respondentů. Další úkoly považované za potřebné se většinou vztahovaly k průzkumu zpětné vazby příjemců a žadatelů, hodnocení pokroku programu a vyhodnocení výsledků dobrých a špatných praxí. Jednalo se tedy celkově především o úkoly hodnotící běžící programové období v návaznosti na nastavení programu pro následující období. To se odráželo také ve vysoké prioritě, jakou respondenti dávali evaluaci Ex-ante evaluace programu ESF pro období (65 % všech respondentů ji považovalo relevantní pro svou práci) a v počtu nových úkolů, které respondenti přidávali k oblasti Různé analytické nástroje na přípravu (celkem 3 úkoly z celkového počtu 7). Úkoly se týkaly zlepšení monitoringu, přípravy a nastavení implementace budoucího OP a analýzy politické potřebnosti (tedy možnosti apolitizace versus využití ESF pro zlepšení fungování veřejné správy). Důvodem pro velký počet nových evaluačních úkolů v oblasti Různé analytické nástroje na přípravu 2014+je protože respondenti zde cítí větší potenciál pro nastavení nových postupů a potřebných změn do dalšího programového období. V tomto případě se také jedná o široce definovanou oblast, proto je zde největší prostor pro aplikaci vlastních nápadů. Z časového hlediska požadují respondenti nejdříve zpracování evaluací Roční operační vyhodnocení 2012 a Specifická hodnocení jednotlivých prioritních os. Další dvě evaluace mají prioritu zpracování především až v roce Dalším cílem úkolu 3.1 byl průzkum zpětné vazby v rámci implementační struktury (ŘO/ZS) k dosud realizovaným evaluacím a analýzám. Dotazník se zaměřoval na zjištění spokojenosti respondentů se zapojením do přípravy a realizace evaluačních aktivit, dostupností a kvalitou finálních výstupů, závěrů a doporučení z evaluací a zapojení pracovních týmů do realizace Veřejného plánu řešení evaluačních doporučení (VPŘED). Z dotazníku vyplývá, že respondenti jsou velmi spokojeni se zapojením svým či svého týmu do přípravy a realizace evaluačních aktivit. U obou aspektů odpověděli respondenti shodně, celých 65 % uvedlo, že jejich zapojení je dostatečné, dalších 12 % odpovědělo, že zapojováni nejsou dostatečně, ale že to vzhledem k jejich pracovní náplni není ani potřebné. Respondenti komentovali, že jsou pravidelně vyzýváni k předkládání námětů, vlastích podnětů k evaluacím a k účasti na přípravě zadávacích dokumentací, což hodnotí velmi kladně, ale přiznávají, že z časových důvodů nemají možnost se zapojit vždy. Další reakce respondentů se vztahovala k faktu, že by bylo vhodné zařazovat více osobních setkání při realizaci evaluačních aktivit. Většina respondentů uvedla, že jsou dostatečně seznamováni s výsledky evaluací (65 %) a další čtvrtina uvedla, že informováni nejsou, ale potřebné informace si mohou v případě potřeby zajistit. 14

15 V komentářích k této otázce se vyskytovaly výtky, že práce s výstupy je nedostatečná a výstupy jsou rozpačité a je v nich málo konkrétních realizovatelných doporučení včetně té nejpodstatnější informace jak doporučení převést do praxe. S tím je v souvislosti také fakt, že s kvalitou finálních výstupů realizovaných evaluací je zcela spokojeno pouze 6 % respondentů a spokojeno dalších 35 %. Z komentářů respondentů vyplývá, že jejich nespokojenost je často způsobena neznalostí výstupů. Hodnocení nespokojen vyplývá z faktu, že si moc neuvědomuji, jaké konkrétní výstupy z evaluací jsme mohli použít pro naši práci.. Do komentářů respondenti uvedli, že evaluace často dospějí k závěrům a doporučením, která bychom předpokládali či je tušíme. Ohledně spokojenosti s evaluačními aktivitami OP LZZ převládaly mezi respondenty kladné odpovědi. 53 % respondentů bylo zcela či částečně spokojeno, dalších 18 % respondentů bylo spokojeno částečně. Respondent, který komentoval, že je s evaluacemi OP LZZ zcela spokojen ale uvedl, že je otázkou, zda vzhledem k velkému množství evaluačních výstupů zbývá čas s nimi adekvátně pracovat a předávat je. Nespokojený respondent na druhou stranu uváděl, že se domnívá, že bychom měli mít nebo najít kapacitu na řešení podstatné části evaluačních úkolů interně. Z komentářů respondentů dále vyplývá, že cílený a užší záběr evaluací by mohl umožnit lepší využití znalostí. Velmi pozitivně hodnotili respondenti své zapojení do přípravy Veřejného plánu řešení evaluačních doporučení (65 % považuje zapojení za dostatečné). K práci s VPŘED uvedl respondent doporučení soustředit se na omezený počet konkrétních doporučení. Členit podle horizontu realizovatelnosti, řešit formou horizontálních pracovních úkolů. Celkově byli respondenti spokojeni a otázku komentovali slovy v agendách, které jsou pro nás relevantní, jsme zapojováni dostatečně. Dotazníkem bylo také zjištěno, že 71 % respondentů považuje tuto formu průzkumu evaluačních potřeb za vyhovující. Respondenti, kteří nebyli spokojeni, navrhovali spíše realizaci osobních rozhovorů či interní provedení průzkumu. 15

16 Tabulka 2: Souhrn nových podnětů pro evaluace mimo evaluační pracoviště podklad pro výpočet indikátoru počtu podnětů pro evaluace mimo evaluační pracoviště Datum Navrhovatel - podnětu subjekt Navrhovatel - jméno MVČR, Magda Prioritní osa 4 Simonova 81 - Tým Analytik 81 - Tým Indikátor Alexandra Bábíčková Jiřina Svitaková MVČR, Magda Prioritní osa 4 Simonova odd. Petr Chuděj koordinace a svobodných agend ESF koncepce - Příprava odd. koordinace a svobodných agend ESF koncepce - Příprava MVČR, Magda Prioritní osa 4 Simonova Název nového podnětu Cíl a rozsah věcného/obsahového zaměření evaluačního úkolu Priorita úkolu Vazba na plánovanou evaluaci Naplňování vládních reformních cílů a cílů programového prohlášení vlády Vyhodnocení prioritní osy 1 Analýza možných monitorovacích nezávislých na sběru od příjemců Analýza politické potřebnosti Příprava budoucího OP a nastavení implementace budoucího OP uskutečnění projektů, které přispěly k realizaci vládních cílů, resp. reformním procesům ve veřejné správě Vedou zvolené intervence ke zvýšení zaměstnanosti? Porovnat podnik, který dostal dotaci x nedostal dotaci. Je podporřený projekt výkonější, konkurenceschopnější? Dlouhodobý dopad. Monitorovací systém nového programového období má v sobě obsahovat jistou část, která by nám umožnila sledovat změny u příjemců a změny ve společnosti bez toho, abychom se ptali přímo příjemců podpory. V současném fungování českého státu jsou sbírána od lidí i firem rozličná data a to ať se jedná o ČSSZ, FÚ, úřady práce, statistický úřad, městské úřady, krajské úřady, soudy... ale nebyla provedena analýza toho, jestli by nám některé z těchto automaticky sbíraných dat nemohla vykázat změnu po intervenci ESF na konkrétního příjemce nebo oblast. Cílem úkolu by byla identifikace potenciálně využitelných dat jednak za účelem monitoringu a reportingu a především za účelem odlehčení vykazovací povinnosti příjemců. PO, o.p. a/nebo konkrétní výzvy zaměření úkolu Předpokládané využítí výstupů zcela nezbytné Roční operační vyhodnocení , 59,48,80, 83 vzhledem k potřebnosti vypisování dalších, podobných výzev, budoucí období zcela nezbytné Specifická hodnocení jednotlivých prioritních os Cílení budoucích výzev, obsahové zaměření programu. zcela nezbytné Různé analytické náměty pro přípravu OP Výsledná analýza by se stala jedním z podkladů pro tvorbu monitorovacícho systému na společně s podklady z EK, výsledky z Stratevalu I a dalších analýz. Požadované výstupy 2. polovina roku polovina roku polovina roku 2012 možnosti apolitizace versus využití ESF pro zlepšení fungování prostředí veřejné správy potřebné Různé analytické náměty pro přípravu OP v novém období pro přípravu výzev, meziresortní spolupráci 2. polovina roku 2012 nelze dopředu zcela odhadnout, bude záležet na požadovaných potřebné Různé analytické náměty pro přípravu OP namátkově lze zmínit 1)pro přípravu nového OP 2)pro v roce 2013 úpravách současného systému, nicméně lze identifikovat dvě zkušenosti s implementací nastavení systému implementace hlavní kategorie potřebných výstupů - pro přípravu budoucího OP , územní nového OP a pro nastavení implementace budoucího OP (načasování by mělo dimenzi nového OP, být postupné - nejprve OP, pak manuál a příručky) případné využití finančních nástrojů, nastavení systému a provázání s cíli OP, vyhodnocení naplňování ex-ante kondicionalit, apod. Pokud se týká evaluací využitelných pro tvorbu manuálu a příruček, zde bude potřeba známa až po definování požadovaných změn současného systému, rovněž není třeba, aby existovaly dříve než výstupy pro tvorbu OP. Petr Chuděj Ex-ante hodnocení viz návrh obecného nařízení, čl. 48 (3) body a-m zcela nezbytné Ex-ante evaluace programu / ů ESF pro období Zhodnocení nástrojů pro zlepšení fungování veřejné správy možnosti zaměření na reformu veřejné správy, sjednocení různých analýz, nedokončených a neuskutečněných reforem zcela nezbytné Ex-ante evaluace programu / ů ESF pro období k předložení OP Komisi 2. polovina roku viz nový úkol 2 2. polovina roku 2012 Navržené evaluační nástroje Dúkladná analýza, kombinující dotazníkové šetření, fokusní skupiny i analýzu dostupných do ne, preferuji kvalitní výstupy ne, preferuji kvalitní výstupy 16

17 Tabulka 3: Přehled dílčích výstupů v rámci jednotlivých evaluačních úkolů: Otázky Výstup Zpracování Naplňování hodnot programu (indikátory obsažené v PD) Podkladová data zatím nebyla zpracovateli poskytnuta. Data ba měla být k dispozici Vyhodnocení příčin případného nedostatečného/nadměrného plnění (vyhodnocení bariér pro plnění, zhodnocení zaměření výzev, plnění doporučení ze strategie VPŘED) Vyhodnocení potenciálu naplnění doposavad nedostatečně plněných programu na základě stávajícího zásobníku projektů a s ohledem na vyčerpané prostředky programu Regionální analýza naplňování Kvalitativní zhodnocení naplňování cílů na úrovni programu a prioritních os 1 až 5, a to s ohledem na cíle stanovené v OP LZZ, tak s ohledem na kontext programu (návaznost při řešení evaluační otázky a 1.1.3) Vstup do Výroční zprávy OP LZZ 2011 zahrnující i výstupy z řešení dalších evaluačních otázek tohoto úkolu (5 str.) Doporučení projednaná s jejich adresátem Strukturovaný souhrn cílů, doporučení a směrů jednotlivých relevantních strategických dokumentů Zhodnocení naplňování cílů, úkolů, doporučení a směrů strategických dokumentů intervencemi realizovanými v rámci OP LZZ Doporučení projednaná s jejich adresátem Strukturovaný souhrn vyhodnocení relevance horizontálních cílů pro jednotlivé oblasti OP LZZ Zhodnocení naplňování horizontálních cílů v rámci OP LZZ prostřednictvím realizovaných intervencí Doporučení projednaná s jejich adresátem Bude zpracováno po Bude zpracováno po Tento úkol byl modifikován. Regionální aspekty budou vyhodnoceny jen u specifických výzev PO 1 Bude zpracováno po Bude zpracováno po Bude realizováno po Předběžně zpracováno, bude dopracováno po obdržení dat o plnění Předběžně zpracováno, bude dopracováno po obdržení dat o plnění Bude realizováno po Bude zpracováno po Bude zpracováno po Bude realizováno po Analýza socioekonomické situace oblastí relevantních pro OP LZZ Předběžně zpracováno, bude dopracováno po obdržení dat o plnění 17

18 Otázky Výstup Zpracování Vyhodnocení změn v socioekonomickém vývoji z hlediska relevance nastavení OP LZZ na úrovni programu, prioritních os a vyhlašovaných výzev Předběžně zpracováno, bude dopracováno po obdržení dat o plnění Doporučení projednaná s jejich adresátem Bude realizováno po Analýza změn priorit relevantních pro OP LZZ Předběžně zpracováno, bude dopracováno po obdržení dat o plnění Vyhodnocení relevance změn priorit pro nastavení OP LZZ na úrovni programu, prioritních os a vyhlašovaných výzev Doporučení projednaná s jejich adresátem Předběžně zpracováno, bude dopracováno po obdržení dat o plnění Bude realizováno po Strukturovaný souhrn obtíží s prováděním programu Předběžně zpracováno, bude dopracováno po obdržení dat o plnění Doporučení projednaná s jejich adresátem Bude realizováno po 1.3 Bude realizováno po Doporučení projednaná s jejich adresátem 2.1 Specifikace role a použití metody případových studií za účely ROV 2011, včetně podmínek její úspěšné aplikace Definice úspěšného projektu (kritérií) Metodika výběru případových studií Návrh typu a struktury případové studie * Popis způsobu hodnocení výsledků projektu * Metodika/postupy aplikace a využití dobrých a špatných praxí na Bude zpracováno po druhé úrovni oblastí podpory vlně případových studií 2.2 Širší databáze projektů Finální výběr 21 projektů pro případové studie * Zpracované případové studie Zpracována první vlna případových studií Fotodokumentace Plánovaná na březen / duben ve druhé vlně Listy dobré/špatné praxe Zpracovávání listů za první vlnu Definování podmínek pro dosažení dobré praxe (fungování) a Bude zpracováno po druhé nefungování projektů vlně případových studií 18

19 Otázky Výstup Zpracování expertíz (každá v rozsahu min. 3 stran A4) Bude zpracováno po druhé vlně případových studií Návrh doporučení Bude zpracováno po druhé vlně případových studií 3.1 Metodika zjišťování spokojenosti klientů: * - vymezené okruhy a aspekty spokojenosti - nastavení způsobu výpočtu indikátoru - vymezení rozsahu výstupů - návrh komunikační strategie šetření Dotazník pro zjišťování spokojenosti klientů * Realizované dotazníkové šetření v prostředí LimeSurvey Bude provedeno začátkem března Vyhodnocení dotazníkového šetření Bude provedeno po skončení dotazníku Vypočtený indikátor spokojenosti klientů Bude provedeno po skončení dotazníku 3.2 Výstupy a vyhodnocení dotazníkového šetření Vyhodnocení predikce evaluačních potřeb Znalost práce a využívání dotazníkového prostředí LimeSurvey vybranými pracovníky zadavatele *takto označené výstupy budou dále revidovány na základě finálních výstupů z řešení příslušných dílčích evaluačních úkolů/otázek (v souladu s příslušnými částmi ToR). Finální podoba metodických materiálů bude obsahem závěrečné evaluační zprávy. 19

20 5.3 Vymezení vybraných metod Metoda Dotazníkové šetření Seminář k LimeSurvey Workshopy Přibližný počet 2 1 (příp. 2) 2 Specifikace 1x v rámci úkolu 3.1 na příjemce/žadatele a 1x v rámci úkolu 3.2 na pracovníky implementační struktury V rámci 3.1 a 3.2 2x v rámci úkolu č , 2x v rámci 2.2.2, 1x pro konzultaci doporučení v závěru projektu Splněno? (realizace 2. workshopu plánována na konec dubna) Expertní panel 1 V rámci úkolu 1 Naplánován bude dle potřeby Individuální rozhovory s příjemci podpory 21 V rámci úkolu č. 2.1 (zpracovány rozhovory pro 9 oblastí podpor) Evaluační návštěvy Fokusní skupiny Ad-hoc konzultace 21 V rámci úkolu č. 2.1 (návštěvy 9 projektů) Dle potřeby Dle potřeby Dle charakteru projektů vybraných pro případové studie V rámci všech evaluačních úkolů Prozatím nebylo potřeba realizovat Probíhají nepravidelně 20

21 Přílohy 21

22 Příloha 1 Metodika výběru případových studií Viz samostatný dokument Příloha 2 Struktura případové studie pro příklad dobré praxe Viz samostatný dokument Příloha 3 Struktura případové studie pro publicitu Viz samostatný dokument Příloha 4 Užší pool projektů vybraných pro případové studie 4 Viz samostatný dokument Příloha 5 Znění dotazníkového šetření v rámci úkolu 3.1 Viz samostatný dokument Příloha 6 Výsledky dotazníkového šetření úkolu 3.2 Viz samostatný dokument Příloha 7 Program koordinačního workshopu ze dne Viz samostatný dokument 4 Užší pool projektů bude v závěru realizace doplněn o informace o průběhu finálního výběru projektů. 22