Vstupní zpráva. PODPORUJEME VAŠI BUDOUCNOST

Transkript

1 ROČNÍ OPERAČNÍ VYHODNOCENÍ OPLZZ 2012 Vstupní zpráva PODPORUJEME VAŠI BUDOUCNOST

2 IREAS centrum, s. r. o. Mařákova 292/ Praha 6 Česká republika Verze prosince

3 OBSAH SEZNAM ZKRATEK... 4 ÚVOD... 5 PŘEDSTAVENÍ ŘEŠITELSKÉHO TÝMU... 5 SYSTÉM ŘÍZENÍ ZAKÁZKY... 6 ÚVOD A CÍLE ZAKÁZKY... 9 ŘEŠENÍ JEDNOTLIVÝCH EVALUAČNÍCH ÚKOLŮ EVALUAČNÍ ÚKOL ŘEŠENÍ DÍLČÍCH EVALUAČNÍCH OTÁZEK ÚKOLU EQ 1.1: Jakého bylo v roce 2012 dosaženo pokroku ve vztahu k plánovaným hodnotám monitorovacích indikátorů, včetně tzv. Lisabonských indikátorů? EQ 1.2: Jakého bylo v roce 2012 dosaženo pokroku ve vztahu k naplňování obecných cílů politiky soudržnosti, úkolů ESF, Strategických obecných zásad společenství a NSRR, horizontálních témat EU a cílů EU pro růst a zaměstnanost, příp. dalších aktuálních strategických cílů na úrovni ČR a EU? EQ 1.3: Došlo v roce 2012 k odklonu od původně stanovených cílů programu tak, že by musela být provedena kore kce na úrovni operačního programu, programových priorit či vyhlašovaných výzev, v důsledku významných socioekonomických změn, zejména v oblasti dlouhodobé nezaměstnanosti, rovnosti mužů a žen, snižování rozdílů mezi regiony a absorpční kapacity v problémových regionech apod. nebo potřeby ve větší míře nebo odlišným způsobem zohlednit významné změny priorit Společenství anebo celostátních nebo regionálních priorit nebo obtíží při provádění? Dále, v případě, že k odklonu došlo, co doporučujete pro řešení nastalé situace? EVALUAČNÍ ÚKOL ŘEŠENÍ DÍLČÍCH EVALUAČNÍCH OTÁZEK ÚKOLU EQ 2.1 Jak hodnotíte konkrétní dosažené výsledky a) jednotlivě u každého z projektů b) souhrnně ve všech hodnocených projektech a skupinách tematicky blízkých projektů? EQ 2.2 Jak hodnotíte míru implicitní/explicitní (ne)přítomnosti a funkčnosti projektové teorie změny jednotlivě u každého z projektů? Které konkrétní oblasti, prvky a kauzální vazby teorie změny považujete za nejvíce problematické nebo naopak nejvíce funkční a) jednotlivě u každého z projektů b) souhrnně ve všech hodnocených projektech a skupinách tematicky blízkých projektů? EQ 2.3 Jaké případně navrhujete úpravy metodologie pro evaluaci věcn ých výsledků vybraných projektů, která byla zpracována v rámci ROV 2011? EQ 2.4 Jak hodnotíte výsledky aplikace metodologie upravené na základě výstupů z řešení EQ 2.2 ve srovnání s původní metodologií zpracovanou v ROV 2011? EQ 2.5 U kterých z hodnocených projektů je případně vhodné provést došetření jejich výsledků v další evaluaci? EVALUAČNÍ ÚKOL ŘEŠENÍ DÍLČÍCH EVALUAČNÍCH OTÁZEK ÚKOLU EQ 3.1: Jak hodnotíte dosažené výstup y a výsledky projektů osy 5 a zejména míru přínosu vytvořených/do ČR adaptovaných/otestovaných/zavedených inovací? EQ 3.3: Jaký je vliv implementace principů inovativnosti a partnerství na dosažené výstupy a výsledky projektů v ose EQ 3.3 a) Vliv implementace principu inovativnosti na dosažené výstupy a výsledky EQ 3.3 b) Vliv implementace principu partnerství na dosažené výstupy a výsledky EQ 3.2: Jaké jsou možnosti využití konkrétních výstupů/produktů/inovací projektů osy 5, zejména jejich možného uplatnění v rámci mainstreamových (neinovativních) projektů ESF POPIS PRŮBĚŽNÝCH A FINÁLNÍCH VÝSTUPŮ Z AKTIVIT HARMONOGRAM AKTIVIT

4 Seznam zkratek Zkratka Význam zkratky ČR Česká republika ČSSZ Česká správa sociálního zabezpečení ČSÚ Český statistický úřad IS Informační systém EK Evropská komise ESF Evropský sociální fond EU Evropská unie MSSF Monitorovací systém strukturálních fondů OP Operační program OP LZZ Operační program Lidské zdroje a zaměstnanost PO Prioritní osa ROV Roční operační vyhodnocení RLZ Rozvoj lidských zdrojů ŘO Řídící orgán SF Strukturální fondy 4

5 ÚVOD Tento dokument představuje Vstupní zprávu, která byla vytvořena v rámci realizace projektu Roční operační vyhodnocení OP LZZ Hlavním cílem této vstupní zprávy je představit řešitelský tým a zapojení jeho jednotlivých expertů, časový harmonogram jednotlivých kroků, evaluační design tohoto projektu a především detailní metodologii řešení jednotlivých evaluačních otázek. Vstupní zpráva se zaměřuje na praktické aspekty řešení evaluace. Zejména podrobněji rozebírá metodiku řešení jednotlivých evaluačních úkolů s ohledem na situaci v počáteční fázi projektu. PŘEDSTAVENÍ ŘEŠITELSKÉHO TÝMU K realizaci projektu byl vytvořen tým specialistů, kteří splňují vysoké požadavky na odbornost a znalosti v oblasti řešení této zakázky. Především lze zdůraznit vhodnou kombinaci klíčových zkušeností odborníků v řešitelském týmu a jejich znalostí požadovaných pro úspěšné splnění zakázky. V řešitelském týmu proto jsou: Evaluátoři s praktickou znalostí OP LZZ, kteří zpracovali ROV OP LZZ Experti se znalostí jednotlivých témat. Expert/sociolog s rozsáhlou znalostí a dlouhodobou praxí v sociologii a sociologických výzkumech, který se bude podílet na zpracování evaluačního úkolu 2. Domníváme se, že právě tyto tři roviny pohledů a zkušeností jsou klíčové pro úspěšné splnění zakázky. Tým je jazykově velmi dobře vybaven, zná potřebnou terminologii a je tudíž schopen poskytovat výstupy v českém i anglickém jazyce, resp. revidovat odbornou terminologii v anglické verzi závěrečné zprávy. Vedením projektu byl pověřen Ing. Petr Fanta Ph.D. (PF), který odpovídá na straně řešitelského týmu za celkovou realizaci projektu, koordinuje aktivity jednotlivých členů týmu a deleguje odpovědnost v projektu dle aktuálních potřeb a specializace jednotlivých členů realizačního týmu. Zástupci vedoucího projektu jsou RNDr. Viktor Květoň, Ph.D. (VK) a Ing. Martin Pělucha, Ph.D. (MP). Odborní experti řešitelského týmu IREAS (abecední pořadí): Bc. Klára Coubalová (KC) administrativní podpora projektu Ing. Petr Fanta, Ph.D. (PF) senior evaluátor, vedoucí projektu, garant úkolu 2 5

6 RNDr. Viktor Květoň, Ph.D. (VK) senior evaluátor, garant úkolu 1 Ing. Emil Machálek, CSc. (EM) senior evaluátor Ing. Martin Pělucha, Ph.D. (MP) senior evaluátor, garant úkolu 3 Ing. Oto Potluka, Ph.D. (OP) senior evaluátor Mgr. Jiří Remr, Ph.D. (JR) senior evaluátor, sociolog Bc. Martin Špaček (MŠ) IT specialista, zkušenosti s MONIT7+ SYSTÉM ŘÍZENÍ ZAKÁZKY Zakázka je řízena v souladu s principy projektového řízení s využitím osvědčených metod projektového plánování a řízení. Realizační tým projektu Řízením projektu byl pověřen Petr Fanta, který zodpovídá za celkovou realizaci projektu, včetně komunikace se zadavatelem. Zastupováním manažera byli pověřeni Viktor Květoň a Martin Pělucha. Tento užší realizační tým (manažer + zástupci) bude řídit a koordinovat veškeré aktivity v projektu. Užší realizační tým se bude pravidelně jednou týdně scházet a operativně řešit aktivity projektu. Schůzky budou probíhat buď fyzicky v kanceláři zpracovatele nebo virtuálně prostřednictvím Skypu. 6

7 Realizační tým projektu je dále členěn dle jednotlivých evaluačních úkolů. Garantem každého evaluačního úkolu je expert, který je současně členem užšího realizačního týmu. Tím je zajištěno plynulé a efektivní předávání informací manažerovi projektu. Každý evaluační úkol bude vedle garanta řešit jeden senior expert /evaluátor. V případě úkolu 2 se bude jednat o sociologa. Každý tým pak bude doplněn junior expertem (Martin Špaček) a administrativní podporou (Klára Coubalová). Koordinace řešení projektu bude probíhat / již probíhá primárně na schůzkách týmu. Na jednotlivých schůzkách budou (jsou) řešeny příslušné otázky. Schůzky realizačního týmu se zadavatelem (na začátku projektu a dále dle potřeby): Upřesnění metodiky Odsouhlasení formy výstupu Prezentace dílčích výsledků Dohodnutí způsobu informování zadavatele o průběhu projektu Schůzky realizačního týmu (zhruba jednou za měsíc): Upřesnění celkové metodiky Informace o postupu prací a dosahování výstupů Řešení otázek souvisejících s celkovým řešením formální i věcné podoby výstupů Řešení problémů a odchylek vzniklých v průběhu řešení projektu Schůzky užšího realizačního týmu (pravidelně každý týden): Kontrola a zhodnocení aktuálního průběhu realizace projektu Aktualizace celkové metodiky Příprava informací pro zadavatele o průběhu projektu Řešení případných odchylek od plánu Zhodnocení výstupů Schůzky řešitelských týmů k jednotlivým úkolům (průběžně dle potřeby a stavu řešení): Koordinace aktivit Upřesnění detailní metodiky pro řešení jednotlivých úkolů Věcné řešení a diskuse výsledků Příprava a koordinace zpráv a výstupů. Z jednotlivých schůzek budou písemně zaznamenávány vzniklé úkoly, a to ve struktuře: úkol, odpovědná osoba, termín splnění. Na následných schůzkách bude kontrolován průběh řešení a plnění úkolu. 7

8 Evaluační úkol 3 Evaluační úkol 2 Evaluační úkol 1 Detailní kalkulace na práci jednotlivých členů týmu (dle člověkodnů) a dle jednotlivých evaluačních otázek EVALUAČNÍ OTÁZKA PF VK EM MP OP JR KC MŠ Celkem evaluační otázka evaluační otázka evaluační otázka evaluační otázka evaluační otázka evaluační otázka evaluační otázka evaluační otázka evaluační otázka evaluační otázka evaluační otázka Celkem

9 ÚVOD A CÍLE ZAKÁZKY Způsob navrženého řešení projektu odpovídá zadávací dokumentaci a návrhu projektu, který však řešitelský tým rozvíjí o detailní metodické postupy, které přispějí k vyšší využitelnosti výsledků na úrovni ŘO OP LZZ. Přidaná hodnota navrženého řešení oproti návrhu projektu spočívá zejména v: metodologickém upřesnění evaluačních otázek, kde sestavený řešitelský tým prokazuje svoji znalost tématu a rozvádí aktivity a postup při řešení jednotlivých otázek, znalosti současného dění, které se týká monitorovacích indikátorů OP LZZ a průběžného plnění Projekt Roční operační vyhodnocení OP LZZ 2012 vyplývá z požadavku na průběžnou evaluaci OPLZZ. Evaluace se zaměřuje na celkové zhodnocení postupu programu, stejně jako na detailní hloubkovou analýzu vybraných projektů zpracovávanou formou případových studií. Evaluační úkol č. 1 je zaměřen na posouzení celkového pokroku a aktuálního stavu monitorovacích indikátorů, včetně interpretace hodnot a zjištění hlavních trendů vývoje. Důležitou součástí tohoto úkolu bude i odhad dalšího vývoje a identifikace případných slabých míst, kde je třeba pokrok programu akcelerovat či upravit. Evaluační úkol č. 2 se zaměřuje na hloubkovou analýzu vybraných realizovaných projektů. Nad rámec zadávací dokumentace budou do analýzy zahrnuty i případové studie na příklady špatné praxe. Evaluační úkol 3 je potom zaměřen na výstupy a výsledky projektů v rámci prioritní osy 5, včetně zhodnocení vlivu implementace principů inovativnosti a partnerství na tyto výstupy a výsledky. 9

10 Výchozí situace Vstupy Aktivity Výstupy Výsledky Dopady Desk research dat z MONIT7+ Potřeba vyhodnotit aktuální vývoj realizace OP LZZ v roce Potřeba reagovat na aktuální vývoj a navrhnout případné úpravy programu Evaluační tým Doba realizace od října 2012 do června 2013 Technické vybavení Data z IS MONIT7+ Realizace a vyhodnocení dotazníkového šetření Řízené rozhovory s KP Diskusní workshopy QCA analýza Vstupní zpráva Podklad do Výroční zprávy OP LZZ Závěrečná zpráva projektu Informace o postupu realizace programu Konkrétní a realizovatelná doporučení pro zlepšení fungování programu Kvalitně řízený a realizovaný OP LZZ vedoucí ke splnění stanovených cílů Syntéza závěrů 10

11 ŘEŠENÍ JEDNOTLIVÝCH EVALUAČNÍCH ÚKOLŮ EVALUAČNÍ ÚKOL 1 Smyslem evaluačního úkolu 1 je provést vyhodonocení věcného pokroku na úrovni celého programu a ve všech prioritních osách kromě prioritní osy Technická pomoc (resp. oblastech podpory). Věcný pokrok bude posuzován ve vztahu k: Původně stanoveným cílům programu Socio-ekonomickému a politickému vývoji v ČR a naplňování strategických cílů na úrovni ČR a EU Hodnocení finančního pokroku do VZ provádí zadavatel a evaluační vstup zde není požadován. Po konzultaci se zadavatelem bude hodnocení finančního pokroku řešeno dle další dohody (připomínkování či doplnění vstupů zpracovaných zadavatelem). V metodickém rozpracování jednotlivých EQ (viz níže) je proto kladen důraz výhradně na věcný pokrok. Výsledky analýzy dat věcného monitoringu budou zpracovány tak, aby byly jednoduše použitelné jako vstup pro VZ OP LZZ. Dle zadávací dokumentace se bude jednat o aktualizaci příslušných tabulek a komentářů VZ OP LZZ. Současně budou analýzy směřovat k relevantním a pragmatickým doporučením a odpovědím na otázku, zda dochází k odklonu od původně stanovených cílů programu tak, že by musela být provedena korekce na úrovni operačního programu, programových priorit či vyhlašovaných výzev. V rámci evaluačního úkolu 1 budou zpracovány podklady pro Výroční zprávu OP LZZ a bude odpovězeno na následující otázky vycházející z ToR: EQ 2 1.1: Jakého bylo v roce 2012 dosaženo pokroku ve vztahu k plánovaným hodnotám monitorovacích indikátorů, včetně tzv. Lisabonských indikátorů? EQ 1.2: Jakého bylo v roce 2012 dosaženo pokroku ve vztahu k naplňování obecných cílů politiky soudržnosti, úkolů ESF, Strategických obecných zásad společenství a NSRR, horizontálních témat EU a cílů EU pro růst a zaměstnanost, příp. dalších aktuálních strategických cílů na úrovni ČR a EU? EQ 1.3: Došlo v roce 2012 k odklonu od původně stanovených cílů programu tak, že by musela být provedena korekce na úrovni operačního programu, programových priorit či vyhlašovaných výzev, v důsledku významných socioekonomických změn, zejména v oblasti dlouhodobé nezaměstnanosti, rovnosti mužů a žen, snižování rozdílů mezi regiony a absorpční kapacity v problémových regionech apod. nebo potřeby ve větší míře nebo 1 Metodická poznámka: Podklady do VZ budou zpracovány formou aktualizace příslušných oddílů ve VZ za rok Součástí zpracovaných podkladů bude i samostatné posouzení potřeby případných realokací finančních prostředků na úrovni jednotlivých oblastí podpory. 2 Evaluation question, tj. evaluační otázka 11

12 odlišným způsobem zohlednit významné změny priorit Společenství anebo celostátních nebo regionálních priorit nebo obtíží při provádění? Dále, v případě, že k odklonu došlo, co doporučujete pro řešení nastalé situace? ŘEŠENÍ DÍLČÍCH EVALUAČNÍCH OTÁZEK ÚKOLU 1 EQ 1.1: JAKÉHO BYLO V ROCE 2012 DOSAŽENO POKROKU VE VZTAHU K PLÁNOVANÝM HODNOTÁM MONITOROVACÍCH INDIKÁTORŮ, VČETNĚ TZV. LISABONSKÝCH INDIKÁTORŮ? V rámci EQ 1.1 lze rozlišit dvě základní roviny hodnocení, které jsou níže rozpracovány: Hodnocení věcného pokroku OP LZZ Analýza podmínek a příčin zjištěného stavu monitorovacích indikátorů (včetně kategorizace nejčastějšího zaměření a výstupů i výsledků projektů) A. Hodnocení věcného pokroku OP LZZ V rámci této části evaluačního úkolu 1 budou zpracovány podklady do VZ formou aktualizace příslušných oddílů ve VZ za rok 2011, tj. v přibližně obdobné struktuře a rozsahu (pokud nebude se zadavatelem dohodnuto jinak). Přesná specifikace požadovaných vstupů bude dle dohody se zadavatelem zaslána v nejbližší době. Řešitelský tým bude v této části vycházet primárně z dat monitorovacího systému OP LZZ. Konkrétně se bude evaluace v rámci této části úkolu 1 soustředit na sledování dynamiky naplňování jednotlivých indikátorů výsledků a výstupů, identifikaci silných a slabých míst naplňování indikátorů, vytipování problematických oblastí, kde hrozí možné nesplnění plánovaných cílových hodnot. Hodnocení bude provedeno na následujících úrovních: Úroveň programu a prioritních os (všechny PO kromě PO Technická pomoc) Tady bude pozornost zaměřena výhradně na hodnocení věcného ve vztahu k plánovaným výstupům, výsledkům a dopadům (tj. plánovaným hodnotám monitorovacích indikátorů). Zpracovatel bude pracovat se zaslanou databází, která bude jednotně vygenerována zadavatelem z monitorovacího systému. Všechny výpočty a hodnocení věcného 12

13 pokroku se tak budou vztahovat k jednotnému datu (počátek ledna). Datum bude ještě upřesněno. U každého indikátoru (který bude součástí požadavku zadavatele na zpracovatele) bude sledována zejména počáteční hodnota indikátoru, cílová hodnota indikátoru, závazek příjemce a dosažená hodnota indikátoru. Výsledkem bude statické i dynamické pojetí naplňování vybraných indikátorů. Jako statické pojetí považujeme aktuální naplnění indikátoru ve vztahu k cílové hodnotě (jedná se o procentuální vyjádření dosažené hodnoty). Jako příklad dynamického hodnocení považujeme vypočítání indexu změny. o Index změny vyjadřujíce dynamiku nárůstu vybraných indikátorů v jednotlivých letech. Hlavní důraz bude kladen na pokrok mezi rokem 2011 a 2012 resp. počátek období / současnost. Ve výsledku tedy bude patrné, jestli se naplňování indikátoru meziročně zrychluje nebo zpomaluje. Tato skutečnost může hrát důležitou roli v prognoze (ne)naplněnosti vybraných indikátorů na konci programovacího období. Výsledky pro výroční zprávu budou v tabulkové i grafické podobě včetně detailních komentářů interpretujících dosažený pokrok. Úroveň jednotlivých oblastí podpory Pro každou oblast podpory bude provedeno hodnocení z pohledu: A) Dosaženého administrativního pokroku při administraci výzev vyhlášených v předchozím roce hodnocení a otevřených až do roku 2012 a výzev nově vyhlášených v roce B) Dosaženého finančního pokroku. Pozn. Dle vyjádření zadavatele bude část A) a B) ještě dále upřesněna na základě vyjednávání s MMR ohledně nutnosti tyto části ve VZ uvádět. C) Nejčastějšího zaměření a výstupů a výsledků projektů a identifikace dosud projektově nepokrytých témat, které by byly žádoucí z pohledu plnění cílů programu Hlavní pozornost bude zaměřena na nejčastější zaměření výstupů a výsledků, což je rozpracováno níže. S ohledem na pravděpodobně malý počet budoucích výzev nebude kladen příliš velký důraz na identifikaci dosud nepokrytých témat. 13

14 B. Analýza podmínek a příčin zjištěného stavu monitorovacích indikátorů V druhé části evaluačního úkolu 1 předpokládáme zpracování podpůrných analýz, které mohou napomoci s hodnocením věcného pokroku a kvalitativně posunou VZ dále. Jedná se o následující hodnocení: Analýza podmínek a příčin zjištěného stavu monitorovacích indikátorů Kategorizace nejčastějšího zaměření výstupů a výsledků projektů Řešitelé se zaměří na analýzu podmínek a příčin zjištěného stavu monitorovacích indikátorů. Cílem této části řešení bude zjistit kvalitativní, případně kvantitativní důvody ne/naplněnosti vybraných, zejména problémových indikátorů. Smyslem tohoto hodnocení bude stanovit faktory vedoucích k dosažení cílových hodnot (splnění indikátorů) a naopak identifikovat bariéry, které úspěšné dosažení cílů znemožňují či komplikují. Výstupem této části budou konkrétní a realizovatelná doporučení vedoucí ke zlepšení pokroku naplňování cílů OP LZZ. Z metodologického hlediska předpokládáme využít kvalitativní i kvantitativní přístupy hodnocení. Zdrojem kvalitativních informací pro závěry a doporučení budou zejména data z dotazníkového šetření a řízených rozhovorů s příjemci podpory. V rámci terénních šetření nutných pro zpracování případových studií (evaluační úkol 2) předpokládáme část rozhovoru věnovat také naplnění monitorovacích indikátorů včetně vypovídací schopnosti indikátorů a problémů či bariér při jejich naplňování. Kromě řízených rozhovorů bude po dohodě se zadavatelem provedeno také dotazníkové šetření. Řešitelský tým chce v této části kvalitativního hodnocení navázat na již provedené dotazníkové průzkumy zaměřené na nastavení indikátorové soustavy (zejména na Evaluaci ve vazbě na monitoring vyhodnocení indikátorové soustavy OP LZZ (DHV 2009)). Vycházíme ze skutečnosti, že toto prvotní šetření bylo realizováno v době, kdy většina projektů byla v realizaci a proto má smysl sledovat vývoj a proměnu vnímání na monitorovací indikátory po dalších dvou letech. Řešitelský tým je seznámen s obsahem evaluace indikátorové soustavy a navrhuje částečně na tuto studii navázat (a tím bude možné porovnat výsledky a změnu postoje příjemců) a částečně bude možné zařadit nové otázky a kvalitativně posunout hodnocení dále. Z hlediska vzorku respondentů navrhujeme provést průzkum na projektech se stavem P5, P6, P7 a P8. Jedná se o všechny stavy ukončených projektů a lze očekávat určitý odstup realizátorů na danou problematiku (na rozdíl od často velmi emotivních a někdy i negativních odpovědí od příjemců, kteří aktuálně realizují projekt). 14

15 V souvislosti s navrženými otázkami lze formulovat několik klíčových hypotéz (resp. odborných otázek), k jejichž ověření a zodpovězení by měl dotazník přispět. Jedná se zejména o: Do jaké míry se podařilo příjemcům dotace vhodně kvantifikovat cílové hodnoty indikátorů? Odrazil se tlak na splnění indikátorů v kvalitě realizovaného projektu? Jak časově a organizačně náročný byl monitoring indikátorů v projektu (nyní s odstupem času a po ukončení projektu)? Jaké faktory hrály nejvýznamnější roli při (ne)naplňování indikátorů? V jakém indikátoru příjemci vidí zpětně největší problém s naplněním (odpovídá pohled příjemců dotace problémovým indikátorům OP LZZ, jejichž cílové hodnoty musely být ze strany ŘO snižovány)? Do jaké míry byly hodnoty monitorovacích indikátorů z Vaší strany vhodně nastaveny? (prosíme o zpětné posouzení nyní, když je Váš projekt ukončen). Pozn. bude hodnoceno na škále Naplnění, kterého indikátoru pro Vás bylo nejproblematičtější? (pozn. budou uvedeny povinné indikátory a respondenti ohodnotí problémovost na škále 1-10) Byl některý z indikátorů, který se vztahoval k vašemu projektu, podle vás zbytečný? (prosím, uveďte) Když se zamyslíte nad všemi (zamýšlenými i nezamýšlenými) výstupy a výsledky vašeho projektu, které z nich nebyly uvedeny mezi povinnými indikátory? (tj. co by bylo vhodné monitorovat např. v období a nebylo to monitorované) Do jaké míry způsobila nutnost splnit hodnoty ukazatelů tlak na méně kvalitní výsledky projektu? (prosím, ohodnoťte na škále 1 10, kde 1 = naplňování indikátorů nezpůsobovalo žádný tlak na kvalitu projektu, 10 = kvůli nutnosti naplnit indikátoru jsme museli snížit kvalitu projektu) Pokuste se prosím zpětně ohodnotit, kolik času, organizačního úsilí a peněz pro vás znamenalo sledování a vyhodnocování indikátorů ve Vašem projektu? (prosím, ohodnoťte na škále 1 10, kde 1 = celkově málo času a úsilí, 10 = velmi mnoho úsilí a času bylo nutné věnovat) Když se zpětně podíváte na Váš projekt, pokuste se vyhodnotit, jaké faktory hrály nejvýznamnější roli pro (ne)naplňování indikátorů v projektu? Pozn. budou definovány externí a interní faktory (přeceněné možnosti a nevhodná kvantifikace indikátoru, změna v poptávce cílové skupiny, ekonomická krize v Česku, neporozumění definici indikátoru aj.) a kvantifikace bude provedena na škále 1-10) Analýza podmínek a příčin bude provedena také další metodou QCA analýzou (kvalitativní komparativní analýzou). Řešitelský tým zaměří pozornost na stanovení kauzálních řetězců vedoucích k (ne)dosažení výsledků. Cílem bude zjistit, jaká kombinace podmínek a faktorů (nezávisle proměnných) (ne)vede k dosažení plánovaných hodnot vybraného indikátorů. Evaluátor plánuje využít QCA analýzu pro stanovení kombinace příčin u vybraného problémového indikátoru. Dle předběžné analýzy a komunikace se zadavatelem může být 15

16 předmětem QCA analýzy např. indikátor Počet nově vytvořených pracovních míst pro znevýhodněné skupiny (ženy), u něhož musela být snížena cílová hodnota z 3000 na 1000, či jiný MI. Po dohodě se Zadavatelem může být vybrán pro QCA i jiný indikátor. V neposlední řadě bude provedena analýza zaměřená na kategorizaci nejčastějšího zaměření a výstupů i výsledků projektů. Metodicky bude toto provedeno zejména prostřednictvím krátkého dotazníkového šetření, kde respondenty budou zástupci vyhlašovatelů výzev (projektoví manažeři u jednotlivých PO). Na základě dalšího vývoje necháváme otevřenou otázku detailní desk research analýzy projektů v rámci vybrané výzvy OP LZZ. Další postup bude upřesněn v rámci koordinace aktivit se zadavatelem. EQ 1.2: JAKÉHO BYLO V ROCE 2012 DOSAŽENO POKROKU VE VZTAHU K NAPLŇOVÁNÍ OBECNÝCH CÍLŮ POLITIKY SOUDRŽNOSTI, ÚKOLŮ ESF, STRATEGICKÝCH OBECNÝCH ZÁSAD SPOLEČENSTVÍ A NSRR, HORIZONTÁLNÍCH TÉMAT EU A CÍLŮ EU PRO RŮST A ZAMĚSTNANOST, PŘÍP. DALŠÍCH AKTUÁLNÍCH STRATEGICKÝCH CÍLŮ NA ÚROVNI ČR A EU? V rámci této evaluační otázky bude využita metodika z roku 2012, kterou zástupci ŘO OP LZZ hodnotili přínos OP LZZ a poskytli vstup do strategické zprávy MMR. Tato metodika zahrnuje následující kroky: 1. Identifikace aktuálních strategických cílů a opatření (aktivit) pro danou oblast v relevantních aktuálních dokumentech (Národní program reforem, směry hospodářských politik a směry zaměstnanosti, Specifická doporučení rady, 5. Kohezní zpráva). 2. Identifikace vazeb jednotlivých oblastí podpory OP LZZ k cílům určeným v ad 1) dle OPLZZ (s , kap. 3.8) 3. Popis opatření (aktivit) v jednotlivých PO / oblastech podpory a kvantifikace vstupů (alokované a vyčerpané prostředky), výstupů (podpořené osoby) a výsledků (počet nově vytvořených pracovních míst) dle aktuálních dosažených hodnot MI v relevantním členění na jednotlivé CS jako evidence přínosu OP LZZ a jeho rozsahu pro jednotlivé cíle NPR. 4. Odhad možného vlivu OP LZZ na aktuální vývoj hodnot ukazatelů kvantifikující strategické cíle. 5. Souhrnné zhodnocení samostatně pro oblast zaměstnanosti, sociálního začleňování a modernizaci veřejné správy (uvedeno v úvodu příslušné části). 16

17 Výše uvedený metodický postup byl již aplikován v roce Zejména bod 4, tj. kvantifikace přínosu vlivu OP LZZ na aktuální vývoj může být problematický. Nicméně z časových důvodů není možné provádět detailní ekonometrickou analýzu, která by mohla odhalit reálný přínos OP LZZ. Proto bude proveden expertní odhad na základě reálných výstupů a výsledků na úrovni jednotlivých PO (podobně, jako to bylo provedeno v roce 2011). Řešitelský tým bude v této části vycházet primárně ze zjištěných výsledků pokroku v naplňování monitorovacích indikátorů výstupu a výsledku OP LZZ. Součástí bude také hodnocení příspěvku OP LZZ k plnění cílů Evropa Oficiální zadání bude upřesněno zadavatelem na základě detailních informací a požadavků EK. Na základě srovnání socioekonomické situace v ČR a jejího vývoje v čase můžeme určit, zda jsou stanovené cíle programu aktuální a reagují na potřeby regionálních trhů práce a odpovídají strategickým cílům v ČR a EU. Podle toho pak můžeme doporučit případné korekce na různých úrovních. Evaluační otázka bude doplněna komentářem zjištěného pokroku v kontextu socioekonomické situace a aktuálních strategických cílů v ČR a EU EQ 1.3: DOŠLO V ROCE 2012 K ODKLONU OD PŮVODNĚ STANOVENÝCH CÍLŮ PROGRAMU TAK, ŽE BY MUSELA BÝT PROVEDENA KOREKCE NA ÚROVNI OPERAČNÍHO PROGRAMU, PROGRAMOVÝCH PRIORIT ČI VYHLAŠOVANÝCH VÝZEV, V DŮSLEDKU VÝZNAMNÝCH SOCIOEKONOMICKÝCH ZMĚN, ZEJMÉNA V OBLASTI DLOUHODOBÉ NEZAMĚSTNANOSTI, ROVNOSTI MUŽŮ A ŽEN, SNIŽOVÁNÍ ROZDÍLŮ MEZI REGIONY A ABSORPČNÍ KAPACITY V PROBLÉMOVÝCH REGIONECH APOD. NEBO POTŘEBY VE VĚTŠÍ MÍŘE NEBO ODLIŠNÝM ZPŮSOBEM ZOHLEDNIT VÝZNAMNÉ ZMĚNY PRIORIT SPOLEČENSTVÍ ANEBO CELOSTÁTNÍCH NEBO REGIONÁLNÍCH PRIORIT NEBO OBTÍŽÍ PŘI PROVÁDĚNÍ? DÁLE, V PŘÍPADĚ, ŽE K ODKLONU DOŠLO, CO DOPORUČUJETE PRO ŘEŠENÍ NASTALÉ SITUACE? Pro vyhodnocení této otázky budou realizovány následující aktivity: Syntéza závěrů evaluační otázky 1.1 a 1.2, tj. vyhodnocení aktuálního stavu naplnění monitorovacích indikátorů a dosaženého pokroku a posouzení pokroku ve vztahu k naplňování obecných cílů politiky soudržnosti, NSRR aj. Desk research analýza současné socioekonomické situace v oblastech uvedených v evaluační otázce v jednotlivých regionech na základě socioekonomického vývoje dle dat ČSÚ a výzkumných zpráv VÚPSV, v. v. i., 17

18 Desk reserach analýza socioekonomických studií, které jsou zpracovány za NSRR (zadavatel MMR) Následným krokem bude komparace věcného (v tomto případě však i finančního) pokroku v kontextu socioekonomického vývoje (s důrazem na změny na trhu práce). V souvislosti s nejnovějšími zprávami z EK bude pozornost zaměřena na strategické výsledky OP LZZ a příspěvek k naplňování cílů Evropa 2020 (i národním cílům). Nicméně socioekonomické podmínky v době přípravy OP LZZ byly velmi odlišné (rostoucí ekonomika, nízká nezaměstnanost apod.) a evaluace to bude náležitě reflektovat. Pokud bude zjištěn zásadní odklon od původních cílů anebo naopak bude identifikována situace, kdy program nijak nereagoval na současné problémy na trhu práce, tak budou formulována relevantní doporučení. Tato část hodnocení bude provedena zejména na úrovni prioritních os resp. specifických cílů programu. Z výše uvedeného přehledu je zřejmé, že kromě samotného zpracování a aktualizace podkladů pro VZ OP LZZ 2010 budou zpracovány podpůrné analýzy, které mohou přispět zadavateli k řízení a dalšímu nastavení OP LZZ. Jedná se zejména o analýzu podmínek a příčin zjištěného stavu monitorovacích indikátorů, QCA analýzu, kvalitativní analýzu hodnotící (ne)naplnění monitorovacích indikátorů. 18

19 EVALUAČNÍ ÚKOL 2 Případové studie pomáhají blíže pochopit, prozkoumat a eventuálně zhodnotit konkrétní projekty. Širší pool projektů bude vytipován zadavatelem. Evaluátor potom provede oslovení realizátorů s žádostí o spolupráci. Případové studie pak budou realizovány u těch projektů, které budou ochotny spolupracovat. Zadavatel již v zadávací dokumentaci vytipoval konkrétní oblasti podpory, typy a počty projektů, které budou předmětem případových studií. Metodika zpracování případových studií bude respektovat metodologii použitou již v ROV 2011, aby byla zajištěna kontinuita a srovnatelnost. Celkem bude v rámci úkolu 2 zpracováno 30 případových studií úspěšných projektů (příklady dobré praxe) a 10 případových studií projektů, které naopak vykazovaly nedostatky v dosahování cílů (příklady špatné praxe). Příklady špatné praxe budou vytipovány a případové studie provedeny po realizaci prvních případových studií a po zpracování evaluačního úkolu 1. Jako další možný zdroj při vytipování příkladů špatné praxe mohou sloužit i závěry z 5. Průběžné zprávy z longitudinální evaluace. Tyto informace by totiž společně s posouzením naplňování monitorovacích indikátorů z MONIT7+ měly odhalit slabá místa realizace projektů. Primárně přitom bude přihlíženo spíše k problematickému dosahování výsledků (cílů) než k procesním problémům při realizaci. Případové studie budou respektovat strukturu použitou již v ROV 2011: Teorie změny projekt bude vizualizován prostřednictvím teorie změny. Schéma bude sestaveno zpracovatelem případové studie (evaluátorem) na základě informací o projektu získaných z MONIT7+ (projektový návrh, monitorovací zprávy) a na základě hloubkových rozhovorů s realizátory projektů. Výchozí situace stručná informace o výchozí situaci projektu bude vedle výše zmíněných zdrojů (MONIT7+, rozhovory s realizátory) v případě potřeby doplněna o informace získaní prostřednictvím desk research běžných informačních zdrojů (statistická data, novinové články, apod.). Aktivity projektu budou částečně přebrány z MONIT7+ (návrhu projektu, monitorovacích zpráv) a upřesněny na základě rozhovorů s příjemci. Výsledky projektu (krátkodobé a dlouhodobé) Vstupní data pro zhodnocení výsledků budou vycházet primárně z rozhovorů s realizátory, dokladů předložených při návštěvě realizátora a v případě potřeby/možnosti i z hodnocení cílovými skupinami. 19

20 Případové studie se budou primárně soustředit na zjištění a posouzení výsledků projektů. Teprve v druhém sledu bude posuzována procesní stránka realizace projektu, a to z pohledu implicitní či explicitní (ne) přítomnosti a zvládnutí jednotlivých prvků teorie změny. U 3 až 5 studií bude navázáno na ROV 2011, kdy případové studie budou koncipovány jako druhý snímek projektu po jednom roce. U těchto případových studií bude kladen důraz zejména na posun ve výsledcích, a to jak krátkodobých, tak dlouhodobých. Metodika v těchto případech bude minimalizovat popisné části případových studií a zaměří se na posun ve výsledcích a na změny v průběhu realizace. Na vzorku všech případových studií (dobré i špatné praxe) bude provedena klastrová analýza, jejíž výsledky budou podrobně komentovány. V rámci klastrové analýzy budou nejprve definována kritéria, na jejichž základě bude posuzována podobnost/odlišnost jednotlivých případových studií. Jednotlivá kritéria budou zachycovat snadno ověřitelné (popisné) charakteristiky jednotlivých případových studií (např. doba realizace, plnění průběžných cílů/etap, monitorovací indikátory); současně platí, že zvolené ukazatele jsou relevantní z hlediska teorie změny. Následně budou jednotlivé případové studie seskupeny podle podobnosti definované zvolenými kritérii. Vytvořené skupiny projektů pak ve třetí fázi umožní hlubší analýzu případových studií v rámci každé ze skupinek (i mezi skupinkami navzájem) provedenou s cílem (a) nalézt klíčové faktory dosažení stanovených cílů na úrovni jednotlivých projektů; (b) identifikovat (skryté) bariéry efektivního způsobu dosažení cílů v rámci tematicky podobných projektů a (c) odhalit problematické (tj. nefunkční či dokonce zdánlivé) kauzální vazby v modelech teorie změny. V rámci evaluačního úkolu 2 budou zpracovány případové studie a bude odpovězeno na následující otázky vycházející z ToR: EQ 2.1: Jak hodnotíte konkrétní dosažené výsledky a) jednotlivě u každého z projektů b) souhrnně ve všech hodnocených projektech a skupinách tematicky blízkých projektů? EQ 2.2: Jak hodnotíte míru implicitní/explicitní (ne)přítomnosti a funkčnosti projektové teorie změny jednotlivě u každého z projektů? Které konkrétní oblasti, prvky a kauzální vazby teorie změny považujete za nejvíce problematické nebo naopak nejvíce funkční a) jednotlivě u každého z projektů b) souhrnně ve všech hodnocených projektech a skupinách tematicky blízkých projektů? EQ 2.3: Jaké případně navrhujete úpravy metodologie pro evaluaci věcných výsledků vybraných projektů, která byla zpracována v rámci ROV 2011? EQ 2.4: Jak hodnotíte výsledky aplikace metodologie upravené na základě výstupů z řešení EQ 2.2 ve srovnání s původní metodologií zpracovanou v ROV 2011? EQ 2.5: U kterých z hodnocených projektů je případně vhodné provést došetření jejich výsledků v další evaluaci? 20

21 ŘEŠENÍ DÍLČÍCH EVALUAČNÍCH OTÁZEK ÚKOLU 2 EQ 2.1 JAK HODNOTÍTE KONKRÉTNÍ DOSAŽENÉ VÝSLEDKY A) JEDNOTLIVĚ U KAŽDÉHO Z PROJEKTŮ B) SOUHRNNĚ VE VŠECH HODNOCENÝCH PROJEKTECH A SKUPINÁCH TEMATICKY BLÍZKÝCH PROJEKTŮ? Data budou získána jednak z Monit7+, a dále pak z řízených rozhovorů s realizátory. Rovněž budou provedeny rozhovory či dotazníkové šetření (dle charakteru projektu a podmínek) mezi cílovými skupinami. Tím bude mj. zajištěna triangulace metod a zdrojů informací a posílí se efekt metody případových studií. Dosažené výsledky jednotlivých projektů budou hodnoceny ve třech rovinách, konkrétně a) hodnocení realizátory v rámci evaluačních návštěv a řízených rozhovorů bude zachyceno hodnocení samotnými realizátory projektu b) hodnocení cílovými skupinami v případě, že to charakter a možnosti projektu dovolí, bude provedeno prostřednictvím realizátorů krátké dotazníkové šetření mezi cílovými skupinami projektu. Snahou evaluátorů bude realizovat 3-5 rozhovorů se zástupci cílových skupin. c) hodnocení nezávislým expertem/evaluátorem samostatné hodnocení pak provede na základě zkušeností a získaných informací i evaluátor, který bude případovou studii zpracovávat. Dále bude provedeno klastrování projektů do skupin A) podle cílových skupin (viz zadání), B) charakteru (vzdělávací projekty, osvětové, diagnostické a poradenské, tvorba pracovních míst, apod. bude vytipováno až podle výběru projektů, který proběhne ve spolupráci se zadavatelem v úvodu projektu) a C) podle oblastí podpory. Expertní skupinou sestavenou z realizačního týmu bude provedeno hodnocení výsledků projektu dle připravených kritérií. Expertní skupinu budou tvořit vždy minimálně 3 členové realizačního týmu. Půjde o diskusi nad jednotlivými případovými studiemi s cílem zhodnotit dosažené výsledky projektu, a to z pohledu rozsahu, udržitelnosti, reálného přínosu a nákladovosti. Případové studie budou provázány na úkol 1 jako detailní ilustrace. Budou sestaveny syntetizující závěry a následně budou navržena praktická a realizovatelná doporučení. Doporučení budou navržena pouze v takových případech, kdy ze závěrů případových studií vyplyne potřeba či možnost provést změnu, která by měla obecný vliv na dosahování cílů/výsledků projektů, oblastí podpory či celého 21

22 programu. Snahou evaluátora nebude navrhovat doporučení za každou cenu, ale soustředit se na taková doporučení, která mohou ovlivnit primárně výsledky a až v druhé řadě procesy. EQ 2.2 JAK HODNOTÍTE MÍRU IMPLICITNÍ/EXPLICITNÍ (NE)PŘÍTOMNOSTI A FUNKČNOSTI PROJEKTOVÉ TEORIE ZMĚNY JEDNOTLIVĚ U KAŽDÉHO Z PROJEKTŮ? KTERÉ KONKRÉTNÍ OBLASTI, PRVKY A KAUZÁLNÍ VAZBY TEORIE ZMĚNY POVAŽUJETE ZA NEJVÍCE PROBLEMATICKÉ NEBO NAOPAK NEJVÍCE FUNKČNÍ A) JEDNOTLIVĚ U KAŽDÉHO Z PROJEKTŮ B) SOUHRNNĚ VE VŠECH HODNOCENÝCH PROJEKTECH A SKUPINÁCH TEMATICKY BLÍZKÝCH PROJEKTŮ? Bude zjištěno, zda a v jakém rozsahu/kvalitě je v projektu zpracována explicitní teorie změny, případně bude zjištěno prostřednictvím rozhovorů s realizátory, zda s teorií změny projekt počítal alespoň implicitně. Jelikož není teorie změny při přípravě a realizaci projektů vyžadována, půjde spíše o zhodnocení toho, zda realizátoři alespoň implicitně s teorií změny pracují. Toto zjišťování předpokládáme provést formou dotazů na jednotlivé oblasti/prvky teorie změny při rozhovorech s realizátory. Například, jak jsou schopni popsat výchozí situaci, vstupy projektu, apod. a vzájemné vlivy a provázanosti. Bude sledována přítomnost a kvalita jednotlivých prvků teorie změny a kauzální vazby. Jejich vliv na dosažený výsledek projektu bude posouzen prostřednictvím fsqca analýzy. Podobně jako u EQ 2.1 bude provedeno klastrování a vyhodnocení ve třech úrovních dle cílových skupin, tematicky a charakterově podobné projekty a projekty ze stejných oblastí podpory. Prostřednictvím fsqca bude hodnoceno, které prvky teorie změny (jejich přítomnost a kvalita) jsou klíčové pro úspěch projektu a dosažení cílů. Budou expertně posouzeny prvky teorie změny či kauzální vazby, které mají na realizaci/výsledek projektu významný vliv, a ty, které jsou nedůležité. Dále budou posouzeny a zhodnoceny ty prvky, kterým v teorii změny přisuzují realizátoři velkou pozornost, a ty které naopak zanedbávají (zamýšlené vs. nezamýšlené důsledky působení daného jednotlivých projektů). Bude proveden souhrn výsledků a následně budou navržena praktická a realizovatelná doporučení. 22

23 EQ 2.3 JAKÉ PŘÍPADNĚ NAVRHUJETE ÚPRAVY METODOLOGIE PRO EVALUACI VĚCNÝCH VÝSLEDKŮ VYBRANÝCH PROJEKTŮ, KTERÁ BYLA ZPRACOVÁNA V RÁMCI ROV 2011? V první fázi bude převzata metodika zpracování případových studií, která byla použita v ROV 2011 z důvodu zajištění porovnatelnosti získaných výsledků. Dále bude na základě loňských zkušeností se sběrem dat, zpracováním a vypovídací hodnoty provedena skupinová kritická diskuse evaluátorů a zadavatele s cílem navrhnout doplnění či úpravy metodiky, a to zejména s ohledem na fakt, že oproti ROV 2011 by v ROV 2012 měly být především hodnoceny již ukončené projekty. To na jedné straně umožňuje hodnotit reálné (konečné) výsledky projektů, na straně druhé ale zvyšuje riziko obtíží při navázání komunikace s projekty a realizaci primárních šetření. Toto riziko bude vyhodnoceno hned po oslovení projektů a dále při oslovování jejich účastníků a dalších klíčových stakeholderů. V případě vážných problémů budou navrženy vhodné alternativní metodické postupy (např. přesun důrazu z primárních šetření na analýzy vycházející z desk-research nebo v extrémním případě nahrazení (části) studií na ukončené projekty studiemi na projekty těsně před ukončením.) Navržené změny pak budou implementovány a vyzkoušeny na vzorku cca 8 projektů s cílem ověřit jejich přínos. Jako první náměty pro doplnění metodologie ROV 2011 jsou například zvažovány rozhovory s klíčovými zástupci zainteresovaných stran (key stakeholders), zejména tzn. na projektu nezávislými osobami či subjekty, které však přímo či nepřímo využívají výstupů/výsledků projektu (např. zaměstnavatelé, úřady práce, místní samospráva atd. v místě územních dopadů projektu) a měli by být je schopni zhodnotit objektivněji než ti, kteří byli na projektu přímo zainteresováni. Cílem je zde kvalitativní posun od současného stavu, kdy u většiny případových studií dosud šlo spíše o sebe-evaluaci doplněnou o hodnotící komentář evaluátora než, o nezávislé zhodnocení výsledků v pravém slova smyslu. Externí evaluační studie musí být od sebe-evaluace projektů jasně odlišitelné a to nejenom metodicky, ale i co se týče struktury a obsahu závěrečných evaluačních zpráv (studií). Dále budou zváženy a případně otestovány i zadavatelem navrhované metody a techniky CIE, CBA, apod., jako zajímavý námět bude otestována i korelace výsledků projektu s kvalitou hodnocení projektové žádosti, což by mělo zadavateli odpovědět na otázku do jaké míry a jestli vůbec je v rámci hodnocení projektových záměrů možné anticipovat reálnou kvalitu realizovaných projektů/jejich výsledků. V případě prokázání přínosu navržené změny bude tato zapracována do aktuální metodiky zpracování případových studií a dle náročnosti aplikace revidované metodologie a dle dohody se zadavatelem bude zváženo, jestli nad rámec vzorku cca 8 testovacích studií - bude vhodné a možné všechny změny metodiky aplikovat na 23

24 všechny zbývající studie nebo bude jejich aplikace jen částečná, příp. doporučena až pro ROV Metodika, byť v některých případech mírně upravená pro dané potřeby, bude využita i pro evaluaci výsledků, v menší míře i procesů pro případové studie zkoumající příklady projektů, které ne zcela splnily očekávání a z nichž se bude možné poučit. Podobně jako u příkladu dobré praxe se evaluátor i zde zaměří primárně na výsledky a dopady projektu než na procesní stránku realizace. Ta bude zahrnuta pouze v případě, že měla významný vliv na ne/dosažené výsledky nebo dopady. Evaluátor se bude držet zásady neměnit věci, pokud fungují a bude navrhovat změny metodologie pouze v případě, že tato změna bude mít skutečný přínos pro hodnocení projektů na základě případových studií. Na druhou stranu již nyní je zřejmé, že oproti metodice ROV 2011 bude třeba změnit celkovou koncepci zaměření studií z deskriptivních na evaluační/hodnotící. EQ 2.4 JAK HODNOTÍTE VÝSLEDKY APLIKACE METODOLOGIE UPRAVENÉ NA ZÁKLADĚ VÝSTUPŮ Z ŘEŠENÍ EQ 2.2 VE SROVNÁNÍ S PŮVODNÍ METODOLOGIÍ ZPRACOVANOU V ROV 2011? Dojde-li k úpravě metodiky provádění případových studií, bude posouzen přínos této změny. Posouzení proběhne formou komparace výstupů případových studií, zejména pak jejich vypovídající schopnosti. Komparace bude provedena nezávislým expertem. Tím je myšlen zkušený evaluátor, který se nepodílel na úpravě metodiky, tudíž je nezaujatý. Případně by tento nezávislý expert/evaluátor mohl být nahrazen zástupcem zadavatele, jemuž ve finále budou výsledky navržené metodologie sloužit. EQ 2.5 U KTERÝCH Z HODNOCENÝCH PROJEKTŮ JE PŘÍPADNĚ VHODNÉ PROVÉST DOŠETŘENÍ JEJICH VÝSLEDKŮ V DALŠÍ EVALUACI? V souladu se zadáním budou vytipovány projekty, u nichž bude vhodné provést dodatečné šetření zaměřené jednak na získání podrobnějších údajů, a dále také na získání informací o pokroku projektu v delším časovém období. Může se jednat o projekty, které v době hodnocení v rámci ROV 2012 budou v počáteční nebo střední fázi realizace; může jít rovněž o projekty ukončené, u nichž bude žádoucí sledovat dopady v dlouhodobějším časovém období; může se jednat o projekty s vysokou mírou (vysokým počtem) inovací, u nichž bude žádoucí detailně zdokumentovat a empiricky verifikovat teorii změny. Konečný výběr a kritéria výběru budou diskutována se zadavatelem. 24

25 EVALUAČNÍ ÚKOL 3 Smyslem evaluačního úkolu 3 je provést vyhodnocení výstupů a výsledků projektů v rámci prioritní osy 5, včetně zhodnocení vlivu implementace principů inovativnosti a partnerství na tyto výstupy a výsledky. Součástí tohoto evaluačního úkolu je také vyhodnocení možnosti využití konkrétních vytvořených výstupů/produktů/inovací, zejména jejich možného uplatnění v rámci mainstreamových (neinovativních) projektů ESF V rámci komunikace se zadavatelem a zástupci řešitelského týmu vyplynul ještě upřesňující požadavek na problematiku hodnocení využitelnosti výstupů. V rámci této zakázky bude specifický důraz kladen zejména na identifikaci zajímavých projektů s potenciálem na další šíření nebo dopracování výstupů, které by využily dodatečného financování ještě v současném programovém období, příp. další rozpracování v příštím programovém období Tento úkol bude zpracován v návaznosti na a s využitím dostupných výstupů zakázky Evaluace naplňování principu inovativnosti v OP LZZ, např. metodiky hodnocení míry inovativnosti (viz Závěrečná zpráva, návrh ze dne ) a struktury případových studií pro částečnou srovnatelnost jejich výsledků. 3 PO5 je z hlediska typologie jednotlivých projektů velmi heterogenní. 4 Projekty se z hlediska aktivit zaměřují zejména na: podporu sdílení dobré praxe, přenos know-how ze zahraničí. Většina těchto projektů sleduje následující monitorovací indikátory: o počet podpořených osob celkem, o počet proškolených osob, o počet vytvořených partnerství, o počet nově vytvořených inovovaných produktů. 3 Viz Dle informace zadavatele však metodika ještě může být dílčím způsobem upravena, proto v další fázi projektu budeme postupovat dle její aktualizované verze. 4 Vše v tématech např. sociální začleňování, nelegální migrace, sociální služby, zaměstnatelnost a volný čas seniorů, zaměstnávání znevýhodněných, domácí násilí u osob jiných etnik, sociální firmy, flexibilní vzdělávání pro ženy v aktivní fázi rodičovství dle zahraničních zkušeností apod. Jsou tedy podporovány projekty zaměřené na podporu dosažení cílů ostatních prioritních os OP LZZ (viz programový dokument OPLZZ, str. 140). 25

26 Výše uvedené monitorovací indikátory vypovídají jen velmi omezeně o vlivu implementace principů inovativnosti a partnerství na výstupy a výsledky podpořených projektů, resp. úspěšnosti začlenění cílových skupin na trhu práce či míry využívání inovací vybranými cílovými skupinami (např. úřady práce či krajské úřady). Zároveň není možné využít finanční hledisko jednotlivých projektů, tj. výše jejich rozpočtů, protože na tomto základě nelze v praxi rozlišit, do jaké míry byl úspěšnější 2 mil. či 8 mil. projekt. Je totiž docela možné, že projekty s nižším rozpočtem mohou přinášet mnohem větší efekt z hlediska aplikace principu inovativnosti či partnerství. Evaluační úkol 3 bude naplněn následujícími dílčími otázkami, které byly definovány v zadávací dokumentaci: EQ 3.1: Jak hodnotíte dosažené výstupy a výsledky projektů osy 5 a zejména míru přínosu vytvořených/do ČR adaptovaných/otestovaných/zavedených inovací? EQ 3.3: Jaký je vliv implementace principů inovativnosti a partnerství na dosažené výstupy a výsledky projektů v ose 5? EQ 3.2: Jaké jsou možnosti využití konkrétních výstupů/produktů/inovací projektů osy 5, zejména jejich možného uplatnění v rámci mainstreamových (neinovativních) projektů ESF ŘEŠENÍ DÍLČÍCH EVALUAČNÍCH OTÁZEK ÚKOLU 3 EQ 3.1: JAK HODNOTÍTE DOSAŽENÉ VÝSTUPY A VÝSLEDKY PROJEKTŮ OSY 5 A ZEJMÉNA MÍRU PŘÍNOSU VYTVOŘENÝCH/DO ČR ADAPTOVANÝCH/OTESTOVANÝCH/ZAVEDENÝCH INOVACÍ? Evaluační otázka 3.1 bude metodicky respektovat nastavené postupy hodnocení dle zakázky Evaluace naplňování principu inovativnosti v OP LZZ, tj. metodiky hodnocení míry inovativnosti. Hlavním důvodem tohoto postupu bude možnost komparace s předchozími evaluačními aktivitami, které byly v rámci OPLZZ dosud realizovány ve vazbě na hodnocení inovativnosti projektů. Je však potřeba zdůraznit, že v závěrečné zprávě výše uvedeného projektu (str. 67) je konstatováno, že.nasazení metodiky hodnocení inovativnosti na projekty mezinárodní spolupráce je nevhodné, protože její využití by bylo závislé na rozhodnutí o tematické (obsahové) vhodnosti projektu, tj. muselo by být předem rozhodnuto, zda má konkrétní projekt s mezinárodní dimenzí smysl. V tomto smyslu bude při hodnocení kladen důraz zejména na dosažené výsledky projektů a jejich celkového přínosu pro praxi sociální politiky. Zároveň bude provedena revize metodiky s ohledem na relativně deskriptivní charakter případových studií a specifikaci podmínek, jak identifikovat co nejlépe přidanou hodnotu projektu v rámci PO5; 26

27 K projektům PO5 bude proveden desk research dle MONIT7+, tj. všechny dostupné podklady a údaje (tj. zejména návrh projektu, průběžné monitorovací zprávy, závěrečné monitorovací zprávy, výstupy prezentované na webových stránkách projektů apod.) a každému z projektů budou přiřazeny hodnoty charakteristik. Dle metodiky hodnocení míry inovativnosti bude možné přiřadit 0-2 body inovativnosti celkem ve 12ti sledovaných charakteristikách: Potřebnost, Komplexnost, Novost, Zlepšení, Proces, Cílové skupiny, Partnerství, Praxe, Šíření, Udržitelnost, Iniciace, Evaluace. S ohledem na výše zmíněnou možnost financování šíření nebo dopracování výstupů, které vyplynou v rámci tohoto hodnocení u projektů PO5, tak bude kladen důraz zejména na aspekty šíření, udržitelnost a iniciace. Projekty PO5 budou hodnoceny vždy 2 experty, přičemž pro hodnocení míry inovativnosti bude sestaven průměr jejich hodnocení (kvantifikované subjektivní expertní ohodnocení na základě předem dané škály a sledovaných charakteristik); Pro hodnocení projektů PO5 bude v případě sledovaných charakteristik Šíření, Udržitelnost a Iniciace realizováno dotazníkové šetření během poloviny ledna 2013, ve kterém budou dále hodnoceny následující dílčí aspekty: identifikace hlavních přínosů spojených s aktivitami mezinárodní spolupráce pro realizované výstupy a výsledky; identifikace dobře i špatně fungujících zkušeností či mechanismů mezinárodní spolupráce v projektech PO5 (ve vazbě na možnosti posílení mainstreamingu výstupů a výsledků); identifikace klíčových forem diseminace a mainstreamingu výsledků projektů PO5 s důrazem na vymezení dle triangulace JAK, KÝM a KOMU. V této evaluační otázce budou hodnoceny všechny projekty v realizaci (stav P45) a ukončené projekty (stav P5). Výsledky hodnocení pak budou porovnány také s doporučením z ROV 2010: V PO5 se objevuje relativně často realizace aktivit směřující na mainstreaming výsledků projektů, včetně ovlivnění legislativního procesu. To může pomoci vysokým dopadům této PO. Proto je vhodné využít systémových analýz realizovaných v rámci projektů PO5 OPLZZ k diskusi přípravy pro nové programové období Například v oblasti zlepšování přístupu a návratu na trh práce pro osoby obtížně integrovatelné se jedná o projekty , , , ; posilování sociální ekonomiky, zejména komunitních služeb - projekty , a , (komunitní projekty partnerství); rovné příležitosti žen a mužů - projekt a integrace na trhu práce pro cizince v projektu Tzn., že evaluátor na 27