Vyhodnocení plnění monitorovacích indikátorů OP LZZ zjišťovaných evaluací

Transkript

1 Vyhodnocení plnění monitorovacích indikátorů OP LZZ zjišťovaných evaluací Vstupní zpráva Verze březen 2012 IREAS centrum, s. r. o. (zpracovatel) 1/36

2 OBSAH Seznam zkratek... 3 Úvod Představení řešitelského týmu Představení celkového metodického přístupu Sběr dat Základní metody hodnocení Popis průběžných a finálních výstupů z aktivit Harmonogram realizace Řešení jednotlivých evaluačních úkolů...11 Nároková část zakázky...11 Nenároková část...25 Příloha 1 Dotazníky...28 Příloha 2 - Upřesněný vzorek podpořených osob (zástupců cílových skupin) evaluačního úkolu č /36

3 Seznam zkratek Zkratka Význam zkratky ČR Česká republika ČSSZ Česká správa sociálního zabezpečení ČSÚ Český statistický úřad IS Informační systém EK Evropská komise ES Evropská společenství ESF Evropský sociální fond ERDF European Regional Development Fund (Evropský fond regionálního rozvoje) EU Evropská unie HSS Hospodářská a sociální soudržnost MSSF Monitorovací systém strukturálních fondů NSRR Národní strategický referenční rámec OP Operační program OP LZZ Operační program Lidské zdroje a zaměstnanost PO Prioritní osa ROV Roční operační vyhodnocení RLZ Rozvoj lidských zdrojů ŘO Řídící orgán SF Strukturální fondy 3/36

4 Úvod Tento dokument představuje Vstupní zprávu, která byla vytvořena v rámci realizace projektu Vyhodnocení plnění monitorovacích indikátorů OP LZZ zjišťovaných evaluací. Hlavním cílem této vstupní zprávy je představit řešitelský tým a zapojení jeho jednotlivých expertů, časový harmonogram jednotlivých kroků, evaluační design tohoto projektu a detailní metodologii řešení jednotlivých evaluačních otázek. Vstupní zpráva se zaměřuje na praktické aspekty řešení evaluace. Zejména podrobněji rozebírá metodiku řešení jednotlivých evaluačních úkolů s ohledem na situaci v počáteční fázi projektu. 1. Představení řešitelského týmu K realizaci projektu byl vytvořen tým specialistů, kteří splňují vysoké požadavky na odbornost a znalosti v oblasti implementace programů financovaných z ESF, předpisů Evropského společenství a metodik pro SF EU, problematiky rozvoje lidských zdrojů, trhu práce a zaměstnanosti v ČR, evaluací programů financovaných ze SF, celkového kontextu politiky HSS v ČR i EU, statistiky a ekonomie, včetně znalostí odborné terminologie používané v rámci dané problematiky v ČR a v EU. Vedením projektu byl pověřen Ing. Petr Fanta, Ph.D. (PF), který odpovídá na straně řešitelského týmu za celkovou realizaci projektu, koordinuje aktivity jednotlivých členů týmu a deleguje odpovědnost v projektu dle aktuálních potřeb a specializace jednotlivých členů realizačního týmu. Zástupci vedoucího projektu jsou RNDr. Viktor Květoň, Ph.D. (VK) a Ing. Martin Pělucha, Ph.D. Odborní experti řešitelského týmu (abecední pořadí): Ing. Petr Fanta, Ph.D. (PF) RNDr. Viktor Květoň, Ph.D. (VK) Ing. Martin Pělucha, Ph.D. (MP) Ing. Oto Potluka, Ph.D. (OP) Mgr. Pavel Říčka (PŘ) Technická asistence v projektu Bc. Markéta Vaisová (MV) V následující tabulce je uvedeno přiřazení jednotlivých expertů k příslušným evaluačním otázkám, včetně jejich předpokládané časové dotace. 4/36

5 Evaluační úkol 5 Evaluační úkol 4 Evaluační úkol 3 Evaluační úkol 2 Evaluační úkol 1 Přiřazení členů týmu k jednotlivým evaluačním otázkám Tabulka obsahuje zapojení expertů v jednotlivých evaluačních otázkách v předpokládaných člověkodnech. EVALUAČNÍ PF VK MP OP PŘ Celkem OTÁZKA evaluační 1.1 evaluační 1.2 evaluační 2.1 evaluační 2.2 evaluační otázka.3.1 evaluační 3.2 evaluační 3.3 evaluační 3.4 evaluační 4.1 evaluační 4.2 otázka otázka otázka otázka otázka otázka otázka otázka otázka evaluační otázka CELKEM Představení celkového metodického přístupu Projekt Vyhodnocení plnění monitorovacích indikátorů OPLZZ zjišťovaných evaluací vyplývá z nastaveného indikátorového systému OPLZZ, v rámci kterého je nezbytné u vybraných monitorovacích indikátorů (zpravidla indikátory dopadu) vytvořit metodologii jejich výpočtu a následně rovněž i provést příslušná zjištění a interpretaci výsledků. Metodika dvou takových indikátorů již byla vytvořena a jejich hodnota zjištěna v rámci projektu ROV Aktualizace výpočtu těchto indikátorů je specifikována v evaluačních úkolech č. 3 a 4 tohoto projektu. Evaluační úkol č. 1 a 2 jsou komplementární a zaměřují se na vytvoření metodiky pro výpočet hodnot, posouzení pokroku a aktuálního stavu monitorovacích indikátorů ( ) Udržitelnost vytvořených partnerství a ( ) Zlepšení podmínek pro slaďování rodinného a pracovního života, včetně interpretace hodnot. Důležitou součástí těchto úkolů je využití kvalitativní srovnávací analýzy. Evaluační úkol č. 5 zaměřený na zjištění hodnot, posouzení 5/36

6 pokroku a aktuálního stavu monitorovacích indikátorů ( ) Zkrácení délky soudních řízení - Krajské soudy; ( ) Zkrácení délky soudních řízení - Okresní soudy, nepředstavuje příliš složitou problematiku z hlediska metodiky postupu a dostupnosti dat. V dané věci byly z veřejně dostupných zdrojů získány potřebné údaje týkající se průměrné délky řízení zvlášť pro Krajské soudy a zvlášť pro Okresní soud v ČR. V rámci provedení srovnání pro doplňující šetření a pro provedení srovnání v intencích dalších parametrů (např. počet soudců přiřazených místně a funkčně) bude provedeno vyhodnocení zkrácení délky soudních řízení pro Krajské a Okresní soudy v rámci období , kdy údaje za rok 2011 ještě nejsou aktuálně k dispozici. Při řešení této zakázky bude realizační tým využívat několika různých typů metod. 2.1 Sběr dat Při řešení evaluace využívá projektový tým následující zdroje dat: Primární zdroje dat: data z nově vytvořeného dotazníkového šetření k řešeným oblastem evaluačních otázek; dotazníkové šetření bude využito u evaluačních úkolů 1, 2 a 3. informace od realizátorů a zprostředkujících subjektů; bude využito u evaluačního úkolu 4. Sekundární zdroje dat: data z monitorovacího systému; data z České správy sociálního zabezpečení, případně z Úřadů práce data ze stávajících šetření či předchozích hodnocení OP LZZ; data z výročních zpráv a programových dokumentů; národní statistické údaje z Českého statistického úřadu. 2.2 Základní metody hodnocení Celkově lze rozdělit jednotlivé techniky/aktivity do následujících oblastí: 1. Základní analýza (analýza programových podkladů, analýza základních dat); 2. Výzkum prostřednictvím dotazníkového šetření; 3. Komparace dat z šetření s daty ČSSZ 4. Statistické analýzy Blíže jsou používané metody rozepsány u jednotlivých úkolů. 6/36

7 3. Popis průběžných a finálních výstupů z aktivit Průběžné a finální výstupy z aktivit odpovídají požadovaným výstupům ze zadávací dokumentace. Požadované Termín výstupy Vstupní zpráva Do 10 pracovních dnů od podpisu smlouvy návrh Vstupní zprávy, konečná verze do 5 pracovních dnů od doručení připomínek zadavatele. Popis výstupu Smyslem vstupní zprávy je odsouhlasení zvoleného evaluačního designu (tj. rozpracování metodologie uvedené v nabídce), tzn., že ve zprávě bude podrobně popsáno: 1. harmonogram realizace 2. identifikace potřebných informací pro odpověď na jednotlivé otázky či úkoly; 3. identifikace zdrojů dat pro každou otázku a instrumentů jejich sběru; 4. výzkumný design pro úkol č.1 a č.2 a č. 4; tj. Vstupní zpráva bude obsahovat Návrh metodik pro výpočet hodnot MI včetně stanovení velikosti vzorků 5. identifikace způsobu analýzy dat; 6. jmenovité určení všech zapojených expertů/ek do řešení jednotlivých úkolů této veřejné zakázky včetně rozsahu zapojení; 7. podrobné stanovení dílčích termínů evaluačních šetření stanovených ze strany zpracovatele. Konzultační workshop s předloženými podklady Závěrečná zpráva k úkolům č.1, č.3, č.4 a č.5 Návrh Závěrečná zpráva k úkolům č.1, č.3, č.4 a č.5 10 (rámcový termín: začátek března 2012) Smyslem konzultačního workshopu je: 1. Předání výsledku plnění úkolu č. 3 v pracovní verzi 2. Předání výsledků plnění úkolu č. 5 v pracovní verzi 3. Prezentace prvních výsledků, zjištěných problémů a konzultace postupu u úkolu č Prezentace prvních výsledků, zjištěných problémů a konzultace postupu u úkolu č Prezentace prvních výsledků, zjištěných problémů a konzultace postupu u úkolu č. 2 Zpracovatel předloží zadavateli podkladové materiály ke všem úkolům nejméně 5 pracovních dní před dohodnutým dnem workshopu. Návrh do 14. března 2012 Návrh závěrečné zprávy bude obsahovat: - všechny požadované výstupy dle zadání evaluačních úkolů - požadované metodiky - zdroje vstupních dat - výsledky šetření/odpovědi na evaluační otázky stanovené evaluátorem ve vstupní zprávě - zjištěné hodnoty indikátorů připravené k další interpretaci, např. pro Výroční zprávu OPLZZ Na úvod bude obsahovat manažerské shrnutí v rozsahu max. 4 stran ve formátu A Finální závěrečná zpráva bude zohledňovat připomínky k jejímu návrhu vzešlé z workshopu a připomínkového řízení. Bude finálním zpracováním všech výstupů směrem k zadavateli. Závěrečná zpráva bude obsahovat: - Manažerské shrnutí v rozsahu max. 4 strany ve formátu A4, které bude stručně a jasně podávat nejdůležitější výsledky, konkrétní a významná zjištění, získané hodnoty a 7/36

8 5. Závěrečná zpráva k úkolu č.2 - Návrh Návrh do nejdůležitější aspekty jejich vývoje pro jednotlivé zkoumané indikátory. - Informačně plnohodnotnou zprávu v rozsahu max. 20 stan ve formátu A4 vhodnou pro šíření jako výstup z evaluace pro zainteresované subjekty. Tato zpráva bude předložena v českém jazyce a po schválení obsahu přeložena do AJ. - Technickou část zprávy, která bude obsahovat všechny relevantní údaje, zdroje dat a velmi detailní metodické postupy, která bude sloužit jako podklad pro aplikaci metod v dalších letech. Na schválenou závěrečnou zprávu, která obsahuje požadované výsledky, je navázána faktura č. 1. Návrh závěrečné zprávy k úkolu č.2 (interpretace hodnot zadaných monitorovacích indikátorů) bude obsahovat: - výsledky šetření/odpovědi na evaluační otázky ze ZD a stanovené evaluátorem ve vstupní zprávě. - zdroje vstupních dat - detailní popis průběhu řešení úkolu včetně objevených limitů a rizik využití QCA metod - doporučení za jakých okolností je vhodné metodu v oblasti ESF dále využívat 6. Závěrečný workshop Závěrečná zpráva k úkolu č.2 Na úvod bude obsahovat manažerské shrnutí v rozsahu max. 4 stran ve formátu A4. Dle dohody Závěrečný workshop slouží k prezentaci výsledků obou závěrečných zpráv širšímu se okruhu zástupců zadavatele, příjemců evaluačních výsledků a zájemců. zadavatelem Na závěrečném workshopu mohou být ze strany zadavatele vzneseny požadavky k nebo revizi či doplnění prezentovaných výsledků. do 10-ti pracovních dní od předložení návrhu závěrečné zprávy Finální závěrečná zpráva bude zohledňovat všechny připomínky k jejímu návrhu vzešlé v průběhu realizace z komunikace se zadavatelem a připomínkového řízení. Bude finálním zpracováním všech výstupů směrem k zadavateli. Závěrečná zpráva bude obsahovat: - Manažerské shrnutí v rozsahu max. 4 strany ve formátu A4, které bude stručně a jasně podávat nejdůležitější výsledky, konkrétní a významná zjištění. - Informačně plnohodnotnou zprávu v rozsahu max. 20 stan ve formátu A4 vhodnou pro šíření jako výstup z evaluace pro zainteresované subjekty. Tato zpráva bude předložena v českém jazyce a po schválení obsahu přeložena do AJ. - Technickou část zprávy, která bude obsahovat všechny relevantní údaje, zdroje dat a velmi detailní metodické postupy, která bude sloužit jako podklad pro aplikaci metod v dalších letech. Na schválenou závěrečnou zprávu, která obsahuje požadované výsledky, je navázána faktura č. 2. 8/36

9 Průběžné zprávy o průběhu projektu (flash-reporty) Každé týdny od podpisu smlouvy dva Zprávy budou vždy obsahovat stručný neformální přehled realizovaných aktivit, jejich vyhodnocení, hlavní výstupy, potíže při realizaci zadání, sjednané schůzky s externími experty a konzultace a další kroky realizace. (Zprávy nejsou formálním oznámením, ale jedním z pracovních nástojů pro komunikaci zadavatele se zpracovatelem, který umožňuje eliminovat nedorozumění a vícepráce.) Využití nenárokové části zakázky Uplatnění nenárokové části zakázky na: -znovuvyhodnocení dosažených hodnot a analýzu vývoje indikátorů dle dohody a dále dle rozhodnutí zadavatele -možnost zadání analýzy indikátoru Podíl úspěšně podpořených osob dle vybraných kategorií cílových skupin. Návrh na provedení prací bude v souladu se smluvními podmínkami zpracovateli zaslán pověřenou osobou zadavatele em. Na schválenou závěrečnou zprávu, která obsahuje požadované výsledky, je navázána faktura. 9/36

10 4. Harmonogram realizace Únor Březen Červenec Září Aktivita / 4 / 18 / 1 Podpis smlouvy Návrh vstupní zprávy Konečná verze vstupní zprávy Konzultační workshop Návrh závěrečné zprávy k úkolům 1, 3, 4 a 5 Závěrečná zpráva k úkolům 1, 3, 4 a 5 Návrh závěrečné zprávy k úkolu 2 Závěrečný workshop Závěrečná zpráva k úkolu 2 Flash reporty / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / 10/36

11 5. Řešení jednotlivých evaluačních úkolů Řešení evaluační zakázky je rozděleno do dvou částí: Nároková část bude realizována v první polovině roku 2012 a zahrnuje celkem 5 evaluačních úkolů. Nenároková část je rozdělena do dvou úkolů a bude realizována v letech pouze na základě výzvy objednatele. Nároková část zakázky Způsob řešení evaluační ho úkolu č. 1 - Vytvoření metodiky pro výpočet hodnot, posouzení pokroku a aktuálního stavu monitorovacích indikátorů ( ) Udržitelnost vytvořených partnerství a ( ) Zlepšení podmínek pro slaďování rodinného a pracovního života. Kontext a pochopení evaluační otázky Evaluační otázka má z našeho pohledu celkem dva dílčí cíle, kterými jsou: Navržení metodiky výpočtu dvou specifických monitorovacích indikátorů sledovaných v prioritní ose 5 (indikátor Udržitelnost vytvořených partnerství) a oblasti podpory 3.4 (indikátor Zlepšení podmínek pro slaďování rodinného a pracovního života). Vytvořená metodika je vytvořena tak, aby byla jednoznačná a univerzální a umožňovala kdykoli provést šetření opakovaně, a to i při různém počtu realizovaných (dokončených) projektů, přičemž získané výsledky v jednotlivých letech musí být srovnatelné pro možné porovnávání hodnot v čase. Stanovení a prvotní výpočet hodnoty obou indikátorů na vzorku dokončených projektů. Způsob řešení Metodiku stanovení a výpočtu obou jsme založili na osvědčeném způsobu dotazníkového šetření mezi příjemci podpory (realizátory projektu). S ohledem na zvýšení návratnosti i relativně malý objem zjišťovaných informací byl dotazník sestaven z 9, respektive 11 jednoduchých otázek, které budou společně s daty z Monit7+ poskytovat informace pro zodpovězení úkolu č. 1 a 2. Metodika řešení indikátoru Udržitelnost vytvořených partnerství: Při zjišťování úrovně funkčnosti a hodnoty partnerství vychází dotazník i následné vyhodnocování odpovědí z podnětů evaluace Hodnocení implementace principu partnerství v OP LZZ, jejímž zpracovatelem byla naše společnost IREAS centrum s.r.o. Metodika a dotazník reflektují nejen to, zda je partnerství i po skončení projektu nadále funkční, ale i několikastupňovou úroveň toho, jak funkční partnerství je. Respondenti mají mj. na desetistupňové škále ohodnotit, jak subjektivně vnímají současnou funkčnost partnerství. Následující otázka zaměřená na předdefinovanou intenzitu spolupráce má za cíl do určité míry objektivizovat předchozí hodnocení. 11

12 Dotazníky byly rozeslány celkem 20 realizátorům, kteří dokončili projekty v prioritní ose 5.1 v rozhodném období, tedy v období 3 9 měsíců před realizací šetření. Kontaktní osoby jednotlivých projektů, které byly identifikovány z databáze Monit7+, byly osloveny em se žádostí o vyplnění vytvořeného dotazníku. Znění dotazníku je přílohou č. 1 této vstupní zprávy. K bylo shromážděno celkem 10 odpovědí, což představuje velmi dobrou návratnost s ohledem na velmi malý vzorek ukončených projektů (20 respondentů). Navrácené dotazníky budou statisticky vyhodnoceny a stručně zjištěné výsledky interpretovány na pětistupňové škále od nefunkční partnerství po plně funkční partnerství. Metodika tedy umožňuje nejen stanovit, zda je vytvořené partnerství i po skončení projektu funkční, ale i do jaké míry je funkční. Na základě prvotního vyhodnocení výsledků dotazníkového šetření bylo zjištěno, že zvolenou metodu hodnocení funkčnosti partnerství je třeba upravit, neboť v situaci, kde respondenti dle zadání hodnotili pouze jedno partnerství, a to to nejlepší, docházelo ke zkreslení výsledků směrem k výrazně vyšším hodnotám indikátoru. V době zpracování vstupní zprávy bylo proto provedeno dodatečné telefonické šetření mezi realizátory, kdy byli požádáni o zhodnocení všech zahraničních partnerství. V první řadě byli dotazováni, zda s partnery stále spolupracují, a to v běžné činnosti, nikoli na dalším projektu financovaném z veřejných zdrojů. V případě kladné odpovědi byli požádáni, aby odhadli, jak často jsou s partnerem v kontaktu. Za funkční udržené partnerství přitom byl považován častější kontakt než jedenkrát za čtvrt roku. Metodika řešení indikátoru Zlepšení podmínek pro slaďování rodinného a pracovního života: Metodika pro zjištění indikátoru je založena také na dotazníkovém šetření, přičemž hlavním smyslem je zjišťovat, zda byly v podniku realizujícím projekt zavedeny flexibilní formy organizace práce, ale současně i to, jaké druhy flexibilní organizace práce či jiná opatření byly zavedeny. Výsledky potom umožní provést vyhodnocení, které z podporovaných forem jsou nejudržitelnější. Sledovány jsou zejména nejběžnější formy: Pružná pracovní doba či individuální úprava pracovní doby Možnost práce z domova Sdílení pracovního místa Vytvoření firemní školky jiné Dotazníkové šetření bylo adresováno všem projektům v oblasti podpory 3.4, které byly dokončeny v rozhodném období, tedy v období 3 9 měsíců před realizací šetření. Celkem byl dotazník rozeslán 87 realizátorům. Nicméně je důležité upozornit, že ne všechny dokončené projekty zaváděly nástroje pro slaďování rodinného a pracovního života. Museli tedy být osloveni všichni zástupci ukončených projektů v OP 3.4, přičemž dotazník měli vyplnit pouze ti respondenti, kteří implementovali některý z nástrojů pro slaďování rodinného a pracovního života. Kontaktní osoby jednotlivých projektů, které byly identifikovány 12

13 z databáze Monit7+, byly osloveny em se žádostí o vyplnění vytvořeného interaktivního dotazníku. K bylo shromážděno celkem 17 odpovědí, což lze opět označit za velmi dobrou návratnost s ohledem na celkový počet ukončených projektů v OP 3.4. Podoba dotazníku je přílohou č. 1 této vstupní zprávy. Vstupy Data z Monit7+, Informace z dotazníkového šetření, Závěrečná zpráva evaluace Hodnocení implementace principu partnerství v OP LZZ. Výstupy Vytvořená metodika pro zjišťování a hodnocení indikátoru Udržitelnost vytvořených partnerství Vytvořený dotazník pro zjišťování indikátoru Udržitelnost vytvořených partnerství Vytvořená metodika pro zjišťování a hodnocení indikátoru Zlepšení podmínek pro slaďování rodinného a pracovního života Vytvořený dotazník pro zjišťování indikátoru Zlepšení podmínek pro slaďování rodinného a pracovního života Vyhodnocené dotazníkové šetření a výsledek indikátoru Rizika a předpoklady Na počátku byla rizikem nízká návratnost dotazníků. Nicméně v době sestavování vstupní zprávy lze konstatovat, že rizika se podařilo eliminovat a návratnost pro hodnocení obou indikátorů je velmi dobrá. K eliminaci přispělo také dvojí upozornění a oslovení na vyplnění dotazníků (po prvotním ne zcela velkém zájmu a odezvě). Určitým rizikem spojeným s interpretací hodnot je i fakt, že zejména u zjišťování indikátoru Udržitelnost vytvořených partnerství je pouze velmi malý vzorek 20 aktuálně dokončených projektů, na kterých je průzkum a vyhodnocení prováděno. Způsob řešení evaluační ho úkolu č. 2 - Interpretace hodnot monitorovacích indikátorů z úkolu č. 1 ( ) Udržitelnost vytvořených partnerství a ( ) Zlepšení podmínek pro slaďování rodinného a pracovního života pomocí kvalitativní srovnávací analýzy (QCA). Kontext a pochopení evaluační otázky Smyslem evaluačního úkolu je identifikovat faktory, které mají, nemají či mohou mít vliv na dosažení sledovaných dvou indikátorů. Následně pomocí metody QCA ověřit to, zda tyto faktory případně jejich kombinace skutečně má vliv na sledovaný indikátor. Jak uvádí i zadávací dokumentace, evaluační úkol 2 navazuje na evaluační úkol č. 1. V realizovaném dotazníkovém šetření proto byly do dotazníků zakomponovány otázky na předpokládané nezávislé proměnné, které budou dále vyhodnocovány metodou QCA v rámci úkolu 2. Způsob řešení Klíčovou částí řešení je aplikace kvalitativní srovnávací analýzy (QCA), která je založena na principu booleovské algebry a řešitelský tým je seznámen s možnostmi aplikace této metody. 13

14 Metoda umožňuje srovnání, kde každý případ představuje kombinaci kauzálních podmínek a jejich důsledků. Jelikož mezi hlavní operace booleovské techniky patří disjunkce, konjunkce, minimalizace booleovských výrazů a implikace, tak bude postup následující: Prvním krokem metodologického postupu je vytvoření pravdivostní tabulky pro oba požadované indikátory. ( ) Udržitelnost vytvořených partnerství Hlavní závisle proměnnou tvoří existence vytvořeného partnerství v OP LZZ. Vycházíme však ze znalostí a zkušeností z CIP EQUAL i z evaluace partnerství OP LZZ a proto jsme definovali několik faktorů a podmínek, které hrají důležitou roli při fungování partnerství. Teoretická východiska se vážou na jednotlivé nezávisle proměnné. Ty představuje: A. Velikost partnerství (počet partnerů zahrnutých do partnerství) B. Předchozí spolupráce partnerů C. Vnitrooborové partnerství (partneři jsou z jednoho oboru) D. Vnitrosektorové partnerství (partneři jsou jen z jednoho sektoru - veřejného, neziskového, podnikatelského) E. Majetkové propojení (sesterská společnost, mateřská společnost, dcera, apod.) F. Geografická poloha partnera (zda je partner ze stejného nebo sousedního státu) G. Velikost podniku realizátora Návrh respektuje některé faktory sledované již v Hodnocení implementace principu partnerství OP LZZ. Šetření je v souladu s požadavky zadávací dokumentace prováděno na 20 dokončených projektech oblasti podpory 5.1 (resp. na aktuálním počtu vyplněných dotazníků). ( ) Zlepšení podmínek pro slaďování rodinného a pracovního života U druhého indikátoru byly identifikovány také možné faktory, které budou následně zkoumány jako nezávisle proměnné: A. Velikost podniku měřená dle počtu zaměstnanců B. Znalost potřeb cílových skupin C. Procentuální zastoupení žen D. Opatření (projekt) vznikl z iniciativy zaměstnavatele E. Kvalifikace / vzdělání cílových skupin F. Velikost a poloha obce Kromě výše uvedených proměnných zjišťovaných pomocí dotazníkového šetření budou další informace zjištěny ze statistických databází ČSÚ. Jedná se např. o vybavenost obce (kde je projekt řešen) sociální infrastrukturu tj. např. dostupnost mateřských a základních škol apod. Celkově se tedy bude jednat o kombinaci kvalitativních a kvantitativních přístupů, které povedou ke zjištění nezávisle proměnných pro požadovanou QCA analýzu. Šetření je v souladu s požadavky zadávací dokumentace prováděno jako census na dokončených projektech oblasti podpory 3.4, přičemž ne všechny projekty zaváděly flexibilní formy organizace práce. 14

15 Klíčovou součástí pro vytvoření pravdivostní tabulky tvoří operacionalizace proměnných. Zkoumaná podmínka je přítomna (1) nebo přítomna není (0). To znamená, že by všechny zkoumané podmínky měly být nominálně změřitelné, resp. dichotomické. Intervalové proměnné proto budou transformovány do nominální stupnice měření. Všechny výše navržené nezávisle proměnné lze měřit a z toho důvodu je prováděno dotazníkové šetření, které umožní kvantifikovat jednotlivé faktory. Pro práci s daty, operacionalizaci proměnných, minimalizaci booleovských výrazů atd. bude využito freeware programu TOSMANA, který umožňuje jednoduchou aplikaci kvalitativní srovnávací analýzy (QCA). Tím budou následně identifikovány faktory či kombinace faktorů, které mají významný vliv na závislou proměnnou, v tomto případě na naplňování indikátoru. Vstupy Základními vstupy budou informace z dotazníkového šetření, metodika QCA, a data ze systému Monit7+ (viz výše popsaný postup řešení) Výstupy Faktory či kombinace faktorů ovlivňující naplňování indikátoru Udržitelnost vytvořených partnerství Faktory či kombinace faktorů ovlivňující naplňování indikátoru Zlepšení podmínek pro slaďování rodinného a pracovního života Rizika a předpoklady Hlavní riziko v tomto evaluačním úkolu spatřujeme ve správné identifikaci faktorů, které mohou ovlivňovat naplňování monitorovacích indikátorů, a v dostatečném počtu odpovědí, na kterých bude možné analýzu provést. Způsob řešení evaluační ho úkolu č. 3 - Výpočet hodnot, posouzení pokroku a aktuálního stavu monitorovacích indikátorů ( ) Efektivnost podpořených projektů a ( ) Zvýšení efektivnosti strategií a politik v oblasti LZZ využitím metodiky poskytnuté zadavatelem, včetně kvalitativního slovního komentáře. Kontext a pochopení evaluačního úkolu Metodika, která je využita pro výpočet níže uvedeného indikátoru, je detailně stanovena v Ročním operačním vyhodnocení OPLZZ za rok 2010 (dále ROV 2010). Řešitelský tým tohoto projektu zpracovával uvedenou metodiku, tudíž ji na základě svých zkušeností bezvýhradně využil nejen pro výpočet hodnot, ale také k celkovému posouzení pokroku a aktuálního stavu v daném indikátoru. Znění evaluační otázky 3.1: Zjistěte hodnoty indikátoru Efektivnost podpořených projektů pro rok 2011 podle vytvořené metodologie, včetně slovního kvalitativního komentáře. Způsob řešení Na tomto místě jsou uvedeny dílčí metodické poznámky. 15

16 Vytvořená metodologie má několik variant pro hodnocení efektivnosti na úrovni jednotlivých oblastí podpory (důvodem je vysoká variabilita realizovaných aktivit a výstupů napříč jednotlivými prioritními osami) Navržená metodika je vhodná pro jednoduché a komplexní hodnocení velkého množství projektů a jejich výstupů, ale nezohledňuje efekt mrtvé váhy a další efekty, které jsou vhodné pro hodnocení dopadů Celá metodika je založena na kombinaci kvantitativního a kvalitativního přístupu. Na jedné straně je silně akcentováno kvantitativní hodnocení dosažených hodnot indikátorů v monitorovacím systému OP LZZ, ale současně je do metodiky zakomponováno kvalitativní šetření v podobě webového dotazníku, kde je zjišťována zpětná vazba (účelnost či smysluplnost výstupů projektu) z pohledu zástupců cílových skupin. Metodologie se vztahuje k dokončeným projektům a proto i ověření a výsledky se budou vztahovat k již ukončeným projektům OP LZZ v příslušných oblastech podpory. Výsledná metodika pro jednotlivou prioritní osu / oblast podpory má charakter jednoduchého vzorce, který je složen z několika dílčích ukazatelů, které mají akcentovat hospodárnost, efektivnost i účelnost (viz metodické poznámky ROV 2010). Hodnota indikátoru je potom průměrem zmíněných dílčích vypočítaných hodnot ukazatelů. Vstupy aktuální stav řešení úkolu Z monitorovacího systému OP LZZ byla zpracována aktuální data (ke dni ), která kvantifikují ukazatele u ukončených projektů v požadovaných oblastech podpory. Při práci nebyl identifikován žádný problém. Všechny indikátory byly dostupné a jsou již zpracované ve formátu pro aplikaci metodiky z ROV Dne byl také rozeslán dotazník na všechny zástupce ukončených projektů s žádostí o přeposlání dotazníků všem cílovým skupinám, které prošly nějakým vytvořeným produktem (vzdělávací kurzy, školení, semináře apod.) projektu. Zde je nutné zdůraznit, že byly využity zcela stejné otázky dotazníkového šetření jako v případě ROV 2010, aby byla možná komparace. Výstupy Zjištěné hodnoty indikátoru Efektivnost podpořených projektů pro rok 2011 Slovní komentář dosažených výsledků Rizika a předpoklady Rizikem byla na počátku jednoznačně neochota cílových skupin zodpovědět webový dotazník, jehož výsledky jsou dílčí součástí výpočtu indikátoru. Na tento problém bylo upozorněno již při řešení ROV Nicméně je nutné konstatovat pozitivní skutečnost, že návratnost odpovědí ze strany cílových skupin je mnohanásobně vyšší, než v případě ROV Jako příklad lze uvést např. prioritní osu 1, kde k bylo evidováno 532 odpovědí, nebo v PO odpovědí. Zde je tedy patrný velký posun, který je samozřejmě částečně způsoben vyšším počtem dokončených projektů a tedy větším množstvím potenciálních respondentů. 16

17 Znění evaluační otázky 3.2: Porovnejte hodnoty indikátoru Efektivnost podpořených projektů za rok 2010 zjištěné v ROV 2010 s hodnotami za rok 2011 a kvalitativně okomentujte jejich vývoj. Způsob řešení Tento úkol logicky navazuje na předchozí evaluační otázku. Smyslem je vzájemná komparace dosažených výsledků za rok 2010 a Vhodným nástrojem pro vyhodnocení pokroku je využití indexu změny. Index změny vyjadřuje dynamiku nárůstu / poklesu intenzity sledovaných indikátorů. Tento ukazatel lze vyjadřovat jako absolutní číslo, nebo je možná relativizace a vyjádření jako %. Iz = X t+1 / X t, kde, X t+1 je hodnota sledovaného ukazatele v čase t+1, tj. pokud je referenční rok 2010, tak hodnoty navržených ukazatelů se vztahují k roku 2011, kdy proběhne první řádné vyhodnocení pokroku naplnění indikátoru. X t je hodnota sledovaného ukazatele v referenčním roce Zjištěné rozdíly (pokrok) budou vysvětleny v kontextu aktuálního vývoje OP LZZ. Znění evaluační otázky 3.3: Zjistěte hodnoty indikátoru Zvýšení efektivnosti strategií a politik v oblasti LZZ pro rok 2011 podle vytvořené metodologie, včetně slovního kvalitativního komentáře. Způsob řešení Metodika výpočtu tohoto indikátoru je jasně zpracovaná v technické zprávě evaluačního projektu ROV Není tudíž nutné v této části vstupní zprávy projektu ji detailněji znovu rozebírat. Za důležité však považujeme uvedení postupných kroků, které provedeme pro výpočet hodnoty indikátoru : 1) Z ČSÚ a VUPSV zajistí řešitelský tým aktuální data za ukazatele vybraných cílových skupin k termínu , dle dostupnosti statistických údajů na jaře Je potřeba upozornit, že v ROV 2010 byly vypočteny hodnoty k ) Bude proveden výpočet procentuální změny ve vývoji zapojení vybraných cílových skupin na trh práce a to ve dvou rovinách, tj: A. Výpočet změny v období 2008 a 2010, tj. zvýšení či snížení efektivnosti strategií od posledního měření; B. Výpočet změny v období 2006 a 2010, tj. zvýšení či snížení efektivnosti strategií od počátku současného programového období. 3) Sestavení kvalitativního komentáře k oběma výše uvedeným výsledkům. Nad rámec aktivit vymezených v zadávací dokumentaci tohoto projektu bude rovněž provedena v období od dubna června 2012 kontrola a aktualizace vlivu projektů PO5 na cílové skupiny (tj. aktualizace tabulky č. 6 technické zprávy projektu ROV 2010). Tímto poskytne řešitelský tým zadavateli informaci o obsahovém vývoji tohoto indikátoru na úrovni projektů v PO5. V případě výraznější změny ve váze vlivu PO5 na cílové skupiny bude 17

18 řešitelským týmem sestavena alternativa výpočtu tohoto indikátoru ve vazbě na potřeby příštího programového období Rozdělení váhy vlivu PO5 na cílové skupiny zjištěné v ROV považujeme pro současné programové období za neměnné. Vstupy A) Politika sociální integrace a rovné příležitosti váha politiky 0,8 osoby se zdravotním postižením (statistika MPSV) váha v rámci politiky 0,54 osoby nad 50 let věku (ČSÚ - tabulky statistik trhu práce) váha v rámci politiky 0,17 ženy po mateřské, příp. rodiče (ČSÚ, VŠPS) váha v rámci politiky 0,29 B) Aktivní politika zaměstnanosti a adaptabilita podnikání váha politiky 0,2 uchazeči o zaměstnání (ČSÚ, MPSV) váha v rámci politiky 0,75 mladí lidé let věku (ČSÚ - tabulky statistik trhu práce) váha v rámci politiky 0,25 Výstupy Zjištěné hodnoty indikátoru Zvýšení efektivnosti strategií a politik v oblasti LZZ pro rok 2011 podle vytvořené metodologie v ROV 2010; Slovní kvalitativní komentář k provedeným výpočtům vývoje tohoto indikátoru za období 2008 a 2010 (tj. od posledního měření) a dále také za období 2006 a 2010 (tj. od počátku současného programového období až po aktuálně měřený stav k ). Rizika a předpoklady U této evaluační otázky nejsou žádná rizika pro její realizaci. Předpoklady řešení této evaluační otázky vychází z nastavené metodiky výpočtu příslušného indikátoru v rámci projektu ROV Znění evaluační otázky 3.4: Porovnejte hodnoty indikátoru Zvýšení efektivnosti strategií a politik v oblasti LZZ za rok 2010 zjištěné v ROV 2010 s hodnotami za rok 2011 a kvalitativně okomentujte jejich vývoj. Způsob řešení V rámci této evaluační otázky bude provedeno porovnání vývoje hodnoty indikátoru a jeho věcná analýza, která bude zahrnovat zhodnocení faktorů ovlivňujících vývoj ve vybraných politikách a ukazatelích ve sledovaném období. Účelem této evaluační otázky bude poskytnout zadavateli 1 až 2 odstavce výstižně popisující klíčové záležitosti, které formovaly úroveň efektivnosti strategií a politik v oblasti LZZ. Tento výstižný popis bude využit pro Výroční zprávu OPLZZ za rok Váhy vlivu jednotlivých politik byly v projektu ROV 2010 stanoveny dle clusterování podporovaných projektů a jejich přiřazení k příslušným politikám, na které se po věcné stránce zaměřují. Dle tohoto přístupu byly stanoveny dominantní oblasti politik lidských zdrojů a zaměstnanosti. Váhy cílových skupiny byly stanoveny dle vyhodnocení jejich pokrytí projekty v PO5, přičemž ze 13 typů podporovaných cílových skupin bylo vybráno 5 z nich s největším zastoupením. Tyto cílové skupiny byly následně přiřazeny k příslušným politikám LZZ. 18

19 Pro sestavení shrnujících odstavců porovnávajících hodnoty tohoto indikátoru ve sledovaných letech však bude nezbytné sestavit dílčí analýzy za vývoj v jednotlivých politikách obsažených v indikátoru Dílčí analýzy budou sestaveny v rámci následujících krocích: 1) Desk-research dostupných analýz, komentovaných statistik ČSÚ a VÚPSV 2) Řízené expertní rozhovory na úrovni: programové zástupci ŘO OPLZZ Gestor za Prioritní osu 2 Vedoucí oddělení 814 "Oddělení realizace OP LZZ - zaměstnanost a veřejná správa" Bc. Markéta Fuchsová Gestor za Prioritní osu 3 Vedoucí oddělení 815 "Oddělení realizace OP LZZ - sociální integrace a mezinárodní spolupráce" Mgr. Jana Jirků tematicky expertní zástupci VÚPSV Tematika APZ Mgr. Jaromíra Kotíková - jaromira.kotikova@vupsv.cz Mgr. Danica Krause - danica.krause@vupsv.cz, Tematika Rodina VÚPSV - Mgr. Janu Paloncyovou Ph.D. jana.paloncyova@vupsv.cz. akademické odborníci v oblasti LZZ na Vysoké škole ekonomické v Praze Ing. Soňa Veverková, příp. Doc. Ing. Magdalena Kotýnková, CSc. 3) Syntéza provedeného desk-research a řízených rozhovorů 4) Vyhodnocení, porovnání a kvalitativní okomentování vývoje indikátoru Způsob řešení evaluační ho úkolu č. 4 - Vytvoření metodiky, kterou by bylo možné pravidelně stanovovat hodnoty a posoudit pokrok indikátoru ( ) Podíl úspěšně podpořených osob, a dále výpočet hodnot a jejich posouzení v době sběru dat. Kontext evaluačního úkolu Evaluační úkol č. 4 identifikuje dlouhodobý problém nejen OPLZZ, ale i dalších operačních programů v České republice, tj. podchycení situace what s happend. V rámci projektu ROV 2010 se pokusil řešitelský tým zjistit situaci změny u cílových skupin, nicméně narazil na problém s dostupností kontaktních údajů na zástupce cílových skupin. Provedení dotazníkového šetření nemělo téměř žádný význam (snad vyjma PO4) z důvodu zcela minimální návratnosti vyplněných dotazníků. Závěry tohoto ROV 2010 zdůrazňovaly tento zásadní problém spočívající v nedostatku validních dat a informací k jednoduchému a efektivnímu vyhodnocení dopadů programu. Probíhající longitudinální evaluace zaměřená na vyhodnocení situace a změny na straně cílových skupin však s největší pravděpodobností rovněž nepřinese potřebné informace a zjištění, protože provedené dotazníkové šetření bylo zaměřeno pouze na názory organizací (žadatelů/konečných příjemců). Plánované kvalitativní metody v longitudinální evaluaci, jakými jsou fokusní skupiny či polostrukturované rozhovory se zástupci cílových skupin, nebudou mít s největší 19

20 pravděpodobností zcela ideální vypovídající hodnotu, protože evaluátor bude při navazování kontaktů s respondenty (se zástupci cílových skupin) plně závislý na ochotě oslovených organizací. Při snaze naplnit podmínky kritéria non-response bias není možné při takovém postupu odpovědně garantovat signifikantnost dosažených výsledků. Neexistuje téměř žádná jistota toho, jaké osoby z cílových skupin organizace nakonec vyberou, a které z nich vůbec odpoví v šetření. Je možné se domnívat, že budou mít spíše tendenci vybrat ty bezproblémové a nikoliv problematické. Pochopení tohoto kontextu je velmi důležité pro rozhodnutí o možné a odpovědné realizaci evaluačního úkolu č. 4. Dle výše uvedeného lze konstatovat, že stávajícími metodami běžné evaluační praxe (tj. dotazníková šetření, fokusní skupiny, expertní panely či polostrukturované rozhovory) nelze odpovědně garantovat úspěšné řešení evaluačního úkolu č. 4. Tyto metody jsou časově i finančně velmi nákladné a navíc při rostoucím počtu zástupců cílových skupin nemají potřebnou vypovídající hodnotu, validnost a signifikanci. Tento způsob tudíž není využitelný. Řešitelský tým se proto významně zamýšlel nad možným postupem řešení tohoto problému s vědomím výše uvedeného kontextu. Za současné konstelace nastavení MONIT7+, kdy neexistuje potřebná evidence o cílových skupinách na programové úrovni OPLZZ, je možné provést zjištění situace u cílových skupin z hlediska jejich pozice na trhu práce, tj. zda-li jsou či nejsou zaměstnaní. Detaily metodiky jsou uvedeny dále u evaluační otázky 4.1 Znění evaluační otázky 4.1: Navrhněte a vytvořte metodologii pro zjištění hodnoty indikátoru Podíl úspěšně podpořených osob. Návrh metodologie a její jednotlivé části podrobně zdůvodněte. Způsob řešení Monitorovací indikátor bude nezbytné sledovat na třech úrovních, tj. pro úroveň programu, prioritních os i oblastí podpory a zahrnuje PO1, PO2 a PO3. Hlavní charakteristika tohoto indikátoru spočívá dle Národního číselníku indikátorů (NČI) v tom, že se jedná o Podíl podpořených osob v zaměstnání nebo dalším vzdělávání 6 měsíců po ukončení podpory (klienti služeb) (%). Průřezová charakteristika tohoto indikátoru napříč výše uvedenými prioritními osami je situace, kdy příslušný zástupce cílové skupiny je či není zaměstnaný 6 měsíců po ukončení podpory. Zadavatel daný interval upřesnil na 3 9 měsíců. Hlavní problém tudíž spočívá ve způsobu zjištění situace u zástupců cílových skupin. Pro tuto informaci však není potřeba realizovat náročná kvalitativní šetření, která navíc nikdy nemohou garantovat signifikanci výsledku. Proto bude použit následující postup: 1. Zadavatel umožní zástupcům řešitelského týmu přístup k evidenci / složkám ukončených projektů. V rámci této evidence budou vytaženy prezenční listiny z realizovaných seminářů či jiných aktivit projektů, ze kterých bude nutné sbírat údaje o podpořených osobách z dané cílové skupiny, tj. alespoň jméno a příjmení, datum narození. Zjištění těchto údajů bude provedeno buď na úrovni ŘO či zprostředkujícího subjektu, příp. přímo u vybraných konečných příjemců (zejména PO 1 a PO 3). 2. Seřazení vybraných zástupců cílových skupin do excelovské databáze. 20

21 3. V úzké součinnosti se zadavatelem (MPSV) bude provedeno zjištění u ČSSZ, zdali daná osoba je v evidenci k určitému datu (tj. dle evidence k SP). 4. Pokud podpořená osoba cílové skupiny bude v evidenci ČSSZ (dle vybraných kritérií), tak bude zařazena do kategorie úspěšně podpořených osob, které jsou v zaměstnání či podnikatelské činnosti. 5. Pro dvojí kontrolu může být případně provedeno obdobné zjištění u centrální evidence úřadů práce, nicméně dle stávajících jednání se jeví spolupráce s ČSSZ jako plně postačující. Dle jednání se zástupci ČSSZ 2 dne vyplynulo, že: nejlepším identifikátorem je rodné číslo, které se však v současném programovém období v prezenčních listinách nesleduje; místo trvalého bydliště není vhodný identifikátor identifikace osob by nebyla přesná, a navíc by se jednalo o časově i finančně velmi náročný identifikátor k ověřování; jedinou možnou variantou je členění jméno, příjmení a datum narození ČSSZ spolu se svým externím dodavatelem sestaví skript a pomocí něj se bude hledat u dané osoby pojistný vztah. Dle evidence pak bude možné určit u podpořených osob, zdali jsou zaměstnané či OSVČ (tady jsou od roku 2009 i aktuální údaje, zobrazuje se výkon SVČ); ruční cesta ověřování podpořených osob je problematická a časově náročná, protože jde o ztotožňování osob, tak je potřeba rodné číslo. Vzhledem k tomu, že ověřování bude probíhat také v roce 2014/2015, tak bude nejvhodnější variantou sestavení skriptu; Datum zjišťování: asi nejlépe ke konci roku 2011, tj. stav k ; Počet excelovských tabulek pro agregaci cca 12 až 15; Počet osob pro ověření ČSSZ potvrdila možnost ověření prostřednictvím skriptu, a proto počet osob nebude omezován, min. se bude ověřovat 2500 podpořených osob; Znění zadání vypracování skriptu ze strany ČSSZ pro externí firmu: Vstupem budou excelové tabulky s údaji jméno, příjmení, datum narození. Na tyto údaje bude probíhat ztotožnění. Pokud nedojde k jednoznačnému ztotožnění na základě vstupních údajů, bude osoba započítána do neztotožněných. Sestavy neztotožněných k ručnímu došetřování nepožadujeme. Výstupem za každou tabulku budou agregované údaje - u ztotožněných počet osob se zaměstnáním, SVČ, souběh zaměstnání a SVČ, vše k datu , a dále počet osob neztotožněných. Stejné zjišťování proběhne ještě jednou v roce 2014 nebo Termín má MPSV Řešitelský tým bude pro tento způsob realizovat zjištění údajů na základě vzorku zástupců cílových skupin na úrovni 1-2 % z celkového počtu ve skupině ukončených projektů splňujících podmínku 3 9 měsíců od ukončení podpory. S ohledem na problematické získávání údajů o podpořených osobách (zejména u PO1 a PO3) byla úroveň vzorku 1 2 % posouzena jako postačující a byla dohodnuta se zadavatelem v rámci kick-off setkání dne Původní navrhovaná úroveň 5 % (cca podpořených osob) by byla až příliš 2 Gesce této problematiky - vrchní ředitelka úseku řízení a správy údajové základny Ing. Michaela Hendrychová. 21

22 rozsáhlá pro ověřování. Upřesněný vzorek projektů a cílových skupin uvádíme v příloze této vstupní zprávy. Zástupci cílových skupin budou vybíráni náhodným způsobem tak, aby byly zastoupeny projekty v různých velikostních kategoriích dle jejich rozpočtu. Tímto bude také možné odlišit úspěšnost cílových skupin podpořených v rámci různě finančně rozsáhlých projektů. V komplexnějším pojetí pak bude možné vyvozovat dílčí závěry týkající se rovněž míry efektivnosti těchto skupin projektů. Vstupy řízené rozhovory na úrovni ŘO a ZS ohledně struktury a možností zjištění údajů z prezenčních listin se seznamy podpořených osob (jméno a příjmení, datum narození); Výstupy Metodologie pro zjištění hodnoty indikátoru Podíl úspěšně podpořených osob. Podrobné zdůvodnění návrhu metodologie a jejích jednotlivých částí. Rizika a předpoklady Rizika u této metody spočívají zejména v možnostech a časové flexibilitě ŘO a zejména zástupců zprostředkujícího subjektu poskytnout přístup pro opisování údajů za zástupce podpořených cílových skupin. V době zpracování této vstupní zprávy toto riziko nastalo na straně zprostředkujícího subjektu administrujícího PO3. Naopak lze velmi pozitivně hodnotit přístup a spolupráci nejen ze strany zadavatele (MPSV), ale také zástupců ČSSZ pro efektivní řešení tohoto úkolu. Znění evaluační otázky 4.2: Zjistěte hodnoty indikátoru v době sběru dat podle vytvořené metodologie, včetně slovního kvalitativního komentáře. Způsob řešení Řešitelský tým bude postupovat v následujících krocích dle výše naznačené metodiky: 1) V první fázi bude se zadavatelem dolaďovat metodiku ve vazbě na možnosti ŘO a zejména ZS z hlediska dostupnosti informací o podpořených cílových skupinách. 2) V druhé fázi bude proveden sběr základních údajů o podpořených osobách (vzorek), tj. jméno a příjmení, datum narození. 3) Ve třetí fázi bude řešitelský tým v úzké součinnosti s MPSV a ČSSZ ohledně zjištění situace u zástupců daných cílových skupin (zjištění ANO/NE). 4) Sumarizace a čištění dat pro finální výpočet. 5) Výpočet dle finálních údajů a kvalitativní komentář dle úrovně jednotlivých oblastí podpory, prioritních os a celkového pokroku na úrovni programu OPLZZ. 6) Expertní rozhovory ohledně vývoje situace u vybraných cílových skupin budou realizovány podle časové možnosti ČSSZ zpracovat poskytnuté údaje o podpořených osobách. V návaznosti na zmíněnou aktivitu je pak vhodné provést řízené rozhovory k upřesnění situace cílových skupin na úrovni: - programové zástupci ŘO OPLZZ - tematicky expertní zástupci VÚPSV, ČMKOS, Hospodářská komora apod. - akademické odborníci v oblasti LZZ (např. VŠE Praha) 22

23 7) Syntéza poznatků a interpretace vypočtených výsledků dle jednotlivých oblastí podpory, prioritních os a celkového pokroku na úrovni programu OPLZZ. Vstupy prezenční listiny se seznamy podpořených osob (jméno a příjmení, datum narození); dle dohody a v úzké součinnosti se zadavatelem spolupráce s ČSSZ. případně i expertní rozhovory (dle časového průběhu a zvládnutí zpracování dat ze strany ČSSZ a následné syntézy). Výstupy Zjištěné hodnoty indikátoru podle vytvořené metodologie, včetně slovního kvalitativního komentáře. Velkou výhodou tohoto přístupu je významnost zjištění, srovnatelnost mezi osami PO1, PO2 a PO3, a dále také snadná opakovatelnost takového přístupu, který nebude finančně a časově tak náročný, jako jsou dosud využívané přístupy o zjišťování situace u cílových skupin. Doporučení řešitelský tým bude také dolaďovat doporučení pro příští programové období týkající se potřebných změn v MONIT7+ ve vazbě na evidenci informací o cílových skupinách. Základními informacemi o cílových skupinách bude ŘO schopen i sám si generovat příslušné statistiky jejich počtu a struktury. Prostřednictvím sdílení dat ve veřejné správě pak bude také schopen zjistit jejich situaci na trhu práce (tj. zda-li jsou či nejsou zaměstnaní či podnikající). Rizika a předpoklady Rizika tohoto přístupu jsou následující (vždy uvádíme i možnosti jejich eliminace): 1) Nemožnost získání potřebných informací o cílových skupinách na úrovni ŘO či ZS toto riziko bylo zcela eliminováno již v počáteční fázi projektu při zajišťování potřebných údajů. Dílčí problémy nastaly v případě PO1 a PO3. Naopak sběr dat v PO2 byl zcela bezproblémový. 2) Duplicita jmen a příjmení a problém ve vyhledávání v evidenci ČSSZ tento problém bude bezesporu vznikat a lze jej významně eliminovat právě paralelním zjištěním o datu narození či místa bydliště. V takovém případě pak budou tyto případy spíše ojedinělé, a celkový výsledek nebude významně zkreslován. Dle jednání se zástupci ČSSZ vyplynulo, že pokud nedojde k jednoznačnému ztotožnění podpořené osoby na základě vstupních údajů, bude taková osoba započítána do kategorie neztotožněných osob. Způsob řešení evaluační ho úkolu č. 5: Zjištění hodnot, posouzení pokroku a aktuálního stavu monitorovacích indikátorů ( ) Zkrácení délky soudních řízení - Krajské soudy; ( ) Zkrácení délky soudních řízení - Okresní soudy. Způsob řešení Evaluační úkol č. 5 má specifický charakter díky svému tématu i nárokům na sběr dat. Požadované indikátory nebudou hodnoceny klasickými evaluačními postupy, ale úspěch 23

24 celého úkolu je závislý na získání a hodnocení externích dat. Z tohoto důvodu je v řešitelském týmu právník (advokát), který má přístup k nezbytným databázím a zkušenosti s podobnými analýzami. Proto bude tento evaluační úkol zpracovávat a současně garantovat. Smyslem je poukázat na vývoj resp. změny v délce soudních řízení na obou sledovaných úrovních v roce 2007 a v současnosti. Vstupy Již bylo uvedeno, že vstupy jsou zajišťovány z externích zdrojů i ze současné praxe hlavního řešitele tohoto úkolu. Proto je pracováno s: Veřejně dostupnou databází za roky , kde jsou dostupné informace o délkách soudních řízení členěno dle jednotlivých agend v agregátu a dále průměrná délka soudních řízení. Data za roky týkající se průměrné délky soudních řízení jsou členěna agregátně pro úroveň krajských soudů a okresních soudů. Tyto údaje v agregované formě jsou dostatečně vypovídající pro řešení evaluačního úkolu č. 5. Analýza za jednotlivé roky po jednotlivých okresních a krajských soudech je nadbytečná a bez srovnávací vypovídací hodnoty, kdy údaje za jednotlivé soudy je možné získat na MsP ČR, avšak s ohledem na rozsáhlost (jedná se o 100 sestav za každý rok) a na obtížnost a časovou náročnost získání jednotlivých sestav je pracováno s agregátními údaji, které jsou sledovány již po delší časové období. Informace ze statistiky získané z MsP ČR týkající se personálního obsazení soudů a dále otázek změny legislativy, kdy tyto faktory mají vliv na změnu průměrné délky soudních řízení, tedy byly identifikovány dva hlavní důvody výrazného zkrácení délky řízení a to zlepšení personálního zázemí soudů a to jak v úrovní soudcovského tak i administrativního aparátu v provázání na zlepšení technického vybavení a dále změna legislativy. Dále je nezbytné upozornit, že změna délky soudních řízení je silně ovlivněna samotným počtem zahájených kauz nápadem kauz a personální obsazení počet chybějících soudců či počet soudců na počet případů napadlých na soudy, tj. počet zahájených řízení, kdy v rámci těchto ukazatelů v návaznosti na předchozí odrážku je možné vysledovat i případnou závislost efektivity řešení soudních kauz z hlediska průměrné délky soudního řízení. Podstatná je i otázka vyznačování právní moci u kauz, kdy statistika průměrné délky řízení je vázána na datum dojití kauzy k soudu zahájení kauzy u soudu a ukončení kauzy vyznačením právní moci. Bohužel, tato otázka je hodnotitelná jenom a pouze v rámci úvah, kdy není statistika nabytí rozhodnutí právní moci a data vyznačení této právní moci, která znamená statistické ukončení předmětné kauzy. Výstupy Výstupem by měly být hodnoty indikátoru zkrácení délky soudních řízení na krajské a okresní úrovni. Vypočítat jedno číslo pro krajskou a jedno pro okresní úroveň sice je možné (aritmetický průměr či medián), ale metodicky to nebude přesné. Důvodem jsou rozdílné počty řešených kauz, které se výrazně liší i mezi krajskými soudy navzájem (nemluvě o okresních soudech). Pro potřeby výroční zprávy OP LZZ tedy bude zvolen pragmatický přístup a požadované indikátory budou vypočítány (mediánová hodnota pro krajskou i okresní úroveň). Indikátory budou relevantně vysvětleny a popsány i s ohledem na stav justice v posledních letech a ve vazbě vlivu OP LZZ na zkrácení délky soudního řízení. 24