ROČNÍ OPERAČNÍ VYHODNOCENÍ OPLZZ 2012

Transkript

1 ROČNÍ OPERAČNÍ VYHODNOCENÍ OPLZZ 2012 Závěrečná zpráva technická část PODPORUJEME VAŠI BUDOUCNOST

2 IREAS centrum, s.r.o. Mařákova 292/ Praha 6 Česká republika 30. června

3 Obsah... 1 ÚVOD... 3 METODIKA ZPRACOVÁNÍ... 4 ŘEŠENÍ JEDNOTLIVÝCH EVALUAČNÍCH ÚKOLŮ... 1 Vyhodnocení úkolu 1: Zpracujte evaluační podklady pro Výroční zprávu OP LZZ APLIKACE QCA ANALÝZY V RÁMCI ÚKOLU HODNOCENÍ MONITOROVACÍCH INDIKÁTORŮ NA PŘÍKLADU UKONČENÝCH PROJEKTŮ Vyhodnocení úkolu 2: Zpracujte případové studie 30 projektů OP LZZ CLUSTEROVÁ ANALÝZA PROVEDENÁ V RÁMCI EVALUAČNÍHO ÚKOLU PRACOVNÍ PODKLADY PRO CLUSTEROVOU ANALÝZU Vyhodnocení úkolu 3: Vyhodnoťte výstupy a výsledky projektů v rámci prioritní osy 5, včetně zhodnocení vlivu implementace principů inovativnosti a partnerství na tyto výstupy a výsledky POPIS HLAVNÍCH KROKŮ V POSTUPU ŘEŠENÍ EVALUAČNÍHO ÚKOLU ŘEŠENÍ DÍLČÍCH EVALUAČNÍCH OTÁZEK ÚKOLU SYNTÉZA POZNATKŮ Z PROVEDENÝCH MIKROSTUDIÍ A NEVHODNÝCH PŘÍKLADŮ PRO MAINSTREAMING PŘÍLOHY Příloha 1: Přílohy k úkolu Příloha 2: Přílohy k úkolu ÚVOD Tato technická zpráva doplňuje Závěrečnou zprávu evaluace Roční operační vyhodnocení OP LZZ 2012, ve které jsou uvedeny výsledky a závěry projektu. V této technické zprávě jsou uvedeny technické detaily, zvolené postupy a metody evaluace, případně zkušenosti s nimi. 3

4 METODIKA ZPRACOVÁNÍ Řešitelský tým přistoupil k řešení zakázky kombinací několika metod, které zajišťovaly dosažení kvalitnějších výsledků a současně i triangulaci metod. Evaluátor využíval jak kvalitativních tak kvantitativních metod šetření a hodnocení. Sběr dat využíval jak primárních tak i sekundárních informačních zdrojů. Primárními informačními zdroji byly: - Data z dotazníkového šetření. Dotazníkové šetření bylo použito v úkolu 1, kde dotazníky zodpovídali projektoví manažeři jednotlivých oblastí podpory, a dále v úkolu 2, kde bylo dotazníkového šetření využito pro zjišťování u cílových skupin, které prošly projekty. - Informace z řízených rozhovorů s realizátory projektů. - Technické konzultace se zástupci ŘO OP LZZ a dalšími experty. Realizační tým dále využíval i sekundární zdroje, mezi nimi zejména: - Data z monitorovacího systému - Data z předchozích šetření či evaluačních zpráv - Data ze šetření provedených realizátory projektů - Data z výročních zpráv a programových dokumentů - Statistické údaje - Data ze systému sociálního pojištění ČSSZ. Základními hodnotícími metodami použitými při řešení evaluační zakázky byly tyto: - Základní analýza (analýza programových podkladů, analýza základních dat) - Dotazníkové šetření - Řízené rozhovory - Případové studie - Clusterová analýza - QCA analýza 4

5 ŘEŠENÍ JEDNOTLIVÝCH EVALUAČNÍCH ÚKOLŮ Vyhodnocení úkolu 1: Zpracujte evaluační podklady pro Výroční zprávu OP LZZ 2012 Jako součást evaluačního úkolu 1 byly definovány následující tři evaluační otázky. EQ 1.1: JAKÉHO BYLO V ROCE 2012 DOSAŽENO POKROKU VE VZTAHU K PLÁNOVANÝM HODNOTÁM MONITOROVACÍCH INDIKÁTORŮ, VČETNĚ TZV. LISABONSKÝCH INDIKÁTORŮ? EQ 1.2: JAKÉHO BYLO V ROCE 2012 DOSAŽENO POKROKU VE VZTAHU K NAPLŇOVÁNÍ OBECNÝCH CÍLŮ POLITIKY SOUDRŽNOSTI, ÚKOLŮ ESF, STRATEGICKÝCH OBECNÝCH ZÁSAD SPOLEČENSTVÍ A NSRR, HORIZONTÁLNÍCH TÉMAT EU A CÍLŮ EU PRO RŮST A ZAMĚSTNANOST, PŘÍP. DALŠÍCH AKTUÁLNÍCH STRATEGICKÝCH CÍLŮ NA ÚROVNI ČR A EU? EQ 1.3: DOŠLO V ROCE 2012 K ODKLONU OD PŮVODNĚ STANOVENÝCH CÍLŮ PROGRAMU TAK, ŽE BY MUSELA BÝT PROVEDENA KOREKCE NA ÚROVNI OPERAČNÍHO PROGRAMU, PROGRAMOVÝCH PRIORIT ČI VYHLAŠOVANÝCH VÝZEV, V DŮSLEDKU VÝZNAMNÝCH SOCIOEKONOMICKÝCH ZMĚN, ZEJMÉNA V OBLASTI DLOUHODOBÉ NEZAMĚSTNANOSTI, ROVNOSTI MUŽŮ A ŽEN, SNIŽOVÁNÍ ROZDÍLŮ MEZI REGIONY A ABSORPČNÍ KAPACITY V PROBLÉMOVÝCH REGIONECH APOD. NEBO POTŘEBY VE VĚTŠÍ MÍŘE NEBO ODLIŠNÝM ZPŮSOBEM ZOHLEDNIT VÝZNAMNÉ ZMĚNY PRIORIT SPOLEČENSTVÍ ANEBO CELOSTÁTNÍCH NEBO REGIONÁLNÍCH PRIORIT NEBO OBTÍŽÍ PŘI PROVÁDĚNÍ? DÁLE, V PŘÍPADĚ, ŽE K ODKLONU DOŠLO, CO DOPORUČUJETE PRO ŘEŠENÍ NASTALÉ SITUACE? Odpovědi na tyto otázky byly vzhledem k požadovanému charakteru hlavního výstupu evaluačního úkolu, kterým byl vstup pro Výroční zprávu OP LZZ, zpracovány v rámci závěrečné zprávy projektu. V technické části zprávy jsou uvedeny detaily metodického postupu a rozšířené výsledky pro dvě dílčí analýzy. První byla aplikace QCA analýzy na příkladu indikátoru Druhou podpůrnou analýzu tvoří vyhodnocení indikátorové soustavy na příkladu ukončených projektu v jednotlivých prioritních osách.

6 APLIKACE QCA ANALÝZY V RÁMCI ÚKOLU 1 Na základě akceptované vstupní zprávy byla využita také aplikace QCA analýzy. Řešitelský tým zaměřil pozornost na stanovení kauzálních řetězců vedoucích k (ne)dosažení výsledků v rámci vybraného indikátoru. Po dohodě se zadavatelem byl vybrán indikátor Počet nově vytvořených pracovních míst pro znevýhodněné skupiny - celkem. Důvodem je především relativní nenaplňování tohoto indikuátru na úrovni prioritní osy. Na úrovni projektu samozřejmě k plnění v naprosté většině projektů dochází, nicméně příjemci se zavazují k nižším hodnotám, než bylo původně plánováno a cílová hodnota proto musela být již snížena. QCA analýza slouží v případě tohoto úkolu pro zjištění detailnějších souvislostí naplňování indikátoru. Metoda vychází z předpokladu, že každý případ představuje kombinaci kauzálních podmínek a jejich důsledků. Smyslem je tedy individuální posouzení různých podmínek, které vedly ke stejnému výsledku. Kontext aplikované metody Metodu lze vyčlenit na rozhraní kvalitativních a kvantitativních metodologických přístupů. Smyslem není hledat a vyčíslovat příčinnou závislost vybraných nezávisle proměnných na závisle proměnné (což je typické pro mnohé statistické metody) a současně QCA analýza nezůstává u jednotlivých případových metod (typické pro kvalitativní zpracování případových studií). QCA analýza naopak vychází z předpokladu, že výsledný efekt může být způsoben jedním faktorem, ale i kombinací několika podmínek. QCA analýza tedy má snahu vysvětlit jednotlivé a do jisté míry unikátní případy (kdy nastal/nenastal zkoumaný jev) v souboru mnoha vzájemně porovnatelných případů. Řešitelé tedy mají vždy za úkol identifikovat podmínky a jejich kombinace vedoucí ke konkrétně definovanému výstupu (a to vše na souboru vybraných případů). QCA analýza tedy umožňuje hodnotit středně velké soubory, kde není možné přesvědčivě aplikovat statistické postupy (z důvodu nízké vypovídací schopnosti a malé četnosti dat) a kde současně není možné technicky zvládnout větší množství řízených rozhovorů či jiných kvalitativních metod. Na rozdíl od čistě kvantitativních metod je důležité zdůraznit, že v QCA analýze může jedna podmínka v kombinaci s vybranými podmínkami vést ke zkoumanému jevu, zatímco stejná podmínka v kombinaci s jinými faktory daný jev nemusí vůbec způsobit. Na základě toho je nutné omezit (identifikovat) počet různých situací (modelů), které vedou ke zkoumanému jevu.

7 Sběr dat Pro řešení tohoto úkolu využil projektový tým následující zdroje dat: data z monitorovacího systému Monit7+; data z databáze Albertina; data z Českého statistického úřadu; Identifikace vhodných proměnných a jejich kvantifikace Příjemci dotace se zavazují k nižším hodnotám u indikátoru , což má za následek nedostatečné naplňování indikátoru na úrovni prioritní osy, a proto bylo přistoupeno k následujícímu postupu: Na příkladu projektů se stavem P5 a vyšším, které se zavázaly k plnění tohoto indikátoru, byla zjištěna průměrná a mediánová hodnota dosažené hodnoty indikátoru. Mediánová hodnota je 8 nově vytvořených pracovních míst pro znevýhodněné skupiny a průměrná hodnota je 10, 5. Pro samotné hodnocení byla aplikována csqca, ale také fsqca Pro aplikaci csqca/fsqca byly sledovány faktory a proměnné pro skupinu projektů, které dosáhli nadprůměrné/podprůměrné hodnoty indikátoru resp. nad/pod mediánovou hodnotu celého souboru projektů V úvodu hodnocení byla stanovena hypotéza, která předpokládá, že: Na počtu nově vytvořených pracovních míst pro znevýhodněné skupiny má významný vliv velikost ekonomického subjektu (příjemce dotace), dále velikost obce, kde je projekt realizován a právní forma žadatele. Naopak méně významný až nevýznamný vliv lze očekávat u obratu ekonomického subjektu a u odvětvové klasifikace ekonomických činnosti (OKEČ/NACE). Dílčí předpoklady jednotlivých vymezených faktorů jsou uvedeny níže. Hlavní závisle proměnnou tvoří vytvořená pracovní místa pro znevýhodněné skupiny obyvatel (přičemž jako hodnota 1 byl označen projekt, který dosáhl vyšší hodnoty indikátoru než je průměrná/mediánová hodnota celého souboru projektů). Dále bylo definováno několik faktorů a podmínek, které hrají důležitou roli při vytváření nových pracovních míst pro znevýhodněné skupiny. Teoretická východiska se vážou na jednotlivé nezávisle proměnné: A. Právní forma žadatele

8 B. Velikost obce (místo realizace projektu) C. CZ NACE (převažující hospodářská činnost subjektu) D. Počet pracovníků (velikost příjemce) E. Obrat společnosti (příjemce) Při výběru jednotlivých nezávisle proměnných byly brány v úvahu pouze podmínky vztahující se přímo k příjemci dotace. Evaluátoři jsou si vědomi, že na úspěšné naplnění indikátoru může mít vliv i celá řada externích vlivů (např. legislativní změna podpory při zaměstnávání znevýhodněných osob, celkové tempo české ekonomiky), ale tyto aspekty do QCA analýzy nevstupují a budou posouzeny v kontextu celkové interpretace výsledků. Operacionalizace proměnných Právní forma žadatele Tato proměnná vyjadřuje právní formu příjemce dotace, která může hrát významnou roli pro celkové naplnění tohoto indikátoru. Pro aplikaci QCA byl stanoven předpoklad, že subjekty s právní formou společnost s ručením omezeným budou mít větší možnosti pro vytváření nových pracovních míst, než ostatní právní formy. Tento předpoklad byl stanoven také po primárním prozkoumání datového souboru a provedení základní deskriptivní statistiky. Operacionalizace proměnné: společnost s ručením omezeným (1) vers. ostatní subjekty (0) Pro aplikaci fsqca byl tento předpoklad rozpracován podle míry vlivu dalších právních forem. Konkrétně se jedná o: Spolčenost s ručením omezeným 1 Sdružení (svaz, spolek, společnost, klub aj.) 0,75 Obecně prospěšná společnost 0,5 Akciová společnost 0,25 Ostatní právní formy 0 Velikost obce Tato proměnná byla zjišťována z databáze Albertina, kdy byl příjemce dotace a místo realizace projektu propojeno s vybranými ukazateli této databáze. Lze předpokládat, že v menších obcích a městech je nižší poptávka po pracovních místech pro znevýhodněné skupiny z důvodu nižší koncentrace obyvatel a proto i indikátor bude mít významnější naplnění ve větších sídelních jednotkách. Operacionalizace proměnné: do 20 tis. obyv (0) vers. nad 20 tis. (1)

9 Pro aplikaci fsqca byl tento předpoklad rozpracován detailněji podle velikostních kategorií obcí: nad obyv obyv. 0, obyv. 0, obyv. 0,25 Do obyv. - 0 CZ NACE (převažující hospodářská činnost subjektu) Tato proměnná reprezentuje převažující hospodářskou činnost ekonomického subjektu. Lze předpokládat, že i rozdílné působení příjemců v různých odvětvích může hrát významnou roli při naplňování indikátoru Operacionalizace proměnné: Činnosti ostatních organizací sdružujících osoby za účelem prosazování společných zájmů j. n. (1) vers. ostatní činnosti (0) Pro aplikaci fsqca byl tento předpoklad rozpracován detailněji CZ NACE: Činnosti organizací dětí a mládeže + ostatní vzdělávání 1 Činnosti ostatních organizací sdružujících osoby za účelem prosaz. společných zájmů j. n. 0,75 Ostatní ústavní sociální péče 0,5 Sekundární odborné vzdělávání + Účetnické a auditorské činnosti; daňové poradenství 0,25 Ostatní činnosti 0 Počet pracovníků Tato proměnná vyjadřuje velikost příjemce z pohledu počtu zaměstnanců. Ukazatel byl získán z databáze Albertina, kdy došlo k propojení dat z Minit7+ a této databáze. Lze předpokládat, že příjemci s větším počtem zaměstnanců budou mít i větší možnosti při vytváření pracovních míst pro znevýhodněné skupiny. Je to sice zjednodušený předpoklad, protože nepochybně to závisí i na odvětví a dalších ukazatelích, ale právě QCA analýza může tyto okolnosti objasnit. Operacionalizace proměnné: 20 a více zaměstnanců (1) vers. do 19 zaměstnanců (0) Pro aplikaci fsqca byl tento předpoklad rozpracován detailněji: zaměstnanců zaměstnanců 0, zaměstnanců 0, zaměstnanců 0,25 do 10 zaměstnanců 0 Obrat společnosti

10 Posledním vstupujícím ukazatelem je obrat společnosti, který byl také zjištěn z databáze Albertina. Smyslem je zjistit, jestli na vyšším naplnění indikátoru má vliv také tento ekonomický ukazatel. Lze předpokládat, že by se mělo jednat o jeden z podmiňujících faktorů výsledného jevu. Operacionalizace proměnné: nad 10 mil. Kč (1) vers. do 10 mil. Kč (0) Pro aplikaci fsqca byl tento předpoklad rozpracován detailněji: 50 mil. Kč a více mil. Kč 0, mil. Kč 0,5 2 4 mil. Kč 0,25 do 2 mil. Kč 0 Pro práci s daty, operacionalizaci proměnných, minimalizaci booleovských výrazů atd. bylo využito programu fsqca, který umožňuje jednoduchou aplikaci kvalitativní srovnávací analýzy (QCA). Tím bylo možné následně identifikovat faktory či kombinace faktorů, které mají významný vliv na závislou proměnnou. V prvním kroku byly vybrány relevantní nezávisle proměnné, které vychází z pravdivostní tabulky. Pro samotnou práci bylo nezbytné převést pravdivostní tabulku z formátu excel do formátu csv resp. data file SPSS. Následně byly označeny jednotlivé případy pomocí kódů, což představuje důležitý krok pro operacionalizaci proměnných. V neposlední řadě byly definovány parametry výstupů. Prvotním cílem bylo zjistit seznam kombinací nutných a postačujících podmínek vedoucích ke zkoumanému výsledku. Výsledky fsqca analýzy pro indikátor V následující části jsou uvedeny hlavní výsledky fsqca analýzy pro indikátor Počet nově vytvořených pracovních míst pro znevýhodněné skupiny celkem. Tato metoda je výstižnější z důvodu citlivějšího posouzení vlivu jednotlivých proměnných. Pro doplnění a případné porovnání jsou v další části uvedeny ještě výsledky csqca, u které muselo dojít k binárnímu rozdělení. Prvotní pohled na pravdivostní tabulku i na výsledky subset/superset analýzy ukazují kombinace okolností, které vedly ke sledovanému jevu (nadprůměrné naplnění monitorovacího indikátoru ). Klíčovým parametrem je míra konzistence, která je vždy uvedena. Míra konzistence vyjadřuje stupeň, do jakého se případy sdílející podmínku, nebo kombinaci podmínek, shodují v přítomnosti důsledku. Míra konzistence také ukazuje, do jaké míry jsou empirické důkazy v souladu s hypotetickým podmnožinovým vztahem dostatečnosti (Kouba 2008). Pro samotné hodnocení záleží vždy na řešiteli, jak vysoký práh konzistence požaduje pro stanovení postačujících kombinací podmínek. Obecně platí, že čím

11 vyšší je míra konzistence, tím vyšší je míra vysvětlení podmínek či jejich kombinace při hodnocení sledovaného jevu. Tabulka 25: Pravdivostní tabulka Zdroj: vlastní zpracování V případě této fsqca analýzy je zjevné, že nejvyšší konzistence je dosažena na úrovni cca 75 % v případě vybraných kombinací proměnných. Obecně se míra pohybuje vždy minimálně kolem 60 %. Oprávněně lze tedy tvrdit, že na sledovaný ukazatel působí ještě jiné podmínky a faktory, než ty které se týkají výhradně samotného příjemce (velikost, NACE, obrat aj.) Je velmi pravděpodobné, že se může jednat o institucionální vlivy. Tento ukazatel byl však součástí také dotazníkového šetření, kdy bylo předmětem vyhodnocení zkušeností s indikátorovou soustavou na příkladu ukončených projektů. A právě indikátor byl označován jako jeden z velmi problematických (z hlediska schopnosti naplnění). Při provedení křížové analýzy bylo zjištěno, že existuje závislost mezi mírou problémů při naplnění tohoto indikátoru a nevhodnou kvantifikací cílového stavu indikátory (viz obrázek 1). Současně zjevně existuje vztah také se změnou poptávky cílové skupiny (viz obrázek 2), což označovali v dotazníkovém šetření příjemci jako druhý významnější problém. V rámci desk research analýzy nebyla identifikována žádná podstatná změna při zaměstnávání znevýhodněných skupin.

12 Samotné výsledky QCA analýzy ukazují, že kombinace proměnné právní forma příjemce a počet pracovníků nejčastěji velmi významně vede k nadprůměrnému plnění monitorovacích indikátorů. Při pohledu na individuální data se ukazuje, že z pohledu právní formy se ukazuje jako velmi významný vliv společností s ručením omezeným, které jsou také jedním z nejčastějších žadatelů o projekty, které se zavazují k plnění MI Z hlediska velikosti firem měřených počtem pracovníků je zřejmé, že středně velké firmy přispívají mnohem více k naplňování MI než mikro firmy. Současně ale neplatí přímá úměrnost, jelikož firmy s největším počtem zaměstnanců nevykazují ty nejvyšší hodnoty MI (největší přínos mají příjemci ve velikostní kategorii zaměstnanců). V některých kombinacích se ukazuje důležitý vliv také sektoru (NACE) a finančního obratu příjemců. Nejedná se však o podmínky postačující. U obou proměnných odpovídá působení obou faktorů původním předpokladům, tj. vyšší naplnění indikátoru vykazují společnosti ze sektoru činnosti organizací dětí a mládeže, ostatní vzdělávání a činnosti ostatních organizací sdružujících osoby za účelem prosazování společných zájmů j. n. V případě obratu ten vztah není tak kauzální, ale obecně bylo zjištěno, že společnosti s vyšším obratem vytvářely i vyšší počet pracovních míst pro znevýhodněné osoby. Nejvyšší příspěvek vykazují firmy s obratem mezi mil. Kč. Naopak firmy s ještě vyšším obratem již příspěvek spíše snižují. Jako relativně méně významný se jeví faktor velikosti obce žadatele. Ačkoliv lze předpokládat, že větší sídla generují vyšší poptávku, tak v případě vlivu na MI je tento vliv spíše nižší. Možným zdůvodněním je i skutečnost, že se jednalo o místa realizace projektů, zatímco vytvořená pracovní místa pro znevýhodněné skupiny obyvatel mohou vznikat v jiných sídlech. Analýza podmínek vedoucích ke sledovanému jevu Zdroj: vlastní zpracování

13 změna poptávky cílové skupiny nevhodná kvantifikace cílového stavu Obrázek 1: Vztah problému naplňování indikátoru a kvantifikace cílového stavu MI problém při naplňování MI Zdroj: vlastní zpracování Obrázek 2: Vztah problému naplňování indikátoru a změny poptávky cílové skupiny problém při naplňování MI Zdroj: vlastní zpracování Výsledky csqca analýzy pro indikátor

14 Výsledky analýzy jsou uvedeny v závěrečné evaluační zprávě v kap. Vyhodnocení úkolu 1: Zpracujte evaluační podklady pro Výroční zprávu OP LZZ 2012V následující části jsou uvedeny již velmi stručně hlavní výsledky csqca analýzy pro indikátor Obecně lze konstatovat, že i csqca potvrdila podobný vliv sledovaných proměnných jako fsqca. Naopak v některých případech počítá i s vyšší konzistencí výsledků (až na úrovni 83 %). Velmi slabou stránkou csqca je však nutnost binárního rozdělení působících proměnných, což v realitě u takových proměnných, které jsou předmětem hodnocení, neexistuje. Nelze jednoznačně říci, že společnosti ve velikostní kategorii X přispívají k plnění indikátoru (1) a jiná kategorie nikoliv (0). Ačkoliv stanovení hranice a operacionalizace proměnných byla provedena po důsledném seznámení se s individuálními daty jednotlivých projektů. Nešlo tedy o neodůvodnitelné nastavení proměnných. Tabulka 26: Výstupy fsqca analýzy Zdroj: vlastní zpracování Analýza podmínek vedoucích ke sledovanému jevu

15 Zdroj: vlastní zpracování Shrnutí QCA analýza prokázala, že sledované proměnné se podílí na sledovaném jevu (plnění indikátoru ) v průměru z více než 60 %. Je tedy evidentní, že ne všechny proměnné se podařilo vystihnout. Nicméně výsledky analýzy byly rozšířeny o výsledky dotazníkového šetření, jehož podstatou bylo zjistit zkušenosti a bariéry při naplňování indikátoru Výsledky QCA byly tedy komentovány i v souvislosti s tímto kvalitativním šetřením. Ze sledovaných proměnných se jeví jako nejvýznamnější kombinace soukromých firem s ručením omezeným a současně ve velikostní kategorii zaměstnanců, nebo kombinace právní formy společnosti, počtu zaměstnanců a obratu společnosti. Z výsledků dotazníkového šetření potom plyne, že existuje vztah mezi problémy při naplňování tohoto MI a nevhodnou kvantifikací cílového stavu. Je tedy zřejmé, že část žadatelů se dostala do problému díky nedostatečné analýze potřebnosti a špatnému nastavení předpokládané cílové hodnoty nově vytvořených pracovních míst pro znevýhodněné obyvatele. Navíc z kvalitativního průzkumu také vyplynulo, že příjemci evidovali také změnu v poptávce cílové skupiny jako jednu z bariér při naplňování MI.

16 HODNOCENÍ MONITOROVACÍCH INDIKÁTORŮ NA PŘÍKLADU UKONČENÝCH PROJEKTŮ Řešitelský tým navrhnul v nabídce/vstupní zprávě v rámci evaluačního úkolu 1 vyhodnocení monitorovacích indikátorů. Zdrojem informací se stala zejména data z dotazníkového šetření a řízených rozhovorů s příjemci podpory. Hlavním smyslem hodnocení bylo navázat na již provedené dotazníkové průzkumy zaměřené na nastavení indikátorové soustavy (zejména na Evaluaci ve vazbě na monitoring vyhodnocení indikátorové soustavy OP LZZ (DHV 2009)). Vycházíme ze skutečnosti, že toto prvotní šetření bylo realizováno v době, kdy většina projektů byla v realizaci a proto má smysl sledovat vývoj a proměnu vnímání na monitorovací indikátory po dalších třech letech. Z hlediska vzorku respondentů byl proveden průzkum na projektech se stavem P5, P6, P7 a P8. Jedná se o všechny stavy ukončených projektů a lze očekávat určitý odstup realizátorů na danou problematiku (na rozdíl od často velmi emotivních a někdy i negativních odpovědí od příjemců, kteří aktuálně realizují projekt a jsou zatíženi administrativou). Výsledky dotazníků bylo možné také konfrontovat s řízenými rozhovory u vybraných příjemců. V rámci terénních šetření nutných pro zpracování případových studií (evaluační úkol 2) byla část rozhovoru věnována také naplnění monitorovacích indikátorů včetně vypovídací schopnosti indikátorů a problémů či bariér při jejich naplňování. V souvislosti s navrženými otázkami dotazníku bylo možné formulovat několik klíčových hypotéz (resp. odborných otázek), k jejichž ověření a zodpovězení by měl dotazník přispět. Jedná se zejména o následující aspekty soustavy MI: Do jaké míry se podařilo příjemcům dotace vhodně kvantifikovat cílové hodnoty indikátorů? Odrazil se tlak na splnění indikátorů v kvalitě realizovaného projektu? Jak časově a organizačně náročný byl monitoring indikátorů v projektu (nyní s odstupem času a po ukončení projektu)? Jaké faktory hrály nejvýznamnější roli při (ne)naplňování indikátorů? V jakém indikátoru příjemci vidí zpětně největší problém s naplněním (odpovídá pohled příjemců dotace problémovým indikátorům OP LZZ, jejichž cílové hodnoty musely být ze strany ŘO snižovány)? Z metodologického pohledu je celé hodnocení založeno na komparaci odpovědí prostřednictvím základních ukazatelů variability. U každé (pod)otázky byla vždy vypočítána průměrná známka (ohodnocení) respondenta. Velikost rozdílů mezi respondenty byla měřena prostřednictvím směrodatné odchylky, která je absolutní měrou variability souboru. Smyslem bylo také posoudit a komparovat situaci napříč prioritními osami, protože řada otázek byla průřezových. Prioritní osa 1 V případě prioritní osy 1 OP LZZ je nevyšší počet ukončených projektů a proto se podařilo získat také nejrozsáhlejší zpětnou vazbu. V rámci dotazníkového šetření bylo osloveno 1532 příjemců dotace, přičemž se podařilo získat odpověď od 163 respondentů. Míra návratnosti

17 tedy byla 10,63 %, což lze považovat za úspěch s ohledem na současnou nevelkou ochotu poskytovat zpětnou vazbu. Při hodnocení vhodnosti nastavení cílových hodnot indikátorů bylo zjištěno, že zpětně realizátoři vidí mírně problematické nastavení hodnot indikátorů. Průměrné hodnocení 3,75 nesvědčí o zcela vhodně nastavených předpokládaných dosažených hodnotách. Směrodatná odchylka potvrzuje nižší variabilitu a výsledek je tedy obdobný v celé skupině respondentů. Největší problémy zaznamenaly příjemci s naplněním indikátoru Počet nově vytvořených/ inovovaných produktů. Důvodů bylo několik, ale respondenti se často shodovali na nejasné definici indikátoru. Tento indikátor byl již také kritizován v několika evaluacích a pro příští programové období by neměl být součástí indikátorové soustavy. Naopak nejmenší problém byl logicky spojený s naplněním indikátoru Počet podpořených organizací celkem. Překvapivější jsou však výsledky pro MI Počet úspěšných absolventů kurzů celkem, kdy pro řadu organizací bylo problematické tento ukazatel naplnit. V rámci oblasti podpory 1.2, na kterou je alokováno i výrazně méně finančních prostředků, kopíruje variabilita problémových indikátorů situaci v oblasti podpory 1.1. V dalším kroku byla hodnocena nutnost splnit hodnoty indikátorů v souvislosti s tlakem na méně kvalitní výsledky projektu. Průměrná známka 2,79 ukazuje, že u některých projektů mohlo dojít k nižší kvalitě poskytovaných aktivit díky tlaku na nutné zajištění a splnění monitorovacích indikátorů. V tomto kontextu byla snaha zpětně ohodnotit, kolik času, organizačního úsilí a s tím spojených finančních prostředků pro příjemce znamenalo sledování a vyhodnocování indikátorů. Z výsledků je zřejmé, že zejména čas a organizační úsilí představovali největší zátěž, což ale odpovídá sledovaným indikátorům a charakteru intervencí (firemní vzdělávání, školení apod.) Při (ne)naplňování monitorovacích indikátorů se většina příjemců musela vyrovnávat i s externími vlivy. Mezi nejvýznamnější označují zejména změnu poptávky cílové skupiny, která byla silně ovlivněna také probíhající hospodářskou krizí. Tabulka 27: Hodnocení monitorovacích indikátorů Prioritní osa 1 N Minimum Maximum Mean Std. Deviation Do jaké míry byly cílové hodnoty monitorovacích indikátorů z Vaší strany na počátku projektu vhodně ,7546 2,09671 nastaveny Problémy při naplnění indikátorů OP1.1 Počet podpořených osob celkem ,7582 2,47361 klienti služeb ,3263 2,12103 Počet podpořených organizací - celkem ,3582 1,16595 Počet nově vytvořených/ inovovaných produktů ,4085 2,69266

18 Počet úspěšných absolventů kurzů celkem ,931 2,26586 klienti služeb ,6774 2,12215 Problémy při naplnění indikátorů OP1.2 Počet podpořených osob celkem ,7887 2,46643 klienti služeb ,6182 2,43805 Počet podpořených organizací - celkem ,7167 1,6374 Počet nově vytvořených/ inovovaných produktů ,3385 2,71729 Počet úspěšných absolventů kurzů celkem ,8971 2,33813 klienti služeb ,75 2,15911 Do jaké míry způsobila nutnost splnit hodnoty indikátorů tlak na ,7963 1,90174 méně kvalitní výsledky projektu Vztah naplňování indikátorů k: časové náročnosti ,0736 2,4332 organizační úsilí ,6687 2,44458 finanční náročnost ,8025 2,47933 Jaké faktory hrály nejvýznamnější roli pro (ne)naplňování indikátorů v projektu Přecenění možností projektu ,7027 2,14907 Nevhodná kvantifikace cílového stavu indikátorů ,3767 2,42157 Změna v poptávce cílové skupiny ,6333 2,89043 Ekonomická krize v ČR ,3379 2,81913 Nesrozumitelná definice indikátoru ,74 2,69832 Zdroj: vlastní zpracování na základě dotazníkového šetření Prioritní osa 2 V rámci dotazníkového šetření u příjemců Prioritní osy 2 bylo osloveno 141 respondentů, kteří v době šetření vykazovali v monitorovacím systému stav projektu P5 a vyšší. Výsledky a zpětnou vazbu se podařilo získat od 12 respondentů, což odpovídá návratnosti 8, 51 %. I na vzorku cca 8 % respondentů se ukazuje, že cílové hodnoty nebyly zcela vhodně nastaveny (průměrná známka 3,25). V případě oblasti podpory 2.1 se jako jednoznačně nejproblémovější stal indikátor Počet vytvořených pracovních míst muži, ale obecně vytváření pracovních míst bylo těžší. Velmi úzce to souvisí s ekonomickou krizí, jak také většina respondentů uvádí. Tyto informace o vytváření pracovních míst lze podpořit také několika řízenými rozhovory, které byly pro oblast podpory 2.1 realizovány. Překvapivý byl např. relativní nezájem o dotovaná pracovní místa vytvářená v rámci podpořených projektů. Některé úřady práce se této formě intervence záměrně vyhnuly, ale jiné mají

19 zkušenosti, že zaměstnavatelé preferují prověřené (i když nedotované) pracovníky, než neprověřené zaměstnance s dotací (viz např. případová studie z okresu Most). Svoji roli hraje také závazek udržitelnosti pracovních míst. V případě oblasti podpory 2.2 k žádným zásadním problémům při naplňování nedocházelo. Výrazně vstřícnější je u hodnocení prioritní osy 2 obecně zpětné posouzení časové náročnosti, organizačnímu úsilí spojeného s vykazováním indikátorů apod. Respondenti naopak zdůrazňují významný vliv externích faktorů, které hráli roli při naplňování monitorovacích indikátorů. Tabulka 28: Hodnocení monitorovacích indikátorů Prioritní osa 2 N Minimum Maximum Mean Std. Deviation Do jaké míry byly cílové hodnoty monitorovacích indikátorů z Vaší strany ,25 2,09436 na počátku projektu vhodně nastaveny Problémy při naplnění indikátorů OP2.1 Počet podpořených osob celkem ,75 2,0505 klienti služeb ,2857 0,75593 Počet úspěšných absolventů kurzů celkem ,0909 2,66288 klienti služeb Počet vytvořených pracovních míst celkem ,2 2,4404 Počet vytvořených pracovních míst - muži ,6667 3,42783 Počet vytvořených pracovních míst - ženy ,5 1,77951 Problémy při naplnění indikátorů OP2.2 Počet podpořených osob celkem ,4 0,89443 poskytovatelé služeb ,3333 0,57735 Počet podpořených organizací - celkem ,4 0,89443 Počet nově vytvořených/ inovovaných produktů ,6667 1,52753 Počet úspěšných absolventů kurzů celkem ,6667 0,57735 klienti služeb ,3333 0,57735 Do jaké míry způsobila nutnost splnit hodnoty indikátorů tlak na méně kvalitní ,3077 1,31559 výsledky projektu Vztah naplňování indikátorů k: časové náročnosti ,8462 1,62512 organizační úsilí ,6923 2,52932 finanční náročnost ,3846 1,60927 Jaké faktory hrály nejvýznamnější roli pro (ne)naplňování indikátorů v projektu Přecenění možností projektu ,7692 2,42053

20 Nevhodná kvantifikace cílového stavu indikátorů ,3077 1,75046 Změna v poptávce cílové skupiny ,2308 2,83296 Ekonomická krize v ČR ,2308 3,60911 Nesrozumitelná definice indikátoru ,29099 Zdroj: vlastní zpracování na základě dotazníkového šetření Prioritní osa 3 V případě Prioritní osy 3 bylo celkem osloveno 479 respondentů, ale zpětnou vazbu se podařilo získat od 44 příjemců dotace. Návratnost tedy odpovídá 9,18 %. V rámci prioritní osy 3 byly hodnoceny všechny čtyři oblasti. Z hlediska vzájemného porovnání je zřejmé, že problémy v naplňování indikátorů mezi jednotlivými oblastmi podpory byly minimální. Mírně odlišně vychází výsledky pro oblast podpory 3.3, kde byl identifikován problém u indikátoru Počet nově vytvořených/ inovovaných produktů a také Počet nově vytvořených pracovních míst pro znevýhodněné skupiny celkem. Zejména cílová hodnota druhého indikátoru musela být v rámci revize operačního programu snížena, jelikož nedocházelo k jeho naplňování. Otázkou dalšího šetření byl důvod (tento indikátor byl podroben bližšímu hodnocení v rámci QCA analýzy). Je tedy zřejmé, že příjemci se zavazovali k nižším hodnotám, než bylo na počátku programového období očekáváno. I tak měli však mírné problémy s dosahováním plánovaných hodnot. V porovnání s výsledky dotazníkového šetření pro prioritní osu 1 a 2 jsou níže uvedené výsledky nejméně problematické (kromě zmíněných indikátorů u OP 3.3). S dosažením cílových hodnot neměli příjemci zásadní problémy a necítili ani zásadní tlak na snížení kvality výsledků v důsledku snahy o naplnění indikátorů. Časové a organizační úsilí nezbytné pro monitorování bylo kvantifikováno na podobné úrovni. Naopak vliv externích faktorů jako např. změna v poptávce cílové skupiny, ekonomická krize je vníman spíše jako minimální. Dokonce ani nesrozumitelné definice indikátorů (jako jeden z možných faktorů) nebyl vyhodnocen jako významnější problém na rozdíl od prioritní osy 1 a 2. Tabulka 29: Hodnocení monitorovacích indikátorů Prioritní osa 3 N Minimum Maximum Mean Std. Deviation Do jaké míry byly cílové hodnoty monitorovacích indikátorů z Vaší strany ,5909 1,9448 na počátku projektu vhodně nastaveny Problémy při naplnění indikátorů OP3.1 Počet podpořených osob celkem ,2381 2,42703 klienti služeb ,4444 1,23603 poskytovatelé služeb ,3077 0,85485 Počet podpořených organizací - celkem ,6087 2,10495 Počet nově vytvořených/ inovovaných produktů ,2 0,52315 Počet úspěšných absolventů kurzů ,4118 2,34678

21 celkem klienti služeb ,6667 1,32288 poskytovatelé služeb ,75 0,96531 Problémy při naplnění indikátorů OP3.2 Počet podpořených osob celkem ,1818 2,63887 klienti služeb ,1667 1,47196 poskytovatelé služeb ,625 1,18773 Počet podpořených organizací - celkem ,2727 0,90453 Počet nově vytvořených/ inovovaných produktů ,94392 Počet úspěšných absolventů kurzů celkem ,2 1,8738 klienti služeb ,1667 1,83485 poskytovatelé služeb ,8571 2,1157 Problémy při naplnění indikátorů OP3.3 Počet podpořených osob celkem ,75119 klienti služeb ,75593 Počet podpořených organizací - celkem ,2143 0,80178 Počet nově vytvořených/ inovovaných produktů ,7692 3,70031 Počet úspěšných absolventů kurzů celkem ,5333 2,16685 klienti služeb ,8333 1,7224 Počet nově vytvořených pracovních míst pro znevýhodněné skupiny celkem ,0833 2,19331 Počet nově vytvořených pracovních míst pro znevýhodněné skupiny - muži ,10819 Počet nově vytvořených pracovních míst pro znevýhodněné skupiny - ženy ,8 2,09762 Problémy při naplnění indikátorů OP3.4 Počet podpořených osob celkem ,75 1,75255 klienti služeb ,4286 1,81265 Počet podpořených organizací - celkem ,375 1,06066 Počet nově vytvořených/ inovovaných produktů ,82574 Počet úspěšných absolventů kurzů celkem ,5 0,53452 klienti služeb ,63246 Do jaké míry způsobila nutnost splnit hodnoty indikátorů tlak na méně ,1136 1,63132 kvalitní výsledky projektu Vztah naplňování indikátorů k: časové náročnosti ,2045 1,95982 organizační úsilí ,4318 2,46272 finanční náročnost ,6667 2,06795

22 Jaké faktory hrály nejvýznamnější roli pro (ne)naplňování indikátorů v projektu Přecenění možností projektu ,5641 0,82062 Nevhodná kvantifikace cílového stavu indikátorů ,1795 1,71482 Změna v poptávce cílové skupiny ,0256 2,48667 Ekonomická krize v ČR ,7179 2,58486 Nesrozumitelná definice indikátoru ,4211 2,88174 Zdroj: vlastní zpracování na základě dotazníkového šetření Prioritní osa 4 U dotazníkového šetření pro ukončené projekty v prioritní ose 4 bylo osloveno celkem 304 respondentů, přičemž odpověď byla získána od 54 projektů. Míra návratnosti byla 17, 76 %, co že je nejvyšší zpětná vazba ze všech čtyř prioritních os. Nicméně z dřívějších průzkumů mezi příjemci dotace je tento trend známy, tj. nejvyšší zpětná vazba je ze strany institucí státní správy v pozici příjemce. Výsledky hodnocení ukazují (v porovnání s ostatními PO) nejméně vhodně nastavené cílové hodnoty monitorovacích indikátorů (průměrné hodnocení 4,05). Podobně jako u prioritní osy 1 je nejproblematičtěji vnímán indikátor počet úspěšných absolventů kurzů celkem. S naplněním ostatních indikátorů většinou problém nebyl. Průměrné ohodnocení organizačního a časového úsilí spojeného s monitorováním však vychází jako nejvyšší resp. u PO4 příjemci dotace označují monitoring za nejnáročnější. Z externích vlivů se téměř vůbec neprojevila ekonomická krize na projekty v PO4, což je samozřejmé s ohledem na charakter podpořených projektů. Změna v poptávce cílové skupiny byla hodnocena podobně jako u zbývajících prioritních os. Problémy měli realizátoři s definicemi monitorovacích indikátorů a s již zmíněnou nevhodnou kvantifikací jejich cílových hodnot. Tabulka 30: Hodnocení monitorovacích indikátorů Prioritní osa 4 N Minimu m Maximu m Mean Std. Deviatio n Do jaké míry byly cílové hodnoty monitorovacích indikátorů z Vaší strany na počátku projektu vhodně ,0556 2,43726 nastaveny Problémy při naplnění indikátorů OP1.1 Počet podpořených osob celkem ,7273 2,31304 poskytovatelé služeb ,2174 2,26973 Počet podpořených organizací - celkem ,0893 0,54861 Počet nově vytvořených/ inovovaných produktů ,9245 2,97327 Počet úspěšných absolventů kurzů celkem ,4545 2,5005

23 poskytovatelé služeb ,4783 2,37336 Do jaké míry způsobila nutnost splnit hodnoty indikátorů tlak na méně ,537 1,91038 kvalitní výsledky projektu Vztah naplňování indikátorů k: časové náročnosti ,2593 2,60033 organizační úsilí ,1481 2,64509 finanční náročnost ,2453 2,59367 Jaké faktory hrály nejvýznamnější roli pro (ne)naplňování indikátorů v projektu Přecenění možností projektu ,2941 1,66486 Nevhodná kvantifikace cílového stavu indikátorů ,5769 2,86525 Změna v poptávce cílové skupiny ,0769 2,8755 Ekonomická krize v ČR ,3333 1,07083 Nesrozumitelná definice indikátoru ,9623 3,03798 Zdroj: vlastní zpracování na základě dotazníkového šetření

24 Vyhodnocení úkolu 2: Zpracujte případové studie 30 projektů OP LZZ Evaluační úkol č. 2 se zaměřoval na zpracování případových studií. Celkem bylo v rámci úkolu 2 zpracováno 30 případových studií, které byly doplněny o 10 dalších případových studií špatné praxe, které byly po dohodě se zadavatelem koncipovány do podoby analýz vybraných témat, která vzešla ze zpracování případových základních 30 studií. Při zpracování Úkolu 2 využil evaluační tým následujícího technického postupu a metod. Jednotlivé kroky jsou uvedeny chronologicky tak, jak na sebe navazovaly. Výběr projektů pro zpracování studií V souladu se zadáním a podmínkami zadavatele byl vytipován základní pool projektů, které byly potenciálními kandidáty na zpracování případových studií. Tento pool projektů vytipoval zadavatel. Celkem se jednalo o 37 vytipovaných projektů. Zpracovatel následně telefonicky oslovil kontaktní osoby navržených projektů se žádostí o součinnost při zpracování evaluačních případových studií. Většina oslovených se spoluprací souhlasila, byť se ojediněle vyskytly i případy, kdy realizátoři projektu byli příliš zaneprázdněni a ze spolupráce se omluvili (jednalo se o 2 případy). Projekty, které spolupráci potvrdily, byly po odsouhlasení se zadavatelem zahrnuty do šetření. Příprava na šetření desk research Desk research byl první fází seznamování se s projektem. Evaluační tým přitom vycházel zejména z následujících informací: Návrh projektu (projektová žádost z Monit7+) Monitorovací zprávy projektu (z Monit7+) Webové stránky projektu případně řešitele (pokud byly k dispozici) Další zdroje, např. články v denním tisku, apod. (většinou prostřednictvím screeningu Internetových zdrojů za použití V některých případech byly využity i internetové zdroje k zasazení projektu do kontextu (např. míra nezaměstnanosti v regionu, informace o ekonomické situaci v regionu, apod.). K získání těchto obecných informací byly opět využívány internetové zdroje, jako denní tisk, nebo statistiky ČSÚ). Rozhovory s příjemci Jedním z klíčových zdrojů informací byly rozhovory s příjemci. Ty sloužily evaluátorům primárně k ověření informací získaných z projektové žádosti a monitorovacích zpráv. Celkově měl řízený rozhovor s realizátory následující hlavní cíle: 20

25 Ověřit, že průběh realizace odpovídal údajům uvedeným v žádosti a monitorovacích zprávách Zjistit způsob provedení projektu a práci s cílovou skupinou, přičemž bylo smyslem na základě rozhovoru vytipovat hlavní faktory úspěchu či problematické faktory Provést řízenou sebeevaluaci ze strany realizátora Zajistit přístup k cílové skupině pro následné šetření Rozhovory byly vedeny vždy jedním evaluátorem, který zpracovával případovou studii. Pouze první 4 rozhovory byly vedeny ve dvojici evaluátorů, aby byl sjednocen přístup a zlepšena metodika dotazování. K dokumentaci řízeného rozhovoru přistupovali jednotliví evaluátoři individuálně. Využívány byly primárně písemné zápisy (jak formou souvislého záznamu, tak formou záznamů do připravených formulářů či přímo do výtisku žádosti o podporu), případně přímo elektronický zápis. První rozhovory probíhaly podle předem připravené osnovy otázek, která byla realizátorům předem zaslána. V pozdějších fázích již zkušenosti z prvních rozhovorů ukázaly, že striktní držení se připravených okruhů otázek není pro zhodnocení nutné. Interview pak probíhala spíše tak, že byli realizátoři požádáni o krátké představení a zhodnocení projektu, načež následovaly otázky primárně zaměřené na dosažené výsledky a způsob práce s cílovou skupinou. Celkové zhodnocení projektu a otázky na výsledky a práci s cílovou skupinou vždy odhalily klíčová místa projekt, na která se poté evaluátor v dalších otázkách zaměřil. Otázky zasílané předem realizátorům (a využité pro několik prvních interview) jsou uvedeny v následujícím rámečku. 1. Výchozí situace Na jaký problém projekt reagoval? Jak jste o něm věděli? Jak jste si ověřovali potřebu? Pracovali jste již dříve s cílovou skupinou? 2. Vstupy Jak jste stanovili potřebné vstupy do projektu? (lidi, techniku, rozpočet) Měli jste zajištěný přístup ke vstupům (technika, lidé, metody) již při přípravě projektu, nebo jste hledali vhodné lidi / metody až při realizaci? 3. Aktivity Jak (podle čeho) jste stanovili vhodné aktivity projektu? Byly aktivity optimální, nebo zpětně vidíte nějaké možnosti zlepšení? Narazili jste z hlediska věcného (nikoli administrace projektu) na nějaké překážky / problémy? 4. Výstupy a výsledky Jaké byly plánované výstupy projektu? 21

26 Podařilo se jich dosáhnout? (bylo výstupů méně, podle plánu nebo jste hodnoty přesáhli?) Měli jste nějaké problémy s dosažením výstupů? Jaké byly výsledky projektu? Podařilo se jich dosáhnout? 5. Dopady Jaké byly plánované dopady projektu? Dosáhli jste plánovaných dopadů? Má projekt nějaké neočekávané dopady? Jaké jsou ty pozitivní? A jaké se objevily negativní dopady? Zjišťovali jste dopady? Jakým způsobem? Co byste v rámci dané oblasti navrhovali dále rozvíjet/zlepšovat? 6. Stakeholders Kdo byl hlavní zainteresovanou stranou v projektu? Komu projekt nejvíce prospěl? Jaké konkrétní zájmy tato zainteresovaná strana prosazovala? Máte od nich zpětnou vazbu? Máte zpětnou vazbu od cílových skupin? Dotazníkové šetření u cílové skupiny U některých projektů bylo provedeno kvalitativní dotazníkové šetření u cílové skupiny, která prošla projektem. S ohledem na neexistenci povinnosti evidovat a předávat informace o cílové skupině poskytovateli dotace byl evaluační tým nucen požádat o kontakt na cílovou skupinu přímo realizátory projektů. Ve většině případů byli realizátoři ochotni cílovou skupinu kontaktovat a požádat o vyplnění dotazníku. Dotazníkovým šetřením u cílové skupiny zjišťoval evaluátor skutečné výsledky a dopady, které byly cílem projektu. Sestavování dotazníku navazovalo na desk research, při kterém byly zjištěny základní informace o projektu, jednotlivé aktivity a celkový cíl projektu. Na rozhovor s příjemci navazoval dotazník spíše výjimečně v případech, kdy se evaluátor dozvěděl důležitou informaci, kterou nemohl znát z desk research. V takovém případě by dotazník upraven či doplněn o novou otázku. Většinou však přímá návaznost na rozhovor neproběhla, neboť dotazník byl sestaven již před rozhovorem s realizátory. Na řízených rozhovorech byli realizátoři požádáni o zprostředkování dotazníkového šetření, proto jim musel být dotazník již prezentován. Zpracované dotazníky pro cílovou skupinu měly dvě podoby. Byly vyplňovány buď písemně (v případě cílové skupiny, u které se daly předpokládat problémy s elektronickým způsobem vyplnění, např. u lidí s mentálním postižením), nebo častěji elektronicky. Využíván byl systém který prováděl i automatické zpracování výsledků do grafů a excelovských tabulek. Evaluátor poté provedl analýzu výsledků a doplnil kvalitativní komentář. 22

27 Dotazníky pro cílovou skupinu neměly jednotnou formu a obsah, ale byly přizpůsobovány vždy konkrétnímu projektu tak, aby byly získány výsledky s co nejvyšší vypovídací hodnotou. Tento způsob adaptace dotazníku se velmi osvědčil. S ohledem na rozdílnost dotazníků pro jednotlivé projekty a většinou malou četnost respondentů nebylo prováděno žádné pilotní testování. Pouze byla ověřena funkčnost dotazníků vytvořených v elektronickém prostředí Zástupci cílové skupiny byli požádáni prostřednictvím realizátora, aby vyplnili dotazník. Volba oslovení prostřednictvím realizátora byla využita z důvodu zvýšení návratnosti dotazníků, neboť realizátor měl na rozdíl od evaluátora k cílové skupině již navázaný vztah. Další důvod byl ten, že realizátoři nebyli ochotni v některých případech předávat kontakty na cílové skupiny. Cílové skupiny měly většinou přibližně 10 dní až dva týdny na vyplnění dotazníku. Počet odpovědí byl průběžně evaluátorem sledován a v případě nedostatečného počtu odpovědí byli realizátoři požádáni o opětovné oslovení cílové skupiny. Přesto došlo i k případům, kdy nebyla získána ani jedna odpověď. Jako nejvhodnější se pro dotazníkové šetření ukázaly projekty do maximálně jednoho roku od skončení aktivit. V případě, že byly aktivity ukončeny dříve než rok před realizovaným dotazníkovým šetřením, byla výrazně nižší návratnost dotazníků. Materiály realizátorů Při řízených rozhovorech s realizátory byly často shromážděny materiály, jako např. zprávy, publikace, fotografie nebo vlastní dotazníkové šetření, které byly rovněž využity jako podpůrné materiály pro zpracování evaluační studie. Ověření v databázi ČSSZ V součinnosti se zadavatelem bylo u projektů, kde hlavním cílem bylo zaměstnání cílové skupiny nezaměstnaných osob, tj. zejména v oblasti podpory 2.1, provedeno ověření stavu cílové skupiny, která prošla projektem, v databázi České správy sociálního zabezpečení. Z této databáze bylo ověřeno, kolik lidí z cílové skupiny bylo k určitému datu zaměstnáno (platil za ně sociální pojištění zaměstnavatel), kolik jich bylo sebezaměstnáno a kolik jich nebylo účastno na pojištění, tzn. bylo stále nezaměstnaných. Tento způsob ověření vyžadoval seznam účastníků projektu, který byl vyžádán od realizátora. Ne vždy se však podařilo tento seznam účastníků od realizátora získat. V některých případech proto, že realizátor odmítl tyto informace předat s odvoláním na zákon o ochraně osobních údajů, jindy proto, že tyto údaje prostě neměl. Blíže k této problematice viz studie špatné praxe. Doplňující šetření u třetích stran 23

28 Informace z desk research, od realizátorů a z dotazníkového šetření byly doplňovány a ověřovány i u případných dalších zainteresovaných stran, jako například u uživatelů služeb či výstupů projektu, dodavatelů služeb, zástupců veřejné správy, apod. Tyto informace byly realizovány prostřednictvím telefonického dotazování. Finalizace zprávy Na základě získaných informací byla zpracována a finalizována případová studie. Jednotlivé studie byly zpracovány samostatně příslušným evaluátorem, který prováděl desk research, realizoval rozhovor a vyhodnocoval dotazníkové šetření. Ve složitějších případech byl při hodnocení využit i rozhovor s ostatními evaluátory, ať již rozhovor ve dvojici nebo ve skupině evaluátorů. Zpracovaná evaluační studie byla oponována garantem úkolu 2, který zpracované případové studie připomínkoval. Autorizace případové studie ze strany realizátorů projektu nebyla standardně nabízena, pouze v jednom případě si realizátor vyžádal text studie k případným připomínkám. V tomto případě mu byla studie před odevzdáním poskytnuta, avšak žádné připomínky ze strany realizátora projektu nebyly vzneseny. O co měli naopak realizátoři velmi často zájem, byly výsledky dotazníkového šetření mezi cílovou skupinou. Clusterová analýza provedená v rámci evaluačního úkolu 2 V rámci realizace clusterové analýzy byly nejprve definovány relevantní charakteristiky jednotlivých projektů. Tyto znaky byly zvoleny jednak s ohledem k obecným cílům Ročního operačního vyhodnocení (zejména pak zajištění udržitelnosti, charakteristika výsledků a dopadů jednotlivých případových studií, úspěšnost projektu) a dále tak, aby s jejich pomocí bylo možné zohlednit přirozené diference mezi jednotlivými projekty (mj. typ činnosti realizátora, charakter cílové skupiny, realizace změn v projektu během jeho řešení a další). Významnou roli při konstrukci znaků a volbě záznamových kategorií hrála i snaha zohlednit některé z významných atributů přístupu realizátorů k posuzovaným projektům (předchozí zkušenost s cílovou skupinou, znalost potřeb cílové skupiny apod.). Konkrétně byly pro účely clusterové analýzy využity následující charakteristiky (jejich podrobný popis je patrný z přílohy): 24

29 úspěšnost projektu předchozí práce s cílovou skupinou znalost potřeb cílové skupiny správně nastavené aktivity správně zvolené vstupy realizace vlastními silami znalost poptávky po výsledcích zajištěná udržitelnost cílová skupina typ činnosti charakteristika výstupů charakteristika výsledků charakteristika dopadů uzavřený/otevřený projekt předkladatel projektu změny projektu předchozí zkušenost Výsledkem analýzy založené na sledovaných ukazatelích jsou celkem čtyři skupiny projektů, které jsou seskupeny podle míry podobnosti mezi sebou. Z konkrétních výsledků je patrné, že první skupinu tvoří velká část projektů (nikoliv všechny) zaměřených na poradenské a rekvalifikační činnosti. Ačkoliv se jedná o projekty z různých krajů ČR, jejich realizátorům je vesměs společná znalost cílové skupiny a předchozí práce s danou cílovou skupinou. Významnou charakteristikou je rovněž skutečnost, že realizátoři těchto projektů připravovali projektové žádosti vlastními silami. Prostředky poskytnuté v rámci podpory byly u těchto projektů použity na přípravu a provedení rekvalifikačních kurzů a poskytování poradenských služeb pro cílovou skupinu. Důležitým znakem je, že realizované aktivity mají (alespoň potenciálně) plošný charakter tedy, že mohou být prováděny v odlišných kontextech, pro různé cílové skupiny apod. Také ve druhé skupině převládají projekty, které jsou zaměřeny na podporu vzdělávání a cílená opatření na trhu práce. Na rozdíl od první skupiny však tento cluster zahrnuje projekty zaměřené na specifické cílové skupiny (starší osoby, sociálně vyloučení, pracovníci v oblasti farmaceutického průmyslu a zdravotnictví). Příprava projektů pro takto úzce vymezené cílové skupiny s sebou nese mnohá specifika jak v samotném návrhu projektu (úroveň indikátorů, výčet aktivit), tak také při jeho realizaci (dosažené dopady, možnost naplnit podmínky udržitelnosti apod.). 25