Možnosti aplikace counterfactual impact evaluation v České republice

Možnosti aplikace counterfactual impact evaluation v České republice Possibilities of application of the counterfactual impact evaluation in the Czech Republic Oto Potluka potluka@vse.cz Fakulta podnikohospodářská Vysoká škola ekonomická v Praze Martin Pělucha pelucham@vse.cz Katedra regionálních studií, árodohospodářská fakulta, Vysoká škola ekonomická v Praze Viktor Květoň viktor.kveton@natur.cuni.cz Katedra sociální geografie a regionálního rozvoje, Přírodovědecká fakulta, Univerzita Karlova v Praze bstrakt Hodnocení dopadů podpor strukturálních fondů je rychle se rozvíjející oblastí. V posledních několika letech se v EU objevilo několik evaluačních studií, counterfactual impact evaluation, zaměřených na podporu fondů Evropské unie. V České republice takových studií nebylo zatím realizováno mnoho. Z tohoto důvodu se příspěvek zaměřuje na to, jaké operační programy a jaké oblasti podpory je možné zvažovat pro uplatnění hodnocení pomocí counterfactual impact evaluation v České republice. Zkoumány byly všechny operační programy v České republice. Pro výběr byla aplikována základní kritéria nutná pro uskutečnění tohoto typu evaluace. Výsledkem je výběr několika oblastí podpory v různých operačních programech, které skýtají vhodnou příležitost pro realizaci takové evaluace. Klíčová slova Evaluace, strukturální fondy,, Counterfactual Impact Evaluation bstract Impact Evaluation of the Structural Funds is a growing area. There had been conducted several counterfactual impact evaluations of the EU funds. Such studies have not been often implemented yet in the Czech Republic. For this reason, the paper focuses on operational programmes and support areas that can be considered for counterfactual impact evaluation in the Czech Republic. We have tested the possibility in all operational programmes in the Czech Republic. For the selection of appropriate programmes, there had been used the core criterias required to conduct out this type of evaluation. The result is a selection of several support areas in various operational programmes that provide an opportunity for the realization of such an evaluation. Key words Evaluation, Structural Funds, Cohesion Policy, Counterfactual Impact Evaluation Úvod V posledních několika málo letech se výrazněji prosazují kvantitativní metody výzkumu v evaluačních studiích kohezní politiky. Doposud byly využívány především kvalitativní metody. Tato situace je patrná jak na vystupování představitelů Evropské komise, tak i odborné veřejnosti v oblasti kohezní politiky (Gaffey, 2009; Martini, 2009; Gaffey, 2011; Mouque, 2011a či Mouque, 2011b). K tomuto trendu pravděpodobně přispívá i hospodářská krize a snaha nalézt a realizovat takové politiky (v rámci stále se snižujících rozpočtů na jednotlivých resortech), které mají skutečný dopad na cílové skupiny a zároveň vedou k rozpočtovým úsporám (tím, že budou přinášet maximální efekt). Metody hodnocení dopadů, které budou popsány v tomto textu, jsou souhrnně nazývány jako counterfactual impact evaluation (dále jen CIE). 1 Je patrné, že i v České republice se objevují první studie zpracovávané touto metodou (například Brown et al., 2011, či Potluka et al., 2012). Problematika hodnocení dopadů veřejných intervencí představuje zatím rozsáhlou tématiku spojenou s dostupností dat na úrovni cílových skupin. Ve vazbě na metodu CIE je pak vhodné mít i údaje za nepodpořené zástupce cílových skupin. Obdobných studií hodnotících dopady strukturálních fondů bude patrně přibývat. Tento článek se snaží přispět k tomuto úsilí vytipováním vhodných oblastí podpor v České republice, které splňují kritéria pro aplikaci těchto metod, a prezentací prvních výsledků po aplikaci metod CIE. Poměrně srozumitelnou formu aplikace statistických metod při evaluacích shrnuje Venetoklis (2002). Své členění metod dělí podle toho, jaká data jsou pro zpracování evaluace k dispozici. Pro terminologické usazení a náhled do toho, k čemu tento typ metod v evaluacích slouží, doporučujeme pročtení článku Howarda Whita (White 2009). 1 Použili jsme tento název záměrně, protože doposud není ustálena česká terminologie. Lze se setkat s pojmy jako kontrafaktuální hodnocení dopadů či hodnocení dopadů srovnávací metodou. V současnosti vede evaluační komunita diskusi o používané terminologii. 45 regio_study_02_2012.indd 45 11.2.2013 20:38:11

Dalším zdrojem ozřejmujícím metody CIE je metodická pomůcka Evalsed vydaná Evropskou komisí. 2 Tento materiál shrnuje taktéž srozumitelným způsobem jednotlivé typy metod používané v CIE. Těmito metodami jsou regresní diskontinuita (zde zmiňovaná jako Regression Discontinuity Design), instrumentální proměnné (zde jako Instrumental Variables) a metoda Difference-in-Differences pomocí metody Propensity Score Matching. Mezi další metodologickou literaturu zařazujeme Morgan a Winship (2007), Khandker et al. (2009), či úvod do ekonometrie (Wooldridge, 2001 a 2008). Metodické poznámky k CIE e každý typ podpor (myšleno oblastí podpory v rámci operačních programů) je vhodný pro použití těchto evaluačních metod. Je nutné brát ohled na dostupnost dat, dostatečný počet zkoumaných případů (jednotlivých projektů či podpořených osob) a homogenity souboru všech případů (tj. aktivity, či zda je podpora zaměřena na podobné případy). Tudíž je při přípravě CIE a její realizaci nutné brát v úvahu následující primární kritéria: Výzkumné otázky e každá výzkumná otázka je smysluplná pro metodu CIE, proto je nutný výběr okruhů zkoumaných otázek, které by bylo možné aplikovat na vytypované oblasti. Jde o to, že je nutné stanovit otázku dopad čeho a na co je zkoumán. Tudíž možností realizace tohoto hodnocení je celá řada. icméně je vhodné si uvědomit reálnost zkoumaných vazeb a to, zda výsledky budou nějakým způsobem použitelné (viz White 2009). Velký počet případů Případy jsou zde myšleny primární statistické jednotky, kterých se zkoumaný jev týká. Tato podmínka je uvažována pro zajištění toho, aby velký počet případů zajišťoval statistickou významnost odhadů dopadů a tím přispěl k důvěryhodnosti výsledků. Může jít o případy na úrovni jednotlivců, firem, obcí, případně O (v přírodních vědách to mohou být zvířata, rostliny, ). Homogenní případy by bylo možné použít metod CIE, je nutné, aby zkoumané případy vystihovaly stejný typ podpory. Jde o to, že musí jít o stejný nebo hodně podobný typ aktivit. Z výše uvedených důvodů byla při hledání dalších potenciálních oblastí podpory, kde je možné využít metod CIE, použita následující primární kritéria: Velký počet případů 3 V tomto smyslu používáme následující intervaly v hodnocení (skupina je pro použití nejvhodnější, skupina je nejhůře použitelná) 4 : Skupina více než 1000 případů; Skupina B počet případů v rozmezí 500 999; Skupina C počet případů v rozmezí 150 499; Skupina maximálně 149 případů. Homogenní případy Byla hodnocena míra homogenity zkoumaných případů dle následující jednoduché klasifikace: Metody Podle výzkumné otázky je nutné navrhnout vhodné ekonometrické metody k jednotlivým výzkumným otázkám a oblastem. e každá metoda je vhodná pro automatické zpracování hodnocení (např. metoda regresní diskontinuity vyžaduje existenci určitého bodu či situace, která rozděluje zkoumaný soubor na dvě části). Jak je uvedeno v úvodu tohoto příspěvku, hlavním smyslem je výběr oblastí intervencí strukturálních fondů EU v ČR, které jsou vhodné pro aplikaci CIE, s ohledem na: dostupnost dat, dostatečný počet jednotlivých projektů či podpořených osob, předpoklad opakování obdobné intervence v budoucím programovém období. Obecnými klíčovými metodologickými podmínkami jsou: 2 Tato pomůcka je dostupná na internetové stránce http://ec.europa.eu/ regional_policy/sources/docgener/evaluation/evalsed/sourcebooks/ method_techniques/counterfactual_impact_evaluation/index_en.htm Vyhovuje homogenita podporovaných aktivit ve výzvách i typu konečných příjemců či cílových skupin (v rozdělení na firmy, obce, O, jednotlivci). Pokud zkoumaná podpora vyhovuje, je dále označena v tomto kritériu jako. evyhovuje podporované aktivity jsou odlišné. Pokud zkoumaná podpora nevyhovuje, je dále označena v tomto kritériu jako. a základě stanovených kritérií byl proveden rozbor všech operačních programů realizovaných v ČR v současném programovém období 2007 2013, který byl dále diskutován na workshopu se zástupci řídících orgánů příslušných operačních programů v únoru 2012. nalyzované údaje o počtu případů jsou platné ke dni 6. 7. 2011. V případě OP PI se jedná o údaje ke dni 10. 8. 2011. Je samozřejmě možné, že s průběhem implementace programů se budou zvyšovat příležitosti pro CIE i v operačních programech, kde je nyní nenalézáme. 3 V další analýze se většinou věnujeme situaci, kdy jednotlivými případy jsou realizované projekty. 4 Vyšší počet zkoumaných případů snižuje riziko chyby při statistickém odhadu dopadů. 46 regio_study_02_2012.indd 46 11.2.2013 20:38:11

Vyhodnocení možných oblastí podpor v operačních programech ČR (2007 2013) pro využití CIE Tato kapitola je zaměřena na vyhodnocení jednotlivých operačních programů a jejich příslušných prioritních os a oblastí podpor ve vazbě na možnosti využití CIE dle metodiky uvedené v předchozí kapitole. Smyslem bylo projít všechny operační programy, ale pokud byl OP identifikován jako obsahově nevhodný pro aplikaci CIE, tak není dále v textu rozebírán. Text je členěn následujícím způsobem: 1. Krátké představení příslušného operačního programu. 2. Souhrnná tabulka oblastí podpor daného OP a vyhodnocení dle sledovaných kritérií (zvýrazněny jsou vhodné oblasti podpory). 3. Detailnější pohled na vhodné oblasti podpory. Operační program Podnikání pro inovace OP PI je jeden z operačních programů financovaných během programového období 2007 2013 z ERDF. Tento operační program je zaměřen na sektor průmyslu a podnikání, včetně malého a středního podnikání, udržení přitažlivosti ČR a jejich regionů a měst pro investory, včetně podpory inovací a nových technologií. V tabulce 1 je uveden přehled vyhodnocení všech prioritních os a příslušných oblastí podpor. Tabulka 1: Přehled vyhodnocení možností CIE v OP PI Oblast podpory Počet případů Homogenita 1.1 Podpora začínajícím podnikatelům 2.1 Záruka 2.1 Progres C 2.2 Rozvoj 2.2 ICT a strategické služby C 2.2 ICT v podnicích B 3.1 Eko-energie B 4.1 Inovační projekty B 4.1 Ochrana průmyslového vlastnictví C 4.1 Potenciál 5.1 Platformy spolupráce (Prosperita a Spolupráce) 5.2 Školicí střediska C 5.3 emovitosti C 6.1 Poradenství 6.2 Marketing B Pozn.: Ve zvýrazněných řádcích jsou uvedeny oblasti podpor (resp. programy OPPI), které při analýze vyplynuly jako vhodné pro aplikaci CIE. Program ZÁRUK je součástí oblasti podpory 2.1. Bankovní nástroje podpory malých a středních podnikatelů. Tento program se zaměřuje na podporu realizace rozvojových podnikatelských projektů malých a středních podnikatelů (MSP), kterým brání nižší vlastní kapitálová vybavenost nebo omezená schopnost obstarat si zajištění úvěru na externí zdroje financování prostřednictvím bankovních nástrojů. Od 1. 7. 2007 do 31. 7. 2011 bylo v programu ZÁRUK podáno 2 915 žádostí o podporu. Smlouvy o záruce byly podepsány na poskytnutí 2009 záruk. V tomto smyslu je tento program vhodný pro CIE nejen z hlediska počtu podaných projektových žádostí, ale také z hlediska míry homogenity. V kontextu řešení metody CIE by bylo možné analyzovat míru příspěvku dotace ke stabilizaci a posílení zaměstnanosti v podpořených firmách a toto dále konfrontovat s hodnocením dopadu podpory na úspěšné žadatele před a po ekonomické krizi. V rámci oblasti podpory 2.1 se rovněž realizuje program PROGRES (zvýhodněné úvěry), ve kterém bylo od začátku současného programového období do konce července 2011 přijato 612 žádostí a uzavřeno 313 smluv o úvěru. Z hlediska počtu podaných projektových žádostí je tato část oblasti podpory vhodná, nicméně menší počet případů může snižovat vypovídací schopnost výsledků. Program ROZVOJ v rámci oblasti podpory 2.2 napomáhá dotacemi do technologického vybavení urychlit rozvoj malých a středních podniků. Pomocí investic do moderních technologií program podněcuje rozvoj firem ve vybraných regionech a odvětvích české ekonomiky. Podle údajů CzechInvestu ke dni 10. 8. 2011 bylo v programu ROZVOJ uděleno Rozhodnutí o poskytnutí dotace celkem 1038 projektům. Z hlediska počtu podaných projektových žádostí i míry homogenity je tudíž tento program vyhovující. V návaznosti na aplikaci CIE je pak vhodné zkoumat dopad této oblasti podpory na zaměstnanost ve firmách, které obdržely dotaci ve srovnání s firmami bez dotace. Rovněž i dopad podpory na tvorbu nových IS/ICT řešení a aplikací a na rozvoj vybraných strategických služeb. Součástí oblasti podpory 2.2 je také program ICT STR- TEGICKÉ SLUŽBY, který je určen na rozvoj informační a znalostní společnosti v podnicích; charakterem jsou podporované projekty homogenní. V rámci tohoto programu se však realizuje menší počet projektů. Je tudíž možné, že výsledky CIE nebudou mít jednoznačnou vypovídací schopnost. Obdobná situace je rovněž u programů 4.1 Ochrana průmyslového vlastnictví, 5.2 Školicí střediska a 5.3 emovitosti. Program MRKETIG podporuje velmi různorodé aktivity, např. zlepšení marketingových aktivit podniků. Do srpna 2011 byly vyhlášeny 2 výzvy, v rámci kterých mohly podávat projektové žádosti pouze podnikatelské subjekty. Obě výzvy jsou si velmi podobné ve smyslu stanovených způsobilých výdajů zaměřených na účast podnikatelů na veletrzích, na marketingové a propagační materiály. Podle údajů CzechInvestu ke dni 10. 8. 2011 bylo v programu MRKETIG uděleno Rozhodnutí o poskytnutí dotace celkem 758 projektům. Jedná se tedy o velký soubor projektů, které jsou navíc relativně homogenní. Z hlediska možnosti aplikace CIE by u tohoto programu bylo vhodné sledovat dopad v daném regionu (okrese) na firmy, které realizují příslušné projekty 47 regio_study_02_2012.indd 47 11.2.2013 20:38:11

ve srovnání se zbylými firmami v regionu. Dopad by mohl být měřen exportní schopností, obratem firem a vývojem zaměstnanosti v dané firmě. Tato analýza by mohla být doplněna hodnocením dopadu tohoto programu v jednotlivých odvětvích příjemců dotace. Operační program Životní prostředí OP Životní prostředí je druhým nejobjemnějším programem z hlediska alokovaných finančních prostředků z fondů EU v programovém období 2007 2013. Tabulka 2: Přehled vyhodnocení možností CIE v OP ŽP Oblast podpory Počet případů Homogenita 1.1. Snížení znečištění vod 1.2. Zlepšení jakosti pitné vody 1.3. Omezování rizika povodní 2.1. Zlepšení kvality ovzduší 2.2. Snižování emisí 3.1. Výstavba nových zařízení C a rekonstrukce stávajících zařízení s cílem zvýšení využívání obnovitelných zdrojů energie pro výrobu tepla, elektřiny a kombinované výroby tepla a elektřiny 3.2. Realizace úspor energie a využití odpadního tepla u nepodnikatelské sféry 4.1. Zkvalitněni nakládání s odpady B 4,2. Odstraňování starých ekologických zátěží 5.1. Omezování průmyslového znečištění 6.1. Implementace a ochrana území soustavy TUR 6.2. Podpora biodiverzity C 6.3. Obnova krajinných struktur C 6.4. Optimalizace vodního režimu krajiny B 6.5. Podpora regenerace urbanizované krajiny 6.6. Prevence sesuvů a skalních řícení, monitorování geofaktorů a následků hornické činnosti a hodnoceni neobnovitelných přírodních zdrojů včetně zdrojů podzemních vod 7.1. Rozvoj infrastruktury pro realizaci environmentálních vzdělávacích programů, poskytování environmentálního poradenství a environmentálních informaci C Z dostupných dat a informací vyplývá, že v oblasti podpory 1.1 není problém s absorpční kapacitou z hlediska počtu projektů. I když je již původně stanovená alokace přečerpána, stále zůstává poměrně vysoký počet neuspokojených žadatelů, kteří nebyli ve schvalovacím procesu úspěšní. Tato oblast podpory je specifická v tom, že napomáhala splnit legislativní požadavky týkající se čištění odpadních vod do konce roku 2010. Jak vyplývá z ktualizace strategie financování požadavků na čištění městských odpadních vod (MŽP, 2010, str. 3), tak v současné době zbývá 194 aglomerací, které nemají zahájenou realizaci potřebných opatření. V kontextu aplikace CIE se jedná o vhodnou oblast zkoumání dopadů financovaných intervencí. Oblast podpory 1.3 se zaměřuje na omezování rizika povodní a celkový počet projektů s podepsanou smlouvou je 44 (červen 2011). Tato oblast může být vhodná pro kontrafaktuální evaluaci zejména z důvodu velkého dopadu na cílovou skupinu. Důvodem pro zařazení oblasti podpory 1.3 do skupiny oblastí pro možnou aplikaci CIE je skutečnost, že charakter podporovaných aktivit (vybudování varovného protipovodňového systému, vybudování ochranné hráze a celkově různá protipovodňová opatření) má reálné dopady na širokou skupinu obyvatel. S ohledem na stále častější povodňové situace v České republice bude možné měřit dopady podpořených intervencí a komparovat situaci s oblastmi bez podobných protipovodňových opatření (pro realizaci CIE v tomto případě by ale musela proběhnout povodeň). Případně bude možné hodnotit rozdíly v účinnosti mezi jednotlivými opatřeními navzájem. a základě dat z MSC2007 je zřejmé, že k 4. 1. 2012 bylo v oblasti podpory 3.1 schválených a realizovaných 194 projektů. Charakter všech podpořených projektů je relativně stejný a jedná se o instalaci fotovoltaických systémů a panelů na různé typy budov. V souvislosti s aplikací CIE lze ověřovat reálný přínos fotovoltaických systémů pro žadatele, kteří využili dotaci, a zbývajících podobných typů subjektů. Oblast podpory 3.2 je velmi silně sycena poptávkou žadatelů, což je patrné i na celkovém počtu podaných projektových žádostí (2879). Celkový počet projektů s vydaným rozhodnutím je 1021 (6. 7. 2011). Jedná se tedy o rozsáhlý vzorek úspěšných projektů, které by mohly být analyzovány v rámci CIE. Charakter podpořených projektů je také velmi podobný zateplení mateřských, základních či středních škol, případně rekonstrukce obecních úřadů spojené s úsporou energie. Homogenita projektů je tedy také vysoká. plikace CIE je v tomto případě možná. Lze uvažovat např. o hodnocení dopadů podpor na náklady na energie. Operační program Vzdělávání pro konkurenceschopnost OP Vzdělávání pro konkurenceschopnost je zaměřen na zlepšování kvality vzdělávání jak na úrovni základních a středních škol, tak na vysokých školách a univerzitách. Pozn.: Ve zvýrazněných řádcích jsou uvedeny oblasti podpor, které při analýze vyplynuly jako vhodné pro aplikaci CIE. 48 regio_study_02_2012.indd 48 11.2.2013 20:38:11

Tabulka 3: Přehled vyhodnocení možností CIE v OP VK Oblast podpory Počet případů Homogenita 1.1. Zvyšování kvality ve vzdělávání C 1.2. Rovné příležitosti děti a žaků, včetně děti a žaků se speciálními vzdělávacími potřebami 1.3. Další vzděláváni pracovníků škol C a školských zařízeni 1.4. Zlepšeni podmínek pro vzdělávání na základních školách 2.1. Vyšší odborné vzdělávání 2.2. Vysokoškolské vzdělávání C 2.3. Lidské zdroje ve V&V C 2.4. Partnerství a sítě 3.1. Individuální další vzdělávání 3.2. Podpora nabídky dalšího vzdělávání 4.1. Systémový rámec počátečního vzdělávání 4.2. Systémový rámec terciárního vzdělávání a rozvoje lidských zdrojů ve výzkumu a vývoji 4.3. Systémový rámec dalšího vzdělávání Pozn.: Ve zvýrazněných řádcích jsou uvedeny oblasti podpor, které při analýze vyplynuly jako vhodné pro aplikaci CIE. V rámci oblasti podpory 1.1 bylo dosud podpořeno 81 individuálních projektů (z celkového počtu 463) a také 26 globálních grantů na úrovni krajů. Výsledkem je tedy relativně početná a vhodná skupina projektů pro aplikaci CIE. Cílovou skupinou jsou mj. kraje, města a obce a především školy a školská zařízení. Z hlediska homogenity podporovaných aktivit je možné konstatovat, že je možné nalézt relativně vysokou homogenitu projektů, nicméně pro aplikaci CIE vyvstává několik dílčích problémů. Především je jen obtížně porovnatelná skupina příjemců realizujících projekt se subjekty bez této intervence (z hlediska reálných přínosů právě této intervence). Smyslem oblasti podpory je zkvalitňovat výuku formou nových metod vzdělávání, zavádění kurikulárních dokumentů do praxe aj. Lze uvažovat i sledování vlivu zavedených nových kurikulí na přijetí na VŠ apod. V oblasti podpory 1.3 existuje 60 projektů s podepsanou smlouvou, což představuje relativně malý vzorek projektů. icméně opět bylo schváleno také 26 globálních grantů na krajské úrovni, které nabízejí velmi širokou skupinu podpořených projektů (zejména pro školy). Oblast podpory 1.3 je zaměřena na zvyšování kvality pedagogických pracovníků. icméně dopad na cílovou skupinu je potenciálně značný a proto se jedná o metodu vhodnou pro aplikaci CIE. Jedná se např. o specializované vzdělávání logopedů ve školství, vzdělávání pedagogických pracovníků zaměřené na kariérové poradenství, prohloubení spolupráce odborných škol a zaměstnavatelů, vzdělávání ředitelů SŠ apod. Zkoumaný dopad bude nutné řešit na úrovni žáků. a rozdíl od zbylých oblastí podpory v prioritní ose 1 jsou finanční prostředky v oblasti podpory 1.4 alokovány pouze prostřednictvím grantových projektů. Do června 2011 bylo evidováno 2766 projektů s vydaným Rozhodnutím z celkového počtu 3379 žádostí. Je tedy zřejmý vysoký zájem žadatelů o tuto oblast podpory. V rámci této oblasti podpory je podporován rozvoj znalostí, schopností a dovedností v oblasti cizích jazyků, matematiky, přírodních věd, informačních a komunikačních technologií (ICT), čtenářské a informační gramotnosti atd. Cílovou skupinou jsou základní školy (právnická osoba vykonávající činnost školy a školského zařízení zapsaná ve školském rejstříku), které mají sídlo mimo území hlavního města Prahy. V rámci oblasti podpory 3.2 je z hlediska celkového počtu realizováno málo projektů, nicméně dopad na cílovou skupinu je potenciálně velký. Příkladem je systémový projekt MŠMT Klíč pro život, kde celková dotace je ve výši 240 mil. Kč a cílovou skupinou jsou pedagogičtí pracovníci pracující v rámci neformálního vzdělávání s mladými lidmi, dětmi a studenty. Během projektu se proškolí více než 5000 pedagogických pracovníků, kteří následně nové a inovované poznatky a zkušenosti přenášejí na studenty. Z hlediska homogenity lze konstatovat relativní podobnost i u zbylých realizovaných projektů zaměřených zejména na podporu vzdělávací nabídky v oblasti dalšího vzdělávání. Z tohoto pohledu se jeví tato oblast podpory jako vhodná pro CIE. V případě OP VK bylo identifikováno více potenciálních oblastí podpory, avšak celkově je nezbytné upozornit, že aplikovat metodu CIE v sektoru vzdělávání lidských zdrojů (což je hlavním smyslem OP VK) může být problematické. Důvodem je především obtížné získání dat (většinou by šlo o informace o jednotlivých podpořených osobách). Rozsah článku neumožňuje detailně rozepisovat a zdůvodňovat ty oblasti podpory, které nebyly stanoveny jako vyhovující. Podobně není možné dále rozebírat zbylé operační programy. Pro přehlednost však uvádíme schematickou tabulku, ze které jasně vyplývají, které OP jsou nevhodné pro aplikaci CIE. Případová studie aplikace CIE v České republice V České republice jsou v současné době metody CIE aplikovány při hodnocení OP LZZ. Oblast podpory 1.1 je zaměřena na investice do lidského kapitálu ve firmách a rozvoj systémů, které pomáhají ke zvyšování flexibility pracovní síly, zvyšování jejich znalostí a dovedností. Tato oblast navíc splňuje výše uvedené podmínky pro realizaci CIE. Implementace této oblasti podpory by měla pomoci k rozvoji odborných znalostí, kvalifikací a kompetencí zaměstnanců a zaměstnavatelů a rozšiřování možností pro uplatňování pružnějších forem zaměstnávání a zavádění moderních forem systémů řízení a rozvoje lidských zdrojů. 5 5 OP LZZ, str. 106 49 regio_study_02_2012.indd 49 11.2.2013 20:38:12

Tabulka 4: Přehled OP nevyhovujících pro aplikaci CIE Program Oblast podpory Počet případů Homogenita OP Doprava OP VaVPI IOP Byly vytipovány pouze dvě oblasti podpory - 5.2 a 5.3. Zbylé oblasti jsou pro CIE nevyhovující. Regionální operační programy OP Praha konkurenceschopnost (Cíl 2) OP Praha-daptabilita (Cíl 2) Prioritní osa 1 - Podpora rozvoje znalostní ekonomiky C Prioritní osa 2 - Podpora vstupu na trh práce Prioritní osa 3 - Modernizace počátečního vzdělávání C Operační programy přeshraniční spolupráce Cíle 3 V současné fázi byly provedeny analýzy na tržbách, zaměstnanosti a hospodářských výsledků pomocí metod instrumentálních proměnných, regresní diskontinuity a difference-in-difference (pomocí kontrolní skupiny a párováním prostřednictvím propensity score matching). Evaluační metoda CIE je metodou náročnou na kvalitu a množství dat. Výběr zpracovaných analýz tudíž vychází i z dostupnosti dat i mimo monitorovací systém Monit7+ a jejich skutečné vypovídací schopnosti. Testy byly provedeny na dvou souborech dat. Prvním z nich je soubor z databáze lbertina. Tento soubor poskytuje data pro téměř celou skupinu sledovaných firem. evýhodou je, že některé typy dat vykazují nedůvěryhodný vývoj v čase (např. počet zaměstnanců firem). Druhým souborem je soubor dat ČSÚ, který pokrývá sice menší vzorek sledovaných dat (nicméně stále dostatečně velký), ale data jsou sbírána stejnou metodou a vykazují metodologickou jednotnost v časové řadě. V rámci zpracovaných ekonometrických analýz není ještě v tuto chvíli možné činit závěry ohledně cílení podpor OP LZZ v oblasti podpory 1.1. Stávající výsledky na datech z databáze lbertina v tuto chvíli neukazují signifikantní vliv podpory na tržby. Jiná situace je při testování na datech ČSÚ. Zde poskytují metody regresní diskontinuity signifikantní odhady vlivu podpor ESF na podniky u grantových výzev. Je možné identifikovat slabý vliv na tržby. Vliv na zisk není prokázán. Data naznačují, že vliv podpor ve zpracovatelském průmyslu je vyšší než ve zbylých sektorech národního hospodářství. Použité metody potvrzují odhad vlivu na zaměstnanost v rozmezí 8 13 p.b. a vliv na tržby v rozmezí 9 13 p.b. V rámci regresní diskontinuity a srovnání jednotlivých výzev mezi sebou, vychází odhady vyšších dopadů na zaměstnanost a tržby v případě výzvy č. 39 oproti výzvám 35 a 60. Závěry Článek si kladl za cíl vytypovat vhodné oblasti podpory, které splňují kritéria pro aplikaci metod CIE. Smyslem nebylo ukázat složité metodologické postupy nejčastěji používaných metod ani jejich závěry. plikace CIE je v Česku zatím novou a dosud neprobádanou oblastí (zejména v kontextu hodnocení strukturálních fondů). Proto si autoři kladli za cíl seznámit odbornou veřejnost s možnostmi CIE, poukázat na dosavadní zahraniční zkušenosti a v klíčové části poukázat na vhodné oblasti podpory pro aplikaci této metody v ČR. Z výsledků provedené analýzy operačních programů vyplývá, že metodologický rámec CIE lze aplikovat v 13 dalších oblastech podpory (nad rámec OP LZZ, kde již výzkum probíhá). Z výše uvedeného přehledu je patrné, že i na úrovni jednotlivých OP je mnoho opatření, která nejsou vhodná pro aplikaci CIE. Dále je nezbytné zdůraznit, že ani samotné vytypování vhodné oblasti podpory ještě neznamená úspěch pro hodnocení dopadů intervencí ze Strukturálních fondů. V druhém kroku je nezbytné stanovit relevantní hypotézy, které se stanou předmětem hodnocení. V další fázi musí řešitelé zvolit vhodné nástroje a statistické postupy pro hodnocení a v neposlední řadě bude zahájen sběr dat. V této fázi však mohou být nalezeny zásadní bariéry hodnocení, protože je nezbytné sesbírat empirická data vztahující se k formulovaným hypotézám. V případě intervencí operačních programů se jedná o data a informace o cílových skupinách, což jsou nejčastěji ekonomické subjekty (pozn. s různým statutem podniky, O aj.), obce či jimi zřizované organizace a v neposlední řadě obyvatelé Česka (ať už v podobě studentů, zaměstnanců, důchodců a dalších specifických kategorií). ejobtížněji jsou dostupná data o obyvatelstvu. ad rámec pravidelně zjišťovaných a publikovaných demografických a vybraných socioekonomických dat je velmi obtížné získat specifické informace na úrovni mikroekonomických dat. plikace CIE může být velmi vhodným nástrojem pro hodnocení dopadů intervencí evropských fondů. Současně je nutné zdůraznit, že se nejedná o samospásný a jediný možný postup. epochybně lze doporučit využití kombinace metody CIE s kvalitativními postupy ve formě případových 50 regio_study_02_2012.indd 50 11.2.2013 20:38:12

studií, jejichž smyslem by mělo být zdokumentování mechanismů vlivu podpory na cílové skupiny. Z analýzy oblastí podpory a z výše uvedené diskuse dostupnosti dat a volby vhodných metod jasně vyplývá, že pro mnoho oblastí podpory není CIE vhodnou metodou a je úkolem vědecké komunity, aby dále testovala i jiné nebo nacházela nové postupy pro hodnocení vlivů a dopadů veřejných intervencí na cílové skupiny. Tento příspěvek vznikl díky podpoře projektu č. TD010083, financovaného Technologickou agenturou České republiky z programu Omega, realizovaného na Katedře managementu VŠE v Praze. Literatura BROW, L., et al. (2011): Vyhodnocení ekonomických efektů a nastavení podmínek programů podpory Inovace, Spolupráce a Potenciál OPPI, (dostupné na http://www.mpo-oppi.cz/document. file.php?iddocument=1341) GFFEY V. (2009): Evaluating Cohesion Policy at EU Level - Balancing Breadth and Rigour: in RS nnual Conference: Understanding and Shaping Regions: Spatial, Social and Economic FuturesLeuven, Belgium GFFEY, V. (2011): Plenarry Session: fter the Fifth Cohesion Report in What Future for Cohesion Policy? n cademic and Policy Debate, Bled, Slovenia KHDKER, S. R., KOOLWL, G. B. a SMD, H.. (2009): Handbook on Impact Evaluation Quantitative Methods and Practices MRTII,. (2009): Counterfactual impact evaluation: what it can (and cannot) do for cohesion policy, 6 th European Conference on Evaluation of Cohesion Policy, Warsaw MORG, S. L., WISHIP, CH. (2007): Counterfactuals and Causal Inference: Methods and Principles for Social Research (nalytical Methods for Social Research) MOUQUE, D. (2011): Presentation at workshop: How to capture the effects of EU funding? Bringing together qualitative and quantitative methods, Open Days MOUQUE, D. (2011): Conclusion of the conference, Conference on counterfactual impact evaluation, Warsaw POTLUK, O. et al. (2012): Pilotní counterfactual impact evaluation OP LZZ, oblast podpory 1.1, Průběžná zpráva č. 1, (dostupná na http://cie.vse.cz) VEETOKLIS, T. (2002): Public Policy Evaluation: Introduction to Quantitative Methodologies ; Government Institute for Policy, Helsinki, dostupné na Public Policy Evaluation: Introduction to Quantitative Methodologies WHITE, H. (2009): Theory-Based Impact Evaluation: Principles and Practice, Working Paper n. 3, International Initiative for Impact Evaluation, ew Delhi. WOOLDRIDGE, J. M. (2001): Econometric nalysis of Cross Section and Panel Data, MIT Press. WOOLDRIDGE, J. M. (2008): Introductory Econometrics: Modern pproach. 4th edition, Thomson South Western, ISB-10: 0324581629. 51 regio_study_02_2012.indd 51 11.2.2013 20:38:12