Nároky na data pro hodnocení programů účelové podpory ve výzkumu, vývoji a inovacích Martin Srholec Seminář DERS Dříteč, 27.2.2014 www.metodika.reformy-msmt.cz
Kdo je Martin Srholec? Ekonomie inovací, inovační systémy, ekonomický rozvoj http://home.cerge-ei.cz/srholec/index.html Ph.D. na VŠE (2003) a na Univerzitě v Oslu (2005) Research Fellow a postdok na Univerzitě v Oslu (2002-2010) Výzkumný pracovník na CERGE-EI v Praze (od 2010) Associate Professor na Lund University (od 2011) Odborný vedoucí žádosti o IPn Metodika projekt na téma Efektivní systém hodnocení programů účelové podpory na MŠMT, která se přávě připravuje 1
Účelové výdaje státního rozpočtu na VaVaI v roce 2014 Nezahrnuje dotace na VaVaI z OP EU Nezahrnuj nepřímou podporu (daňové odpočty) pro VaV ve firmách 2
Typy hodnocení 1) Ex-post evaluace 2) Průběžná (mid-term) evaluace 3) Ex-ante evaluace 3
Ex-post evaluace cílem ex-post evaluace bude souhrnné zhodnocení celého programu a jeho přínosů/dopadů vyhodnocení naplnění cílů programu hodnocení dopadů podpory; dopad vyjadřuje širší souvislosti působení hodnocené aktivity, sleduje změny, ke kterým došlo, ať už jde o změny přímé nebo nepřímé, zamýšlené nebo nezamýšlené, pozitivní nebo negativní poučení se pro budoucí intervence v oblasti VaV 4
Průběžná (mid-term) evaluace mid-term se používá v průběhu realizace programu (v jeho polovině) pro vyhodnocení dosavadního průběhu procesu implementace a průběžného naplňování cílů. posouzení případných změn vnějšího prostředí (socioekonomických) a priorit v oblasti VaV posouzení naplňování cílů (účelnosti) vyhodnocení procesů implementace (zejména úzkých míst) problémových míst formulace doporučení na zlepšení implementace programu 5
Ex-ante evaluace cílem ex-ante evaluace je posoudit nastavení intervence (programu) před jeho zahájením a maximalizovat jeho relevanci posouzení předpokládané funkčnosti intervenční logiky tzn. zda bude možné s navrženými aktivitami dosáhnout zamýšlených cílů posouzení systému měření, sledování systém monitoringu přiměřenosti finanční alokace (zda plánované finanční zdroje odpovídají zamýšleným cílů, resp. výstupům a výsledkům) posouzení nastavení systém a procesů, zda umožní úspěšnou implementaci programu a naplnění cílů a systém evaluace 6
Politický cyklus programů podpory 7
Mezinárodní audit systému VaVaI v ČR Na rozdíl od vyspělých zemí EU není v ČR hodnocení programů VaVaI považováno za důležitou součást procesu přípravy a realizace politik v oblasti VaVaI Systém hodnocení programů VaVaI je spíše jen ex-post monitorováním dosažených výsledků a nákladů potřebných k jejich dosažení Velice negativně byla zhodnocena kvalita hodnocení, resp. zpráv z hodnocení ukončených programů Zprávy z hodnocení jednotlivých ukončených programů VaVaI nelze považovat za standardní evaluační zprávy, protože obsahují jen popis ukončených programů VaVaI a jejich výsledků Za velice diskutabilní je spolehlivost uváděných analýz, přičemž používaná data většinou pocházejí z IS VaVaI Ačkoliv zprávy o hodnocení uvádějí jasné závěry, většina z nich není dostatečně a spolehlivě doložena Doporučení pro tvorbu navazujících či jiných programů VaVaI většinou nejsou ve zprávách obsažena 8
RVVI o hodnocení programů účelové podpory cíle programů jsou stanoveny neurčitě podmínky a kritéria hodnocení neodpovídají cílům programů není dostatečná administrativní kontrola na úrovni poskytovatele podpory není dostatečné závěrečné hodnocení ukončených programů někteří poskytovatelé podpory ukončené programy nehodnotí jako celek či je hodnotí pouze formálně zájem poskytovatelů podpory o sledování využití výsledků v praxi je velmi nízký malý důraz je kladen na hodnocení druhů a kvality výsledků 9
Zahraniční zkušenosti 10
Metody hodnocení efektů programů účelové podpory Hodnocení efektů spočívá v rozklíčování kontrafaktuálního problému, co by bylo (např. jaké by byly výsledky), kdyby účelová dotace poskytnuta nebyla Pomocí metod: Kontrafaktuální ekonometrická analýza s použitím panelových mikrodat Kontrafaktuální kvalitativní analýza, tj. kvalitativní hodnocení dotazníkového šetření, interview, případové studie Bibliometrická analýza 11
Data pro hodnocení Mikrodata z IS VaVaI Anonymizovaná mikrodata z ČSÚ (nejen CIS a VaV průzkumy, ale i rozvaha a výsledovka, atd.) Mikrodata z procesu hodnocení žádostí o projekt, tj. přehled přijatých i odmítnutých žádostí, údaje vyplněné žadateli v žádosti o projekt, hodnocení projektů a jejich řazení, atd. Vlastní sběr mikrodat pomocí (webového) dotazníkového šetření Bibliometrické údaje z Web of Science, případně Scopus Interview s příjemci účelové podpory a relevantními kontrolními skupinami Interview ze stakeholdery (desk research) Existující údaje z dosud provedených dotazníkových šetření jednotlivými poskytovateli a další mirkodata dostupná na úrovni poskytovatelů Nutnost dat pro srovnávací control skupinu! 12
Jak vyhodnocovat dotace na VaV ve firmách? Poptávka po dotačním programu (čím více žadatelů a čím více se utratí, tím lépe?) Deskriptivní účetní tabulky vstupů vs. výstupů (čím více se vytvoří s danými vstupy, tím lépe?) Kontrafaktuální (ekonometrická) analýza (kolik z toho, co se vytvořilo, by bez dotací nevzniklo?) 13
Problém kontrafaktuálního vyhodnocení Projekt (1) (2) Dotace 10 mil. Kč 10 mil. Kč Uplatněné výsledky (v IS VaVaI) 4 patenty 3 patenty Výsledky které by vznikly i bez dotace 3 patenty 1 patent Rozdíl 1 patent 2 patenty Který projekt (a potažmo dotační program) je úspěšnější? 14
Motivační (pákový) efekt dotace na 1. Výstupy (patenty, prototypy, inovované produkty, procesy, atd.) 2. Chování (spolupráce s výzkumnou organizací, apod.) 3. Vstupy (vlastní výdaje na VaVaI, atd.) (širší dopady na produktivity, zaměstnanost, konkurenceschopnost, atd.) 15
Scénáře dopadu VaV dotace na VaV rozpočet firmy 16
Scénáře dopadu VaV dotace na VaV rozpočet firmy 17
Scénáře dopadu VaV dotace na VaV rozpočet firmy 18
Motivační (pákový) efekt dotací se nerovná míře soukromého spolufinancování 19
Model kde i je firma (i = 1,..., N), t je časové období (t,..., T), X i zahrnuje VaV it- 1, tudíž VaV výdaje v předchozím období, binární proměnné pro velikost firmy Velká it, Střední it a Malá it, takže Mikro it představuje srovnávací katergorii, binární proměnné pro vlastnictví Zahraniční it a Veřejné it, takze Domácí it je jejich srovnávací kategorie, a sadu ročních binárních proměnných, které zohledňují agregátní šoky společné pro všechny firmy ve sledovaných letech, jako můžou být například skokové změny systémů podpory, popřípadě změny makroekonomického prostředí, a konečně u i a e it jsou standardní rezidua. 20
21
Závěry tohoto vyhodnocení Na každou 1,00 Kč dotace na VaV v závislosti na velikosti a sektoru vlastnictví firmy připadá v průměru 1,18 Kč celkových VaV výdajů Dotace na VaV mají efekt navýšení, nikoliv efekt vytlačování, soukromého financování VaV ve firmách Při financování VaV plánů si firmy dostávají do potíží, protože nedokáží na VaV získat dostatek peněz Rozdíly podle velikostních skupin, vlastnictví, popřípadě dalších členění Avšak nebyly zohledněny neměřitelné souběžně působící vlivy, které jsou v čase proměnlivé Dosud pouze odhad průměrného dopadu dotací pro všechny druhy programů dohromady První práce tohoto druhu v České republice 22
Překážky pro kvalitní hodnocení v ČR Finanční zdroje na hodnocení (ale skutečně problém?) Institucionální uspořádání (sebehodnocení, kapacita RVVI, atd.) Nizké evaluační kultura (na straně poptávky) Omezené lidské zdroje (na straně nabídky) Možnost zaplatit kvalitní hodnotitele v rámci poskytovatelů (Ne)zájem ze strany zahraničních expertů Dostupnost mikrodat z ČSÚ (jen malý výsek pro výzkumné účely) Míra součinnosti jednotlivých poskytovatelů Nestabilita veřejné správy 23
IPn Metodika projekt Efektivní systém hodnocení programů účelové podpory Cíle: Rozpracovat obecné zásady hodnocení programů a dosáhnout shodu nad nimi Navrhnout nové metodiky k hodnocení programů vybraných poskytovatelů Pokrýt všechny etapy poskytování účelové podpory, které jsou s hodnocením provázány Zvýšit odborné kapacity pro hodnocení Na pilotních hodnoceních názorně předvést přínosy nových metodik, včetně použití principů kontrafaktuální analýzy Určit systémové změny, které jsou třeba pro zajištění hodnocení v souladu s mezinárodními standardy 24
IPn Metodika projekt Efektivní systém hodnocení programů účelové podpory Věcný obsah: Formulace nových metodik hodnocení účelové podpory, a to jak jejich obecných zásad, principů a východisek, tak podrobnějších řešení, které budou ušita na míru pro vybrané poskytovatele Vytvoření nových hodnotitelských kapacit v rámci poskytovatelů a na nich navázané sítě národních i zahraničních expertů Pilotní ověření metodik na vybraných programech (TIP na MPO, ALFA na TAČR, NÁVRAT na MŠMT a Projekty na podporu excelence v základním výzkumu GAČR) Návrh systémových změn, které jsou potřebné ke zkvalitnění úrovně hodnocení (změny zákonů a nařízení, změny směrnic v rámci poskytovatelů, institucionální uspořádání hodnocení, sdílení a propojování mikrodat, atd.) 25
Kdo by měl hodnocení provádět? 1.Poskytovatelé (samohodnocení) 2.Existující nezávislá(?!?) organizace 3.Za tímto účelem nově zřízená organizace 4.Zahraniční experti 26
www.metodika.reformy-msmt.cz Děkujeme za pozornost!
Místo pro vložení tabulek, grafů atp. 28