A 3-3 METODICKÝ RÁMEC PRO HODNOCENÍ PROGRAMŮ VÝZKUMU, VÝVOJE A INOVACÍ. Závěrečná zpráva

Transkript

1 A 3-3 METODICKÝ RÁMEC PRO HODNOCENÍ PROGRAMŮ VÝZKUMU, VÝVOJE A INOVACÍ Závěrečná zpráva 7. červen 2011

2 Tat analýza byla vypracvána v rámci veřejné zakázky Úřadu vlády Analýzy a pdklady pr realizaci a aktualizaci Nárdní plitiky výzkumu, vývje a invací. Autr: RNDr. Vladislav Čadil, Ph.D. (cadil@tc.cz) 2

3 OBSAH: 1. Úvd Obecné pstupy hdncení prgramů VaVaI Definice hdncení prgramů VaVaI Účel hdncení prgramů a časvý rámec Přístupy k hdncení prgramů VaVaI Metdy pr hdncení prgramů VaVaI Systém hdncení prgramů VaVaI ve vybraných vyspělých zemích Metdika hdncení prgramů VaVaI v České republice Vývj metdiky hdncení v ČR a její sučasný stav Závěry a dpručení Mezinárdníh auditu systému VaVaI Závěry Rámec pr hdncení prgramů VaVaI v ČR Evaluační systém v ČR Organizační zajištění Systém hdncení prgramů VaVaI Druhy hdncení Ex-ante hdncení Průběžné (interim) hdncení Ex-pst hdncení Hdncení dpadů Hdncení stávajících prgramů VaVaI Hdncení uknčených prgramů VaVaI prváděné pskytvatelem pdpry Suhrnné hdncení uknčených prgramů VaVaI Metaevaluace Hdncení efektivity uknčených prgramů VaVaI Zpráva suhrnném vyhdncení uknčených prgramů VaVaI Dpručení pr vytváření evaluačníh systému a hdncení prgramů VaVaI Dpručení pr nvu metdiku hdncení prgramů VaVaI Obecná dpručení Dpručení pr hdncení ex-ante Dpručení pr hdncení stávajících prgramů VaVaI Závěr Literatura

4 1. Úvd Nárdní plitika výzkumu, vývje a invací pr léta (dále jen NP VaVaI) ve svém patření A 3-3 Důsledně evaluvat všechny prgramy účelvé pdpry, nvé vyhlašvat na základě vyhdncení dpadů předchzích prgramů a ve vazbě na výsledky průběžných evaluací tyt prgramy usměrňvat a mdifikvat stanvuje, že pr zajištění dstatečné efektivity veřejných prstředků investvaných d VaV budu výsledky a dpady všech prgramů účelvé pdpry pravidelně vyhdncvány, a t ve všech fázích jejich implementace (ex-ante, průběžná a ex-pst evaluace). Tat studie se snaží přispět d diskuse ptřebě a zaměření nvé metdiky pr jedntlivé druhy hdncení prgramů výzkumu, experimentálníh vývje a invací (dále jen VaVaI). Jejím cílem je na základě zahraničních zkušenstí s hdncením prgramů VaVaI a mezinárdních standardů navrhnut metdický rámec pr hdncení prgramů VaVaI a vytváření metdik pr jejich ex-ante, interim a ex-pst hdncení a pr hdncení dpadů. Navržený metdický rámec by mhl služit jak pdklad pr přípravu nvé metdiky hdncení prgramů VaVaI. Metdický rámec navržený v tét studii představuje určitý ideální stav, ke kterému by sučasný systém hdncení měl pstupnými změnami směřvat. Nezabývá se způsbem realizace a rganizačním zajištěním hdncení prgramů VaVaI. V ČR se v sučasné dbě pd pjmem hdncení prgramů VaVaI chápe jen hdncení uknčených prgramů VaVaI (tedy ex-pst hdncení). V tét studii se však pd pjmem hdncení prgramů VaVaI rzumí všechny druhy hdncení prgramů VaVaI (tj. exante, interim, ex-pst a hdncení dpadů). A v tmt významu je také tent pjem využíván. Při návrhu metdickéh rámce se vycházel z definice prgramu VaVaI uvedené v zákně č. 130/2002 Sb., pdpře výzkumu, experimentálníh vývje a invací z veřejných prstředků a změně některých suvisejících záknů (zákn pdpře výzkumu, experimentálníh vývje a invací), ve znění pzdějších předpisů [1] (dále jen zákn č. 130/2002 Sb.), který v 2 dst. 2 písm. h) stanvuje, že prgram VaVaI je subr věcných, časvých a finančních pdmínek pr činnsti ptřebné k dsažení cílů aplikvanéh VaVaI, mezinárdní splupráce ČR ve výzkumu a vývji realizvané na základě mezinárdní smluvy a peračních prgramů ve VaVaI. Z uvedené definice je zřejmé, že skupina prgramů VaVaI, které by měly být nvu metdiku hdnceny, je velmi hetergenní. Na jedné straně jsu prgramy aplikvanéh výzkumu a experimentálníh vývje (dále jen VaV), které pdprují získání nvých pznatků a dvednstí pr vývj nvých neb invvaných výrbků, pstupů neb služeb. Na druhé straně jsu prgramy mezinárdní splupráce, které se zaměřují na pdpru mezinárdních prjektů VaVaI a na pdpru pdpůrných služeb umžňujících větší participaci dmácí institucí VaV v mezinárdních prgramech. A v nepslední řadě mezi prgramy VaVaI patří perační prgramy splufinancvané Strukturálními fndy EU. Prtže tyt tři druhy prgramů mají zcela dlišné cíle a pdprují rzdílné aktivity a sučasně se řídí dlišnými předpisy, je velmi btížné navrhnut dstatečně knkrétní splečný metdický rámec, který by umžňval vytvření metdiky pr všechny uvedené druhy prgramů. Vzhledem k tmu, že perační prgramy včetně jejich hdncení se řídí 4

5 směrnicemi a nařízeními Evrpské kmise, tat studie se prblematiku jejich hdncení nezabývá. Ze zbylých dvu druhů prgramů jsu dle bjemu alkvaných finančních prstředků významnější prgramy aplikvanéh VaVaI. Prt se navrhvaný metdický rámec sustředí právě na ně. Přest jsu jeh hlavní zásady aplikvatelné i na prgramy mezinárdní splupráce. Při jejich hdncení je však třeba zhledňvat dlišné spektrum jejich výsledků a aktivit. Krmě úvdu a závěru je studie rzčleněna d 6 samstatných kapitl. První kapitla se věnuje becným pstupům hdncení prgramů VaVaI. Zabývá se definváním hdncení, jeh účelu, časvým rámcem, přístupy a pužívanými metdami. Následuje kapitla věnující se systému hdncení prgramů VaVaI ve vybraných vyspělých zemích s rzvinutu evaluační kulturu, kde se hdncení prgramů VaVaI systematicky realizují již delší dbu, i ve vyspělých zemích, které se tut prblematiku začaly systematicky zabývat teprve pměrně nedávn. V další kapitle je ppsán zaměření metdiky pr hdncení uknčených prgramů pužívané v ČR a její vývj a jsu uvedeny hlavní závěry a dpručení Mezinárdníh auditu systému VaVaI v ČR, které se týkají blasti hdncení prgramů VaVaI. Následující kapitlu tvří návrh rámce pr hdncení prgramů v ČR. Zabývá se rganizačním zajištěním hdncení, systémem hdncení a druhy hdncení. Pté je navržen způsb hdncení stávajících prgramů VaVaI. Následují dpručení pr zaměření nvé metdiky hdncení prgramů VaVaI a vytváření evaluačníh systému pr hdncení prgramů VaVaI. 5

6 2. Obecné pstupy hdncení prgramů VaVaI 2.1 Definice hdncení prgramů VaVaI Definic hdncení prgramů becně existuje celá řada, přičemž se v nich čast dráží zaměření a účel hdncení a hdncené prblematiky a dbrné zázemí půvdce definice. Vzhledem k širkému chápání a využívání hdncení je btížné stanvit nějaku becně platnu a přijatelnu definici. Prt Guba a Lincln [2] říkají, že neexistuje žádný správný způsb definvání hdncení. Každý pkus definvání by vždy sknčil argumentací průběhu hdncení a jeh účelu. Pdle nich je hdncení prstu myšlenkvu knstrukcí, jejíž bjekt nemá smysl definvat. Přest se jiní teretikvé hdncení a různé instituce snaží jeh definvání i jeh jedntlivých částí. Příkladem takvých definic mhu býti myšlenky Philipse et al [3], Rssih a Freemana [4] či Scrivena [5]. Philips et al [3] říkají, že hdncení se zabývá hdncením významu na základě určitých měřítek a standardů. Hdncení zahrnuje sběr, analýzu a interpretaci dat vztahujících se k dsažení cílů prgramů. Hdncení se bvykle snaží měřit vazbu mezi vstupy a výstupy. Cílem je zjistit, zda mezi nimi existuje vztah příčiny a důsledku. Pdle Rsssih a Freemana [4] hdncení není jen aplikací metdy. Je také aktivitu v blasti realizace plitiky a jejíh řízení, vycházejí z ní plitická rzhdnutí a alkace zdrjů pr plánvání, tvrbu, implementaci a pkračvání prgramů. Scriven [5] říká, že hdncení je prces určvání hdnty či přínsu hdncených entit a pvažuje hdncení za nezbytnu slžku každé praktické činnsti v každé disciplíně. Jedním ze základních dkumentů EU, z něhž vychází hdncení specifických aktivit a prgramů realizvaných na úrvni celé EU, je Evaluating EU Activities, A practical guide fr the Cmmissin services [6], který hdncení becně definuje jak zhdncení intervence pdle jejích výsledků, dpadů a prblémů, na něž reaguje. Britská definice stanvená HM Treasury [7] pvažuje hdncení za retrspektivní analýzu plitiky hdntící její úspěch či neúspěch a stanvující dpručení pr buducnst. Definice stanvená rakusku Platfrmu pr evaluaci výzkumné a technlgické plitiky (FTEVAL) [8] chápe hdncení jak zastřešující pjem pr škálu různých technik, metd a patření, které jsu mezinárdně uznávané jak nástrj pr hdncení prcesu výzkumné plitiky pskytující infrmace pr plitiky, managery prgramů, aktéry a širku dbrnu veřejnst vhdnsti specifických iniciativ pr dsažení cílů, které jsu ve veřejném zájmu, a pr překnání tržních a systémvých selhání. 2.2 Účel hdncení prgramů a časvý rámec Celkvě lze říci, že hlavním, becným, cílem hdncení prgramů je hdncení efektivity vynakládání veřejných prstředků. Evrpská kmise (Evaluating EU Activities, A practical guide fr the Cmmissin services) [6] za hlavní účel hdncení prgramů pvažuje: Napmci k přesnějšímu zacílení plitik a prgramů. Přispět k efektivní alkaci zdrjů. V průběhu realizace přispívat ke zlepšvání kvality intervence. Pskytvat infrmace pstupu a úspěchu intervence. 6

7 Takt vymezená úlha hdncení prgramů se bezprstředně vztahuje k jejich strategickému a peračnímu řízení. V tmt pjetí je hdncení prgramů především nástrjem managementu prgramů. FTEVAL [8] chápe účel hdncení prgramů pněkud šířeji a stanvuje něklik různrdých účelů, které se neváží jen na bezprstřední řízení prgramů, ale mají vazbu na celý systém VaVaI. Na základě tht vymezení, chápání smyslu hdncení prgramů pužívané Evrpsku kmisí a účelu hdncení vymezené Rssim a Freemanem [4] mhu být hlavní účely hdncení prgramů VaVaI vymezeny následvně: Strategický. Hlavní cíl spčívá v hdncení strategickéh zaměření prgramu VaVaI (tj. nastavení cílů, pdprvaných aktivit, výsledků, dpadů, stanvení dpručení pr další cílení prgramu apd.). Řízení prgramu. Spčívá v zajišťvání infrmací a stanvvání dpručení pr efektivní řízení prgramů VaVaI. V prcesu řízení prgramu VaVaI služí jak zpětná vazba. Infrmační. Cílem je infrmvat pracvníky VaVaI a širku veřejnst smysluplnsti vynakládaných veřejných prstředků (infrmuje např. výsledcích a dpadech prgramů VaVaI). Legitimizační. Služí k legitimizaci (spravedlnění) vynakládaných veřejných prstředků. Učení se. Managerům VaVaI a pskytvatelům pdpry VaVaI pskytuje infrmace pr učení se z dsavadníh vývje, ze silných a slabých stránek apd. Z cíle a účelu hdncení prgramů VaVaI je zřejmé, že představuje nezbytnu sučást celéh cyklu přípravy a řízení prgramu VaVaI d přípravy prgramu VaVaI přes jeh realizaci až p jeh uknčení a stanvení pdkladů pr pkračvání prgramu VaVaI či tvrbu nvéh. Pdle časvéh zapjení hdncení d cyklu přípravy a řízení prgramu VaVaI lze rzlišit 3 základní druhy hdncení prgramů VaVaI: Ex-ante hdncení prgramu VaVaI před jeh zahájením. Interim průběžné (střednědbé) hdncení prgramu VaVaI. Ex-pst hdncení p uknčení prgramů VaVaI. Při ex-ante hdncení prgramu VaVaI se hdntí zejména vnitřní lgická struktura prgramu VaVaI ve vztahu k identifikvaným prblémům. V tmt smyslu se sleduje, zda identifikvané nedstatky mhu být efektivně vyřešeny pmcí danéh zaměření a finanční alkace prgramu VaVaI. V pslední dbě se sučástí ex-ante hdncení stává také ex-ante hdncení dpadů prgramu VaVaI, které hdntí čekávané dpady na sciální a eknmický rzvj či na živtní prstředí. T přispívá k lepšímu pchpení zaměření prgramu VaVaI a určení využitelnsti a přínsů jeh výsledků. Interim hdncení prgramu VaVaI se realizuje v průběhu prgramu VaVaI. Může vycházet z ex-ante hdncení prgramu VaVaI, přičemž se zaměřuje na hdncení pkrku v naplňvání cílů a realizaci aktivit prgramu VaVaI, případně hdntí prces implementace prgramu VaVaI. Pskytuje důležitu zpětnu vazbu pr zajištění kvality a efektivity aktivit prgramu VaVaI stejně jak pr jeh efektivní administraci. Ex-pst hdncení prgramu VaVaI se prvádí p uknčení prgramu VaVaI a retrspektivně sleduje průběh prgramu VaVaI, splnění cílů, dsažené výsledky a jejich 7

8 využití (příns) či efektivitu využití finančních zdrjů. Specifickým druhem ex-pst hdncení prgramů VaVaI je hdncení dpadů, které se uskutečňuje s určitým časvým dstupem, p němž se dpady mhu dstatečně rzvinut. Věnuje se zejména hdncení eknmických a sciálních (a případně envirnmentálních) dpadům. 2.3 Přístupy k hdncení prgramů VaVaI Prgramy VaVaI lze hdntit s využitím sumativníh a/neb frmativníh přístupu. Jejich využití vyplývá z dlišnéh účelu hdncení. Frmativní hdncení se pužívá zejména pr zhdncení průběhu implementace prgramu VaVaI a pr stanvení dpručení pr zefektivnění systému implementace a změn v zaměření prgramu VaVaI. Jeh hlavním rysem je zpětná vazba směrem k hdnceným subjektům. Nezanedbatelnu úlhu frmativníh přístupu je učení se jedntlivých subjektů, resp. vyhdncvání infrmací a přijímání patření, která vedu k efektivnějšímu využívání prstředků prgramu VaVaI. Cílem frmativníh hdncení je tedy pr ptřeby managementu prgramu získat infrmace dsavadním průběhu prcesu implementace, jeh slabých stránkách, a inicivat změny, které umžní zefektivnění prcesu implementace a zaměření prgramu VaVaI. Pr frmativní přístup je typické využívání kvalitativních metd hdncení. Svým zaměřením má frmativní přístup blíže hdncení prcesů než výsledků. Sumativní přístup shrnuje dsažené výsledky a dpady a má spíše ppisný, statický charakter. Pužívá se především pr ex-pst hdncení prgramů VaVaI a hdncení jejich dpadů. Sumativní hdncení je typicky kvantitativní využívající jasně definvané indikátry a statistické metdy pr zpracvání jejich hdnt. Výhdy sumativníh hdncení: Mhu, pkud jsu správně využity, prkazvat kauzální vztahy (hdncení příčin a následků). Umžňují hdncení dluhdbých efektů. Pskytují kvantifikvané infrmace knkrétních dpadech. Pskytují infrmace změnách v časvém bdbí. Ve využití těcht přístupů pr jedntlivé druhy hdncení jsu značné rzdíly. Prjekt INNO APPRAISAL [9] při hdncení systémů hdncení prgramů VaVaI členských zemí EU zjistil, že v případě ex-ante a interim hdncení prgramů VaVaI převládá frmativní přístup, zatímc v případě ex-pst hdncení prgramů VaVaI dminuje přístup sumativní. Kmbinace bu přístupů je velmi častá zvláště u interim a ex-pst hdncení prgramů VaVaI. 2.4 Metdy pr hdncení prgramů VaVaI Prgramy VaVaI lze hdntit na základě kvantitativních a kvalitativních metd. Výběr vhdných metd se dvíjí d frmulvání cíle hdncení, druhu hdncení a přístupu pr hdncení (frmativní spíše kvalitativní metdy, sumativní kvantitativní metdy). Výběr vhdných metd je dále vlivněn dstupnými finančními a persnálními 8

9 zdrji, dbu pr hdncení (krátká dba pr hdncení vyžaduje aplikaci jen jednduchých deskriptivních metd, zatímc delší časvé bdbí umžní pužít sfistikvané metdy a kmbinvat kvantitativní a kvalitativní přístup), dstupnstí vhdných dat apd. Při výběru vhdných metd je dále vhdné zvážit jejich silné a slabé stránky a jejich využitelnst pr zaměření hdncení. Kvantitativními metdami se zpracvávají statistická data, infrmace z databáze publikačních výstupů (např. Thmsn Reuters Web f Science, Elsevier SCOPUS), údaje patentvých úřadů a výsledky statistických šetření. Základem jsu indikátry ppisující specifické aspekty VaVaI. Ty mhu být scientmetrické neb technmetrické. Scientmetrické indikátry jsu zalženy na pčtech publikačních výstupů a jejich dezvách. Technmetrické indikátry charakterizující průmyslvé vlastnictví (např. pčty patentů, chráněných vzrů, výrbních pstupů, sftwarvé řešení apd). Silné stránky kvantitativníh hdncení lze shrnut následvně: Pskytuje agregvané (suhrnné) infrmace výsledcích a dpadech. Suhrnné infrmace nicméně neukazují vzájemné vztahy a příčinné suvislsti. Umžňuje explanační a prgnstické mdelvání. Vysvětlení a prgnózvání bývá častým účelem hdncení. Vytváří přehled, který může být následván kvalitativní analýzu. Suhrnné výsledky ukazují na prblematická místa, na která je psléze směřvána další, čast kvalitativní, analýza. Pkud jsu dstupná vhdná data, dkáží kvantitativní analýzy dhalit sílu a rzsah kauzálních vztahů. Pužití kvantitativních metd umžňuje prvádět prvnávání a benchmarking institucí, prgramů apd. Umžňuje analýzu trendů. Hdncení časvéh bdbí umžňuje sledvat změny a vývj jedntlivých dpadů. Jsu méně finančně a časvě nárčné. Kvantitativní metdy mhu být rzděleny d tří hlavních skupin: Deskriptivní a kmparativní statistické analýzy zalžené na průzkumech (dtaznících) a statistických datech. Tyt analýzy představují základní sučást každéh hdncení a pužívají se ke statistickému vyhdncení výstupů a výsledků prgramů. Eknmetrické mdely. Ty jsu pravděpdbně nejčastěji pužívány pr hdncení eknmických dpadů. Pužívají se na mikreknmické, dvětvvé či nárdhspdářské úrvni. Analýzy nákladů a přínsů se pužívají především pr hdncení sciálních a eknmických dpadů. Dsud jsu však pr hdncení prgramů VaVaI mál využívané vzhledem ke spíše becnějšímu zaměření prgramů VaVaI a hetergenitě výsledků a jejich využití. Jakkliv eknmetrické mdely a analýzy nákladů a přínsů přinášejí zajímavé, cenné a kvantifikvané infrmace sciálních a eknmických dpadech, jejich nevýhda spčívá ve značném zjedndušení velmi širké a kmplexní prblematiky VaVaI. 9

10 Nevýhda využití kvantitativních metd becně spčívá v nutnsti sledvaný jev kvantitativně vyjádřit, tedy jeh pdstatu vystihnut vhdným kvantitativním ukazatelem. Následné stanvení jeh výše (hdnty) může být btížně realizvatelné. Příkladem btížnéh stanvení hdnty ukazatele může být analýza nákladů a přínsů, ve které je třeba všechny vstupní prměnné vyjádřit ve finančních jedntkách. Další nevýhdu využití kvantitativních metd je, že jsu dsti exaktní, prt je nutné dbát na relevanci využívaných údajů a výsledky analýz patrně interpretvat. V nepslední řadě může být využití kvantitativních metd limitván správnstí zvlené metdy. Zejména v případě vícerzměrných statistických a eknmetrických mdelů výsledek výrazně závisí na předchzí identifikaci vzájemných vazeb (krelaci) a kauzálních vztahů a následném sestavení mdelu, na jehž základě je hdncení prváděn. Pkud je mdel zalžen na chybném předpkladu, je i celý výsledek nesprávný. Kvalitativní metdy hdncení prgramů VaVaI jsu zalženy na psudcích a názrech dbrníků v daných brech VaVaI neb širšíh spektra zástupců kmerční a průmyslvé sféry intenzívně využívajících výsledky VaVaI. Výhdy kvalitativních metd jsu tyt: Pskytují infrmace prcesech a jevech, které není mžné kvantifikvat. Pskytují infrmace vzájemných suvislstech btížně kvantifikvatelných jevů. Pskytují infrmace názrech zainteresvaných pracvníků, spkjensti příjemců pdpry či zástupců aplikační sféry se zaměřením prgramu, jeh implementaci apd. Pskytují vysvětlení příčinných (kauzálních) vztahů identifikvaných kvantitativními metdami. Pskytují infrmace dpadech na různé sféry a aspekty scieknmickéh rzvje. Z uvedených výhd je zřejmá využitelnst kvalitativníh přístupu pr hdncení prgramů VaVaI. Využitelnst spčívá zejména v těcht aktivitách: Získávání dat. T zahrnuje dtazníkvá šetření, rzhvry, pzrvání apd. Takt získaná data mhu být zpracvána a analyzvána s využitím kvantitativních metd. Interpretace infrmací získaných kvantitativními metdami. Kvalitativní metdy mhu identifikvat a lgicky vysvětlit příčinné suvislsti, vzájemné vazby a dpady, které nejsu pstižitelné kvantitativním hdncením. Nejčastěji pužívanými kvalitativními metdami jsu rzhvry, peer review a dtazníkvá šetření. Rzhvry se pužívají v případě, kdy je ptřeba zjistit specifické infrmace a získat kmplexní phled na prblém. Nejčastěji se pužívají plstrukturvané rzhvry. Pdstata peer review spčívá ve skutečnsti, že renmvaní dbrníci v daném bru jsu využiti jak hdntitelé. Odbrníci v určité prfesi by měli být schpni zdpvědně zhdntit aktivity a výsledky jiných dbrníků na základě prfesně specifických kritérií. Tut metdu lze rzdělit d tří základních druhů klasické peer review, mdifikvané peer review a rzšířené peer review [10]. Klasické peer review se pužívá pr hdncení kvality VaV na mikrúrvni. Lze jej pužít např. pr hdncení kvality výsledků pdpřených prjektů. Mdifikvané peer review již není slžen jen z expertů jednh bru, ale tvří jej i dbrníci z jiných blastí. Je využitelné pr hdncení výsledků 10

11 prgramů VaVaI. Rzšířené peer review se dlišuje brvě ještě širší skupinu expertů. Hdntí širší suvislsti prgramu (např. jeh význam v kntextu celéh systému VaVaI) a jeh dpady. Principem dtazníkvéh šetření je, že tázky jsu plženy vybraným zástupcům jedntlivých aktérů a jejich dpvědi se zevšebecní na segment aktérů, který zastupvali. Nevýhdami využití kvalitativních metd je, že získané infrmace nemusí být zbecnitelné (zejména pkud hdncený vzrek není reprezentativní), je btížné prvádět kvantitativní predikce, je btížné testvat hyptézy, sběr a analýza dat jsu časvě nárčné, výsledky mhu být vlivněny sbními preferencemi hdntitelů a nemusí být jednznačné. Prtže hdncení prgramů VaVaI je velmi širkým a kmplexním tématem, kvantitativní a kvalitativní metdy se různě kmbinují. Typickým příkladem kmbinace bu metd jsu případvé studie, které bývají sučástí ex-pst hdncení a hdncení dpadů prgramů VaVaI. Případvé studie mhu být pužity k různým účelům - jak příklad, vysvětlení, kritická analýza apd. Využití jedntlivých metd se liší v závislsti na druhu hdncení. Při ex-ante hdncení prgramů VaVaI převládá kvalitativní přístup (zejména peer review). V interim hdncení prgramů VaVaI se kvantitativní a kvalitativní metdy různě kmbinují pdle zaměření hdncení. Ex-pst hdncení prgramů VaVaI a hdncení dpadů také kmbinuje tyt dvě základní skupiny metd, přičemž kvantitativní metdy mhu převládat. 11

12 3. Systém hdncení prgramů VaVaI ve vybraných vyspělých zemích Hdncení prgramů VaVaI má v řadě vyspělých zemích pměrně dluhu tradici. Ve větší míře se začal rzvíjet a využívat zhruba d smdesátých let. Jeh využívání a rzvj suvisí s něklika vzájemně prvázanými a pdmíněnými faktry, přičemž za hlavní lze pvažvat tyt: Snižvání veřejných výdajů v mnha blastech, které s sebu přinesl větší ptřebu hdncení jejich efektivity. Aplikace knceptu Nvé veřejné správy (New Public Management dále jen NPM). Snaha zvýšit glbální knkurenceschpnst VaV a hspdářství. Snižvání veřejných výdajů v mnha blastech vyvstal s přechdem d sciálníh státu (welfare state) a suvisejícími hspdářskými a sciálními refrmami. Nižší výdaje veřejné správy na jedné straně a realizace refrem na straně druhé s sebu přinesly ptřebu hdncení efektivity vynakládaných veřejných prstředků. Byl třeba sledvat, zda se veřejné prstředky vynakládají efektivně a účelně, a zda dchází k naplňvání cílů refrem. S hspdářskými a sciálními refrmami se bjevily diskuse nutnsti změn fungvání veřejné správy. Jedním z intenzivně zvažvaných knceptů je kncept NPM, který byl pstupně v různých pdbách aplikván v mnha vyspělých zemích d devadesátých let. Pdstatu NPM je, že přebírá metdy managementu využívané v sukrmé sféře, jak např. zaměření na efektivní využití zdrjů pr dsažení stanvených cílů. T s sebu přináší ptřebu mnitrvání a hdncení aktivit veřejné správy včetně prgramů financvaných z veřejných zdrjů. V suvislsti s eknmickým rzvjem Číny, Indie a dalších nvě industrializvaných zemí, jejichž eknmickému růstu ve stále větší míře napmáhá využívání pznatků VaV v pdbě invací, dchází k prhlubvání knkurence nejen v eknmické blasti, ale také ve sféře VaV. Zvyšující se glbální knkurence a ptřeba na ní dpvídajícím způsbem reagvat se prjevuje mj. ve větším důrazu na ptřebu hdncení VaV becně a hdncení efektivity a přínsů prstředků vynalžených na pdpru VaV ve smyslu psílení glbální knkurenceschpnsti. Systémy VaVaI včetně pdpůrných plitik, prgramů a jiných nástrjů či becněji evaluační kultury se mezi jedntlivými zeměmi značně liší. V sučasné dbě neexistuje žádný univerzálně platný a aplikvatelný mdel systému hdncení prgramů VaVaI, ani žádná metdika, která by byla přím využitelná bez jakýchkliv změn. Tat kapitla přináší přehled systémů hdncení plitik a prgramů VaVaI existujících ve vybraných vyspělých zemích s rzvinutu evaluační kulturu, kde se hdncení prgramů VaVaI systematicky realizuje již delší dbu, i ve vyspělých zemích, ve kterých se tut prblematiku začali systematicky zabývat teprve pměrně nedávn. Vzhledem k tmu, že významným nástrjem pdpry VaVaI jsu rámcvé prgramy EU, je stručně zmíněn i jejich systém hdncení. 12

13 Rakusk Rakusk je příkladem země s velmi vyspělu evaluační kulturu, která je výsledkem přibližně 15letéh intenzivníh vývje přístupů, metd a cílů hdncení VaVaI realizvanéh na všech úrvních d úrvně plitiky až p úrveň příjemců. Zásadním mezníkem ve vývji hdncení VaVaI byl zalžení platfrmy FTEVAL [11] v rce 1996 jak základny pr nefrmální splupráci subjektů zapjených d hdncení VaVaI. P deseti letech úspěšnéh fungvání dšl k institucinalizaci platfrmy d samstatnéh právníh subjektu. Její pslání spčívá především v metdlgické a expertní pdpře pr realizaci kvalitnější a transparentnější evaluace, jejíž výsledky jsu plně využitelné pr ptimální strategický rzvj VaV v Rakusku a vytváření plitiky v blasti VaVaI. Jednu z hlavních aktivit platfrmy je vývj standardů pr hdncení zahrnující vytváření vhdných metd, jejich prakticku aplikaci, kultivaci celéh systému pr hdncení na úrvni prjektů, prgramů a institucí. Platfrma dále hraje významnu úlhu při vnímání a využívání hdncení jak prcesu učení se v blasti vytváření a realizace plitik a prgramů VaVaI. V sučasné dbě jsu členy platfrmy mj. tři ministerstva zdpvědná za plitiku VaVaI, hlavní pskytvatelé pdpry VaVaI (agentury), hlavní výzkumné instituce či knzultantské a výzkumné splečnsti. Platfrma vytvřila a publikvala standardy pr hdncení plitiky VaVaI [8] a realizuje šklící prgram zaměřený na nástrje a metdy hdncení adresvaný zejména pracvníkům veřejné správy. Evaluační standardy jsu velice přehledným a bsahvě bhatým dkumentem, který ppisuje rámec pr hdncení plitik a prgramů d jejich vytváření až p vyhdncení dpadů. Také Rakuská rada pr výzkum a technlgický rzvj [12] se věnuje prblematice hdncení jak nezbytné sučásti plitiky VaVaI. Jednu z jejích aktivit v tét blasti je představení plánů hdncení jak základní pdmínky vzniku a schválení každéh nvéh prgramu VaVaI. Hdncení plitik a prgramů VaVaI je v Rakusku realizván z něklika důvdů, přičemž jedním z hlavních je jejich legitimizace. Prt je také mnh zpráv z hdncení veřejně přístupných. Dalším důvdem je sféra učení se pr přípravu nvých plitik a prgramů. V nepslední řadě se prvádí pr ptřebu pskytvatelů pdpry VaVaI (ministerstev zdpvědných za blast VaVaI), aby se zlepšil management a zacílení prgramů VaVaI. V pslední dbě se velice intenzivně diskutuje ptřeba hdncení dpadů prgramů VaVaI a plitik v blasti VaVaI. Nicméně dsud žádné takvé hdncení nebyl prveden. Hdncení se zaměřuje především na prgramy VaVaI a další pdpůrná patření a věnuje se zejména průběžnému a závěrečnému hdncení. Ačkliv jsu za blast hdncení prgramů VaVaI zdpvědná příslušná ministerstva a pskytvatelé pdpry VaVaI, tyt rganizace nedispnují dstatečnými persnálními ani dbrnými kapacitami. Knkrétní hdncení je vždy řešen frmu veřejné zakázky. Finsk Evaluační aktivity se zaměřují na prgramy, výzkumné rganizace, pskytvatele pdpry (agentury) a d určité míry také na plitiku VaVaI. Za hdncení prgramů VaVaI jsu zdpvědní pskytvatelé pdpry VaVaI. 13

14 Academy f Finland [13] řídí, krdinuje a zadává hdncení prgramů VaVaI s cílem zajistit výknnst, kvalitu a dpady pdprvaných aktivit VaV. Ve tříleté peridě vyhdncuje stav a kvalitu VaV s cílem pskytnut celkvý přehled vývji a stavu systému VaVaI a stanvit dpručení pr jeh další vývj. Akademie realizuje hdncení plitiky a prgramů na dvu hlavních úrvních - na úrvni prgramů a na úrvni brů VaV. Všechny prgramy Akademie jsu hdnceny vzhledem k jejím výchdiskům, cílům a bjemu alkvaným finančním prstředkům. Pzrnst se zaměřuje především na průběh a výknnst prgramů VaVaI jak celku a na vytvřenu přidanu hdntu (celkvý příns). Hdncení prgramů VaVaI realizvaných akademií se bvykle zaměřuje na tyt blasti: Vědecké výsledky výzkumných prgramů. Dpady výzkumných prgramů. Implementace výzkumnéh prgramu. Příprava a plánvání kntextu prgramu. Financvání a krdinace. Výsledky hdncení primárně využívají Výzkumné rady, vedení akademie a další subjekty. Výzkumné rady na základě dpručení vzniklých při evaluaci a zaměřených na psílení kvality VaV vytvářejí plány pr realizaci prgramů a připravují nvé prgramy. V sučasné dbě vzrůstá ptřeba hdncení dpadů prgramů VaVaI. Tét blasti hdncení se začali věnvat všichni pskytvatelé. Aktivními v tét blasti je především Akademie, pr níž je hdncení dpadu sučástí její mise, a agentura Tekes [14]. Tekes výsledky hdncení využívá pr efektivnější zacílení prgramů a jejich realizaci. Pr hdncení dpadů prgramů Tekes definval specifické indikátry zalžené na cílech své strategie. Jakkliv je aktivní na pli hdncení prgramů a vytváření vhdných nástrjů a pstupů, hdncení svých prgramů zadává frmu veřejných zakázek. Sučasným trendem v hdnceních prváděných Akademií a d určité míry i agenturu Tekes je využívání panelu zahraničních expertů, které jsu využívány zvláště pr hdncení kvality výsledků VaV a zčásti i pr hdncení dpadů. Velká Británie Hdncení prgramů financvaných z veřejných zdrjů má ve Velké Británii dluhu tradici. Základním metdickým dkumentem pr hdncení takvých prgramů je příručka pr evaluaci publikvaná HM Treasury The Green Bk: Appraisal and Evaluatin in Central Gvernment [7], která byla pprvé vydána v rce Ppisuje eknmické hdncení veřejných výdajů a investic. Další publikací zaměřenu na blast evaluací a jejich využití v prcesu vytváření a realizace plitik je tzv. Magenta Bk: Guidance Ntes fr Plicy Evaluatin and Analysis [15], která byla vytvřena v rce 2003 Jedntku pr vládní sciální výzkum (Gvernment Scial Research Unit) jak příručka pr efektivní využití evaluačních nástrjů. Sučasná evaluační kultura vychází ze změn v plánvaní a kntrle veřejných výdajů představených v průběhu smdesátých let Ministerstvem bchdu a průmyslu (Department f Trade and Industry) [16]. Jím připravený kncept ROAME stanvil, že všechny návrhy nvých prgramů musí být schpny vysvětlit tyt své: 14

15 Odůvdnění (Ratinale) důvdy pr intervenci ve smyslu přínsů a vyjasnění, prč aktivity nemhu být vyřešeny jen za pmci tržních sil. Cíle (Objectives) bjasnit cíle a pskytnut prvnání a indikátry, pdle nichž bude prgram vyhdncván. Psuzení (Appraisal) jedná se především způsb výběru prjektů a výběrvá kritéria. Ta musí být knzistentní s celkvým důvdněním, zaměřením a cíli prgramu. Mnitrvání (Mnitring) pr sledvání vývje a průběhu prgramu zejména ve vztahu k jedntlivým prjektům. Obvykle také zahrnuje nastavení sledvání průběhu prgramu jak celku. Evaluace (Evaluatin) předběžný plán pr hdncení prgramu. ROAME pkrývá celý cyklus přípravy a realizace plitiky či prgramu. Příprava plitiky začíná s jasným a pdlženým (statisticky, analýzami apd.) důvdněním pr intervenci veřejných prstředků a snaží se zdpvědět na tázky: Jaký prblém vyřeší intervence? Jsme si jisti tím, zda intervence je nejlepším řešením prblému? P jasném przumění prblému následuje stanvení a zhdncení specifických a měřitelných cílů, kterých má intervence dsáhnut. Pr zvážení různých mžnstí dsažení identifikvaných cílů se využije psuzení. Je klíčem ke stanvení nejlepšíh zaměření pdpry. Následuje implementace plitiky, v jejím průběhu se prvádí mnitrvání pstupu, průběhu a efektivity intervence. Plitika by měla být předmětem evaluace, která pskytuje zpětnu vazbu úspěchu plitiky a vytváří pdklady pr její úpravu či tvrbu navazující plitiky. Využití ROAME byl dpručen mnha příručkami vypracvanými uvedeným ministerstvem, avšak nikdy nenabyl záknné (a tedy pr všechny pskytvatele závazné) pdby. Většina prgramů VaVaI je hdncena buď samtnými institucemi neb nezávislými teamy prstřednictvím Ministerstva pr invace, univerzity a dvednsti (Department fr Innvatin, Universities and Skills) [17]. Výstupy z takvých hdncení však nejsu vždy veřejně dstupné. Velmi rzšířené je hdncení plitik v blasti VaVaI. Vláda, ministerstva a různí zainteresvaní aktéři prvádějí hdncení plitik a jejích jedntlivých aspektů (témat), přičemž získané infrmace využívají pr jejich zdknalvání a pr tvrbu nvých plitik. Příkladem hdncení specifickéh tématu může být Lambert Review z rku 2003 [18], které hdntil splupráci pdniků s univerzitami. Výsledky tét zprávy byly využity pr tvrbu desetiletéh Rámce pr investice d vědy a invací (Science and Innvatin Investment Framewrk) [19]. Příkladem hdncení na úrvni institucí je RAE (Research Assessment Exercise), které služí jak mechanismus, s jehž využitím Higher Educatin Funding Cuncils [20] alkují finance pr pdpru výzkumu na univerzitách. V sučasné dbě je tt hdncení nahrazván Research Evaluatin Framewrk, který je zalžen na kmbinaci expertních panelů, biblimetrie a dalších indikátrů v závislsti na hdnceném subjektu. 15

16 Švédsk Ve Švédsku dsud neexistuje systematický přístup k hdncení [21], který by na jedné straně zahrnval všechny úrvně tvrby a realizace plitik a prgramů a na druhé straně becně využívané metdiky a rámce pr hdncení prgramů VaVaI. Výsledkem je, že se kvalita a struktura hdncení liší mezi agenturami a statními aktéry. Vědecké rady, VINNOVA [22] a různí pskytvatelé (agentury) pravidelně iniciují hdncení svých prgramů. Způsb hdncení si jedntliví pskytvatelé stanvují sami. Hdncení větších prgramů zahrnuje ex-ante, průběžné a ex-pst hdncení. Nejrzšířenějším typem hdncení je hdncení dpadů, jehž sučástí čast bývá hdncení vědecké kvality s využitím peer review. D něj se v pslední dbě stále více zapjují zahraniční experti. T umžňuje zvyšvat pvědmí švédském VaV v zahraničí a sučasně hdntit jeh kvalitu v mezinárdním kntextu. Dánsk Hdncení prgramů a plitik v blasti VaV je v Dánsku zajišťván frmu veřejných zakázek, které vypisují výzkumné rady, parlament, vládní agentury a Dánská rada pr výzkumnu plitiku [23]. Sučasně v Dánsku prbíhá i výzkum metd pr hdncení prgramů VaVaI, např. na Aalbrg University. V nedávné dbě vláda upzrnila na nedstatečnu kvalitu hdncení prgramů VaVaI a rzhdla, že musí djít k jejímu zvýšení. K tmu byly pužívané metdy rzšířeny využití indikátrů a benchmarking. Tyt metdy by měly napmci při hdncení kvality VaV, která začala být hdncena teprve v pslední dbě. Vláda se snaží zavedení jedntné metriky pr měření kvality. Krmě th pžaduje systematičtější přístup k hdncení všech prgramů VaVaI, aby se zajistil, že alkace prstředků dpvídá kvalitě. Pskytvatelé pdpry VaVaI mají zajistit, že jimi využívané metdy evaluace jsu systematicky vytvřeny a pr hdncení jsu řádně využívány. K tmu byl s pmcí mnha aktérů vytvřen Akční plán pr evaluaci výzkumu [24] a Příručka pr evaluaci výzkumu [25] publikvaná v rce Pdle akčníh plánu jsu hdncení plánvána ve dvuletém časvém bdbí. Nizzemsk Tvrba a realizace plitiky VaVaI a jejích prgramů je zalžena na důkladném hdncení celéh systému VaVaI. Je zalžen na využívání analýz, evaluacích, benchmarkingu a zapjvání celéh spektra aktérů. Sučasný systém hdncení vychází z iniciativy Ministerstva financí s názvem - Od rzpčtů plitik k jejich zdpvědnsti (VBTB) - a řídí se Předpisy pr měření výknnsti a evaluaci (Regeling Prestatiegegevens en Evaluatienderzek - RPE) [26]. VBTB je závazná pr všechny ministerstva, jejím cílem je prpjit cíle a aktivity plitik s prstředky alkvanými na jejich realizaci. Klade si tázky typu čeh chceme dsáhnut, klik můžeme utratit spd. Takvý způsb tvrby plitik a veřejných rzpčtů zdůraznil důležitst a ptřebu hdncení cílů plitik zalženéh na využití indikátrů výknnsti a systematickéh mnitrvání. RPE stanvuje řadu pžadavků pr tvrbu plitik (ex-ante hdncení), mnitrvání a ex-pst hdncení. Každý nástrj musí být hdncen každých pět let. Využití ex-ante hdncení je nezbytné. Může být vynechán jen z velmi závažných důvdů. Předpis stanvuje: 16

17 Využití nástrjů pr hdncení. Pvinnst zvážit ex-ante hdncení při zahájení přípravy nvéh nástrje. Frekvenci a rzsah ex-pst hdncení. Infrmvání ministra, ředitele příslušnéh dbru a parlamentu výstupech hdncení. Na základě tht předpisu ministerstva připravila pkyny pr (ex-ante) hdncení nástrjů. Od rku 2002 Ministerstv pr eknmické záležitsti, které je zdpvědné za plitiku VaVaI, využívá systematický přístup pr ex-ante hdncení ke zhdncení suladu nvých nástrjů, cílů plitik a identifikvaných prblémů [27]. Nvý prgram by měl být vytvářen na základě pdkladvé studie a měl by pr něj být vypracván systém pr mnitrvání a plán hdncení se specifikvanými indikátry vstupů, výstupů a výsledků. Ex-pst hdncení dříve zahájených nástrjů je také využívána při přípravě nvých plitik a nástrjů. Vyhdncení VBTB a RPE vedl v rce 2006 k aktualizaci RPE. Ta zdůraznila ptřebu nezávislsti hdncení a ptřebu využívat infrmace získané při ex-pst hdncení pr přípravu a realizaci plitik a sučasně ptřebu peridickéh hdncení plitik. V sučasné dbě nastává psun d zdůrazňvání ex-pst hdncení k hdncení ex-ante a mnitrvání. Hdncení hlavních prgramů VaVaI je diskutván v parlamentu. T má pzitivní vliv na evaluační kulturu na úrvni ministerstev, implementujících agentur a příjemců pdpry. Německ Hdncení prgramů VaVaI má v Německu dluhu tradici. Jeh křeny sahají d sedmdesátých let, kdy Německá vláda zavedla hdncení dpadů nástrjů různých plitik a prgramů. Při hdncení prgramů a plitik VaVaI se pužívaly zejména peer review a analýzy dpadů VaVaI využívajících různé kvantitativní a kvalitativní přístupy, přičemž se také využívaly výsledky výzkumu metd a nástrjů pr hdncení dpadů realizvanéh v USA. Od plviny devadesátých let byl mnh prgramů VaVaI realizván frmu sutěží, jejichž cílem byl napmci strukturálním změnám ve výzkumné sféře a v hspdářství. D prgramů se zapjila knsrcia institucí, která měla vytvřit splečné výzkumné plány a cíle. T vedl k ptřebě vytvářet nvé metdy a přístupy pr evaluaci. Od rku 1998 je blast hdncení prgramů VaVaI institucinálně zaštítěna Německu splečnstí pr evaluaci (DeGEval) [28] sdružující skupiny expertů a instituce z mnha eknmických a sciálních brů využívajících širké spektrum knceptů, metd a nástrjů. Splečnst vytvřila standardy pr hdncení, jimiž se každé hdncení musí řídit. Standardy jsu tvřeny 4 hlavními skupinami užitečnst, prveditelnst, správnst a přesnst. Tyt 4 skupiny dále bsahují 25 specifických standardů. Hdncení prgramů VaVaI řídí jedntliví pskytvatelé pdpry VaVaI a bvykle jí realizují nezávislé výzkumné instituce. Nrsk Rámec pr systematické hdncení blasti VaVaI, především pr hdncení vědeckých disciplín a výzkumných institucí, vypracvala a implementuje Výzkumná rada Nrska [29]. Oprti jiným zemím je systém hdncení pužívaný v Nrsku specifický tím, že 17

18 jedntlivé prgramy nejsu systematicky hdnceny (jsu hdnceny spíše na ad hc bázi), ale větší důraz je kladen na hdncení vědeckých brů. Hdncení vědeckých disciplín prvádí mezinárdní panel expertů, který hdntí relevantní části nrskéh výzkumnéh systému s využitím mezinárdníh přístupu. Jejich cílem je vytvřit návrhy patření ke zvýšení kvality a efektivity výzkumu. Výsledky hdncení pužívá výzkumná rada k vytváření výzkumných strategií a plitickým dpručením. Dále jsu využívány jedntlivými institucemi k vytváření vlastních strategií. Hdncení disciplín lze pvažvat za specificku frmu hdncení dpadů prgramů VaVaI. Nehdntí prgramy jak takvé, ale hdntí celkvý vývj určitéh bru, vývj kvality jeh výsledků, vývj využití výsledků apd. v určitém bdbí, v němž prbíhaly různé prgramy, nástrje nepřímé pdpry a jejich vzájemné synergie. Případná dpručení se tak nevztahují jen k nedstatkům prgramů, ale dkáží reagvat na slabé stránky celéh bru, na které je mžné psléze reagvat různými nástrji. EU V EU se hdncení prgramů VaVaI systematicky prvádí d smdesátých let a primárně se zaměřuje na hlavní nástrje výzkumné plitiky EU, především na rámcvé prgramy. Pdle definice Evrpské kmise je hdncení rámcvých prgramů (dále jen RP) vnímán jak: psuzení intervencí na základě jejich výsledků, dpadů a ptřeb, na které reagují. Hdncení se tedy v prvé řadě zaměřuje na ptřeby, výsledky a dpady intervence [30]. Systém pr hdncení prgramů VaVaI se becně pírá principy finančních předpisů a směrnic Evrpské kmise, které vyžadují, aby hdncení byl vypracváván přím pr ptřeby řízení prgramů financvaných z veřejných zdrjů. T vede k decentralizvanému systému hdncení a mnitrvání, kde každý generální direktrát a každá instituce zapjena d řízení RP je sučasně zdpvědná za vlastní evaluace a mnitrvání své práce v implementační struktuře, resp. svých prgramů. Dříve se prváděl jen ex-ante hdncení, které se zaměřval na prces financvání, a rční mnitrvání implementace prgramů. Pr bdbí 1995 až 2006 byl zaveden systém zahrnující každrční mnitrvání průběhu prgramu a hdncení p uplynutí pětiletéh časvéh hrizntu s využitím jednh či více panelů expertů. Vzhledem k tmu, že byly hdnceny veškeré aktivity VaV pdpřené a realizvané v daném pětiletém bdbí, hdncení pkrýval něklik RP. Např. hdncení realizvané v rce 2004 pkrýval bdbí a tedy zahrnval aktivity pdpřené 4., 5. a 6. RP. Jeh výsledky byly psléze využity pr zlepšení systému hdncení RP, zejména 7. RP. Tent pětiletý cyklus hdncení byl kritizván např. Evrpským auditrským dvrem, jehž kritika zdůrazňvala krátkzrakst přístupu. Další kritika se týkala časvéh hrizntu pr hdncení. Hdncení mnha aspektů byl ttiž realizván příliš brzy, cž mezval využití výsledků hdncení pr rzhdvací prcesy Evrpské kmise. Pr hdncení 7. RP byl prt vytvřen nvý systém, který zahrnuje: Rční mnitrvání zalžené na indikátrech hdntících implementaci prgramu. Zprávu pkrku 7. RP v rce Interim hdncení. Ex-pst hdncení 6. RP. 18

19 Tři rky p zahájení prgramu, v rce 2010, byl vypracván střednědbé (průběžné) hdncení. Pětiletý evaluační cyklus byla nahrazen ex-pst hdncením dva rky p uknčení prgramu. Tt hdncení budu prvádět externí experti. Sučasně se Evrpská kmise snaží stimulvat jedntlivé státy, aby prváděly krdinvané hdncení dpadů na úrvni jedntlivých členských zemí. V rámci hdncení prgramů je stále největší důraz kladen na hdncení výsledků, přičemž je snaha větší sudržnst a prvázanst hdncení na úrvni celé EU a v jedntlivých členských zemích. Evrpská kmise sučasně pdpruje vytváření nvých metd pr hdncení. Příkladem může být analýza sítí. Pr krdinaci evaluace Generální direktrát pr výzkum a technlgický rzvj (DG RTD) zřídil dvě sítě sdružujících instituce zapjené d evaluačních aktivit RP. Eurpean RTD Evaluatin Netwrk [31] pdpruje výměnu infrmací a sdílení příkladů dbrých praxí mezi experty z jedntlivých členských a ascivaných zemí. Interservices RTD Netwrk je vnitřní sítí Evrpské kmise sdružující její pracviště zapjené d hdncení RP. Závěr Přestže jsu mezi uvedenými zeměmi značné rzdíly v evaluačním systému, lze vypzrvat jejich určité splečné znaky. Tím prvním a mžná nejdůležitějším je, že hdncení prgramů VaVaI je běžnu a nezbytnu sučástí prcesu jejich tvrby a realizace (plicy making prcess). Dalším splečným znakem úzce suvisejícím s výše uvedeným je, že hlavním cílem hdncení prgramů VaVaI je snaha zhdncení efektivity vynakládaných veřejných prstředků na pdpru VaVaI a získání infrmací pr ptřeby změn prbíhajících prgramů VaVaI či pr vytváření nvých prgramů VaVaI. Hdncení prgramů VaVaI se tedy neprvádí samúčelně a frmálně, prtže by jeh realizace byla nařízena, ale prtže pskytuje cenné infrmace pr zacílení rzvjvých ptřeb a využívání veřejných zdrjů. Z hlediska druhů hdncení jsu ve většině zemích využívány všechny 4 druhy exante, interim, ex-pst a hdncení dpadů, přičemž se zvyšuje úlha ex-ante hdncení a hdncení dpadů. Při ex-ante hdncení prgramů VaVaI na významu nabývá také ex-ante psuzení mžných dpadů. T umžňuje lepší zacílení prgramů. Pstupně se také zvyšuje důraz na hdncení dpadů, které se realizuje něklik let p uknčení prgramu VaVaI. Za prvádění hdncení je bvykle zdpvědná instituce, která je sučasně pskytvatelem pdpry VaVaI. Obecně platí, že v těcht institucích existuje specifická evaluační jedntka rganizačně i finančně nezávislá na jedntkách řídících prgram, jejímž úklem je připravvat zadávací dkumentaci pr hdncení, rganizvat tendry, vybírat hdntitele, splupracvat s hdntiteli, interpretvat a diseminvat výsledky hdncení. Takvé evaluační jedntky existují např. v agenturách Tekes a VINNOVA či v britském Ministerstvu pr bchd a průmysl. Pr hdncení prgramů VaVaI se pužívají různé kvantitativní a kvalitativní metdy. Jejich závazné využití však ve sledvaných zemích nestanvuje žádný předpis. Nejčastěji využívanu kvalitativní metdu je peer review, zatímc mezi kvantitativními metdami převládá hdncení pdle kvantitativních indikátrů. 19

20 Metdy a přístupy se ve sledvaných zemích neustále vyvíjejí. D prcesu vytváření nvých metd se zapjují renmvaní dbrníci a instituce půsbící zejména v blasti splečenských věd. 20

21 4. Metdika hdncení prgramů VaVaI v České republice Příklady evaluačních systémů a způsbů hdncení plitik a prgramů VaVaI vybraných vyspělých zemí ukazují, že hdncení prgramů VaVaI má v řadě zemí dluhu tradici, že je vytvářen a aplikván mnh různých metd pr hdncení, a že tét prblematice je věnvána patřičná pzrnst na různých úrvních d institucí využívajících veřejnu pdpru VaVaI přes pskytvatele pdpry VaVaI až p nejvyšší plitické vedení států. Oprti vyspělým zemím EU se v České republice pskytvatelé pdpry začali hdncení prgramů VaVaI věnvat teprve v nedávné dbě d rku Tat kapitla stručně ppisuje pužívanu metdiku a její následný vývj. S využitím dsavadních výsledků Mezinárdníh auditu systému VaVaI shrnuje její hlavní nedstatky. 4.1 Vývj metdiky hdncení v ČR a její sučasný stav Stávající Metdika hdncení výsledků výzkumných rganizací a hdncení výsledků uknčených prgramů platná pr léta 2010 a 2011 [32] pskytující rámec pr hdncení prgramů VaVaI uknčených v daných letech vychází z půvdní metdiky hdncení uknčených prgramů VaVaI, která byla schválena dne 23. června 2004 Vládu ČR usnesením č Dle tét metdiky se hdntily prgramy VaVaI uknčené v letech , přičemž se hdntily pdle dsažených výsledků. Hdncení uknčených prgramů měl zahrnvat: Základní údaje schváleném prgramu tat část hdncení měla bsahvat základní údaje jak kód a název prgramu, jeh případné členění na pdprgramy, dbu realizace prgramu, identifikaci pskytvatele pdpry VaVaI a schvalvatele, navržené celkvé náklady na dbu trvání prgramu apd. Cíle prgramu v tét části hdncení měli hdntitelé uvést znění cílů, tak jak byly v prgramu schváleny. Pdmínky pr přijetí návrhu prjektu a kritéria hdncení návrhů prjektu a jejich sulad s cíli hdntitelé měli ppsat kritéria přijatelnsti prjektů, způsb jejich výběru, výběrvá kritéria, kritéria pr hdncení suladu jejich cíle s cíli prgramu. Dále měli zhdntit sulad cílů prjektů s cíli prgramu. Údaje veřejné sutěži ve výzkumu a vývji - hdntitelé měli uvést základní údaje veřejných sutěžích uskutečněných v rámci prgramu, např. pčet pdaných návrhů, pčet pdpřených prjektů apd.). Skutečné výdaje na uskutečnění prgramu a důvd změn hdntitelé měli rzepsat skutečné výdaje prgramu a skutečné výdaje prgramu plynucí ze státníh rzpčtu. Výsledky řešení prgramu a jejich využití, příns, aplikace hdntitelé uvedli suhrnně za celý prgram. Srvnání dsažených výsledků s cíli prgramu hdntitelé zhdntili, zda a jakým způsbem výsledky dsažené řešením prjektů přispěly ke splnění cílů prgramu a jaká byla míra splnění cílů prgramu. 21

22 Srvnání dsažených výsledků prgramu se stavem v zahraničí v dbě uknčení prgramu hdntitelé prvedli prvnání dsažených výsledků prgramu se stavem v zahraničí. Závěr - dpručení pr případný navazující prgram. Jak je zřejmé z názvu metdiky, hdntily se vždy jen uknčené prgramy. Metdika nestanvvala pvinnst ani pstup pr jiné druhy hdncení prgramů VaVaI. Hdncení prgramů měli prvádět pskytvatelé pdpry VaVaI, kteří následně zprávy hdncení prgramů předávali Radě pr výzkum, vývj a invace (dále jen RVVI). Ta je psléze pdstupila Vládě ČR. Uvedené usnesení vlády stanvil, že hdncení výsledků uknčených prgramů VaVaI se bude pakvat i v následujících letech. Pr hdncení měl být pužit stejný pstup, přičemž případné změny a dplňky vyplývající ze zkušenstí z hdncení uskutečněnéh v rce 2004 měly být prvedeny ddatkem k metdice. V dalších letech byla tat metdika různě upravvána. Výraznu změnu v hdncení prgramů VaVaI přinesla metdika schválená v rce Ta zavedla kritérium efektivnsti vynalžených veřejných prstředků na řešení prjektů v rámci uknčenéh prgramu. Kritérium efektivnsti byl zalžen na bdvém hdncení dsažených výsledků. Základním hdntícím kritériem se stala průměrná hdnta Indexu SR prgramů, která byla stanvena jak pdíl váhy všech bdvě hdncených výsledků prjektů všech hdncených uknčených prgramů a celkvé veřejné pdpry vynalžené na jejich řešení. V suhrnném hdncení uknčených prgramů VaVaI byl prveden prvnáním hdnty Indexu SR pr každý hdncený uknčený prgram s průměrnu hdntu Indexu SR prgramů. Metdika schválená v následujícím rce stanvila cíle pr hdncení prgramů. Cílem byl pskytnut vládě, veřejnsti a plitické reprezentaci ucelený subr infrmací výsledcích získaných při pskytvání veřejné pdpry na činnsti ve VaV jedntlivých pskytvatelů pdpry VaVaI; a dále pskytnut RVVI infrmace tm, jak jedntliví pskytvatelé pdpry VaVaI naplňují vlastní definvané cíle prgramů, které jsu uvedeny ve schválených návrzích prgramů, přičemž těcht pznatků RVVI bude využívat při psuzvání nvých návrhů prgramů. Na základě vyhdncení prgramů a infrmací výsledcích dsažených v rámci prgramů uvedených v Infrmačním systému VaVaI (dále jen IS VaVaI) RVVI každrčně vypracvala suhrnné hdncení uknčených prgramů. T ukázal některé nedstatky v přípravě a realizaci prgramů VaVaI. Jednal se zejména neurčité stanvení cílů prgramů VaVaI, pdmínky a kritéria prgramů nedpvídaly cílům a zaměření prgramů, nedstatečnu administrativní kntrlu na úrvni pskytvatele pdpry VaVaI a nedstatečné závěrečné hdncení uknčených prgramů VaVaI. Suhrnné hdncení zjistil, že někteří pskytvatelé pdpry VaVaI uknčené prgramy VaVaI nehdntili jak celek či je hdntili puze frmálně. Malý důraz byl kladen na hdncení druhů a kvality výsledků. Někteří pskytvatelé pdpry VaVaI neprváděli dstatečné hdncení výsledků jedntlivých prjektů. Zájem pskytvatelů pdpry VaVaI sledvání využití výsledků v praxi byl velmi nízký. V sučasné dbě (2011) se pr hdncení uknčených prgramů pužívá Metdika hdncení výzkumných rganizací a hdncení výsledků uknčených prgramů platná pr rky , která byla schválena vládu usnesením č. 555 ze dne 4. srpna Pdle tét metdiky se hdntí prgramy uknčené v letech 2009 a Oprti metdikám pužívaných v předchzích letech se však de fact neliší. 22

23 4.2 Závěry a dpručení Mezinárdníh auditu systému VaVaI Mezinárdní audit systému VaVaI v ČR na základě analýz pužívaných metdik, suhrnných zpráv z hdncení uknčených prgramů VaVaI, rzhvrů se zástupci pskytvatelů pdpry VaVaI a analýz zpráv z hdncení vybraných prgramů VaVaI zpracvaných pskytvateli pdpry VaVaI zhdntil systém hdncení prgramů VaVaI v ČR [33]. Významným závěrem je, že na rzdíl d vyspělých zemích EU není v ČR hdncení prgramů VaVaI pvažván za důležitu sučást prcesu přípravy a realizace plitik a prgramů v blasti VaVaI, přičemž v zahraničí čast akcentvaná úlha hdncení ve smyslu získávání znalstí a zkušenstí z hdncení prgramů VaVaI (učení se) je ČR nedstatečně vyvinuta či v případě některých pskytvatelů pdpry VaVaI zcela schází. Systém hdncení prgramů VaVaI tak spíše není užitečným nástrjem pr vytváření a realizaci plitik a prgramů, ale spíše mnitrváním dsažených výsledků a nákladů ptřebných k jejich dsažení. Většina identifikvaných nedstatků se týkala hdncení prváděným pskytvateli pdpry VaVaI. Úrvně RVVI se týkala jen připmínka vztahující se k pdstatě samtné metdiky. Výrazným nedstatkem stávající metdiky hdncení uknčených prgramů VaVaI je ttiž její čistě kvantitativní pvaha a důraz na hdncení efektivity výsledků, tedy na hdncení pměru finančních vstupů a výsledků VaVaI. Efektivita z hlediska dsažení cílů prgramu však není hdncena. Níže jsu shrnuty nedstatky hdncení prváděné pskytvateli pdpry VaVaI. Důvěryhdnst hdncení uknčených prgramů VaVaI a celéh systému hdncení snižuje skutečnst, že pskytvatelé pdpry VaVaI hdntí sami sebe, tedy že hdntí prgramy VaVaI, které sami realizvali. T se negativně prjevuje v bjektivitě hdncení. Mezinárdní audit dále zdůraznil ptřebu ex-pst hdncení na všech úrvních. Jeh absence výrazně mezuje mžnsti získávat a využívat znalsti a zkušensti z realizace prgramů VaVaI pr vytváření navazujících prgramů VaVaI. Zprávy z hdncení jedntlivých uknčených prgramů VaVaI nelze pvažvat za standardní evaluační zprávy, prtže bsahují jen ppis uknčených prgramů VaVaI a jejich výsledků. Velice diskutabilní je splehlivst uváděných analýz, přičemž pužívaná data většinu pcházejí z IS VaVaI. Ačkliv zprávy uvádějí jasné závěry, většina z nich není dstatečně splehlivě dlžena. Dpručení pr tvrbu navazujících či jiných prgramů VaVaI většinu nejsu ve zprávách bsažena. Při hdncení ppisu prgramů VaVaI mezinárdní audit zjistil, že indikátry pr hdncení prgramů VaVaI, pkud jsu pužity, jsu nastaveny tak, aby dpvídaly ptřebám suhrnnéh hdncení uknčených prgramů VaVaI. Pužité indikátry jsu tedy spíše kvantitativní pvahy. Kvalitativní indikátry se pužívají ve velmi mezené míře. Pkud jde zpracvání infrmací pdpřených prjektech, infrmace jsu při vyhdncvání uknčených prgramů VaVaI analyzvány puze v agregvané pdbě na úrvni krdinátrů (hlavních řešitelů) prjektů. Nehdntí se gegrafické rzmístění a aktivity jedntlivých účastníků prjektů (spluředitelů), úrveň jejich splupráce či rzvj vztahů akademické a pdnikatelské sféry. 23