Věda a výzkum Metodika 17+ Jitka Moravcová 23.3.2017
Co je hodnocení Definice Evropské komise: Evaluation is a process by which the quality, implementation, target relevance and impacts of RTD policies/programmes are investigated, interpreted and examined. Český přístup: Hodnocení je mechanický převod výstupů výzkumných organizací za minulé období do formy bodů, podle kterých je opět mechanicky trojčlenkou přepočítávána výše institucionální podpory. Používá se jak na hodnocení výzkumných organizací, tak programů účelové podpory.
Jak hodnotíme my Metodika 2013-16 + Dává jasný signál: žádný výstup, žádná institucionální podpora. + Je účinná proti nepotismu, korupci a lobování (?). - Slouží pro výpočet institucionálního financování, které je krátkodobé, proto je špatným nástrojem pro dlouhodobé plánování, rozvoj nových oborů - Soustředí se pouze na minulé výstupy. - Nepodporuje účelné čerpání veřejných prostředků. - Nezohledňuje různé role výzkumných organizací v systému VaVaI. - Podporuje fragmentaci vědeckých výsledků. - Nepodporuje mezioborové týmy. - Je víceméně kvantitativní. - Formativní stránka hodnocení je zcela potlačena.
Jak hodnotíme my výsledek 2014 2004 InCites, TC AV, duben 2016
Jak hodnotíme my výsledek Dlouhodobý záměr UPardubice na roky 2016-2020
Jak hodnotíme my výsledek Rozhodnutí děkana č. 4/2016 v Brně, Fakulta podnikatelská 1) Odměny budou vypláceny za publikace přinášející bodové výstupy do Rejstříku informací o výsledcích (dále RIV) uplatňované v roce 20 2) Za články zveřejněné v časopisech evidovaných ve Web of Knowledge, SCOPUS a Seznamu recenzovaných neimpaktovaných periodik vydávaných v ČR (v platném znění) bude autorům vyplacena odměna 1 200 Kč za 1 VUT bod..
Jak hodnotíme my výsledek nehospodárně vynaložené veřejné prostředky 25 20 15 ČZU v Praze, užitné vzory Paliva na bázi zbytků z čaje, kávy, obilovin, máku, palic kukuřic, kůry, kejdy, pokrutin, šišek 10 5 0 2011 2012 2013
Jak hodnotíme my výsledek nehospodárně vynaložené veřejné prostředky 500 450 400 350 300 250 200 150 100 50 0 Jimp Jneimp Jrec F, užitný vzor, průmyslový vzor G, prototyp, funkční vzorek Kniha Sborník Patent F G 2010 2011 2012
Jak hodnotíme my výsledek nepodpora čerpání z RP Evropské unie 8000 6000 4000 2000 0
Jak hodnotíme my výsledek nepodpora čerpání z RP Evropské unie 35,0 30,0 7. RP/Horizon 2020 25,0 20,0 15,0 7. RP Horizon 2020 10,0 5,0 0,0
Jak hodnotíme my výsledek vydávání časopisů VO (J rec ) úprk do sborníků úprk do predátorských časopisů vydávání diplomových a disertačních prací jako knih výsledky neodpovídající definici taktika zaměstnávání autorů plagiátorství obrovská energie věnovaná výpočtu
Jak to dělají jinde Různé formy informovaného peer-review Velká Británie, Francie, Norsko, Švédsko, Holandsko, Itálie, Portugalsko, Litva, Rakousko, Německo, Belgie Německo Německá vědecká rada hodnotí VŠ od 2005: Kvalita výzkumu, Využitelnost a dopady, Efektivita, Mladí vědci, Transfer, Propagace a popularizace závěry hodnocení využívá VŠ, zemské i federální vlády pro systémové změny v daném oboru, může ovlivnit i výši institucionálního financování
Jak to dělají jinde Polsko bodované výstupy, ne peer-review 4 kritéria: Výkonnost (60 75 %), Vědecký potenciál (2 20 %), Komerční využití výsledků (5-15 %), Ostatní výsledky VaVaI (10 %) 4 stupně hodnocení s významným dopadem na financování
Budeme hodnotit jinak! Usnesení vlády č. 107 ze dne 8. února 2017 Vláda I. schvaluje 1. Metodiku hodnocení výzkumných organizací a hodnocení programů účelové podpory výzkumu, vývoje a inovací, obsaženou v části III materiálu čj. 37/17 (dále jen Metodika ), 2. pro rok 2017 platnost definic druhů výsledků uvedených v příloze č. 2 Metodiky hodnocení výsledků výzkumných organizací a hodnocení ukončených programů, schválené usnesením vlády ze dne 19. června 2013 č. 475 a usnesením vlády ze dne 29. července 2015 č. 605
Jaký je cíl nového hodnocení VO získat informace pro kvalitní řízení VaVaI na všech stupních zvýšit kvalitu a konkurenceschopnost českého VaVaI zvýšit efektivitu nakládání s veřejnými prostředky k tomu využít metodu informovaného mezinárodního peer-review zavést multikriteriální oborovou metodiky hodnocení VO respektovat postavení a účel dané VO v systému VaVaI realizovat hodnocení 1krát za 5/6 let zavést víceleté institucionální financování Věcný záměr zákona o podpoře výzkumu, vývoje a inovací
Budeme hodnotit jinak! Principy podle hodnocení AV ČR IPN projektu Metodika zkušeností z Metodiky 2013 Důležitý předpoklad navýšení rozpočtu VaVaV
Metodika 17+ Typy výzkumných organizací AV ČR VŠ rezortní VO Tři úrovně hodnocení národní poskytovatelé VO
Metodika 17+ Periodicita hodnocení národní úroveň - každoročně úroveň poskytovatelů jednou za pět let VO Harmonogram 2017-2018, přechodné období od 2019, jednou za pět let (?)
Metodika 17+ Hodnotící moduly od roku 2019 Úroveň poskytovatelů M1 Kvalita vybraných výsledků M2 Výkonnost výzkumu M3 Společenská relevance M4 Viabilita (životaschopnost) M5 Strategie a koncepce posouzení mezinárodním panelem
Metodika 17+ Hodnotící moduly v implementačním období Národní úroveň hodnocení M1 Kvalita vybraných výsledků (omezeně) M2 Výkonnost výzkumu (omezeně) posouzení národním panelem
Metodika 17+ Úroveň poskytovatelů různá připravenost AV ČR ministerstva institucionální podpora účelová podpora
Metodika 17+ Výsledek hodnocení význam pro VO výzkumný profil (kvalita) porovnání národní i mezinárodní kvalita řízení VO slabé a silné stránky doporučení pro další rozvoj zkušenost ze sestavování sebehodnotící zprávy kvalifikované informace pro řízení VO
Metodika 17+ Výsledek hodnocení význam pro systém VaVaI efektivita politických intervencí informace o kvalitě na národní úrovni informace pro další strategie podklad pro přiznání (části) institucionálního financování VO kvalifikované informace pro řízení systému VaVaI
Metodika 17+ Sebehodnotící zpráva veledůležitý zdroj informací pro panel kvantitativní údaje pro kritéria excelentní výstupy SWOT analýza výzkumná strategie na další období VO nemají zkušenosti se sestavením Writing a self-assessment report and knowing that an expert panel will read it is the best exercise for researchers prof. Erik W. Thulstrup
Závěr do konce roku metodika pro VŠ ministerstva mají metodiku připravenou AV bude metodiku hodnocení harmonizovat (2020) pracovat, diskutovat, jednat, hledat kompromisy, vysvětlovat, optimalizovat, vyhodnocovat