Regionální centrum Brno 4.1.2017 Role hodnocení ve vědě Jitka Moravcová 1
HODNOCENÍ VE VĚDĚ? Co vlastně hodnocení je? Definice Evropské komise: Evaluation is a process by which the quality, implementation, target relevance and impacts of RTD policies/programmes are investigated, interpreted and examined. Co je hodnocení po česku? Předpis, který stanoví, jak se výsledky převádějí na body a trojčlenkou se pak spočítá výše institucionální podpory výzkumné organizace. 2
POHLED DO NAŠÍ HISTORIE 1. Verze 2004 2. Verze 2006 Index SR body se sečtou a dělí finančními prostředky získanými ze státního rozpočtu v mil. Kč, index SR průměr indexů SR, vše se porovnává k průměru, instituce se rozdělily do 4 barevných skupin: červená (0) žlutá (0,01 do 13) šedá (13,01 do 25) zelená (nad 25) 3
POHLED DO NAŠÍ HISTORIE Index SR, hodnocení 2006 Fakulty VŠCHT Praha FPBT: 28,51 FTOP: 32,52 FCHI: 36,97 FCHT: 44,55 Nejvyšší hodnoty Ústav dějin UK a archiv UK: 102,88 UJEP Ústí n. L., Pedagogická fakulta: 133,83 VŠE, Fakulta podnikohospodářská: 136,00 UJEP, Fakulta životního prostředí: 173,66 UJEP, Fakulta sociálně-ekonomická: 188,53 4
POHLED DO NAŠÍ HISTORIE 3. Verze 2009 rozšíření typů uznatelných výsledků 4. Verze 2010 výpočet institucionální podpory 5. verze Metodika 2013-16 omezení typů uznatelných výsledků užitný nebo průmyslový vzor (F) poloprovoz, ověřená technologie, prototyp, funkční vzorek (G) 500 450 400 350 300 250 200 150 100 50 0 Jimp Jneimp Jrec Kniha Sborník Patent F G 2012 2011 2010 5
POHLED DO NAŠÍ HISTORIE Důsledkem našich minulých i stávající Metodiky je obecné povědomí, že každý výsledek musí být oceněn institucionální podporou (RVO rozvoj výzkumné organizace), každá VO má vlastně na RVO nárok hodnocení je pouhým přepočtem bodů na peníze 7 užitných vzorů uplatněných v roce 2010 vyneslo v roce 2012 IP 400 000 Kč Variabilní stropní svítidlo Metodika 2013 už užitné vzory nezahrnuje 6
POHLED DO NAŠÍ HISTORIE 2011 4 užitné vzory Palivo na bázi zbytků z čaje Palivo na bázi zbytků z kávy Palivo na bázi zbytků z řezu bobulovin Palivová briketa na bázi zbytků z gastronomie 2012 23 užitných vzorů Palivo na bázi pseudoobilovin Palivo na bázi zbytků z řezu ovocných stromů Palivo vyrobené z obilovin Palivo vyrobené z odpadu vznikajícího při zpracování bavlny Palivo vyrobené z odpadu vzniklého při výrobě alkoholických nápojů Palivo vyrobené z odpadu vzniklého z vyplozených substrátů z pěstování hub Palivo vyrobené z palic kukuřice Palivo vyrobené ze spalitelných zahradních zbytků Palivo vyrobené ze stabilizované biomasy s využitím gastroodpadů Palivo vyrobené ze stabilizované biomasy s využitím kostí Palivo vyrobené ze stabilizované biomasy s využitím odpadu z výroby papíru a celulózy Palivo vytvořené z korku Palivo vytvořené z kůry jehličnanů Palivo vytvořené z kůry listnatých stromů Palivo vytvořené z máku setého Palivo vytvořené z obilovin Palivo vyrobené z odpadu vznikajícího při zpracování bavlny Palivo vyrobené z odpadu vzniklého při výrobě alkoholických nápojů 7
POHLED DO NAŠÍ HISTORIE Palivo vyrobené z odpadu vzniklého z vyplozených substrátů z pěstování hub Palivo vyrobené z palic kukuřice Palivo vyrobené ze spalitelných zahradních zbytků Palivo vyrobené ze stabilizované biomasy s využitím gastroodpadů Palivo vyrobené ze stabilizované biomasy s využitím kostí Palivo vyrobené ze stabilizované biomasy s využitím odpadu z výroby papíru a celulózy Palivo vytvořené z korku Palivo vytvořené z kůry jehličnanů Palivo vytvořené z kůry listnatých stromů Palivo vytvořené z máku setého Palivo vytvořené z obilovin Palivo vytvořené ze šišek jehličnanů 2011, 4 užitné vzory 2012, 32 užitných vzorů 2013, 6 užitných vzorů Palivo z kůry listnatých stromů Palivová briketa z kukuřice Palivová briketa z kůry jehličnanů Palivová briketa z listů listnatých stromů Palivová briketa z obilovin Palivová briketa ze šišek jehličnanů Palivová peleta ze spalitelných zahradních zbytků 2013 6 užitných vzorů Palivo vyrobené z kejdy Palivo vyrobené z odpadu vznikajícího při čištění a zpracování obilovin Palivo vyrobené z odpadu vznikajícího při lisování olejnatých semen Palivo vyrobené z odpadu vzniklého v textilním průmyslu Palivo vyrobené z odpadu vzniklého z mlýnských a pekárenských výrobků Palivo vyrobené z pokrutin 8
SOUČASNÝSTAV Metodika 2013-16 Pilíř I: výsledky typu J, B, C, D (publikační výsledky) v RIV + peer-review hodnocení výsledků typu B a C (subpilíř I), relativní podíl oborových panelů na celkovém počtu bodů Pilíř II: jeden excelentní výsledek na každých 10 MKč IP, peer-review hodnocení Pilíř III: osobní a doplňkové náklady projektu TAČR a MPO, relativní podíl oborových panelů na celkovém počtu bodů 9
SOUČASNÝ STAV Porovnání VVŠ podle bodů v RIV, 2009-2012 pravidla přidělování a výpočtu bodů dle Metodik se rok od roku měnila (nelze sledovat trend), 10
SOUČASNÝ STAV Relativní podíl fakult UPce, body RIV, 2012 zaslouží si FCHT 74% podíl na veřejné institucionální podpoře UPce, protože to odpovídá rozsahu jejích výsledků VaV? co strategické řízení VVŠ? 11
SOUČASNÝ STAV UPce není výjimka Fakulta podnikatelská VUT Brno: 1200 (500) Kč za 1 VUT bod drtivá většina VVŠ postupuje stejně UK v Praze má ambice postoupit mezi TOP 200 zavedla Program rozvoje vědních oborů PRVOUK dělení IP trojčlenkou na fakulty podle RIV bodů žádné strategické řízení VVŠ nereflektuje publikační zvyklosti v oborech nereflektuje kvalitu VaV 12
Relativní zastoupení odkazů, VVŠ, 2009-2013 SOUČASNÝ STAV WoS, heslo Czech Republic, 25.1.2014, roztřídění podle instituce 13
SOUČASNÝ STAV Absolutní počet odkazů, celá ČR výroba tzv. recenzovaných neimpaktovaných (tj. především domácích) časopiseckých publikací vzrostla v období 2006-2010 o více než 200 procent WoS, heslo Czech Republic, 25.1.2014 14
SOUČASNÝ STAV nebere zřetel na typ VO nedává info o excelenci neporovnává kvalitu na národní úrovni neporovnává kvalitu na mezinárodní úrovni nedává info o efektivitě VaV neposkytuje podklady pro řízení VO neposkytuje podklady pro politická rozhodnutí M2013 nezahrnuje peer-review ve standardní podobě 15
HODNOCENÍ KVALITY Jurajda, Münich: Kde se dělá v ČR nejlepší výzkum? Studie CERGE-EI 3/2012, dostupná na http://idea.cergeei.cz/documents/studie_2012_03.pdf Cíl studie: srovnání excelentních výsledků pracovišť v jednotlivých vědních oborech ukázat nedostatky bibliometrických analýz pro účely hodnocení upozornit na přetrvávající nedostatky v hodnotících nástrojích Údaje z RIV 16
HODNOCENÍ KVALITY byly vybrány středně velké státy počty byly normalizovány na počet obyvatel 10 mil. 17
HODNOCENÍ KVALITY 18
HODNOCENÍ KVALITY RVVI je rozhodnutá opustit současný systém hodnocení výsledků výzkumných organizací Metodika 17+ schválena v listopadu 2016 vnější připomínkové řízení Zdroje: IPN Metodika Zkušenosti z Metodiky 2013-16 Zkušenost z hodnocení ústavů AV ČR 19
RÁMEC METODIKY 17+ Cílem hodnocení systému VaVaI prostřednictvím Metodiky 17+ je především získání informací pro kvalitní řízení VaVaI na všech stupních (formativní stránka), zvýšení efektivity vynakládání veřejných prostředků (sumativní stránka), podpoření kvality a mezinárodní konkurenceschopnosti českého VaVaI, rozdělení a zvýšení odpovědnosti jednotlivých aktérů systému VaVaI, získání podkladů pro poskytnutí dotace na dlouhodobý koncepční rozvoj výzkumné organizace (RVO). Postupné budování a realizace v plném rozsahu do roku 2020 s následující periodou 5 let 20
RÁMEC METODIKY 17+ Základní principy cílový stav 2020 a dále tři různé úrovně hodnocení, tři základní nástroje hodnocení, rozdělení VO do tří skupin podle postavení a mise, společný rámec pro posuzování kvality VO, M1 - Kvalita vybraných výsledků, M2 - Celková výkonnost, M3 -Společenská relevance, M4 Viabilita, M5 - Strategie a koncepce, 5 o kvalitativní stupnice, periodicita 5 let, mezinárodní hodnotící panely, 6 základních oborů, škálování VO do 4 skupin podle kvality, vztah k financování RVO (stabilizační a motivační složka). 21
RÁMEC METODIKY 17+ Natural Sciences Engeneering&Technology Medical Health&Science Agriculture Social Sciences Arts&Humanities 3 typy VO AV VŠ rezortní 6 oborových panelů Metodika 17+ 3 úrovně řízení národní poskytovatelé VO Kvalita vybraných výsledků Celková výkonnost Společenská relevance Viabilita Strategie a koncepce hodnocení 5 modulů interval 5 let 22
RÁMEC METODIKY 17+ Tři různé úrovně hodnocení Úroveň 1 Úroveň 2 Úroveň 3 Pro každou úroveň řízení a financování VaVaI je zapotřebí jiná míra podrobnosti informací, využívají se částečně jiné zdroje informací a často i jiné informace. 23
RÁMEC METODIKY 17+ Implementační období 2017-19 účel: udržet zátěž hodnocení na minimální úrovni, která umožní 1. realizovat legitimní a obhajitelný proces, 2. postupně připravovat a zavádět nástroje pro robustní, mezinárodně srovnatelné a informativní hodnocení národního VaVaI, 3. vytvořit podmínky pro organizaci komplexního hodnocení na straně státní správy i na straně hodnocených VO. roky 2017 2019, vybrané indikátory v modulech M1 a M2, panelové hodnocení národními experty v 6 oborech, indikativní škálování VO, 2019, hodnocení plných modulů M1 a M2 mezinárodními panely. 24
RÁMEC METODIKY 17+ Implementační období 2017, 2018 1. bibliometrická analýza publikačních výstupů mimo SHV (M2), Article Influence Score, Scopus, WoS. Kvalitativní profil výstupů VO, 2. v SHV oborech a pro aplikovaný výzkum jen vybrané výsledky (M1), v panelu budou i odborníci z aplikovaného výzkumu a praxe, vzdálení recenzenti, 3. počet vybraných výsledků: způsob navrhne KHV se Sekcí VVI, 4. zařazení kvality výsledků dle bodů 1. a 2. do 5 stupňů, 5. indikativní škálování VO do 4 skupin. 2019 1. plné moduly M1 a M2, 2. panelové hodnocení mezinárodními experty v 6 oborech. 25
RÁMEC METODIKY 17+ Organizace hodnocení Národní úroveň 1. ústřední orgán (RVVI/Sekce VVI), 2. každoroční hodnocení M1 a M2 (monitorování chování systému), národní peer review, 3. škálování VO se měnit nebude, 4. zařazení kvality výsledků dle bodů 1. a 2. do 5 stupňů, 5. indikativní škálování VO do 4 skupin. Úroveň poskytovatelů 1. moduly M3-M5, s využitím výsledků každoročního hodnocení, 2. mezinárodní peer review, 3. metodická spolupráce s ústředním orgánem, 4. nové škálování. 26
RÁMEC METODIKY 17+ Vztah hodnocení a financování motivační složka stabilizační složka, až 100 % Různá připravenost sektorů k větší diferenciaci RVO AV ČR, od roku 2017 VŠ, od roku 2019 rezortní VO, od roku 2018/2019 27
RÁMEC METODIKY 17+ Vztah hodnocení a financování nárůst RVO 28
RÁMEC METODIKY 17+ 1. UK Praha 2. MU v Brně Jak bychom také mohli dopadnout 3. ČVUT Praha Španělský žebříček vs počty studentů 4. VUT Brno 5. ZU v Plzni 6. VŠE v Praze 7. TU Ostrava 8. Policejní akademie v Praze 9. UP Olomouc 10. JU v Č. Budějovicích 11. TU Liberec 12. ČZU Praha 13. VŠCHT Praha 14. Pardubická univerzita počet studentů 50 45 40 35 30 25 20 15 10 5 0 y = 46,756x -0,6347 R 2 = 0,7544 0 5 10 15 20 umístění 15. UTB ve Zlíně 16. MZLU v Brně 17. Slezská univerzita Opava 18. Ostravská univerzita 19. Univerzita Hradec Králové 20. Univerzita JEP Ústí n. L. Španělské hodnocení, HN 2007 29
RÁMEC METODIKY 17+ Příklad Portugalska, strategická restrukturalizace VO v roce 2013 (peer-review hodnocení, služba ESF) Hodnoceno 322 VO (30 880 výzkumníků) za období 2008-2012 a strategii na 2015-2020 7 hlavních panelů 1. fáze (vyřazovací): dobrý, průměrný, špatný 178 VO (55 %) do fáze 2, 81 VO (25 %) nepostoupilo, jen 80 % IP 62 VO (20 %), nedostalo IP 2. fáze: výjimečný, excelentní, velmi dobrý (strategické financování) Hodnocení v 5 dimenzích: Productivity, Sci and technol merit, Relevance, Feasibility of the work plan, Impact of outputs Angličtina, jen název a abstrakt v portugalštině VO si samy navrhovaly výši institucionální podpory 30
ZÁVĚR Není žádné jednoduché řešení Velký odpor VŠ Strach před politickým rozhodnutím Peer-review je subjektivní Proces bude administrativně náročný Proces bude drahý hledání konsensu otevřené jednání všech zúčastněných stran vysvětlování, diskuse, ochota jednat dlouhodobý proces, přechodné období 31