Role hodnocení ve vědě

Transkript

1 Regionální centrum Brno Role hodnocení ve vědě Jitka Moravcová 1

2 HODNOCENÍ VE VĚDĚ? Co vlastně hodnocení je? Definice Evropské komise: Evaluation is a process by which the quality, implementation, target relevance and impacts of RTD policies/programmes are investigated, interpreted and examined. Co je hodnocení po česku? Předpis, který stanoví, jak se výsledky převádějí na body a trojčlenkou se pak spočítá výše institucionální podpory výzkumné organizace. 2

3 POHLED DO NAŠÍ HISTORIE 1. Verze Verze 2006 Index SR body se sečtou a dělí finančními prostředky získanými ze státního rozpočtu v mil. Kč, index SR průměr indexů SR, vše se porovnává k průměru, instituce se rozdělily do 4 barevných skupin: červená (0) žlutá (0,01 do 13) šedá (13,01 do 25) zelená (nad 25) 3

4 POHLED DO NAŠÍ HISTORIE Index SR, hodnocení 2006 Fakulty VŠCHT Praha FPBT: 28,51 FTOP: 32,52 FCHI: 36,97 FCHT: 44,55 Nejvyšší hodnoty Ústav dějin UK a archiv UK: 102,88 UJEP Ústí n. L., Pedagogická fakulta: 133,83 VŠE, Fakulta podnikohospodářská: 136,00 UJEP, Fakulta životního prostředí: 173,66 UJEP, Fakulta sociálně-ekonomická: 188,53 4

5 POHLED DO NAŠÍ HISTORIE 3. Verze 2009 rozšíření typů uznatelných výsledků 4. Verze 2010 výpočet institucionální podpory 5. verze Metodika omezení typů uznatelných výsledků užitný nebo průmyslový vzor (F) poloprovoz, ověřená technologie, prototyp, funkční vzorek (G) Jimp Jneimp Jrec Kniha Sborník Patent F G

6 POHLED DO NAŠÍ HISTORIE Důsledkem našich minulých i stávající Metodiky je obecné povědomí, že každý výsledek musí být oceněn institucionální podporou (RVO rozvoj výzkumné organizace), každá VO má vlastně na RVO nárok hodnocení je pouhým přepočtem bodů na peníze 7 užitných vzorů uplatněných v roce 2010 vyneslo v roce 2012 IP Kč Variabilní stropní svítidlo Metodika 2013 už užitné vzory nezahrnuje 6

7 POHLED DO NAŠÍ HISTORIE užitné vzory Palivo na bázi zbytků z čaje Palivo na bázi zbytků z kávy Palivo na bázi zbytků z řezu bobulovin Palivová briketa na bázi zbytků z gastronomie užitných vzorů Palivo na bázi pseudoobilovin Palivo na bázi zbytků z řezu ovocných stromů Palivo vyrobené z obilovin Palivo vyrobené z odpadu vznikajícího při zpracování bavlny Palivo vyrobené z odpadu vzniklého při výrobě alkoholických nápojů Palivo vyrobené z odpadu vzniklého z vyplozených substrátů z pěstování hub Palivo vyrobené z palic kukuřice Palivo vyrobené ze spalitelných zahradních zbytků Palivo vyrobené ze stabilizované biomasy s využitím gastroodpadů Palivo vyrobené ze stabilizované biomasy s využitím kostí Palivo vyrobené ze stabilizované biomasy s využitím odpadu z výroby papíru a celulózy Palivo vytvořené z korku Palivo vytvořené z kůry jehličnanů Palivo vytvořené z kůry listnatých stromů Palivo vytvořené z máku setého Palivo vytvořené z obilovin Palivo vyrobené z odpadu vznikajícího při zpracování bavlny Palivo vyrobené z odpadu vzniklého při výrobě alkoholických nápojů 7

8 POHLED DO NAŠÍ HISTORIE Palivo vyrobené z odpadu vzniklého z vyplozených substrátů z pěstování hub Palivo vyrobené z palic kukuřice Palivo vyrobené ze spalitelných zahradních zbytků Palivo vyrobené ze stabilizované biomasy s využitím gastroodpadů Palivo vyrobené ze stabilizované biomasy s využitím kostí Palivo vyrobené ze stabilizované biomasy s využitím odpadu z výroby papíru a celulózy Palivo vytvořené z korku Palivo vytvořené z kůry jehličnanů Palivo vytvořené z kůry listnatých stromů Palivo vytvořené z máku setého Palivo vytvořené z obilovin Palivo vytvořené ze šišek jehličnanů 2011, 4 užitné vzory 2012, 32 užitných vzorů 2013, 6 užitných vzorů Palivo z kůry listnatých stromů Palivová briketa z kukuřice Palivová briketa z kůry jehličnanů Palivová briketa z listů listnatých stromů Palivová briketa z obilovin Palivová briketa ze šišek jehličnanů Palivová peleta ze spalitelných zahradních zbytků užitných vzorů Palivo vyrobené z kejdy Palivo vyrobené z odpadu vznikajícího při čištění a zpracování obilovin Palivo vyrobené z odpadu vznikajícího při lisování olejnatých semen Palivo vyrobené z odpadu vzniklého v textilním průmyslu Palivo vyrobené z odpadu vzniklého z mlýnských a pekárenských výrobků Palivo vyrobené z pokrutin 8

9 SOUČASNÝSTAV Metodika Pilíř I: výsledky typu J, B, C, D (publikační výsledky) v RIV + peer-review hodnocení výsledků typu B a C (subpilíř I), relativní podíl oborových panelů na celkovém počtu bodů Pilíř II: jeden excelentní výsledek na každých 10 MKč IP, peer-review hodnocení Pilíř III: osobní a doplňkové náklady projektu TAČR a MPO, relativní podíl oborových panelů na celkovém počtu bodů 9

10 SOUČASNÝ STAV Porovnání VVŠ podle bodů v RIV, pravidla přidělování a výpočtu bodů dle Metodik se rok od roku měnila (nelze sledovat trend), 10

11 SOUČASNÝ STAV Relativní podíl fakult UPce, body RIV, 2012 zaslouží si FCHT 74% podíl na veřejné institucionální podpoře UPce, protože to odpovídá rozsahu jejích výsledků VaV? co strategické řízení VVŠ? 11

12 SOUČASNÝ STAV UPce není výjimka Fakulta podnikatelská VUT Brno: 1200 (500) Kč za 1 VUT bod drtivá většina VVŠ postupuje stejně UK v Praze má ambice postoupit mezi TOP 200 zavedla Program rozvoje vědních oborů PRVOUK dělení IP trojčlenkou na fakulty podle RIV bodů žádné strategické řízení VVŠ nereflektuje publikační zvyklosti v oborech nereflektuje kvalitu VaV 12

13 Relativní zastoupení odkazů, VVŠ, SOUČASNÝ STAV WoS, heslo Czech Republic, , roztřídění podle instituce 13

14 SOUČASNÝ STAV Absolutní počet odkazů, celá ČR výroba tzv. recenzovaných neimpaktovaných (tj. především domácích) časopiseckých publikací vzrostla v období o více než 200 procent WoS, heslo Czech Republic,

15 SOUČASNÝ STAV nebere zřetel na typ VO nedává info o excelenci neporovnává kvalitu na národní úrovni neporovnává kvalitu na mezinárodní úrovni nedává info o efektivitě VaV neposkytuje podklady pro řízení VO neposkytuje podklady pro politická rozhodnutí M2013 nezahrnuje peer-review ve standardní podobě 15

16 HODNOCENÍ KVALITY Jurajda, Münich: Kde se dělá v ČR nejlepší výzkum? Studie CERGE-EI 3/2012, dostupná na Cíl studie: srovnání excelentních výsledků pracovišť v jednotlivých vědních oborech ukázat nedostatky bibliometrických analýz pro účely hodnocení upozornit na přetrvávající nedostatky v hodnotících nástrojích Údaje z RIV 16

17 HODNOCENÍ KVALITY byly vybrány středně velké státy počty byly normalizovány na počet obyvatel 10 mil. 17

18 HODNOCENÍ KVALITY 18

19 HODNOCENÍ KVALITY RVVI je rozhodnutá opustit současný systém hodnocení výsledků výzkumných organizací Metodika 17+ schválena v listopadu 2016 vnější připomínkové řízení Zdroje: IPN Metodika Zkušenosti z Metodiky Zkušenost z hodnocení ústavů AV ČR 19

20 RÁMEC METODIKY 17+ Cílem hodnocení systému VaVaI prostřednictvím Metodiky 17+ je především získání informací pro kvalitní řízení VaVaI na všech stupních (formativní stránka), zvýšení efektivity vynakládání veřejných prostředků (sumativní stránka), podpoření kvality a mezinárodní konkurenceschopnosti českého VaVaI, rozdělení a zvýšení odpovědnosti jednotlivých aktérů systému VaVaI, získání podkladů pro poskytnutí dotace na dlouhodobý koncepční rozvoj výzkumné organizace (RVO). Postupné budování a realizace v plném rozsahu do roku 2020 s následující periodou 5 let 20

21 RÁMEC METODIKY 17+ Základní principy cílový stav 2020 a dále tři různé úrovně hodnocení, tři základní nástroje hodnocení, rozdělení VO do tří skupin podle postavení a mise, společný rámec pro posuzování kvality VO, M1 - Kvalita vybraných výsledků, M2 - Celková výkonnost, M3 -Společenská relevance, M4 Viabilita, M5 - Strategie a koncepce, 5 o kvalitativní stupnice, periodicita 5 let, mezinárodní hodnotící panely, 6 základních oborů, škálování VO do 4 skupin podle kvality, vztah k financování RVO (stabilizační a motivační složka). 21

22 RÁMEC METODIKY 17+ Natural Sciences Engeneering&Technology Medical Health&Science Agriculture Social Sciences Arts&Humanities 3 typy VO AV VŠ rezortní 6 oborových panelů Metodika úrovně řízení národní poskytovatelé VO Kvalita vybraných výsledků Celková výkonnost Společenská relevance Viabilita Strategie a koncepce hodnocení 5 modulů interval 5 let 22

23 RÁMEC METODIKY 17+ Tři různé úrovně hodnocení Úroveň 1 Úroveň 2 Úroveň 3 Pro každou úroveň řízení a financování VaVaI je zapotřebí jiná míra podrobnosti informací, využívají se částečně jiné zdroje informací a často i jiné informace. 23

24 RÁMEC METODIKY 17+ Implementační období účel: udržet zátěž hodnocení na minimální úrovni, která umožní 1. realizovat legitimní a obhajitelný proces, 2. postupně připravovat a zavádět nástroje pro robustní, mezinárodně srovnatelné a informativní hodnocení národního VaVaI, 3. vytvořit podmínky pro organizaci komplexního hodnocení na straně státní správy i na straně hodnocených VO. roky , vybrané indikátory v modulech M1 a M2, panelové hodnocení národními experty v 6 oborech, indikativní škálování VO, 2019, hodnocení plných modulů M1 a M2 mezinárodními panely. 24

25 RÁMEC METODIKY 17+ Implementační období 2017, bibliometrická analýza publikačních výstupů mimo SHV (M2), Article Influence Score, Scopus, WoS. Kvalitativní profil výstupů VO, 2. v SHV oborech a pro aplikovaný výzkum jen vybrané výsledky (M1), v panelu budou i odborníci z aplikovaného výzkumu a praxe, vzdálení recenzenti, 3. počet vybraných výsledků: způsob navrhne KHV se Sekcí VVI, 4. zařazení kvality výsledků dle bodů 1. a 2. do 5 stupňů, 5. indikativní škálování VO do 4 skupin plné moduly M1 a M2, 2. panelové hodnocení mezinárodními experty v 6 oborech. 25

26 RÁMEC METODIKY 17+ Organizace hodnocení Národní úroveň 1. ústřední orgán (RVVI/Sekce VVI), 2. každoroční hodnocení M1 a M2 (monitorování chování systému), národní peer review, 3. škálování VO se měnit nebude, 4. zařazení kvality výsledků dle bodů 1. a 2. do 5 stupňů, 5. indikativní škálování VO do 4 skupin. Úroveň poskytovatelů 1. moduly M3-M5, s využitím výsledků každoročního hodnocení, 2. mezinárodní peer review, 3. metodická spolupráce s ústředním orgánem, 4. nové škálování. 26

27 RÁMEC METODIKY 17+ Vztah hodnocení a financování motivační složka stabilizační složka, až 100 % Různá připravenost sektorů k větší diferenciaci RVO AV ČR, od roku 2017 VŠ, od roku 2019 rezortní VO, od roku 2018/

28 RÁMEC METODIKY 17+ Vztah hodnocení a financování nárůst RVO 28

29 RÁMEC METODIKY UK Praha 2. MU v Brně Jak bychom také mohli dopadnout 3. ČVUT Praha Španělský žebříček vs počty studentů 4. VUT Brno 5. ZU v Plzni 6. VŠE v Praze 7. TU Ostrava 8. Policejní akademie v Praze 9. UP Olomouc 10. JU v Č. Budějovicích 11. TU Liberec 12. ČZU Praha 13. VŠCHT Praha 14. Pardubická univerzita počet studentů y = 46,756x -0,6347 R 2 = 0, umístění 15. UTB ve Zlíně 16. MZLU v Brně 17. Slezská univerzita Opava 18. Ostravská univerzita 19. Univerzita Hradec Králové 20. Univerzita JEP Ústí n. L. Španělské hodnocení, HN

30 RÁMEC METODIKY 17+ Příklad Portugalska, strategická restrukturalizace VO v roce 2013 (peer-review hodnocení, služba ESF) Hodnoceno 322 VO ( výzkumníků) za období a strategii na hlavních panelů 1. fáze (vyřazovací): dobrý, průměrný, špatný 178 VO (55 %) do fáze 2, 81 VO (25 %) nepostoupilo, jen 80 % IP 62 VO (20 %), nedostalo IP 2. fáze: výjimečný, excelentní, velmi dobrý (strategické financování) Hodnocení v 5 dimenzích: Productivity, Sci and technol merit, Relevance, Feasibility of the work plan, Impact of outputs Angličtina, jen název a abstrakt v portugalštině VO si samy navrhovaly výši institucionální podpory 30

31 ZÁVĚR Není žádné jednoduché řešení Velký odpor VŠ Strach před politickým rozhodnutím Peer-review je subjektivní Proces bude administrativně náročný Proces bude drahý hledání konsensu otevřené jednání všech zúčastněných stran vysvětlování, diskuse, ochota jednat dlouhodobý proces, přechodné období 31