Realizace hodnocení výsledků výzkumu dle Metodiky 2013 Jiří Málek KHV a RVVI
Právní rámec Zákon: 130/2002 Sb., ve znění pozdějších předpisů ( 3, 3; 4, 2; 5a, 2; 6, 2; 7, 6; 9, 6; 32, 2 a 35, 2) Prováděcí předpis: Metodika hodnocení výsledků výzkumných organizací a hodnocení výsledků ukončených programů, platná pro léta 2013-2015. (schválena usnesením vlády č. 475, dne 19.6. 2013)
Rozpočet pro rok 2015 26,9 mld. Kč P R O G R A M Y účelové prostředky 13,64 mld. 3,8 mld. MŠMT 3,3 mld. GAČR 2,9 mld. TAČR 1,0 mld. MPO 0,9 mld. MZd PROJEKTY institucionální prostředky 9,5 mld.(rvo) + 1,8 mld.(nč) + 1,9 mld.(ostatní) 4,5 mld. AVČR VLASTNÍ HODNOCENÍ 5,25 mld. MŠMT 0,41 mld. MZd 0,39 mld. Mze 0,15 mld. MPO 0,12 mld. MK HODNOCENÍ 13 M E T O D I K A Instituce Instituce Instituce prospektivní komponenta retrospektivní komponenta
Postata hodnocení Hlavním měřítkem jsou publikační výkony institucí v uplynulých 5 letech Důraz je kladen zejména na impaktované publikace indexované v databázích Web of Science a SCOPUS V menší míře se hodnotí nepublikační výsledky, úspěšnost v projektech aplikovaného výzkumu a smluvní výzkum
Impaktované publikace vyjadřují schopnost vědců sdělovat výsledky tvůrčí činnosti v mezinárodním kontextu 20000 Impaktované publikace 18000 16000 14000 12000 10000 8000 6000 4000 Slovensko Česko Československo Rakousko Maďardsko 2000 1980 1984 1988 1992 1996 2000 2004 2008 2012 rok
Citovanost vyjadřuje odezvu na publikované práce 26 24 22 20 Rakousko Maďarsko Česko Slovensko 18 Citovanost 16 14 12 10 8 6 4 1980 1985 1990 1995 2000 rok
Hlavní změny v roce 2013 Podrobnější hodnocení výsledků v knihách a Jrec (subpilíř I) Posouzení výsledků, které výzkumné instituce vyberou jako své nejlepší výstupy (pilíř II) Hodnocení nepublikačních výsledků výzkumu (patenty, odrůdy, plemena), neinvestičních nákladů z projektů aplikačního výzkumu a smluvního výzkumu (pilíř III)
Proporce pilířů Metodiky 2013 15,8% 10,0% Pilíř I Pilíř II Pilíř III 74,3%
Pilíř III. Pro patenty a nepublikační výsledky je každoročně alokováno 15,8% z celkového počtu bodů Nejprve jsou zohledněny patenty, odrůdy a plemena vykázané VO (bodované nepublikační výsledky) V dalším kroku se zbývající část alokace rozdělí v poměru neinvestičních prostředků z projektů aplikovaného výzkumu a smluvního výzkumu Celkem = α Projekty + β Sml. výzkum (α = 0.9;β= 0.1) H2013 (α = 1;β= 1) H2014
Dopad pilíře III. na poskytovatele Poskytovatel AVČR 0,96 MK 1,06 MO 1,00 MPO 1,03 MŠMT 1,02 MV 1,06 MZd 1,03 MZe 0,98 M13 / M12
Pilíř II. Každá VO vybere v rámci definovaných oborových skupin určitý počet výsledků, které považuje za velmi kvalitní Tento počet je odvozen od celkové částky RVO, které VO získala v roce 2012 (1 výsl./ 10 MKč) Výsledky jsou posouzeny expertními panely v rámci oborových skupin napříč všemi VO je vybráno 20% nejlepších výsledků, které jsou následně bonifikovány
Expertní panely Panel Počet členů předseda 1. SHVa 16 Prof. PhDr. Jaroslav Pánek, DrSc (HÚ AVČR) 2. SHVb 16 Prof. RNDr. Ladislav Kvasz, Dr. (PedF UK) 3. SHVc 18 Doc. Ing. Štěpán Jurajda, Ph.D. (CERGE) 4. Technika a IT 25 Prof. Ing. Michael Šebek, DrSc. (FEL ČVUT) 5. Zemědělské vědy 29 Doc. Ing. Radim Vácha, Ph.D. (VÚPM) 6. Vědy o Zemi 21 Prof. RNDr. Jan Kalvoda, DrSc. (PřF UK) 7. Matematické vědy 14 Prof. RNDr. Jana Jurečková, Dr.Sc. (MFF UK) 8. Fyzikální vědy 17 Prof. RNDr. Vladimír Sechovský, DrSc. (MFF) 9. Chemické vědy 21 Prof. RNDr. Ivo Nezbeda, DrSc. (PřF UJEP) 10. Biologické vědy 20 Prof. Ing. Vladimír Wsól, Ph.D. (LF UK HK) 11. Lékařské vědy 26 Prof. MUDr. Jan Lebl, CSc. (2.LF UK) CELKEM 223 * Úplné složení panelů lze nalézt na: www.vyzkum.cz v sekci Hodnocení VaVaI
Skutečné počty výsledků vybraných expertními panely 60 50 vybráno neuplatněno zahraničí Počet výsledků typu A 40 30 20 10 0 EP1 EP2 EP3 EP4 EP5 EP6 EP7 EP8 EP9 EP10 EP11
Typy vybraných výsledků V panelu EP01 SHVa bylo vybráno celkem 19 výsledků typu A Jedná se výhradně o kvalitní knihy českých autorů, některé z nich jsou vydány cizojazyčně Panel EP01 pokládá II.pilíř za přijatelnou formu posuzování excelentních výsledků
10 EP-02 SHVb 8 6 4 2 0 JCR predikce skutečnost KNIHA (Karolinum) KNIHA (T&T Clark, NY) KNIHA (Brill, Leiden) J. Philos. Logic (SCOPUS) KNIHA (Karolinum) KNIHA (Oxford) KNIHA (Cambridge) EU. Politics (SCOPUS) KNIHA (Brill, Leiden) IF KNIHA ( Nakladatelství LN) KNIHA (Contiuum, London) Am. J. Phys. Anthropol. Am. J. Phys. Anthropol. Global Env. Change 0 2 4 6 8 10 12 14 pořadové číslo výsledku IF impakt faktor v roce 2013, Journal Citatiton Reports, Web of Science IF* vypočten na základě skutečného počtu citací publikací (31. 9. 2014) # abecední pořadí dle názvu výsledku
Am. Econ. Rev. Rev. Ecom. Stat. KNIHA (Academia) KNIHA (Springer-Verlag) Sci. Technol. & Hum. Value Psychol. Sci. J. Econ. Lit. Am. Econ. Rev. Science 40 30 20 10 0 EP-03 SHVc JCR predikce skutečnost 0 2 4 6 8 10 pořadové číslo výsledku IF
40 EP-04 TECHNIKA A INFORMATIKA (1) JCR predikce skutečnost 30 IF 20 10 0 SOFTWARE SBORNÍK (IEEE Comp. Soc.) PATENT (EPO) 0 2 4 6 8 10 12 14 16 18 20 pořadové číslo výsledku IF impakt faktor v roce 2013, Journal Citatiton Reports, Web of Science IF* vypočten na základě skutečného počtu citací publikací (31. 9. 2014)
40 EP-04 TECHNIKA A INFORMATIKA (2) JCR predikce skutečnost 30 IF 20 10 0 PATENT (USTPO) PATENT (USTPO) OVĚŘENÁ TECHNOLOGIE 20 22 24 26 28 30 32 34 36 38 pořadové číslo výsledku <IF> = 4,0 <IF*> = 7,5
Ověřená technologie Ověřená technologie Patent (ČR) Patent (USA) Užitný vzor 40 30 20 10 0 EP-05 ZEMĚDĚLSKÉ VĚDY JCR predikce skutečnost 0 2 4 6 8 10 12 14 pořadové číslo výsledku IF
40 EP-06 VĚDY O ZEMI JCR predikce skutečnost 30 IF 20 <IF> = 4,8 <IF*> = 10,2 10 0 0 2 4 6 8 10 12 14 pořadové číslo výsledku
Kniha (Walter de Gruyter, Berlin) Trans. Amer. Math. Soc. Kniha (Amer. Math. Soc.) Kniha (Cambridge) Kniha (World Sci.) Kniha (Walter de Gruyter) Kniha (Cambridge) SIAM J. Math. Anal. Math. Ann. 10 8 6 4 2 0 EP-07 MATEMATIKA JCR predikce skutečnost 0 2 4 6 8 10 pořadové číslo výsledku IF
50 EP-08 FYZIKA (1) 40 JCR predikce skutečnost 30 IF 20 10 0 5 10 15 20 pořadové číslo výsledku
50 40 EP-08 FYZIKA (2) JCR predikce skutečnost IF 30 20 <IF> = 20,4 <IF*> = 33,2 10 0 25 30 35 40 45 50 55 pořadové číslo výsledku
50 EP-09 CHEMIE 40 JCR predikce skutečnost IF 30 20 <IF> = 11,4 <IF*> = 10,3 10 0 5 10 15 20 25 30 pořadové číslo výsledku
50 40 EP-10 BIOLOGIE JCR predikce skutečnost IF 30 20 <IF> = 11,2 <IF*> = 12,1 10 0 5 10 15 20 25 30 35 40 pořadové číslo výsledku
50 EP-11 LÉKAŘSTVÍ 40 JCR predikce skutečnost IF 30 20 <IF> = 12,6 <IF*> = 8,1 10 0 5 10 15 20 25 30 pořadové číslo výsledku
Souhrn za pilíř II Poprvé v historičr se podařilo provést celoplošné hodnocení 1 400 vybraných výsledků metodou peer-review (EP-panely) Bylo vybráno 80% publikací v impaktovaných časopisech. Drtivá většina indexována na Web of Science, pouze 2 publikace na SCOPUS Zbývajících 20% tvoří knihy (36), patenty (5), technologie (3), software (1), užitný vzor (1), sborník z konference (1) Nic dalšího. Žádné recenzované časopisy, výzkumné zprávy či certifikované metodiky
Pilíř I. Kombinuje původní systém hodnocení publikačních výsledků založený na bibliometrii s prvky peer-review Bibliometrické indikátory jsou uplatněny u těch typů výsledků kde je to obvyklé (Web of Science a SCOPUS) Peer-review hraje zásadní roli v oborech kde typickými výsledky výzkumu jsou knihy nebo publikace v národních časopisech (Subpilíř I. OVHP panely)
Publikační druhy výsledků (2014) OVHP panely WoS SCOPUS ERIH Seznam Knihy Sborníky 1,2. SHV(a,b) Jimp Jsc Jneimp Jrec B,C D 3. SHV ( c) Jimp Jsc Jneimp B,C D 4. Technika a Informatika Jimp Jsc B,C D 5. Zemědělské vědy Jimp Jsc B,C D 6. Vědy o zemi Jimp Jsc B,C 7. Mathematika Jimp Jsc B,C D 8. Fyzika Jimp 9. Chemie Jimp 10. Biologie Jimp 11. Lékařské vědy Jimp BODY (10 305) (10 30) 4 (4 120) (8 60)
OVHP panely Panel Počet členů předseda SHVa 65 Prof. PhDr. Petr Vorel, Ph.D (FF UPA) SHVb 46 Doc. Mgr. Karel Stibral, Ph.D. (FSS MU) SHVc 22 Prof. PhDr. Jiří Mareš, CSc. (LF UK HK) Technika a informatika 16 Prof. Ing. Zdeněk Bittnar, DrSc. (FS ČVUT) Zemědělské vědy 21 Doc. Ing. Radim Vácha, Ph.D. (VÚPM) Vědy o zemi 11 Prof. RNDr. Jan Kalvoda, DrSc. (PřF UK) Matematické vědy 7 Prof. RNDr. Jana Jurečková, Dr.Sc. (MFF UK) CELKEM 188
Skutečné počty výsledků hodnocených OVHP panely Četnost výsledků dle panelů 394 252 149 80 Počet předložených výsledků 1 045 78 937 OVHP-1 765 OVHP-2 5897 OVHP-3 4271 OVHP-4 OVHP-5 OVHP-6 OVHP-7 10 092 AV PF SP VS 85% OVHP 1 a 2 84% výsledky VŠ
Bodové rozpětí hodnocení Procenta udělených hodnocení (0 až 6) dle panelů procenta udělených hodnocení 60% 50% 40% 30% 20% 10% 0% OVHP-1 OVHP-2 OVHP-3 OVHP-4 OVHP-5 OVHP-6 OVHP-7 Panel 0 2 3 4 5 6 T
Distribuce Jimp v H2013 10 8 PHYS REV LETT 6 IF 4 PHYS REV D PHYS LETT B PLOS ONE 2 PHYSIOL RES NEUROENDOCRINOL LETT CHEMICKÉ LISTY 0 0 20 40 60 80 100 120 140 160 180 četnost
Podíl impaktovaných časopisů v celkovém počtu bodů v pilíři I (Hodnocení 2013) A PHYS CHEM CHEM PHYS INFORM SCIENCES J HAZARD MATER ANAL CHEM EUR HEART J INORG CHEM LANCET CHEM-EUR J J AM CHEM SOC ASTROPHYS J PHYS REV A CHEM LISTY P NATL ACAD SCI USA NUCLEIC ACIDS RES OPT EXPRESS ANN RHEUM DIS EUR PHYS J C J CHROMATOGR A J EUR CERAM SOC LEUKEMIA BLOOD NATURE PHYS REV B PHYS REV C ASTRON ASTROPHYS PHYS REV D NEW ENGL J MED J HIGH ENERGY PHYS PHYS LETT B PLOS ONE PHYS REV LETT 0,0 0,5 1,0 1,5 2,0 2,5 3,0 3,5 % podílu na celkovém počtu bodů
Souhrn za pilíř I Téměř 12 000 výsledků publikovaných v knihách a recenzovaných časopisech bylo podrobně hodnoceno OVHP panely. Ve všech hodnocených oborech bylo 15 20% výsledků doporučeno k vyřazení a 200 výsledků navrženo k penalizaci zápornými body. Většina prací je publikována v kvalitních impaktovaných časopisech V některých oborech však mají nezanedbatelný podíl lokální časopisy s nízkým impaktem Kvalita a citovanost prací českých autorů s časem roste
Jak dál s hodnocením výzkumu? Projekt IPN-Metodika: Oborové hodnocení vybraných výsledků v 5 letých cyklech (obdoba britského REF) Vědecký výkon, Excelence, relevance, důraz na narativ Samostatná hodnotící agentura, náklady: 100 MKč/rok Věcný záměr nového zákona VaV počítá s hodnocením v 5 letých cyklech se třemi komponentami: Dosažené výsledky dle RIV Peer-review VO jako celku (lidské zdroje, vybavení, řídící struktura atd.) Vize, očekávání, internacionalizace, atd.
Hodnocení 2015 a 2016 Hodnocení v roce 2014 bude pravděpodobně dokončeno v plném rozsahu 299/A6 Pro roky 2015 a 2016 RVVI navrhuje realizovat hodnocení dle Metodiky 2013, avšak s časovým posunem (společně s rokem 2016) 304/A2 Pro roky 2017+ RVVI předpokládá, že hodnocení bude prováděno ve víceletých cyklech podle jiných principů 304/A2
Usnesení 299/A6 Rada: bere na vědomí Zprávu o stavu hodnocení výsledků výzkumných organizací v roce 2014, ukládá sekretariátu Rady neprodleně dokončit hodnocení prováděné v roce 2014 ve všech jeho částech tak, jak předepisuje platná Metodika 2013, ukládá sekretariátu Rady připravit změnu harmonogramu Metodiky 2013 a zaslat jej do meziresortního připomínkového řízení, ukládá sekretariátu Rady předložit návrh vypořádání připomínek vznesených v rámci meziresortního připomínkového řízení na jednání Rady.
Usnesení 304/A2 Rada: schvaluje postup hodnocení roku 2015 a 2016 podle diskuse proběhlé v rámci jednání, schvaluje, že hodnocení v roce 2015 a 2016 bude provedeno podle upravené Metodiky hodnocení výsledků výzkumných organizací a hodnocení výsledků ukončených programů (platné pro léta 2013 až 2015), jejíž platnost bude prodloužena i na rok 2016, ukládá sekci pro VaVaI rozpracovat postup hodnocení 2015 a 2016 a rozeslat členům Rady ke schválení per rollam, zahájí práce na přípravě hodnocení 2017+.
Časové schéma hodnocení 2013-2016 H2016 H2015 H2014 H2013 2008 2009 2010 2011 2012 2013 2014 2015 roky
Děkuji za pozornost