Realizace hodnocení výsledků výzkumu dle Metodiky Jiří Málek KHV a RVVI

Transkript

1 Realizace hodnocení výsledků výzkumu dle Metodiky 2013 Jiří Málek KHV a RVVI

2 Právní rámec Zákon: 130/2002 Sb., ve znění pozdějších předpisů ( 3, 3; 4, 2; 5a, 2; 6, 2; 7, 6; 9, 6; 32, 2 a 35, 2) Prováděcí předpis: Metodika hodnocení výsledků výzkumných organizací a hodnocení výsledků ukončených programů, platná pro léta (schválena usnesením vlády č. 475, dne )

3 Rozpočet pro rok ,9 mld. Kč P R O G R A M Y účelové prostředky 13,64 mld. 3,8 mld. MŠMT 3,3 mld. GAČR 2,9 mld. TAČR 1,0 mld. MPO 0,9 mld. MZd PROJEKTY institucionální prostředky 9,5 mld.(rvo) + 1,8 mld.(nč) + 1,9 mld.(ostatní) 4,5 mld. AVČR VLASTNÍ HODNOCENÍ 5,25 mld. MŠMT 0,41 mld. MZd 0,39 mld. Mze 0,15 mld. MPO 0,12 mld. MK HODNOCENÍ 13 M E T O D I K A Instituce Instituce Instituce prospektivní komponenta retrospektivní komponenta

4 Postata hodnocení Hlavním měřítkem jsou publikační výkony institucí v uplynulých 5 letech Důraz je kladen zejména na impaktované publikace indexované v databázích Web of Science a SCOPUS V menší míře se hodnotí nepublikační výsledky, úspěšnost v projektech aplikovaného výzkumu a smluvní výzkum

5 Impaktované publikace vyjadřují schopnost vědců sdělovat výsledky tvůrčí činnosti v mezinárodním kontextu Impaktované publikace Slovensko Česko Československo Rakousko Maďardsko rok

6 Citovanost vyjadřuje odezvu na publikované práce Rakousko Maďarsko Česko Slovensko 18 Citovanost rok

7 Hlavní změny v roce 2013 Podrobnější hodnocení výsledků v knihách a Jrec (subpilíř I) Posouzení výsledků, které výzkumné instituce vyberou jako své nejlepší výstupy (pilíř II) Hodnocení nepublikačních výsledků výzkumu (patenty, odrůdy, plemena), neinvestičních nákladů z projektů aplikačního výzkumu a smluvního výzkumu (pilíř III)

8 Proporce pilířů Metodiky ,8% 10,0% Pilíř I Pilíř II Pilíř III 74,3%

9 Pilíř III. Pro patenty a nepublikační výsledky je každoročně alokováno 15,8% z celkového počtu bodů Nejprve jsou zohledněny patenty, odrůdy a plemena vykázané VO (bodované nepublikační výsledky) V dalším kroku se zbývající část alokace rozdělí v poměru neinvestičních prostředků z projektů aplikovaného výzkumu a smluvního výzkumu Celkem = α Projekty + β Sml. výzkum (α = 0.9;β= 0.1) H2013 (α = 1;β= 1) H2014

10 Dopad pilíře III. na poskytovatele Poskytovatel AVČR 0,96 MK 1,06 MO 1,00 MPO 1,03 MŠMT 1,02 MV 1,06 MZd 1,03 MZe 0,98 M13 / M12

11 Pilíř II. Každá VO vybere v rámci definovaných oborových skupin určitý počet výsledků, které považuje za velmi kvalitní Tento počet je odvozen od celkové částky RVO, které VO získala v roce 2012 (1 výsl./ 10 MKč) Výsledky jsou posouzeny expertními panely v rámci oborových skupin napříč všemi VO je vybráno 20% nejlepších výsledků, které jsou následně bonifikovány

12 Expertní panely Panel Počet členů předseda 1. SHVa 16 Prof. PhDr. Jaroslav Pánek, DrSc (HÚ AVČR) 2. SHVb 16 Prof. RNDr. Ladislav Kvasz, Dr. (PedF UK) 3. SHVc 18 Doc. Ing. Štěpán Jurajda, Ph.D. (CERGE) 4. Technika a IT 25 Prof. Ing. Michael Šebek, DrSc. (FEL ČVUT) 5. Zemědělské vědy 29 Doc. Ing. Radim Vácha, Ph.D. (VÚPM) 6. Vědy o Zemi 21 Prof. RNDr. Jan Kalvoda, DrSc. (PřF UK) 7. Matematické vědy 14 Prof. RNDr. Jana Jurečková, Dr.Sc. (MFF UK) 8. Fyzikální vědy 17 Prof. RNDr. Vladimír Sechovský, DrSc. (MFF) 9. Chemické vědy 21 Prof. RNDr. Ivo Nezbeda, DrSc. (PřF UJEP) 10. Biologické vědy 20 Prof. Ing. Vladimír Wsól, Ph.D. (LF UK HK) 11. Lékařské vědy 26 Prof. MUDr. Jan Lebl, CSc. (2.LF UK) CELKEM 223 * Úplné složení panelů lze nalézt na: v sekci Hodnocení VaVaI

13 Skutečné počty výsledků vybraných expertními panely vybráno neuplatněno zahraničí Počet výsledků typu A EP1 EP2 EP3 EP4 EP5 EP6 EP7 EP8 EP9 EP10 EP11

14 Typy vybraných výsledků V panelu EP01 SHVa bylo vybráno celkem 19 výsledků typu A Jedná se výhradně o kvalitní knihy českých autorů, některé z nich jsou vydány cizojazyčně Panel EP01 pokládá II.pilíř za přijatelnou formu posuzování excelentních výsledků

15 10 EP-02 SHVb JCR predikce skutečnost KNIHA (Karolinum) KNIHA (T&T Clark, NY) KNIHA (Brill, Leiden) J. Philos. Logic (SCOPUS) KNIHA (Karolinum) KNIHA (Oxford) KNIHA (Cambridge) EU. Politics (SCOPUS) KNIHA (Brill, Leiden) IF KNIHA ( Nakladatelství LN) KNIHA (Contiuum, London) Am. J. Phys. Anthropol. Am. J. Phys. Anthropol. Global Env. Change pořadové číslo výsledku IF impakt faktor v roce 2013, Journal Citatiton Reports, Web of Science IF* vypočten na základě skutečného počtu citací publikací ( ) # abecední pořadí dle názvu výsledku

16 Am. Econ. Rev. Rev. Ecom. Stat. KNIHA (Academia) KNIHA (Springer-Verlag) Sci. Technol. & Hum. Value Psychol. Sci. J. Econ. Lit. Am. Econ. Rev. Science EP-03 SHVc JCR predikce skutečnost pořadové číslo výsledku IF

17 40 EP-04 TECHNIKA A INFORMATIKA (1) JCR predikce skutečnost 30 IF SOFTWARE SBORNÍK (IEEE Comp. Soc.) PATENT (EPO) pořadové číslo výsledku IF impakt faktor v roce 2013, Journal Citatiton Reports, Web of Science IF* vypočten na základě skutečného počtu citací publikací ( )

18 40 EP-04 TECHNIKA A INFORMATIKA (2) JCR predikce skutečnost 30 IF PATENT (USTPO) PATENT (USTPO) OVĚŘENÁ TECHNOLOGIE pořadové číslo výsledku <IF> = 4,0 <IF*> = 7,5

19 Ověřená technologie Ověřená technologie Patent (ČR) Patent (USA) Užitný vzor EP-05 ZEMĚDĚLSKÉ VĚDY JCR predikce skutečnost pořadové číslo výsledku IF

20 40 EP-06 VĚDY O ZEMI JCR predikce skutečnost 30 IF 20 <IF> = 4,8 <IF*> = 10, pořadové číslo výsledku

21 Kniha (Walter de Gruyter, Berlin) Trans. Amer. Math. Soc. Kniha (Amer. Math. Soc.) Kniha (Cambridge) Kniha (World Sci.) Kniha (Walter de Gruyter) Kniha (Cambridge) SIAM J. Math. Anal. Math. Ann EP-07 MATEMATIKA JCR predikce skutečnost pořadové číslo výsledku IF

22 50 EP-08 FYZIKA (1) 40 JCR predikce skutečnost 30 IF pořadové číslo výsledku

23 50 40 EP-08 FYZIKA (2) JCR predikce skutečnost IF <IF> = 20,4 <IF*> = 33, pořadové číslo výsledku

24 50 EP-09 CHEMIE 40 JCR predikce skutečnost IF <IF> = 11,4 <IF*> = 10, pořadové číslo výsledku

25 50 40 EP-10 BIOLOGIE JCR predikce skutečnost IF <IF> = 11,2 <IF*> = 12, pořadové číslo výsledku

26 50 EP-11 LÉKAŘSTVÍ 40 JCR predikce skutečnost IF <IF> = 12,6 <IF*> = 8, pořadové číslo výsledku

27 Souhrn za pilíř II Poprvé v historičr se podařilo provést celoplošné hodnocení vybraných výsledků metodou peer-review (EP-panely) Bylo vybráno 80% publikací v impaktovaných časopisech. Drtivá většina indexována na Web of Science, pouze 2 publikace na SCOPUS Zbývajících 20% tvoří knihy (36), patenty (5), technologie (3), software (1), užitný vzor (1), sborník z konference (1) Nic dalšího. Žádné recenzované časopisy, výzkumné zprávy či certifikované metodiky

28 Pilíř I. Kombinuje původní systém hodnocení publikačních výsledků založený na bibliometrii s prvky peer-review Bibliometrické indikátory jsou uplatněny u těch typů výsledků kde je to obvyklé (Web of Science a SCOPUS) Peer-review hraje zásadní roli v oborech kde typickými výsledky výzkumu jsou knihy nebo publikace v národních časopisech (Subpilíř I. OVHP panely)

29 Publikační druhy výsledků (2014) OVHP panely WoS SCOPUS ERIH Seznam Knihy Sborníky 1,2. SHV(a,b) Jimp Jsc Jneimp Jrec B,C D 3. SHV ( c) Jimp Jsc Jneimp B,C D 4. Technika a Informatika Jimp Jsc B,C D 5. Zemědělské vědy Jimp Jsc B,C D 6. Vědy o zemi Jimp Jsc B,C 7. Mathematika Jimp Jsc B,C D 8. Fyzika Jimp 9. Chemie Jimp 10. Biologie Jimp 11. Lékařské vědy Jimp BODY (10 305) (10 30) 4 (4 120) (8 60)

30 OVHP panely Panel Počet členů předseda SHVa 65 Prof. PhDr. Petr Vorel, Ph.D (FF UPA) SHVb 46 Doc. Mgr. Karel Stibral, Ph.D. (FSS MU) SHVc 22 Prof. PhDr. Jiří Mareš, CSc. (LF UK HK) Technika a informatika 16 Prof. Ing. Zdeněk Bittnar, DrSc. (FS ČVUT) Zemědělské vědy 21 Doc. Ing. Radim Vácha, Ph.D. (VÚPM) Vědy o zemi 11 Prof. RNDr. Jan Kalvoda, DrSc. (PřF UK) Matematické vědy 7 Prof. RNDr. Jana Jurečková, Dr.Sc. (MFF UK) CELKEM 188

31 Skutečné počty výsledků hodnocených OVHP panely Četnost výsledků dle panelů Počet předložených výsledků OVHP OVHP OVHP OVHP-4 OVHP-5 OVHP-6 OVHP AV PF SP VS 85% OVHP 1 a 2 84% výsledky VŠ

32 Bodové rozpětí hodnocení Procenta udělených hodnocení (0 až 6) dle panelů procenta udělených hodnocení 60% 50% 40% 30% 20% 10% 0% OVHP-1 OVHP-2 OVHP-3 OVHP-4 OVHP-5 OVHP-6 OVHP-7 Panel T

33 Distribuce Jimp v H PHYS REV LETT 6 IF 4 PHYS REV D PHYS LETT B PLOS ONE 2 PHYSIOL RES NEUROENDOCRINOL LETT CHEMICKÉ LISTY četnost

34 Podíl impaktovaných časopisů v celkovém počtu bodů v pilíři I (Hodnocení 2013) A PHYS CHEM CHEM PHYS INFORM SCIENCES J HAZARD MATER ANAL CHEM EUR HEART J INORG CHEM LANCET CHEM-EUR J J AM CHEM SOC ASTROPHYS J PHYS REV A CHEM LISTY P NATL ACAD SCI USA NUCLEIC ACIDS RES OPT EXPRESS ANN RHEUM DIS EUR PHYS J C J CHROMATOGR A J EUR CERAM SOC LEUKEMIA BLOOD NATURE PHYS REV B PHYS REV C ASTRON ASTROPHYS PHYS REV D NEW ENGL J MED J HIGH ENERGY PHYS PHYS LETT B PLOS ONE PHYS REV LETT 0,0 0,5 1,0 1,5 2,0 2,5 3,0 3,5 % podílu na celkovém počtu bodů

35 Souhrn za pilíř I Téměř výsledků publikovaných v knihách a recenzovaných časopisech bylo podrobně hodnoceno OVHP panely. Ve všech hodnocených oborech bylo 15 20% výsledků doporučeno k vyřazení a 200 výsledků navrženo k penalizaci zápornými body. Většina prací je publikována v kvalitních impaktovaných časopisech V některých oborech však mají nezanedbatelný podíl lokální časopisy s nízkým impaktem Kvalita a citovanost prací českých autorů s časem roste

36 Jak dál s hodnocením výzkumu? Projekt IPN-Metodika: Oborové hodnocení vybraných výsledků v 5 letých cyklech (obdoba britského REF) Vědecký výkon, Excelence, relevance, důraz na narativ Samostatná hodnotící agentura, náklady: 100 MKč/rok Věcný záměr nového zákona VaV počítá s hodnocením v 5 letých cyklech se třemi komponentami: Dosažené výsledky dle RIV Peer-review VO jako celku (lidské zdroje, vybavení, řídící struktura atd.) Vize, očekávání, internacionalizace, atd.

37 Hodnocení 2015 a 2016 Hodnocení v roce 2014 bude pravděpodobně dokončeno v plném rozsahu 299/A6 Pro roky 2015 a 2016 RVVI navrhuje realizovat hodnocení dle Metodiky 2013, avšak s časovým posunem (společně s rokem 2016) 304/A2 Pro roky RVVI předpokládá, že hodnocení bude prováděno ve víceletých cyklech podle jiných principů 304/A2

38 Usnesení 299/A6 Rada: bere na vědomí Zprávu o stavu hodnocení výsledků výzkumných organizací v roce 2014, ukládá sekretariátu Rady neprodleně dokončit hodnocení prováděné v roce 2014 ve všech jeho částech tak, jak předepisuje platná Metodika 2013, ukládá sekretariátu Rady připravit změnu harmonogramu Metodiky 2013 a zaslat jej do meziresortního připomínkového řízení, ukládá sekretariátu Rady předložit návrh vypořádání připomínek vznesených v rámci meziresortního připomínkového řízení na jednání Rady.

39 Usnesení 304/A2 Rada: schvaluje postup hodnocení roku 2015 a 2016 podle diskuse proběhlé v rámci jednání, schvaluje, že hodnocení v roce 2015 a 2016 bude provedeno podle upravené Metodiky hodnocení výsledků výzkumných organizací a hodnocení výsledků ukončených programů (platné pro léta 2013 až 2015), jejíž platnost bude prodloužena i na rok 2016, ukládá sekci pro VaVaI rozpracovat postup hodnocení 2015 a 2016 a rozeslat členům Rady ke schválení per rollam, zahájí práce na přípravě hodnocení

40 Časové schéma hodnocení H2016 H2015 H2014 H roky

41 Děkuji za pozornost