Hodnotíme VaV na vysokých školách (?)

Transkript

1 Hodnotíme VaV na vysokých školách (?) Jitka Moravcová Seminář DERS Dříteč,

2 Seminář DERS 2013 není žádné ideální nekonfliktní řešení metodicky velmi složité nyní samostatný vědní obor metodika není 100 % přenositelná ze země do země hledání konsensu otevřené jednání všech zúčastněných stran vysvětlování, diskuse, ochota jednat dlouhodobý proces, přechodné období 2

3 Současný stav Hodnocení výsledků VO Rozpočítání institucionální podpory podle získaných bodů Metodika 2013 (RVVI, platí) Metodika MPO (návrh) Hodnocení VO Institucionální podpora může/nemusí být navázána na výsledky hodnocení IPn Efektivní systém hodnocení a financování výzkumu, vývoje (řešení) 3

4 Současný stav Metodika 2013 Pilíř I: výsledky typu J, B, C, D (publikační výsledky) v RIV + peer-review hodnocení výsledků typu B a C (subpilíř I), relativní podíl oborových panelů na celkovém počtu bodů Pilíř II: jeden excelentní výsledek na každých 10 MKč IP, peer-review hodnocení Pilíř III: osobní a doplňkové náklady projektu TAČR a MPO, relativní podíl oborových panelů na celkovém počtu bodů 4

5 Hodnocení - mezihra I 1. VŠCHT Praha 287 0/ UK v Praze / VFU Brno 117 0/ JU České Budějovice 212 0/ MU Brno 509 0/ Univerzita Pardubice 145 0/ UP Olomouc 286 0/ ČVUT v Praze 274 1/ MZLU Brno 80 0/ Ostravská univerzita 17 0/ UTB Zlín 68 0/ VUT Brno 123 0/ ZU v Plzni 92 0/ Slezská univerzita Opava 22 0/ TU v Liberci 35 0/ ČZU v Praze 52 0/ VŠB - TU Ostrava 65 0/ Univerzita HK 11 0/ VŠE v Praze 22 0/ Univerzita JEP Ústí n. L. 12 0/ Vys. škola polytechnická Jihlava 0 0/0 1 0 Publikace dle WoS 2006 Publikace Nature/Science Počet studentů v tis. Publikace/tisíc studentů MF

6 Hodnocení - mezihra II Index SR: body za výsledky se sečtou a dělí finančními prostředky získanými ze státního rozpočtu v mil. Kč FPBT VŠCHT Praha: 28,51 FTOP VŠCHT Praha: 32,52 FCHI VŠCHT Praha: 36,97 FCHT VŠCHT Praha: 44,55 Ústav dějin UK a archiv UK: 102,88 UJEP Ústí n. L., Pedagogická fakulta: 133,83 VŠE, Fakulta podnikohospodářská: 136,00 UJEP, Fakulta životního prostředí: 173,66 UJEP, Fakulta sociálně-ekonomická: 188,53 RVVI

7 Hodnocení - mezihra III 1. UK Praha 2. MU v Brně 3. ČVUT Praha 4. VUT Brno 5. ZU v Plzni Španělský žebříček vs počty studentů 6. VŠE v Praze 7. TU Ostrava 8. Policejní akademie v Praze 9. UP Olomouc 10. JU v Č. Budějovicích 11. TU Liberec 12. ČZU Praha 13. VŠCHT Praha 14. Pardubická univerzita počet studentů y = 46,756x -0,6347 R 2 = 0, UTB ve Zlíně umístění 16. MZLU v Brně 17. Slezská univerzita Opava 18. Ostravská univerzita 19. Univerzita Hradec Králové 20. Univerzita JEP Ústí n. L. Španělské hodnocení, HN

8 Bibliometrie celková za ČR Absolutní počet odkazů Relativní zastoupení odkazů výroba tzv. recenzovaných neimpaktovaných (tj. především domácích) časopiseckých publikací vzrostla v období o více než 200 procent WoS, heslo Czech Republic,

9 Bibliometrie VVŠ Relativní zastoupení odkazů, WoS, heslo Czech Republic, , roztřídění podle instituce 9

10 Současné hodnocení výsledků nebere zřetel na typ VO nedává info o excelenci neporovnává kvalitu na národní úrovni neporovnává kvalitu na mezinárodní úrovni nedává info o efektivitě VaV neposkytuje podklady pro řízení VO neposkytuje podklady pro politická rozhodnutí M2013 nezahrnuje peer-review ve standardní podobě Výroční zprávy VVŠ za rok

11 Hodnocení UPce 2012 Porovnání VVŠ podle bodů v RIV, 2012 provádí se korekce bodů, která se odvíjí od toho, co vyprodukovaly jiné VŠ, průběžně se zvyšuje počet časopisů registrovaných ve Web of Science a Scopusu, což zvyšuje počet přidělených bodů aniž by musela produkce článků dané školy reálně růst Zdroj: 11

12 Hodnocení UPce 2012 ( Porovnání VVŠ podle bodů v RIV, pravidla přidělování a výpočtu bodů dle Metodik se rok od roku měnila (nelze sledovat trend), 12

13 Hodnocení UPce 2012 ( Body RIV na akademického pracovníka, body RIV nejsou v oborech srovnatelné poměr vzdělávání/výzkum je na každé fakultě jiné 13

14 Hodnocení UPce 2012 ( Relativní podíl fakult, body RIV, 2012 zaslouží si FChT 74% podíl na veřejné institucionální podpoře VaV, protože to odpovídá rozsahu a kvalitě jejích výsledků VaV? co strategické řízení VVŠ? 14

15 Hodnocení UPce 2012 ( TOP 15 akademiků, lepší než RIV body nezohledňuje publikační zvyklosti v oborech časový úsek 13 let (plné zaměření jen na VaV?) žádné porovnání na národní a mezinárodní úrovni 15

16 Hodnocení podle RIV bodů UPce není výjimka drtivá většina VVŠ postupuje stejně rozpočítávání až na jednotlivce je běžné UK v Praze má ambice postoupit mezi TOP 200 zavedla Program rozvoje vědních oborů PRVOUK dělení IP trojčlenkou na fakulty podle RIV bodů žádné strategické řízení VVŠ nereflektuje publikační zvyklosti v oborech nereflektuje kvalitu VaV 16

17 Hodnocení kvality Jurajda, Münich: Kde se dělá v ČR nejlepší výzkum? Studie CERGE-EI 3/2012, dostupná na Cíl studie: srovnání excelentních výsledků pracovišť v jednotlivých vědních oborech ukázat nedostatky bibliometrických analýz pro účely hodnocení upozornit na přetrvávající nedostatky v hodnotících nástrojích Údaje z RIV 17

18 Hodnocení kvality Zvolená metoda: výsledky vykázané VO v pětiletém období v RIV (zohlednění podílu autorů) počty článků v uznávaných časopisech seřazených sestupně podle IF a normalizovaných na celkový počet časopisů v oboru (dle metodiky RVVI) v oborovém dělení RIV, které rozlišuje 122 oborů rozdělení počtu do tří stejně velkých skupin, Horní tercil (nejvyšší IF) a Střední a Dolní tercil Nevypovídá nic o produktivitě Identifikuje pracoviště s vysokou mírou excelence v národním měřítku Jurajda, Münich: Kde se dělá v ČR nejlepší výzkum? Studie CERGE-EI 3/

19 Hodnocení kvality - porovnání vybrány středně velké státy počty byly normalizovány na počet obyvatel 10 mil. Jurajda, Münich: Kde se dělá v ČR nejlepší výzkum? Studie CERGE-EI 3/

20 Hodnocení kvality - porovnání vybrány středně velké státy počty byly normalizovány na počet obyvatel 10 mil. Jurajda, Münich: Kde se dělá v ČR nejlepší výzkum? Studie CERGE-EI 3/

21 Hodnocení kvality příklad UPce Jurajda, Münich: Kde se dělá v ČR nejlepší výzkum? Studie CERGE-EI 3/

22 Institucionální financování Rozpočet podle předpisu je sada indikátorů, na základě nichž se přiděluje IP či její část. Jak vysokou institucionální podporu VO dostane, záleží na skóre, kterého dosáhne. Předpis přejímá myšlenku Metodiky hodnocení tím, že zakládá přidělování podpory na minulých výkonech. Výkonnostní kontrakty jsou smlouvy mezi poskytovatelem (např. ministerstvem) a příjemcem (např. VO). Definují cíle, kterých VO musí dosáhnout a které jsou rozčleněny do procedurálních kroků tak, aby se zabránilo nepotismu. 22

23 Institucionální financování Indikátory, např. SMART či Cream test. SMART: S Specifické, M Měřitelné, A (Achievable) dosažitelné, R Relevantní, a T (Time-bound) závislé na čase. Cream test: třídí indikátory podle otázek: jsou indikátory jasné (precizní a nedvojznačné), relevantní (přiměřené pro posuzovanou vlastnost), ekonomické (dostupné za rozumnou cenu), přiměřené (nabízejí dostatečný podklad k ohodnocení výkonnosti), monitorovatelné (přístupné nezávislému ověření). 23

24 Institucionální financování Indikátory externí podpory z grantů (kompetitivní projektová podpora, účelová podpora), z výzkumných smluv, kde se výsledky výzkumu stávají majetkem organizace, která si výzkum zadala. 24

25 Financování VVŠ Dotace z veřejných prostředků (bez investic a SF) Vzdělávání % VaV zdroj: Výroční zprávy VVŠ o hospodaření

26 Financování VVŠ Dotace VaV z veřejných prostředků (bez investic a SF) Projekty 7. RP EU zdroj: Výroční zprávy VVŠ o hospodaření

27 Financování VVŠ Dotace na specifický vysokoškolský výzkum, 2012 mil. Kč tis. Kč/student zdroj: Výroční zprávy VVŠ o hospodaření

28 Financování VVŠ Smluvní výzkum, 2012 tis. Kč zdroj: Výroční zprávy VVŠ o hospodaření

29 Financování VVŠ Prodej licencí, 2012 tis. Kč zdroj: Výroční zprávy VVŠ o hospodaření

30 Financování VVŠ Účelové financování - projekty, 2012 mil. Kč zdroj: Výroční zprávy VVŠ o hospodaření

31 Financování VVŠ Účelové financování - projekty, 2012 % zdroj: Výroční zprávy VVŠ o hospodaření

32 Financování VVŠ Účelové financování vs odkazy na WoS zdroj: Výroční zprávy VVŠ o hospodaření

33 Seminář DERS 2014 není žádné ideální nekonfliktní řešení metodicky velmi složité nyní samostatný vědní obor metodika není 100 % přenositelná ze země do země hledání konsensu otevřené jednání všech zúčastněných stran vysvětlování, diskuse, ochota jednat dlouhodobý proces, přechodné období 33

34 Doporučuji sledovat webové stránky IPn projektu webové stránky RVVI: webové stránky TC AV ČR: blog doc. Daniela Münicha: