Hodnotíme VaV na vysokých školách (?) Jitka Moravcová Seminář DERS Dříteč, 27.2.2014 www.metodika.reformy-msmt.cz
Seminář DERS 2013 není žádné ideální nekonfliktní řešení metodicky velmi složité nyní samostatný vědní obor metodika není 100 % přenositelná ze země do země hledání konsensu otevřené jednání všech zúčastněných stran vysvětlování, diskuse, ochota jednat dlouhodobý proces, přechodné období 2
Současný stav Hodnocení výsledků VO Rozpočítání institucionální podpory podle získaných bodů Metodika 2013 (RVVI, platí) Metodika MPO (návrh) Hodnocení VO Institucionální podpora může/nemusí být navázána na výsledky hodnocení IPn Efektivní systém hodnocení a financování výzkumu, vývoje (řešení) 3
Současný stav Metodika 2013 Pilíř I: výsledky typu J, B, C, D (publikační výsledky) v RIV + peer-review hodnocení výsledků typu B a C (subpilíř I), relativní podíl oborových panelů na celkovém počtu bodů Pilíř II: jeden excelentní výsledek na každých 10 MKč IP, peer-review hodnocení Pilíř III: osobní a doplňkové náklady projektu TAČR a MPO, relativní podíl oborových panelů na celkovém počtu bodů 4
Hodnocení - mezihra I 1. VŠCHT Praha 287 0/0 4 72 2. UK v Praze 1815 3/4 41 53 3. VFU Brno 117 0/0 3 39 4. JU České Budějovice 212 0/1 10 26 5. MU Brno 509 0/2 33 18 6. Univerzita Pardubice 145 0/0 8 18 7. UP Olomouc 286 0/0 18 16 8. ČVUT v Praze 274 1/0 21 15 9. MZLU Brno 80 0/0 9 9 10. Ostravská univerzita 17 0/1 8 8 11. UTB Zlín 68 0/0 10 7 12. VUT Brno 123 0/0 20 6 13. ZU v Plzni 92 0/0 16 6 14. Slezská univerzita Opava 22 0/0 5 4 15. TU v Liberci 35 0/0 8 4 16. ČZU v Praze 52 0/0 15 4 17. VŠB - TU Ostrava 65 0/0 20 3 18. Univerzita HK 11 0/0 7 2 19. VŠE v Praze 22 0/0 15 1 20. Univerzita JEP Ústí n. L. 12 0/0 9 1 21. Vys. škola polytechnická Jihlava 0 0/0 1 0 Publikace dle WoS 2006 Publikace Nature/Science Počet studentů v tis. Publikace/tisíc studentů MF 2007 5
Hodnocení - mezihra II Index SR: body za výsledky se sečtou a dělí finančními prostředky získanými ze státního rozpočtu v mil. Kč FPBT VŠCHT Praha: 28,51 FTOP VŠCHT Praha: 32,52 FCHI VŠCHT Praha: 36,97 FCHT VŠCHT Praha: 44,55 Ústav dějin UK a archiv UK: 102,88 UJEP Ústí n. L., Pedagogická fakulta: 133,83 VŠE, Fakulta podnikohospodářská: 136,00 UJEP, Fakulta životního prostředí: 173,66 UJEP, Fakulta sociálně-ekonomická: 188,53 RVVI 2006 6
Hodnocení - mezihra III 1. UK Praha 2. MU v Brně 3. ČVUT Praha 4. VUT Brno 5. ZU v Plzni Španělský žebříček vs počty studentů 6. VŠE v Praze 7. TU Ostrava 8. Policejní akademie v Praze 9. UP Olomouc 10. JU v Č. Budějovicích 11. TU Liberec 12. ČZU Praha 13. VŠCHT Praha 14. Pardubická univerzita počet studentů 50 45 40 35 30 25 20 15 10 5 0 y = 46,756x -0,6347 R 2 = 0,7544 0 5 10 15 20 15. UTB ve Zlíně umístění 16. MZLU v Brně 17. Slezská univerzita Opava 18. Ostravská univerzita 19. Univerzita Hradec Králové 20. Univerzita JEP Ústí n. L. Španělské hodnocení, HN 2007 7
Bibliometrie celková za ČR Absolutní počet odkazů Relativní zastoupení odkazů výroba tzv. recenzovaných neimpaktovaných (tj. především domácích) časopiseckých publikací vzrostla v období 2006-2010 o více než 200 procent WoS, heslo Czech Republic, 25.1.2014 8
Bibliometrie VVŠ Relativní zastoupení odkazů, 2009-2013 WoS, heslo Czech Republic, 25.1.2014, roztřídění podle instituce 9
Současné hodnocení výsledků nebere zřetel na typ VO nedává info o excelenci neporovnává kvalitu na národní úrovni neporovnává kvalitu na mezinárodní úrovni nedává info o efektivitě VaV neposkytuje podklady pro řízení VO neposkytuje podklady pro politická rozhodnutí M2013 nezahrnuje peer-review ve standardní podobě Výroční zprávy VVŠ za rok 2012 10
Hodnocení UPce 2012 Porovnání VVŠ podle bodů v RIV, 2012 provádí se korekce bodů, která se odvíjí od toho, co vyprodukovaly jiné VŠ, průběžně se zvyšuje počet časopisů registrovaných ve Web of Science a Scopusu, což zvyšuje počet přidělených bodů aniž by musela produkce článků dané školy reálně růst Zdroj: http://www.upce.cz/deska/dokumenty/vyr-zpravy.html 11
Hodnocení UPce 2012 (www.upce.cz) Porovnání VVŠ podle bodů v RIV, 2009-2012 pravidla přidělování a výpočtu bodů dle Metodik se rok od roku měnila (nelze sledovat trend), 12
Hodnocení UPce 2012 (www.upce.cz) Body RIV na akademického pracovníka, 2011-2012 body RIV nejsou v oborech srovnatelné poměr vzdělávání/výzkum je na každé fakultě jiné 13
Hodnocení UPce 2012 (www.upce.cz) Relativní podíl fakult, body RIV, 2012 zaslouží si FChT 74% podíl na veřejné institucionální podpoře VaV, protože to odpovídá rozsahu a kvalitě jejích výsledků VaV? co strategické řízení VVŠ? 14
Hodnocení UPce 2012 (www.upce.cz) TOP 15 akademiků, 2000-2012 lepší než RIV body nezohledňuje publikační zvyklosti v oborech časový úsek 13 let (plné zaměření jen na VaV?) žádné porovnání na národní a mezinárodní úrovni 15
Hodnocení podle RIV bodů UPce není výjimka drtivá většina VVŠ postupuje stejně rozpočítávání až na jednotlivce je běžné UK v Praze má ambice postoupit mezi TOP 200 zavedla Program rozvoje vědních oborů PRVOUK dělení IP trojčlenkou na fakulty podle RIV bodů žádné strategické řízení VVŠ nereflektuje publikační zvyklosti v oborech nereflektuje kvalitu VaV 16
Hodnocení kvality Jurajda, Münich: Kde se dělá v ČR nejlepší výzkum? Studie CERGE-EI 3/2012, dostupná na http://idea.cerge-ei.cz/documents/studie_2012_03.pdf Cíl studie: srovnání excelentních výsledků pracovišť v jednotlivých vědních oborech ukázat nedostatky bibliometrických analýz pro účely hodnocení upozornit na přetrvávající nedostatky v hodnotících nástrojích Údaje z RIV 17
Hodnocení kvality Zvolená metoda: výsledky vykázané VO v pětiletém období 2006 2010 v RIV (zohlednění podílu autorů) počty článků v uznávaných časopisech seřazených sestupně podle IF a normalizovaných na celkový počet časopisů v oboru (dle metodiky RVVI) v oborovém dělení RIV, které rozlišuje 122 oborů rozdělení počtu do tří stejně velkých skupin, Horní tercil (nejvyšší IF) a Střední a Dolní tercil Nevypovídá nic o produktivitě Identifikuje pracoviště s vysokou mírou excelence v národním měřítku Jurajda, Münich: Kde se dělá v ČR nejlepší výzkum? Studie CERGE-EI 3/2012 18
Hodnocení kvality - porovnání vybrány středně velké státy počty byly normalizovány na počet obyvatel 10 mil. Jurajda, Münich: Kde se dělá v ČR nejlepší výzkum? Studie CERGE-EI 3/2012 19
Hodnocení kvality - porovnání vybrány středně velké státy počty byly normalizovány na počet obyvatel 10 mil. Jurajda, Münich: Kde se dělá v ČR nejlepší výzkum? Studie CERGE-EI 3/2012 20
Hodnocení kvality příklad UPce Jurajda, Münich: Kde se dělá v ČR nejlepší výzkum? Studie CERGE-EI 3/2012 21
Institucionální financování Rozpočet podle předpisu je sada indikátorů, na základě nichž se přiděluje IP či její část. Jak vysokou institucionální podporu VO dostane, záleží na skóre, kterého dosáhne. Předpis přejímá myšlenku Metodiky hodnocení tím, že zakládá přidělování podpory na minulých výkonech. Výkonnostní kontrakty jsou smlouvy mezi poskytovatelem (např. ministerstvem) a příjemcem (např. VO). Definují cíle, kterých VO musí dosáhnout a které jsou rozčleněny do procedurálních kroků tak, aby se zabránilo nepotismu. 22
Institucionální financování Indikátory, např. SMART či Cream test. SMART: S Specifické, M Měřitelné, A (Achievable) dosažitelné, R Relevantní, a T (Time-bound) závislé na čase. Cream test: třídí indikátory podle otázek: jsou indikátory jasné (precizní a nedvojznačné), relevantní (přiměřené pro posuzovanou vlastnost), ekonomické (dostupné za rozumnou cenu), přiměřené (nabízejí dostatečný podklad k ohodnocení výkonnosti), monitorovatelné (přístupné nezávislému ověření). 23
Institucionální financování Indikátory externí podpory z grantů (kompetitivní projektová podpora, účelová podpora), z výzkumných smluv, kde se výsledky výzkumu stávají majetkem organizace, která si výzkum zadala. 24
Financování VVŠ Dotace z veřejných prostředků (bez investic a SF) Vzdělávání % VaV zdroj: Výroční zprávy VVŠ o hospodaření 2012 25
Financování VVŠ Dotace VaV z veřejných prostředků (bez investic a SF) Projekty 7. RP EU zdroj: Výroční zprávy VVŠ o hospodaření 2012 26
Financování VVŠ Dotace na specifický vysokoškolský výzkum, 2012 mil. Kč tis. Kč/student zdroj: Výroční zprávy VVŠ o hospodaření 2012 27
Financování VVŠ Smluvní výzkum, 2012 tis. Kč zdroj: Výroční zprávy VVŠ o hospodaření 2012 28
Financování VVŠ Prodej licencí, 2012 tis. Kč zdroj: Výroční zprávy VVŠ o hospodaření 2012 29
Financování VVŠ Účelové financování - projekty, 2012 mil. Kč zdroj: Výroční zprávy VVŠ o hospodaření 2012 30
Financování VVŠ Účelové financování - projekty, 2012 % zdroj: Výroční zprávy VVŠ o hospodaření 2012 31
Financování VVŠ Účelové financování vs odkazy na WoS zdroj: Výroční zprávy VVŠ o hospodaření 2012 32
Seminář DERS 2014 není žádné ideální nekonfliktní řešení metodicky velmi složité nyní samostatný vědní obor metodika není 100 % přenositelná ze země do země hledání konsensu otevřené jednání všech zúčastněných stran vysvětlování, diskuse, ochota jednat dlouhodobý proces, přechodné období 33
Doporučuji sledovat webové stránky IPn projektu webové stránky RVVI: www.vyzkum.cz webové stránky TC AV ČR: www.tc.cz blog doc. Daniela Münicha: http://metodikahodnoceni.blogspot.cz/ www.metodika.reformy-msmt.cz