Hodnocení VaVaI a role IPN Metodika. Jitka Moravcová Daniel Münich MŠMT. VŠCHT Praha

Transkript

1 Hodnocení VaVaI a role IPN Metodika Jitka Moravcová Daniel Münich MŠMT VŠCHT Praha

2 Osnova presentace 1. Význam hodnocení pro řízení 2. IPN Metodika 3. Mezihry: jak by hodnocení také mohlo vypadat 4. Kde jsme dnes 5. Základní atributy navrhovaného hodnocení 6. Harmonogram 7. Institucionální financování 1

3 Význam hodnocení pro řízení Stanovení priorit VaV Řízení lidských zdrojů VaV Efektivní pořizování a využívání infrastruktur VaV Bez kvalitního hodnocení nebude kvalitního řízení Správně nastavené motivace ve VaV 2

4 Význam hodnocení pro řízení Strategie, financování, ex-post hodnocení Financování, dohled, strategické řízení Řízení (včetně lidských zdrojů), motivace Motivace vláda, RVVI, EU rámec Poskytovatelé Výzkumné a další organizace Pracovníci a infrastruktury VaV 3

5 Hodnocení a národní strategické dokumenty Reforma systému VaVaI v ČR (2008, aktualizace) Národní politika VaVaI pro roky (výhled 2020) Národní strategie konkurenceschopnosti Národní inovační strategie Dlouhodobé principy hodnocení VaV, RVVI Cíl: Zavést pravidelné, systematické a objektivní hodnocení VaVaI v ČR na všech úrovních. Mezinárodní audit systému VaVaI v ČR,

6 IPN Metodika Hodnocení institucí Hodnocení jednotlivců Hodnocení účasti v mezinárodních sítích VaV Kultura hodnocení (bez hodnocení není kvalitní řízení) Hodnocení programů účelové podpory Hodnocení projektů účelové podpory Odstíny červené odlišují míru toho, jak je daný aspekt obsažen v IPN Metodika. Hodnocení velkých infrastruktur VaV 5

7 IPN Metodika IPN Metodika Technopolis a spol. Expertní tým IPN Institucionální hodnocení Malé pilotní ověření Institucionální financování Velké pilotní ověření Návrh systému hodnocení velkých infrastruktur VaV Principy hodnocení programů účelové podpory Zásady hodnocení zapojení do mezinárodních sítí Studie proveditelnosti hodnocení organizujícího pracoviště Osvěta a podpora lidských zdrojů 6

8 IPN Metodika Individuální projekt národní MŠMT, Zavedení evaluačních principů ověřených zahraničních praxí adaptovaných na naše národní podmínky. Multikriteriální oborové metodiky hodnocení respektující postavení dané VO v systému VaV. Využití dosavadních zkušeností s Metodikou a hodnocením AV ČR. Žádný mechanický vztah mezi výsledky hodnocení a výší institucionální podpory. Víceleté financování jako kombinace rozpočtu podle předpisu a výkonnostních smluv. Účinná spolupráce s RVVI. Otevřená diskuse se všemi aktéry (poskytovatelé!). Jak dosáhnout konsensu? 7

9 IPN Metodika klíčové aktivity KA1 Informační podpora KA2 Systém hodnocení KA3 Systém financování KA4 Velké pilotní ověření KA5 Harmonogram pro přechodné období a podklady pro legislativní změny KA6 Institucionální zajištění hodnocení KA7 Koordinace reformních návrhů a vytváření konsensuálních podmínek pro jejich přijetí 8

10 počet studentů Kde jsme dnes mezihra I 1. UK Praha 2. MU v Brně 3. ČVUT Praha 4. VUT Brno 5. ZU v Plzni 6. VŠE v Praze 7. TU Ostrava 8. Policejní akademie v Praze 9. UP Olomouc 10. JU v Č. Budějovicích 11. TU Liberec 12. ČZU Praha 13. VŠCHT Praha 14. Univerzita Pardubice 15. UTB ve Zlíně 16. MZLU v Brně Španělský žebříček vs počty studentů y = 46,756x -0,6347 R 2 = 0, umístění 17. Slezská univerzita Opava 18. Ostravská univerzita 19. Univerzita Hradec Králové 20. Univerzita JEP Ústí n. L. Španělské hodnocení, HN

11 Kde jsme dnes mezihra II 3 Jurajda, Münich: Kde se dělá v ČR nejlepší výzkum? Studie CERGE-EI 3/

12 Kde jsme dnes mezihra II 2 Jurajda, Münich: Kde se dělá v ČR nejlepší výzkum? Studie CERGE-EI 3/

13 Kde jsme dnes mezihra II 1 Jurajda, Münich: Kde se dělá v ČR nejlepší výzkum? Studie CERGE-EI 3/

14 Kde jsme dnes mezihra III Münich: 13

15 Kde jsme dnes mezihra IV (poslední) Porovnání VVŠ podle bodů v RIV, 2012 provádí se korekce bodů, která se odvíjí od toho, co vyprodukovaly jiné VŠ, průběžně se zvyšuje počet časopisů registrovaných ve Web of Science a Scopusu, což zvyšuje počet přidělených bodů, aniž by musela produkce článků dané školy reálně růst Zdroj: 14

16 Kde jsme dnes mezihra IV (poslední) Porovnání VVŠ podle bodů v RIV, pravidla přidělování a výpočtu bodů dle Metodik se rok od roku měnila (nelze sledovat trend), Zdroj: 15

17 Kde jsme dnes Metodika 2013 Pilíř I: Oborové hodnocení publikačních výsledků. Výsledky typu J, B, C a D v RIV + peer-review hodnocení výsledků typu B a C (subpilíř I), relativní podíl oborových panelů na celkovém počtu bodů. Pilíř II: Hodnocení kvality. Jeden excelentní výsledek na každých 10 MKč IP, peer-review hodnocení, 20 % v každém oboru dostane zvláštní bonifikaci, projekty ERC. Pilíř III: Hodnocení patentů a nepublikačních výsledků aplikovaného výzkumu. Body pouze u patentu, projekty aplikovaného výzkumu + smluvní výzkum. 16

18 Kde jsme dnes - Metodika Definuje, které výsledky jsou uznatelné, jak se data sbírají a jak se převádějí na body. Dává jasný signál: žádný výsledek, žádná institucionální podpora. Je účinná proti nepotismu, korupci a lobování (?). Slouží pro výpočet institucionálního financování, které je krátkodobé, proto je špatným nástrojem pro dlouhodobé plánování, rozvoj nových oborů Uznává jen minulé výsledky. Podporuje fragmentaci vědeckých výsledků. Nepodporuje mezioborové týmy. Je pouze kvantitativní (kvalitu nahrazuje kvantita). 17

19 Metodika vs WoS WoS, heslo Czech Republic, , roztřídění podle instituce 18

20 Základní atributy navrhovaného hodnocení 1. Zohlednění oborových specifik 2. Zohlednění postavení a účel VO v systému VaV 3. Hodnocení inst. jednotek (fakulty a ústavy) 4. Hodnocení výstupů, výsledků, dopadů, řízení, mezinárodního zapojení, využívání infrastruktur 5. Forma peer-review a. mezinárodní b. informované c. formou distanční vs. s návštěvou d. využívající zkušenosti z realizace Hodnocení 2014 a AV ČR 6. Hodnocení 1x za ~5 let 7. Náklady max. 1 % národní inst. podpory za hodnocené období (srovnejme s dnešními 2,5% inst. podpory VaV dle par. 3, odst. (3), zákona 130/2002) 19

21 Zamýšlená struktura hodnocení Case 1 Research organisation Evaluated Unit Research Unit Field Case 2 Research organisation Evaluated Unit Research Unit 1 Field 1 Research Unit 2 Field 2 Research Unit 1 Field 1 Case 3 Research organisation Evaluated Unit 1 Research Unit 2 Field 2 Research Unit 3 Field 3 Etc Research Unit 1 Field 1 Evaluated Unit 2 Research Unit 2 Research Unit 3 Field 2 Field 3 20

22 Zamýšlená organizace hodnocení Evaluation management board Evaluation management team Main Panels Main Panel Chairs Main Panel Members Panels Panel Chairs Panel Members Panel Secretariat Specialist advisors - Sciences Specialist advisors - Context Referees Referees 21

23 Zamýšlená hodnotící kritéria Assessment criteria Institutional management and development potential Membership of the national and global research community Research performance Research excellence Societal relevance Indicator categories Quality and adequacy of the physical research environment & attractiveness to the scientific community Research strategy and (HR) management International research presence and collaboration National research presence and collaboration Research productivity Research capacity building Overall research quality Peak quality of the scholarly outputs Value of the research activities for the business & industry sector Value of the research activities for other 22 societal actors, including government

24 Vazba na současný systém 1. Využití dat v IS VaV a zavedeného systému sběru 2. Sledování ukazatelů v období mezi hodnocením 3. Využití zkušeností s fungováním prvků peer review 4. Obdoba využití indikátorů na formula funding v menším rozsahu 23

25 Harmonogram IPN Metodika 1. Průběžná zpráva: návrh hodnocení Připomínky exp. týmu IPN ( ) Proces veřejné konzultace ( ) Veřejná konference ( ) 2. Průběžná zpráva: návrh financování Připomínky exp. týmu IPN ( ) Proces veřejné konzultace ( ) Veřejná konference (konec února 2015) Závěrečná zpráva: + malé pilotní ověř. Připomínky exp. týmu IPN ( ) Proces veřejné konzultace ( ) Veřejná konference (květen 2015) Závěrečná zpráva IPN (podzim 2015) 24

26 Post IPN harmonogram (předpověď) Příprava hodnocení ( ) Legislativa Informační nástroje a informace (WoS, IS VaV) Hodnocení organizující pracoviště a hodnotitelé Realizace hodnocení (~2018) Sebehodnotící zprávy VO Bibliometrické zprávy a další informace Práce panelů Zpracování a využití výsledků ( ) Syntéza výsledků Zpětná vazba pro VO a součásti Informace pro strategické řízení na úrovni vlády/rvvi 25

27 Institucionální financování Poskytovatelé podpory tis. Kč institucionální účelová MO MK MV Mze MZ MPO TA ČR GA ČR AV ČR MŠMT 26

28 Institucionální financování VVŠ 2013 tis. Kč 27

29 Institucionální financování Dotace z veřejných prostředků (bez investic a SF) Vzdělávání VaV zdroj: Výroční zprávy VVŠ o hospodaření

30 Účelové financování zdroj: Výroční zprávy VVŠ o hospodaření

31 Spolupráce s odběrateli Smluvní výzkum, 2012 Prodej licencí, 2012 tis. Kč zdroj: Výroční zprávy VVŠ o hospodaření

32 Institucionální financování Hodnocení a jeho vztah k institucionálnímu financování 100% Žádný Něco mezi tím V současnosti: 80 a 20 % dle RIV bodů MŠMT 100 % podle RIV bodů 31

33 Návrh institucionální financování Bude součástí až 2. dílčí zprávy Víceleté financování jako kombinace dvou principů: rozpočet podle předpisu (formula funding), backward-looking výkonností smlouvy (performance based contracts), forward-looking, umožňující směrování rozvoje Různé nastavení pro různé segmenty systému VaV IPN doporučí poměry financování + pro a proti Delší přechodné období s procesem učení 32

34 Děkujeme za spolupráci. Všechny informace budou na webových stránkách projektu. Kontaktovat nás můžete kdykoliv. 33