Metodika hodnocení výzkumných organizací 2017+ Vlastimil Růžička (ve spolupráci s Vladimírem Majerem a Tomášem Kopřivou) 22.2.2016
Obsah Metodika hodnocení VaV inspirovaná výsledky projektu IPN Metodika s přihlédnutím ke zkušenostem z hodnocení ústavů AV ČR 2015 Hodnocené VO Harmonogram Výsledky hodnocení Realizace = institucionální zajištění Odhad nákladů Rizika 2
Metodika Vychází z projektu IPN Metodika, který dále rozvíjí Návrh konsorcia Technopolis group včetně úprav provedených pro pilotní ověření Další úpravy vycházející z doporučení panelistů i hodnocených výzkumných organizací/jednotek (RO/RU) Implementační doporučení projektového týmu IPN Metodika Využití zkušeností z hodnocení ústavů AV ČR s možností převzetí některých dílčích postupů 3
Hodnocené výzkumné organizace (VO) Veřejné vysoké školy (VVŠ), event. i SVŠ získávající dotaci na rozvoj výzk. organizace Hodnocení ve všech šesti vědních oblastech (Disciplinary Area) podle Frascati (tzn. realizace hodnocení v jedné vlně ) příp. IBRO (Industry & Business Service Res. Organ.) Nejzávažnější komplikací hodnocení excelentních neakademických výstupů Zdůvodnění AV ČR provedla hodnocení svých ústavů v roce 2015 VVŠ dosud žádným institucionálním hodnocením VaV neprošly (pokud za něj nepovažujeme kafemlejnek ) 4
Harmonogram 1 6/2016 usnesení vlády (viz další snímek Harmonogram 2) 6 12/2016: příprava projektu implementace hodnocení podle NERO: zpracování závazné metodiky (KHV) její schválení (RVVI, vláda) příp. i zač. 2017 rozhodnutí o předpisu převedení výsledků hodnocení na financování výběr subjektu pro realizaci hodnocení zahájení vývoje podpůrného informačního systému!! Pozn.: OP VVV, výzva na Strategické řízení VaV (předpokládaný termín vyhlášení červen 2016). Součástí podporovaných aktivit je i implementace nové metodiky hodnocení VO 1/2017 zahájení implementace hodnocení podle NERO 8-10/2017 zahájení samotného hodnocení 4-6/2018 výsledky hodnocení Finanční dopad do institucionální podpory VO na rok 2019 5
Harmonogram 2 usnesení vlády: i. základní rámec hodnocení ii. termíny plnění iii. identifikace zdrojů finančního zajištění hodnocení iv. pověření instituce zodpovědné za realizaci 6
Využití výsledků hodnocení, přínosy Výsledky hodnocení budou zveřejněny Podle schváleného předpisu bude cca 20 % institucionální dotace na VaV alokováno podle PRFS Zvážit, zda v tomto kole hodnocení bude přidělena část inst. dotace na VaV formou performance agreement (podle návrhu TP cca 5 % celkové inst. dotace, je vyjednána mezi poskytovatelem a příjemcem, umožňuje RO strategicky plánovat). PA lze poskytnout těm RO, které se NERO nezúčastní Učící efekt pro zúčastněné RO: slovní komentáře a doporučení panelistů Writing a self-assessment report and knowing that an expert panel will read it is the best exercise for researchers Poskytovatelé i management RO získají podklady pro strategické řízení -> formativní složka hodnocení 7
Realizace Viz Studie proveditelnosti institucionálního zajištění navrhovaného systému hodnocení (dokument projektu IPN Metodika, K. Šima a spol.) Var. 1 nebo 2: organizační útvar v rámci orgánu státní správy nebo nový orgán státní správy současné předpisy a pravidla státní správy neumožňují dostatečně flexibilní výběr a uzavírání pracovních smluv s členy Rady pro řízení hodnocení, panelisty a posuzovateli neefektivní je také zajišťování služeb (např. podpůrný IS) Var. 3: agentura v podobě příspěvkové organizace novela zák.111/1998 Sb. předpokládá založení Národního akreditačního úřadu AERES (FR) a HEFCE (UK) jsou nezávislé organizace realizující hodnocení VaV, akreditace programů a hodnocení institucí (AERES) nebo dosud jen hodnocení VaV (HEFCE) 8
Rozsah hodnocení Počet hodnocených EvU/RU (práh pro zahrnutí: min. 50 výstupů v hodnoceném období; založeno na datech 2009-13) * RO Sub-category Number of included EvU Nr. RU per EvU, estimate Estimated nr. RU HEI - public 171 3 500 HEI - private 7 3 20 Research hospital 21 2 40 Total 199 560 AgriFood RTO 14 2 30 Industry RTO 9 2 20 Business sv RO 5 2 10 Total 28 60 Grand total 227 620 * Background report 2: Typology of Research Organisations and Effects of the EM Thresholds, Technopolis, March 2015 9
Odhad nákladů, 1 Orientační odhad nákladů na 3 roky hodnocení (pro ŘTH měsíční hrubá mzda zvýšena na 60 tis Kč; pro panelisty a posuzovatele odměny podle pilotního ověření) počet osob/fte roční náklady /mil Kč náklady celkem/mil Kč Řídicí tým hodnocení (ŘTH) 15 14 42 tajemníci panelů (jen rok 2) 30 18 18 panelisté odměny a 324 62 62 b panelisté cestovné 11 11 panelisté ubytování 9 9 posuzovatelé 400 9 9 ostatní náklady 11 33 náklady na IS (odhad! nutno zpřesnit) 26 celkem 209 a Podle doporučení týmu IPN má být až 1/3 panelistů z ČR (zde čeští panelisté neuvažováni, jen zahraniční) b U panelistů nutno vyřešit povinné odvody a zdanění mzdy (bude-li je nutné platit, pak se náklady až zdvojnásobí!) Odhad nákladů: viz Studie proveditelnosti institucionálního zajištění navrhovaného systému hodnocení, IPN Metodika, listopad 2015 10
Odhad nákladů, 2 Orientační odhad nákladů na 3 roky hodnocení při zahrnutí jen VŠ a IBRO: 210 mil Kč R&D Institutional funding expenditure total Institutional funding for conceptual development of ROs 2012 budget (mil CZK) 13 536 8 874 Total for 5 years based on 2012 budget (mil CZK) 67 680 44 370 1% limit (mil CZK) 677 444 Viz Summary Report, Technopolis, May 2015: Exhibit 19 Maximum total costs of the new evaluation system 11
Rizika Odpor hodnocených RO k nové metodice (hodnocení bude podjaté, hodnocení je příliš komplikované, hodnocení je drahé) Subjekt vybraný pro realizaci nebude schopen hodnocení včas a kvalitně dokončit (personální obsazení-zkušenosti, informační systém, pracovně-právní vztahy) Nebude alokováno dostatečné množství finančních prostředků na realizaci hodnocení Nepodaří se kontrahovat všechny potřebné panelisty a posuzovatele Nová vláda nepodpoří rozhodnutí předchozí a nebude dostatečně razantně vystupovat proti námitkám 12
Děkuji za pozornost ruzickav@tc.cz 13