New concept of the Czech research evaluation (valid for years 2017+)

New concept of the Czech research evaluation (valid for years 2017+) Petr Svoboda Institute of Machine and Industrial Design Faculty of Mechanical Engineering Brno University of Technology 04/2017

Content of presentation Introduction State of The Art Methodology 2013-2016 Methodology 17+ Conclusions 2 / 22

Introduction What exactly is the science evaluation? The European Commission definition is: Evaluation is a process by which the quality, implementation, target relevance and impacts of RTD policies/programmes are investigated, interpreted and examined. What is the evaluation in the Czech Republic? It relies solely on the quantification of research outputs for the evaluation of research organisations and research programmes. It is predominantly monitoring exercise. Institutional support is allocated mechanically using the rule of three. 3 / 22

Inst. podpora, hodnocení VO - zákon 130/2002 Sb. 7, odst. 6: Institucionální podporu poskytne poskytovatel VO na základě zhodnocení jí dosažených výsledků tak, že její podíl na celkové výši institucionální podpory výzkumných organizací ze státního rozpočtu v daném roce odpovídá jejímu podílu na hodnotě výsledků všech výzkumných organizací dosažených v uplynulých 5 letech podle hodnocení prováděného každoročně Radou pro výzkum, vývoj a inovace. Poskytovatel může výši podpory upravit podle podrobnějšího hodnocení používajícího mezinárodně uznávaných metodik 7b), které společně s výsledky podrobnějšího hodnocení a pravidly úpravy podpory před jejím poskytnutím zveřejní 6, odst. 2: Z celkových výdajů na výzkum, vývoj a inovace jednotlivých rozpočtových kapitol jsou dalšími závaznými ukazateli, pokud přicházejí v úvahu, c) institucionální podpora výzkumných organizací podle zhodnocení jimi dosažených výsledků, 5a, odst. 2: Rada pro výzkum, vývoj a inovace zašle správcům rozpočtových kapitol: b) návrh výše výdajů podle 6 odst. 2 písm. c) v členění podle výzkumných organizací; návrh vychází ze zhodnocení výsledků dosažených výzkumnými organizacemi v uplynulých 5 letech, z Národní politiky výzkumu, vývoje a inovací a z výsledků mezinárodního hodnocení výzkumu a vývoje v ČR. 4 / 22

State of The Art - Evaluation methodology in the CZ 1st Version 2004 2nd Version 2006 (index SR - everything is compared to the average) 3rd Version 2009 (expanding the types of acceptable results) 4th Version 2010 (changing the definitions of results) 5th Version 2013-2016 (restrictions in eligible R&D results) 6th IPN Metodika - New concept of the Czech research evaluation M17+ 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 Evaluation M17+ 5 / 22

Methodology valid for the years 2013-2016 Pillar I: Filed evaluation of publication results The Methodology stipulates relevant result types for each field group and their eventual maximum shares in the point values. Pillar II: Evaluation of the quality of selected results Each institution shall submit a limited number of selected results for expert evaluation. Pillar III: Evaluation of patents and non-publication results of the applied research. Contrary to the current practice of flat rate scoring of all non-publication results the flat rate remains only for the patent type results. For other results the score will be based on the financial support from the applied research projects and the contractual research. 6 / 22

Methodology 17+ RVVI decided to leave the actual system of RO evaluation -> Methodology 17+ (approved February 8, 2017) Starting points for M17 + Project IPN Methodology Experience from Methodology 2013-16 Experience from evaluation of AV ČR institutes Methodology 17+: http://www.vyzkum.cz/frontclanek.aspx?idsekce=799796&ad=1&attid=799803 7 / 22

M17+ Framework IPN Project 8 / 22

M17+ Framework Natural Sciences Engeneering&Technology MedicalHealth&Science Agriculture SocialSciences Arts&Humanities 6 brach panels 3 types of RO + scaling A, B, C, D M17+ AV ČR Universities Departmental RO 3 levels of control/ evaluation National/central Funding providers RO M1 Quality of selected results M2 Performance of research M3 Social relevance M4 Viability M5 Strategy and concept 5 modules of evaluation 5 years interval 2017-2019 Implementation 2020 + complete evaluation every 5 years 9 / 22

Modules of Evaluation M17+ M1 - Quality of selected results A limited number of selected results compared with international levels. Contribution to the knowledge in the given areas (especially for fundamental research) Social impact (especially for applied research) For the evaluation in 2019 will be applied results from 1/2014 till 12/2018 10 / 22

Modules of Evaluation M17+ M2 - Performance of research Includes the productivity, quality and competitiveness in the R&D. Bibliometric data within evaluated period (fundamental research, source = WoS, SJR). Quantitative indicators (applied research) Quantity and structure of the obtained R&D funds (projects, contractual research) The number and structure of employees 11 / 22

Modules of Evaluation M17+ M3 Social relevance Results transfer to the practice, cooperation with industry, impact on society, economic benefits, etc. Participation of students in research activities: implementation of doctoral students, prestigious award, mobility, popularization, etc. M4 Viability Research environment - organization scheme, quality of research management, personnel policy, structure of human resources, research infrastructure. International and national co-operation - membership in the global and national research community. Financing from external sources - success in obtaining projects, successfully completed grant projects, the position of RO according to international indicators and statistics. 12 / 22

Modules of Evaluation M17+ M5 Strategy and concept Mission of RO (purpose, strategic direction), concept, visions for the next period. 13 / 22

Relationship of evaluation and financing M17 + Bonus 10 % scaling of RO groups A, B, C, D Fixation for 2017 and 2018 is currently the subject of negotiations (as H15 or H16?) Stabilization (100% according to the 2013-2016 Methodology) 14 / 22

Implementation period M17+ (2017-2019) 2017 2018 (without international evaluators) bibliometric analysis of publication outputs, experts from applied research and practice, number of selected results, dividing the quality of results into 5 levels, indicative scaling of VO into 4 groups. 2019 (international panels and evaluators) full modules M1 a M2, evaluation by international experts (bibliometric evaluation of results and evaluation of viability). 15 / 22

Conclusions Missing definition of R&D results for M17 +. A number of detailed implementing rules for M17+ will need to be prepared and approved. Evaluation after 2018 has a lot of question marks (eg. It is not clear who will exactly be responsible for evaluation in modules 3-5). 16 / 22

Thank you for attention Petr Svoboda email@email.com http://uk.fme.vutbr.cz/