Metodika hodnocení 2013

Metodika hodnocení 2013 Ing. Martin Matějka sekretariát Rady pro výzkum, vývoj a inovace. VUT Brno, 20. - 21.11.2013 1

Metodika 2013 schválena dne 19. 6. 2013 usnesením č. 475 platná pro roky 2013 až 2015 nová koncepce hodnocení výsledků VO VUT Brno, 20. - 21.11.2013 2

Metodika 2013 Proč vůbec potřebujeme hodnotit výsledky VaVaI? VUT Brno, 20. - 21.11.2013 3

Státní rozpočet na VaVaI V roce 2013 cca 26 mld. Kč VUT Brno, 20. - 21.11.2013 4

Státní rozpočet na VaVaI V roce 2013 cca 13 mld. Kč VUT Brno, 20. - 21.11.2013 5

Státní rozpočet na VaVaI V roce 2013 cca 13 mld. Kč VUT Brno, 20. - 21.11.2013 6

Lze hodnotit vědu? Opravdovou vědu jen velmi obtížně hodnotné výsledky se často ztrácejí v balastu často nevyhovují zavedeným kategoriím kvalita lidí se obvykle pozná až začnou chybět rutina versus originalita Pokud však chceme alespoň trochu spravedlivě rozdělit finanční prostředky, tak hodnotit prostě musíme. VUT Brno, 20. - 21.11.2013 7

Jak se hodnotí věda ve světě? Lesk a stíny světových žebříčků univerzit (US News &World Report, THES, Shanghai Jiao Tong) Lze podle těchto žebříčků financovat? Britský Research Assessment Excercise Lombardiho projekt měření univerzitní výkonnosti v USA (výdaje, ocenění, PhD, PostD, SAT) Nesrovnatelnost měřítek a zvyklostí VUT Brno, 20. - 21.11.2013 8

Metoda v ČR - Metodika 2013 Metodika hodnocení výsledků VO (povinnost vyplývající ze zákona) Přípravu Metodiky a její předložení vládě ČR zabezpečuje RVVI ( 35, odst. 2, písm. c) RVVI následně provádí též hodnocení výsledků výzkumných organizací podle platné Metodiky ( 35, odst. 2, písm. d) RVVI následně promítá výsledky hodnocení do návrhu výdajů státního rozpočtu na výzkum a vývoj a to konkrétně do výše institucionální podpory na rozvoj VO dle 5a, 6 (odst. 2, písm. c) a 7 (odst. 6) VUT Brno, 20. - 21.11.2013 9

Proč nová Metodika? (1) Současné Metodiky (první v roce 2004) splnily své poslání. Od roku 2004 jsou ročně publikována bodová hodnocení VO na základě RIV dle postupu definovaného v Metodice platné pro daný rok V letech 2010-2011 probíhal v souladu se zákonem přechod ze systému výzkumných záměrů na systém podpory na RVO dle každoročního průběžného hodnocení na základě Metodiky (vždy za 5 let) VUT Brno, 20. - 21.11.2013 10

Proč nová Metodika? (2) Rok 2012 byl již plně financován podle nového systému přidělování finančních prostředků na RVO na základě Metodiky 2012 Ta však byla terčem značné kritiky VUT Brno, 20. - 21.11.2013 11

Proč nová Metodika? (3) Metodika 2012 byla oprávněně kritizována pro tyto nedostatky: nebyla oborová měla fixní vazbu na finanční prostředky paušálně hodnotila knihy problém s hodnocením měkkých výsledků aplikovaného VaVaI VUT Brno, 20. - 21.11.2013 12

Principy Metodiky 2013 Metodika je založena na 3 přístupech (3 pilířích), kombinace peer review a SW algoritmu: Pilíř I. Pilíř II. Pilíř III. VUT Brno, 20. - 21.11.2013 13

Metodika 2013 schválena dne 19. 6. 2013 usnesením č. 475 platná pro roky 2013 až 2015 nově zavádí: Pilíř I. hodnocení Jimp, Jsco Podpilíř I. peer review hodnocení knih, Jrec Pilíř II. peer review hodnocení kvality Pilíř III. hodnocení výsledků aplikovaného výzkumu VUT Brno, 20. - 21.11.2013 14

Start Metodiky 19. 6. 2013 (1) Pilíř I. -spuštěna Etapa I. hodnocení publikačních výsledků vygenerovány Tab. č.1, č.2, č.2a předány poskytovatelům vygenerovány pracovní tabulky pro verifikace odbornými a poradními orgány Rady (tzv. Komise) předány komisím ke kontrole VUT Brno, 20. - 21.11.2013 15

Pilíř I. a Podpilíř I. stav k 12.11. Strojové verifikace druhu J proti databázím WoS, SCOPUS a ERIH kontrola druhu B a C komisemi české knihy kontrolovány v NK zahraniční knihy budou kontrolovány v roce 2014 kontrola druhu Jrec komisemi vyžádání podezřelých záznamů RIV kontrola druhu D neproběhne VUT Brno, 20. - 21.11.2013 16

Start Metodiky 19. 6. 2013 (2) Pilíř II. (hodnocení kvality vybraných výsledků) -náběh až v roce 2014 -příprava výzvy na nominace panelistů (jmenování v lednu 2014) -příprava VZ na technické zajištění činnosti panelů (od března 2014) VUT Brno, 20. - 21.11.2013 17

Pilíř II. a Podpilíř I. stav k 29.10. OVHP odborné verifikační a hodnotící panely - 7 oborových panelů - každý panel cca 10 odborníků Expertní panely - 11 oborových panelů - každý panel cca 10 odborníků celkem poptáváme cca 200 expertů - z toho cca 40 zahraničních VUT Brno, 20. - 21.11.2013 18

Pilíř II. a Podpilíř I. stav k 12.9. panely budou jednat na 2-3 denních zasedáních uvažuje se cca 3 zasedání do roka nutno zajistit administrativu a logistiku záměr najmout podpůrné subjekty na zajištění činnosti panelů VUT Brno, 20. - 21.11.2013 19

Start Metodiky 19. 6. 2013 (3) Pilíř III. (hodnocení výsledků projektů aplikovaného VaVaI) - definování množiny předávaných údajů o nákladech projektů aplikovaného VaVaI - definování množiny předávaných údajů o smluvním výzkumu - definování xml schémat a kontrol - objednání podpůrného SW na bázi Vklap VUT Brno, 20. - 21.11.2013 20

Start Metodiky 19. 6. 2013 (4) Pilíř III. údaje o smluvním výzkumu nejsou, nebudou a nemohou být součástí IS VaVaI (zákon 130/2002 Sb.) pro sběr a zpracování údajů bude využita technologie a platforma IS VaVaI efektivita a úspora neměnnost prostředí a zažitých postupů www kontroly, průvodky, dávkový sběr údajů, verzování VUT Brno, 20. - 21.11.2013 21

Pilíř III. stav k 29.10. definována množina předávaných údajů zpracovány připomínky od poskytovatelů realizována integrace xml schématu do kontrolní služby a úprava SW Vklap očekávaný sběr údajů: prosinec 2013 VUT Brno, 20. - 21.11.2013 22

Start Metodiky 19. 6. 2013 (5) červenec, srpen 2013 opravy údajů RIV - verifikace výsledků Komisemi září 2013 -shromáždění výsledků verifikací od Komisí -shromáždění oprav od poskytovatelů v rámci II. Etapy říjen a listopad 2013 -připomínkové řízení k předávaným údajům Pilíře III. VUT Brno, 20. - 21.11.2013 23

Start Metodiky 19. 6. 2013 (6) prosinec 2013 -sběr údajů o smluvním výzkumu -sběr údajů o investičních prostředcích projektů aplikovaného VaVaI leden 2014 - vyhodnocení veřejné zakázky na výpočty Hodnocení 2013 únor 2014 -konečné výpočty Hodnocení 2013 VUT Brno, 20. - 21.11.2013 24

Reálný harmonogram Hodnocení 2013 (1) Příloha č. 10 Metodiky schválena usnesením vlády ČR striktní legislativní předpisy v oblasti veřejných zakázek posun harmonogramu celý proces bude legislativně ošetřen VUT Brno, 20. - 21.11.2013 25

Reálný harmonogram Hodnocení 2014 a 2015 (2) Rok 2014 a 2015 již plně v souladu s Přílohou č. 10 schválené Metodiky VUT Brno, 20. - 21.11.2013 26

Výstupy Metodiky (1) Výstupem Pilířů jsou body; Metodika neobsahuje přímou vazbu na financování VO; Metodika neobsahuje přímou vazbu na přípravu návrhu státního rozpočtu v oblasti VaVaI; VUT Brno, 20. - 21.11.2013 27

K jednotlivým pilířům Výsledkem hodnocení bude kombinace bodů od všech 3 pilířů VUT Brno, 20. - 21.11.2013 28

Výstupy Metodiky (2) Protože cílem je průběžně podporovat excelenci VaV, Metodika umožňuje meziroční korekce některých parametrů. Uvažuje se např. o započítávání projektů NPU II. do Pilíře III. VUT Brno, 20. - 21.11.2013 29

Výstupy Metodiky (3) Počet publikací slide: prof. Málek, UP 1.1.1993 VUT Brno, 20. - 21.11.2013 30

Výstupy Metodiky (4) slide: prof. Málek, UP VUT Brno, 20. - 21.11.2013 31

Výstupy Metodiky (5) slide: prof. Málek, UP VUT Brno, 20. - 21.11.2013 32

(Ne) Dořešené rozpory (1) povinnost pro poskytovatele ze zákona ( 7, odst. 6), pokud nemá schválenu resortní metodiku - pevný a závazný převod finančních prostředků na VO dle získaných bodů v hodnocení; požadavek pevné a závazná fixace finančních prostředků na RVO předem známý mechanismus přípravy návrhu SR na VaVaI z důvodu možnosti predikce dopadů na jednotlivé VO do budoucnosti; poptávka pro bodování Jrec ve všech oborech (z důvodu podpory resortního výzkumu, podpory popularizace a transferu znalostí); VUT Brno, 20. - 21.11.2013 33

(Ne) Dořešené rozpory (2) snaha o navýšení bodových limitů pro určité obory (návrhy ale nebyly podpořeny analýzou); návrat k paušálním bodům za výsledky aplikovaného výzkumu; Kritika Pilíře III. ze strany AVO a SPD; VUT Brno, 20. - 21.11.2013 34

(Ne) Dořešené rozpory (3) Další postup po roce 2015; IPn projekt Metodika, poskytovatel MŠMT, model platný od roku 2016; VUT Brno, 20. - 21.11.2013 35

Závěrem (1) Metodika 2013 si nečiní nároky na definitivní systém hodnocení VaVaI; od začátku je koncipována jako řešení přechodného období; Nebyla žádoucí skoková změna systému financování VO; konečný způsob hodnocení VO má doporučit IPn Metodika; VUT Brno, 20. - 21.11.2013 36

Závěrem (2) Metodika je vhodná pro rozdělení institucionální podpory mezi poskytovatele; Už méně se hodí pro rozdělení podpory mezi VO v rámci jednotlivých poskytovatelů; Je zcela nevhodná pro hodnocení malých výzkumných skupin a jednotlivců. VUT Brno, 20. - 21.11.2013 37

Garanti jednotlivých pilířů (KHV) prof. Zdeněk Němeček, MFF UK - (Pilíř I. a Podpilíř I.) prof. Tomáš Opatrný, PřF UP -(Pilíř II.) prof. Josef Psutka, FAV ZČU - (Pilíř III.) Prof. Jiří Málek, UP - (svodně Metodika) Ing. Martin Matějka, sekretariát RVVI (svodně administrativa a vazba na IS VaVaI) VUT Brno, 20. - 21.11.2013 38

Závěr Děkuji za pozornost VUT Brno, 20. - 21.11.2013 39