Metodika hodnocení 2013

Transkript

1 Metodika hodnocení 2013 Ing. Martin Matějka sekretariát Rady pro výzkum, vývoj a inovace. VUT Brno,

2 Metodika 2013 schválena dne usnesením č. 475 platná pro roky 2013 až 2015 nová koncepce hodnocení výsledků VO VUT Brno,

3 Metodika 2013 Proč vůbec potřebujeme hodnotit výsledky VaVaI? VUT Brno,

4 Státní rozpočet na VaVaI V roce 2013 cca 26 mld. Kč VUT Brno,

5 Státní rozpočet na VaVaI V roce 2013 cca 13 mld. Kč VUT Brno,

6 Státní rozpočet na VaVaI V roce 2013 cca 13 mld. Kč VUT Brno,

7 Lze hodnotit vědu? Opravdovou vědu jen velmi obtížně hodnotné výsledky se často ztrácejí v balastu často nevyhovují zavedeným kategoriím kvalita lidí se obvykle pozná až začnou chybět rutina versus originalita Pokud však chceme alespoň trochu spravedlivě rozdělit finanční prostředky, tak hodnotit prostě musíme. VUT Brno,

8 Jak se hodnotí věda ve světě? Lesk a stíny světových žebříčků univerzit (US News &World Report, THES, Shanghai Jiao Tong) Lze podle těchto žebříčků financovat? Britský Research Assessment Excercise Lombardiho projekt měření univerzitní výkonnosti v USA (výdaje, ocenění, PhD, PostD, SAT) Nesrovnatelnost měřítek a zvyklostí VUT Brno,

9 Metoda v ČR - Metodika 2013 Metodika hodnocení výsledků VO (povinnost vyplývající ze zákona) Přípravu Metodiky a její předložení vládě ČR zabezpečuje RVVI ( 35, odst. 2, písm. c) RVVI následně provádí též hodnocení výsledků výzkumných organizací podle platné Metodiky ( 35, odst. 2, písm. d) RVVI následně promítá výsledky hodnocení do návrhu výdajů státního rozpočtu na výzkum a vývoj a to konkrétně do výše institucionální podpory na rozvoj VO dle 5a, 6 (odst. 2, písm. c) a 7 (odst. 6) VUT Brno,

10 Proč nová Metodika? (1) Současné Metodiky (první v roce 2004) splnily své poslání. Od roku 2004 jsou ročně publikována bodová hodnocení VO na základě RIV dle postupu definovaného v Metodice platné pro daný rok V letech probíhal v souladu se zákonem přechod ze systému výzkumných záměrů na systém podpory na RVO dle každoročního průběžného hodnocení na základě Metodiky (vždy za 5 let) VUT Brno,

11 Proč nová Metodika? (2) Rok 2012 byl již plně financován podle nového systému přidělování finančních prostředků na RVO na základě Metodiky 2012 Ta však byla terčem značné kritiky VUT Brno,

12 Proč nová Metodika? (3) Metodika 2012 byla oprávněně kritizována pro tyto nedostatky: nebyla oborová měla fixní vazbu na finanční prostředky paušálně hodnotila knihy problém s hodnocením měkkých výsledků aplikovaného VaVaI VUT Brno,

13 Principy Metodiky 2013 Metodika je založena na 3 přístupech (3 pilířích), kombinace peer review a SW algoritmu: Pilíř I. Pilíř II. Pilíř III. VUT Brno,

14 Metodika 2013 schválena dne usnesením č. 475 platná pro roky 2013 až 2015 nově zavádí: Pilíř I. hodnocení Jimp, Jsco Podpilíř I. peer review hodnocení knih, Jrec Pilíř II. peer review hodnocení kvality Pilíř III. hodnocení výsledků aplikovaného výzkumu VUT Brno,

15 Start Metodiky (1) Pilíř I. -spuštěna Etapa I. hodnocení publikačních výsledků vygenerovány Tab. č.1, č.2, č.2a předány poskytovatelům vygenerovány pracovní tabulky pro verifikace odbornými a poradními orgány Rady (tzv. Komise) předány komisím ke kontrole VUT Brno,

16 Pilíř I. a Podpilíř I. stav k Strojové verifikace druhu J proti databázím WoS, SCOPUS a ERIH kontrola druhu B a C komisemi české knihy kontrolovány v NK zahraniční knihy budou kontrolovány v roce 2014 kontrola druhu Jrec komisemi vyžádání podezřelých záznamů RIV kontrola druhu D neproběhne VUT Brno,

17 Start Metodiky (2) Pilíř II. (hodnocení kvality vybraných výsledků) -náběh až v roce příprava výzvy na nominace panelistů (jmenování v lednu 2014) -příprava VZ na technické zajištění činnosti panelů (od března 2014) VUT Brno,

18 Pilíř II. a Podpilíř I. stav k OVHP odborné verifikační a hodnotící panely - 7 oborových panelů - každý panel cca 10 odborníků Expertní panely - 11 oborových panelů - každý panel cca 10 odborníků celkem poptáváme cca 200 expertů - z toho cca 40 zahraničních VUT Brno,

19 Pilíř II. a Podpilíř I. stav k panely budou jednat na 2-3 denních zasedáních uvažuje se cca 3 zasedání do roka nutno zajistit administrativu a logistiku záměr najmout podpůrné subjekty na zajištění činnosti panelů VUT Brno,

20 Start Metodiky (3) Pilíř III. (hodnocení výsledků projektů aplikovaného VaVaI) - definování množiny předávaných údajů o nákladech projektů aplikovaného VaVaI - definování množiny předávaných údajů o smluvním výzkumu - definování xml schémat a kontrol - objednání podpůrného SW na bázi Vklap VUT Brno,

21 Start Metodiky (4) Pilíř III. údaje o smluvním výzkumu nejsou, nebudou a nemohou být součástí IS VaVaI (zákon 130/2002 Sb.) pro sběr a zpracování údajů bude využita technologie a platforma IS VaVaI efektivita a úspora neměnnost prostředí a zažitých postupů www kontroly, průvodky, dávkový sběr údajů, verzování VUT Brno,

22 Pilíř III. stav k definována množina předávaných údajů zpracovány připomínky od poskytovatelů realizována integrace xml schématu do kontrolní služby a úprava SW Vklap očekávaný sběr údajů: prosinec 2013 VUT Brno,

23 Start Metodiky (5) červenec, srpen 2013 opravy údajů RIV - verifikace výsledků Komisemi září shromáždění výsledků verifikací od Komisí -shromáždění oprav od poskytovatelů v rámci II. Etapy říjen a listopad připomínkové řízení k předávaným údajům Pilíře III. VUT Brno,

24 Start Metodiky (6) prosinec sběr údajů o smluvním výzkumu -sběr údajů o investičních prostředcích projektů aplikovaného VaVaI leden vyhodnocení veřejné zakázky na výpočty Hodnocení 2013 únor konečné výpočty Hodnocení 2013 VUT Brno,

25 Reálný harmonogram Hodnocení 2013 (1) Příloha č. 10 Metodiky schválena usnesením vlády ČR striktní legislativní předpisy v oblasti veřejných zakázek posun harmonogramu celý proces bude legislativně ošetřen VUT Brno,

26 Reálný harmonogram Hodnocení 2014 a 2015 (2) Rok 2014 a 2015 již plně v souladu s Přílohou č. 10 schválené Metodiky VUT Brno,

27 Výstupy Metodiky (1) Výstupem Pilířů jsou body; Metodika neobsahuje přímou vazbu na financování VO; Metodika neobsahuje přímou vazbu na přípravu návrhu státního rozpočtu v oblasti VaVaI; VUT Brno,

28 K jednotlivým pilířům Výsledkem hodnocení bude kombinace bodů od všech 3 pilířů VUT Brno,

29 Výstupy Metodiky (2) Protože cílem je průběžně podporovat excelenci VaV, Metodika umožňuje meziroční korekce některých parametrů. Uvažuje se např. o započítávání projektů NPU II. do Pilíře III. VUT Brno,

30 Výstupy Metodiky (3) Počet publikací slide: prof. Málek, UP VUT Brno,

31 Výstupy Metodiky (4) slide: prof. Málek, UP VUT Brno,

32 Výstupy Metodiky (5) slide: prof. Málek, UP VUT Brno,

33 (Ne) Dořešené rozpory (1) povinnost pro poskytovatele ze zákona ( 7, odst. 6), pokud nemá schválenu resortní metodiku - pevný a závazný převod finančních prostředků na VO dle získaných bodů v hodnocení; požadavek pevné a závazná fixace finančních prostředků na RVO předem známý mechanismus přípravy návrhu SR na VaVaI z důvodu možnosti predikce dopadů na jednotlivé VO do budoucnosti; poptávka pro bodování Jrec ve všech oborech (z důvodu podpory resortního výzkumu, podpory popularizace a transferu znalostí); VUT Brno,

34 (Ne) Dořešené rozpory (2) snaha o navýšení bodových limitů pro určité obory (návrhy ale nebyly podpořeny analýzou); návrat k paušálním bodům za výsledky aplikovaného výzkumu; Kritika Pilíře III. ze strany AVO a SPD; VUT Brno,

35 (Ne) Dořešené rozpory (3) Další postup po roce 2015; IPn projekt Metodika, poskytovatel MŠMT, model platný od roku 2016; VUT Brno,

36 Závěrem (1) Metodika 2013 si nečiní nároky na definitivní systém hodnocení VaVaI; od začátku je koncipována jako řešení přechodného období; Nebyla žádoucí skoková změna systému financování VO; konečný způsob hodnocení VO má doporučit IPn Metodika; VUT Brno,

37 Závěrem (2) Metodika je vhodná pro rozdělení institucionální podpory mezi poskytovatele; Už méně se hodí pro rozdělení podpory mezi VO v rámci jednotlivých poskytovatelů; Je zcela nevhodná pro hodnocení malých výzkumných skupin a jednotlivců. VUT Brno,

38 Garanti jednotlivých pilířů (KHV) prof. Zdeněk Němeček, MFF UK - (Pilíř I. a Podpilíř I.) prof. Tomáš Opatrný, PřF UP -(Pilíř II.) prof. Josef Psutka, FAV ZČU - (Pilíř III.) Prof. Jiří Málek, UP - (svodně Metodika) Ing. Martin Matějka, sekretariát RVVI (svodně administrativa a vazba na IS VaVaI) VUT Brno,

39 Závěr Děkuji za pozornost VUT Brno,