Nový systém hodnocení výzkumných organizací

Transkript

1 Nový systém hodnocení výzkumných organizací D. Münich Nezávislý think tank při Národohospodářském ústavu AV ČR, v.v.i. zaměřující se na analýzu, vyhodnocování a vlastní návrhy veřejných politik Konference VšeVěd 2017 a 14. tradiční setkání správců OBD, Hradec Králové,

2 Obsah prezentace Odkaz Metodiky Data Informace Znalosti Efektivní řízení VaV + autonomní procesy dobře informovaných subjektů Nový systém hodnocení: vize vs. realita

3 Odkaz Metodiky 2013+

4 Komponenty institucionálního hodnocení Hodnocení výsledků a dopadů VaV Hodnocení výstupů a výkonnosti oborů vůči světu Hodnocení vstupů VaV a využívání infrastruktur VaV Institucionální hodnocení Hodnocení mezinárodníh o zapojení a pozice instituce Odstíny modré odlišují míru toho, jak o daném aspektu informuje stávajícím systém institucionálního hodnocení. Hodnocení rozvojového potenciálu a záměrů instituce Hodnocení řízení instituce 4

5 Odkaz Metodiky Už Metodika 2010 byla provizorní Metodiky před (extrémně problematické) Metodika 2013 schválena vládou P. Nečase dva dny po její demisi 19.června 2013 Subpilíř I (verifikace + klasifikace knih a kapitol) II. pilíř (peer-review hodnocení vybraných výsledků) III. Pilíř (Kč za smluvní výzkum) Metodika (přebarvená M2013+) Hodnocení 2014: velmi zpožděné schválení Hodnocení 2015: schváleno nyní, ale plné chyb Hodnocení 2016:? Metodika 2017+:?

6 Odkaz Metodiky Hodnocení výstupů. Nejde o institucionální hodnocení. Primární účel je rozdělení peněz a ne informačně a formativně podpořit řízení VO na všech úrovních. Data z Hodnocení Plná paušálně hodnocených výsledků Velký podíl pseudovědeckých výsledků Bez uživatelského rozhraní Proporce bodových (finančních) fixací oborových skupin Nezohledňují záměr a nemají smysl Špatné motivace se začínají projevovat Sborníky Sebecitační praktiky Vydávání ve vlastních časopisech a samizdaty knih Predátorské publikování

7 Náhodná fixace rozpočtů oborových skupin

8 Zvyšování IF

9 Zvyšování IF

10 Inflace konferenčních sborníků

11 Inflace konferenčních sborníků

12 Inflace konferenčních sborníků

13 Samizdat a nepřirozeně vysoký IF

14 Samizdat a nepřirozeně vysoký IF

15 Publikování ve vlastních místních časopisech a zvyšování IF

16 Publikování ve vlastních místních časopisech a zvyšování IF

17

18 Hodnocení 2013

19 Data Informace Znalosti Efektivní řízení VaV + autonomní procesy dobře informovaných subjektů

20

21

22

23

24

25

26

27

28

29

30

31

32 Expanze predátorského publikování ve světě

33 Expanze predátorského publikování v ČR

34 Časopisy na beallových seznamech, které pronikly do Scopusu Připravujeme Pod pokličkou Beallových seznamů: Co bude dál? 2017 jejich citační ohlas ve formě SJR indexu autoři z kterých zemí v nich publikují sporná rozhodnutí Jeffreyho Bealla zařazení některých vydavatelství na seznam kolik z těchto časopisu mělo pozastaveno pokrytí ve Scopusu, kolik je jejich souběžně ve WoS jak se osvědčila přísnější pravidla pro indexaci openaccess časopisů v DOAJ. Revize některých výsledků předchozí studie IDEA (mezinárodní rozdíly, a to zejména s ohledem na Česko a Slovensko) Zamýšlení nad tím, co mohou různí aktéři udělat, aby se podařilo predátorské publikační praktiky vymýtit

35

36 Podíl žen vědecky působích ve VaV

37 Podíl žen vědecky působích ve VaV

38 Podíl žen vědecky působících ve VaV: Národní politika VaV

39 Podíl na publikačním výkonu

40 Podíl na publikačním výkonu: kvalita a trendy

41 Publikační výkon a a produktivita mužů a žen: všechny časopisy a horní polovina (WoS)

42 IDEA STUDIE A AKCE

43 Peer-review vs. bibliometrie

44 Nový systém hodnocení: vize vs. realita

45 Vize vs. realita MŠMT body slepě přebírá jako zásadní parametr pro alokaci Rozpočtu na RVO Normativů na vzdělávací činnost VŠ SVV Přebírání bodů výzkumnými organizacemi pro vnitřní řízení Nízká kultura hodnocení VaV, především na VŠ a resortních VO Alibismus, pohodlnost a neochota převzít zodpovědnost Nedůvěra v lidských faktor, vlastní a státní instituce Kvalitní a nekvalitní vědci a hodnocení Pláč nad náklady hodnocení (neefektivnost >>> náklady) Daňoví poplatníci plačte

46 Vize vs. realita

47 Vize vs. realita Metodika Východiska: IPN Metodika + zkušenosti AV ČR Záměr a rámec, nikoliv prováděcí předpis Dlouhá řada nejasností Absentující veřejná komunikace Absentující pilotní ověřování Příprava prováděcích předpisů, hodnotitelů a logistiky Soustředění na přechodné období Překážky přípravy Organizačně-logisticko-informačně-technické zázemí Nevůle na straně reprezentace VVŠ a rozdílné zájmy Volební cyklus AV ČR své hodnocení má; resortní VO mají jiné potřeby Čas potřebný na přípravu 3 roky (hodnocení v roce 2022?) Do té doby nic nebo obdoba kafemlejnku Chybí hodnocení programů

48 IDEA STUDIE A AKCE Pokud si přejete dostávat do své ové schránky informace o chystaných studiích a akcích, napište nám na: idea@cerge-ei.cz sledujte webové stránky IDEA nebo se k nám přidejte na facebooku

49

50