Nový systém hodnocení výzkumných organizací D. Münich Nezávislý think tank při Národohospodářském ústavu AV ČR, v.v.i. zaměřující se na analýzu, vyhodnocování a vlastní návrhy veřejných politik Konference VšeVěd 2017 a 14. tradiční setkání správců OBD, Hradec Králové, 22. 23.3. 2017
Obsah prezentace Odkaz Metodiky 2013+ Data Informace Znalosti Efektivní řízení VaV + autonomní procesy dobře informovaných subjektů Nový systém hodnocení: vize vs. realita
Odkaz Metodiky 2013+
Komponenty institucionálního hodnocení Hodnocení výsledků a dopadů VaV Hodnocení výstupů a výkonnosti oborů vůči světu Hodnocení vstupů VaV a využívání infrastruktur VaV Institucionální hodnocení Hodnocení mezinárodníh o zapojení a pozice instituce Odstíny modré odlišují míru toho, jak o daném aspektu informuje stávajícím systém institucionálního hodnocení. Hodnocení rozvojového potenciálu a záměrů instituce Hodnocení řízení instituce 4
Odkaz Metodiky 2013+ Už Metodika 2010 byla provizorní Metodiky před 2013+ (extrémně problematické) Metodika 2013 schválena vládou P. Nečase dva dny po její demisi 19.června 2013 Subpilíř I (verifikace + klasifikace knih a kapitol) II. pilíř (peer-review hodnocení vybraných výsledků) III. Pilíř (Kč za smluvní výzkum) Metodika 2015-2016 (přebarvená M2013+) Hodnocení 2014: velmi zpožděné schválení Hodnocení 2015: schváleno nyní, ale plné chyb Hodnocení 2016:? Metodika 2017+:?
Odkaz Metodiky 2013+ Hodnocení výstupů. Nejde o institucionální hodnocení. Primární účel je rozdělení peněz a ne informačně a formativně podpořit řízení VO na všech úrovních. Data z Hodnocení Plná paušálně hodnocených výsledků Velký podíl pseudovědeckých výsledků Bez uživatelského rozhraní Proporce bodových (finančních) fixací oborových skupin Nezohledňují záměr a nemají smysl Špatné motivace se začínají projevovat Sborníky Sebecitační praktiky Vydávání ve vlastních časopisech a samizdaty knih Predátorské publikování
Náhodná fixace rozpočtů oborových skupin
Zvyšování IF
Zvyšování IF
Inflace konferenčních sborníků
Inflace konferenčních sborníků
Inflace konferenčních sborníků
Samizdat a nepřirozeně vysoký IF
Samizdat a nepřirozeně vysoký IF
Publikování ve vlastních místních časopisech a zvyšování IF
Publikování ve vlastních místních časopisech a zvyšování IF
http://hodnoceni15.rvvi.cz/www/
Hodnocení 2013
Data Informace Znalosti Efektivní řízení VaV + autonomní procesy dobře informovaných subjektů
http://idea.cerge-ei.cz/studie/publikacni-vykonnost-2/
Expanze predátorského publikování ve světě
Expanze predátorského publikování v ČR
Časopisy na beallových seznamech, které pronikly do Scopusu Připravujeme Pod pokličkou Beallových seznamů: Co bude dál? 2017 jejich citační ohlas ve formě SJR indexu autoři z kterých zemí v nich publikují sporná rozhodnutí Jeffreyho Bealla zařazení některých vydavatelství na seznam kolik z těchto časopisu mělo pozastaveno pokrytí ve Scopusu, kolik je jejich souběžně ve WoS jak se osvědčila přísnější pravidla pro indexaci openaccess časopisů v DOAJ. Revize některých výsledků předchozí studie IDEA (mezinárodní rozdíly, a to zejména s ohledem na Česko a Slovensko) Zamýšlení nad tím, co mohou různí aktéři udělat, aby se podařilo predátorské publikační praktiky vymýtit
Podíl žen vědecky působích ve VaV
Podíl žen vědecky působích ve VaV
Podíl žen vědecky působících ve VaV: Národní politika VaV 2016-2020
Podíl na publikačním výkonu
Podíl na publikačním výkonu: kvalita a trendy
Publikační výkon a a produktivita mužů a žen: všechny časopisy a horní polovina (WoS)
IDEA STUDIE A AKCE
Peer-review vs. bibliometrie
Nový systém hodnocení: vize vs. realita
Vize vs. realita MŠMT body slepě přebírá jako zásadní parametr pro alokaci Rozpočtu na RVO Normativů na vzdělávací činnost VŠ SVV Přebírání bodů výzkumnými organizacemi pro vnitřní řízení Nízká kultura hodnocení VaV, především na VŠ a resortních VO Alibismus, pohodlnost a neochota převzít zodpovědnost Nedůvěra v lidských faktor, vlastní a státní instituce Kvalitní a nekvalitní vědci a hodnocení Pláč nad náklady hodnocení (neefektivnost >>> náklady) Daňoví poplatníci plačte
Vize vs. realita
Vize vs. realita Metodika 2017+ Východiska: IPN Metodika + zkušenosti AV ČR Záměr a rámec, nikoliv prováděcí předpis Dlouhá řada nejasností Absentující veřejná komunikace Absentující pilotní ověřování Příprava prováděcích předpisů, hodnotitelů a logistiky Soustředění na přechodné období Překážky přípravy Organizačně-logisticko-informačně-technické zázemí Nevůle na straně reprezentace VVŠ a rozdílné zájmy Volební cyklus AV ČR své hodnocení má; resortní VO mají jiné potřeby Čas potřebný na přípravu 3 roky (hodnocení v roce 2022?) Do té doby nic nebo obdoba kafemlejnku Chybí hodnocení programů
IDEA STUDIE A AKCE Pokud si přejete dostávat do své e-mailové schránky informace o chystaných studiích a akcích, napište nám na: idea@cerge-ei.cz sledujte webové stránky IDEA http://idea.cerge-ei.cz nebo se k nám přidejte na facebooku https://www.facebook.com/ideacerge/
http://metodikahodnoceni.blogspot.cz/