Některé aspekty hodnocení vědeckých výstupů aneb jak získat body pro Vaši instituci?



Podobné dokumenty
Některé aspekty hodnocení vědeckých výstupů aneb jak získat body pro Vaši instituci?

Práce mladého vědce aneb krátká přednáška o metodologii vědy v podmínkách České republiky. Tadeusz Sikora

Seminář pro vedoucí knihoven asviústavů AV ČR ASEP

Směrnice č. 55/2010 děkana Slezské univerzity v Opavě, Obchodně podnikatelské fakulty v Karviné

ZAŘAZENÍ PUBLIKACE DO

Metodika hodnocení výzkumu a vývoje v České Republice

Impaktované časopisy. Citační index

SOUČASNÉ TRENDY VE VĚDĚ A VÝZKUMU

Vnitřní normy Fakulty technologické Univerzity Tomáše Bati ve Zlíně

Směrnice děkana č. 1/2016 pro metodické hodnocení studentů doktorských studijních programů na ČVUT FD

NOVINKY V HODNOCENÍ VÝSLEDKŮ VaV SEMINÁŘ

Směrnice děkana č. 1/2012 Habilitační řízení a řízení ke jmenování profesorem na Fakultě sportovních studií MU (ve znění účinném od 1. 4.

pro účely rozpočtu 1/9

1. Děkan PřF UHK vyhlašuje soutěž na projekty specifického výzkumu pro rok 2013.

Hodnocení výsledků výzkumu, vývoje a inovací, jejich evidence a správa v. Jiří Stöhr

Informační zdroj pro evaluaci od bibliografické databáze k institucionálnímu repozitáři

Typy chybně zařazených výsledků do RIV a jejich vyřazení z Hodnocení 2013

Aktualizace projektu rozvoje vědy a výzkumu na FPH VŠE na rok 2016

Článek 1 Úvodní ustanovení

RIV aneb Člověče, publikuj!

Informační podpora, hodnocení vědy a výzkumu Institutu celoživotního vzdělávání

Ekonomické aspekty zpřístupňování vědeckých informací předplatné nebo individuální platba

Aktualizace projektu rozvoje vědy a výzkumu na FPH VŠE na rok 2017

Bude možné zvládnout proces zpracovávání vědeckých informací při jejich současném enormním nárůstu?

Pracovní seminář ASEP k hodnocení 2015

Vyhledávání a orientace ve vědeckých informacích z pohledu citační analýzy

Metodika hodnocení VaV, OBD - sběr dat RIV 2014

Závěrečná práce. Lucie Daňková. Indikátory v bibliometrických zprávách výzkumných jednotek v rámci pilotního ověření.

Věda a výzkum na FEL. KUSSEN 2015, Temešvár Pavel Strnad

PROČ PUBLIKOVAT. HODNOCENÍ VÝSLEDKŮ VaV, 2. část. Ing. Milena Šímová

Bilance prvních deseti let 21. století v oblasti vědeckých informací

Přebírání ohlasů z WoS a Scopus. Josef Klimeš

K otázce pokrytí publikační aktivity českých vysokých škol v bibliografických bázích dat

Etapy hodnocení výsledků výzkumných organizací a uplatnění připomínek a způsob vypořádání připomínek

Zpráva o řešení projektu VZ , 2011

NEJČASTĚJI KLADENÉ OTÁZKY K VYKAZOVÁNÍ DO RIV:

C. Analýza údajů informačního systému výzkumu a vývoje (IS VaV)

Zásady hodnocení publikační činnosti za rok 2011 Schváleno akademickým senátem FIS dne Preambule:

Doktorské studium oboru Fyzická geografie a geoekologie

Kriteria hodnocení VVČ na FEL 1

Nový model finančních spoluúčastí VŠ v projektu NTK (Elsevier, Springer, Wiley) Asociace knihoven vysokých škol

Prezentace výsledků výzkumu

I. kategorie Publikace (Týká se drtivé většiny publikačních výstupů na FFÚ VŠE v Praze)

Metodika hodnocení výsledků výzkumných organizací a její aplikování v roce 2013 a 2014

Název prezentace Michal Krátký

PRÁVNICKÁ FAKULTA Impakt faktor a informace k předávání údajů do RIV

Nástroje pro správu bibliografických citací

Vložení identifikátorů DOI, UT WOS, UT SCOPUS a PubMed ID do záznamu

OPATŘENÍ DĚKANA EF č. 102/2016 Řád habilitačního řízení Ekonomické fakulty Jihočeské univerzity v Českých Budějovicích

Rozhodnutí rektora č. 18/2016

Dotazy II. část: 1 / 6

Příkaz děkanky FF UJEP Ústí nad Labem č. 19/2010

SMĚRNICE DĚKANA Č. 1/2017

Co nového ve výměně publikací. Jarmila Kučerová Knihovna Národního muzea

Kvantifikovaná kriteria pro habilitační řízení a řízení ke jmenování profesorem na FEM

- otevřený přístup k výsledkům vědy. Mgr. Zdeňka Firstová a Mgr. Anna Vyčítalová Univerzitní knihovna ZČU v Plzni

Název prezentace Michal Krátký

Otevřený přístup (Open Access) v Akademii věd ČR

Desatero kontroly záznamů před uložením do ASEP

Dopad na vykazování bodů v RIV

IS VaVaI - zkušenosti při řešení chyb předávaných údajů o výsledcích výzkumu, experimentálního vývoje a inovacích

Rámcová hlediska hodnocení pro řízení ke jmenování profesorem. na UK v Praze, Farmaceutické fakultě v Hradci Králové platná od 1.

Ústřední knihovna VŠB-TU Ostrava Zpráva o činnosti za rok 2016

Česká a slovenská knihovnická periodika. Mgr. Renáta Salátová

Ústřední knihovna ČVUT. Mgr. Lenka Němečková PhDr. Marta Machytková Mgr. Věra Pilecká Mgr. Ilona Trtíková

Rejstřík informací o výsledcích (RIV) Lenka Kretschmerová

Doktorské studium na FPH VŠE. Martin Lukeš proděkan pro vědu, výzkum a doktorské studium

Ústřední knihovna VŠB-TU Ostrava Zpráva o činnosti za rok 2009

Směrnice děkana č. 8/2008. Hodnocení práce studentů doktorských studijních programů na LDF MZLU v Brně

Metodický pokyn ke kvantifikaci pracovních činností akademických pracovníků FTK UP Olomouc

Hodnocení: postavení v systému VaVaI. Jitka Moravcová

Interní směrnice pro publikování vědeckých výsledků výzkumnými pracovníky SLÚ AV ČR, v. v. i.

Inovace bakalářského studijního oboru Aplikovaná chemie

Výsledný materiál komise, projednán GVP, verze 3.1. Předkládáno VR FEL ke schválení Kriteria hodnocení VVČ na FEL 1

Elektronické informační zdroje na MENDELU pro oblast práva

v kruhu. Proto je nutné si předem ujasnit, jakého druhu je námi požadovaná

XLIII. zasedání Akademického sněmu Akademie věd České republiky. Praha 12. prosince Bod programu: 3

UNIVERZITA PARDUBICE

1. Děkan PřF UHK vyhlašuje soutěž na projekty specifického výzkumu pro rok 2018.

Nový systém hodnocení výzkumných organizací

Změny v kategoriích Web of Knowledge (JCR) v letech a úloha kategorií v současném hodnocení výsledků VaV

Web of Science. Přednáška kurzu informační a databázové systémy v rostlinolékařství

RÁMCOVÁ KRITÉRIA PRO HABILITAČNÍ ŘÍZENÍ

RIV vykazování a šíření informací o výsledcích výzkumu. doc. Ing. Josef ŠTĚTINA, Ph.D.

SCIENTOMETRIE: HODNOCENÍ VĚDY

Novinky v ASEPu a zkušenosti s vkládáním plných textů

Ústřední knihovna VŠB-TU Ostrava Zpráva o činnosti za rok 2015

Příkaz děkanky FF UJEP Ústí nad Labem č. 37/2017

Úvod do studia a života na vysoké škole - vysoká škola, věda, hodnocení a financování. Informace pro nové studenty Přírodovědecké fakulty JU

OPATŘENÍ DĚKANA č. 4/2013 k tvorbě publikací a evidenci výsledků vědy, výzkumu, inovací a další tvůrčí činnosti. Čl.

Problematiky vykazování a výkaznictví

Chemická informatika. terciální. výzkumné zprávy, patenty, normy, firemní a šedá literaura.

Bibliometrie v praxi. Lucie Boudová

ZÁVĚRY z 6. jednání konaného dne ve VÚVeL

SEZNAM GRAFŮ A INVESTICE DO VĚDY A VZDĚLÁVÁNÍ

Opatření děkana PřF JU č. D 79 ze dne 1. června 2017

Hodnocení kvality vědecké činnosti v odborných publikacích

Zásady hodnocení publikační činnosti FIS Preambule: Způsob rozdělování prostředků a zásady hodnocení:

Metodika hodnocení výsledků výzkumných organizací a hodnocení výsledků ukončených programů (platná pro léta 2013 až 2015)

Transkript:

Některé aspekty hodnocení vědeckých výstupů aneb jak získat body pro Vaši instituci? Jaroslav Šilhánek Vysoká škola chemicko-technologická v Praze silhanek@vscht.cz

Axiomy: Systém bodového hodnocení nikdo nemá rád! Naprostá většina vědců se shoduje na tom, že hodnotit úroveň vědecké práce počtem bodů principiálně nelze! Ale finanční prostředky na vědeckou činnost jsou přidělovány v konkrétní číselné výši!

Motto: místo donquijotského boje proti systému evaluace a hodnocení RIV je rozumnější se snažit získat maximální hodnocení v rámci daných pravidel a možností» Při zachování přiměřené míry sebeúcty

RIV = Rejstřík informací o výsledcích 13 základních druhů výsledků 21 detailnějších kategorií výsledků Přiřazováno k VO = vědecká organizace Pro vysoké školy je jednotkou fakulta Výsledek VO je součtem výsledků jednotlivých vědců Za každý výsledek odpovídá garant výsledku

Ilustrativní váha jednotlivých druhů výsledků na příkladu jedné fakulty Druh výsledku Přibližný podíl Články v impaktovaných časopisech ~ 86 % dtto neimpaktované časopisy (Scopus) ~ 3 % dtto Seznam neimpaktovaných časopisů ~1,4 % Sborníky ~1,6 % Patenty ~ 1 % Celkem 93 %

Proč je časopis s IF vysoko hodnocen? Počet zpracovávaných titulů Web of Science Scopus ~ 8.000 ~ 19.500 Soubor titulů ve Web of Science představuje výběr z množiny vědeckých periodik založený na určitém kriteriu jeho vědecké hodnoty. Principiálně není důvod vytvořit výběr na jiném kriteriu vědecké hodnoty, ale zatím to nikdo nevytvořil.

Proč je rozsah bodového hodnocení impaktovaných časopisů tak veliký? Výsledné bodové hodnocení je vypočítáno ze vzorce zohledňující pořadí daného titulu v souboru titulů daného vědního oboru seřazené podle IF. Bodový výsledek je dále korigován renormalizací zohledňující poměr mezi základním a aplikovaným výzkumem, poměr mezi skupinami oborů a redukován neopodstatněný nárůst některého typu výsledků. Výsledný počet bodů je proporcionálně rozdělen podle podílu jednotlivých účastníků (pracovníků dané VO). Především poslední krok velmi výrazně ovlivňuje výsledků bodový zisk.

Ilustrativní ukázka možných rozsahů bodového ohodnocení na náhodně vybraných příkladech: Počet bodů pro daný článek vypočtený dle příslušného vzorce Přepočtený výsledný počet bodu vztažený na pracoviště autorů 17,974 17,974 69,482 34,741 98,451 64,976 207,752 207,752 45,877 3,823 89,286 13,393 127,218 18,174 377,614 335,657 15,874 3,968

Zásadní rozpor! Bodové hodnocení podle metodiky RIV primárně slouží k rozdělení finanční dotace pro danou instituci (VO). Cílovou nastavitelnou veličinou je finanční hodnota bodu Redukce výsledných bodů podle pracoviště je pak zcela korektní. Osobní hodnocení autora jako vědce je dáno prostou existencí dané publikace v respektovaném zdroji, případně ovlivněné počtem spoluautorů nebo pořadím. Tento rozpor může vést k účelovému rozhodování mezi spoluprací na širší nebo naopak užší bázi.

Jaké jsou šance dosáhnout zařazení časopisu do souboru Web of Science? V současné době je ve WoS zařazeno 32 časopisů z České republiky. Rozsah IP byl v r.2010 v rozsahu 2,782-0,265. 10 titulů má IP větší než 1,00, což je cca 1/3. 1/3 časopisů z ČR je tedy v prvních 40 % všech titulů zařazených do WoS. Většina těchto časopisů není vydávána na komerční bázi profesionálním vydavatelstvím. V tomto ohledu se ale situace částečně mění.

Počet časopisů ve WoS Nárůst počtu časopisů z ČR Počet titulů 35 30 25 20 15 10 5 0 2005 2006 2007 2008 2009 2010 Rok

Kdo vydává v ČR vědecké časopisy zařazené do WoS? Česká akademie zemědělských věd 6 titulů z celkem 11 vydávaných Akademie věd ČR jednotlivé ústavy 7 Vysoké školy jednotlivé fakulty 6 Vědecké společnosti 6 Státní ústavy 1 Springer Verlag, Wiley dříve AV ČR 6

Jaké nové časopisy se dostaly do WoS? Akademie věd ČR 3 Česká akademie zemědělských věd 3 Vysoké školy 2 Vědecké společnosti 3 Státní ústavy 1 Mezi léty 2009 a 2010 tři tituly byly vypuštěny a 3 byly doplněny - zařazení stále podléhá změnám!!!

Některé závěry: Úspěšné vědecké časopisy lze vydávat i na úrovni relativně malých, ale oborově vyhraněných institucích (fakulty, katedry). Impakt faktor je relace mezi počtem otištěných a citovaných prací z daného periodika. JCR uvádí i tzv. Self Cites, neboli počty citací na daný titul, pro výpočet IF jsou ale zahrnovány. Kritici upozorňují na skutečnost, že někteří vydavatelé požadují, aby zaslaná práce obsahovala také (povinně) odkazy na časopis, kam je práce zasílána neboli ovlivňovala výsledný IF. Objem Self Cites je velmi proměnlivý, cca 20 80%, žádné závěry ale nelze vyvozovat. V každém případě je vydávání vědeckého periodika náročná činnost vyžadující jak profesionalitu, tak i vysoké pracovní nasazení!!!

Sborníky vědeckých konferencí V současné metodice RIV jsou hodnoceny relativně málo významně, nicméně jedná se o běžnou formu prezentace výstupů vědecké činnosti. Metodika RIV požaduje zařazení do WoS jako Proceeding Paper. Sborníky konferencí jsou celkem běžně publikovány jako běžné nebo zvláštní číslo existujícího vědeckého časopisu, který např. vydává stejná vědecká společnost, která pořádá konferenci. Do Web of Science se pak daná přednáška dostává jako dokument konference, ale současně jako vědecký článek v impaktovaném časopise.

Ilustrace:

Důsledky: Převážná většina náhodně vybraných případů je zařazena v RIV jako impaktované články, tedy nikoliv jako Proceedings Díky tomu tak přednáška může získat výrazně vyšší ohodnocení. Např. místo 8 bodů za článek ve sborníku, získá jako článek ve zvláštním čísle periodika 62,503 bodů, nebo dokonce 335,657 bodů pokud je autor(-ři) z jednoho pracoviště. Vydávat přednášky z konferencí v běžném nebo zvláštním čísle periodika je dlouhodobě relativně běžná praxe. Kromě evidentní výhody v podobě zisku bodů a výhod ekonomických, má ale i nevýhody, typicky snížení IF, protože i přes otištění ve standardním časopise, citovanost bývá nižší.

Další možnosti vydávání sborníků konferencí: Zájem vydávat sborníky konferencí vyvolává logicky nabídky na komerční bázi. V současné době lze najít řadu organizací nabízejících vydání konferenčních materiálů s celým rozsahem dalších služeb. Nejatraktivnější jsou nabídky na zajištění zařazení do bibliografických bází dat, nejlépe Web of Science nebo Scopus. K nejzajímavějším patří nová forma vydávání konferenčních materiálů nakladatelsví Elsevier Procedia.

Co jsou Procedia? What is Procedia Chemistry? Launched in January 2009, Procedia Chemistry is an e-only product focusing entirely on publishing high quality conference proceedings. Procedia Chemistry enables fast dissemination so conference delegates can publish their papers in a dedicated online issue on ScienceDirect, which is then made freely available worldwide. Tato služba je už využívána některými konferencemi v ČR, např. konference CHISA od r. 2012. Lze očekávat zařazení do báze Scopus, zatím nejsou zkušenosti se slibovaným zařazením do báze Web of Science. Ovšem vydání konferenčních materiálů formou Procedia je hrazená služba s nemalým celkovým poplatkem.

poznámka k patentům Zdaleka nejrozšířenější forma patentového dokumentu v bázích dat je Patentová přihláška, která je dnes zveřejněna po 18 měsících od podání. Z hlediska vědeckého sdělení se jedná v každém případě o nerecenzovaný dokument!!! Patent může být udělen až za dalších 18 měsíců, ale je to stále nerecenzovaný dokument!!! Bodové hodnocení přináší jen udělené patenty EU, US a patenty JP, důvod je zřejmě v náročnosti patentového řízení a vysokých nákladech. Udělené české patenty jen v případě, že jsou využívány na základě licenční smlouvy, jinak je bodové ohodnocení relativně nízké.

Některé závěry: Přes velkou a většinou oprávněnou kritiku bude systém RIV nepochybně pokračovat a kritické námitky postupně řešeny. Nejproblematičtějším aspektem je rovnostářské hodnocení podílu jednotlivých autorů a v důsledku pak jejich institucí. V každém případě je stále možné prosadit vědecký časopis mezi časopisy impaktované, znamená to ale náročnou, systematickou a důslednou ediční politiku. Relativně nejotevřenější oblastí jsou konferenční materiály, kde lze očekávat další vývoj. Je ale nutné si uvědomit, že nabídka publikačních možností a konkurence titulů je a bude stále větší

Děkuji za pozornost