PŘÍRODOVĚDECKÁ FAKULTA

UNIVERZITA PALACKÉHO V OLOMOUCI PŘÍRODOVĚDECKÁ FAKULTA KATEDRA MATEMATICKÉ ANALÝZY A APLIKACÍ MATEMATIKY BAKALÁŘSKÁ PRÁCE Analýza modelu hodnocení výsledků výzkumu a vývoje Vedoucí bakalářské práce: doc. RNDr. Jana Talašová, CSc. Rok odevzdání: 2013 Vypracoval: Jiří Beran ME, III. ročník

Prohlášení Prohlašuji, že jsem bakalářskou práci vytvořil samostatně pod vedením paní doc. RNDr. Jany Talašové, CSc. a uvedl jsem všechny zdroje použité literatury. Ve Štítech, dne 25. 4. 2013 Podpis

Poděkování Rád bych poděkoval vedoucí bakalářské práce paní doc. RNDr. Janě Talašové, CSc. za spolupráci, čas a cenné připomínky, které mi věnovala při konzultacích. Rovněž bych chtěl poděkovat panu Mgr. et Mgr. Janu Stoklasovi za pomoc a čas strávený při konzultacích. V neposlední řadě bych chtěl poděkovat své rodině a přátelům za stálou podporu během studia a za důvěru, kterou ve mne vložili.

Obsah Úvod... 5 1 Metodika hodnocení výsledků VaVaI... 7 1.1 O metodice hodnocení a jejím předpokládaném dalším vývoji... 7 1.2 Procedura hodnocení dle Metodiky 2012... 11 2 Klasifikace výsledků výzkumu... 13 2.1 Výsledky s bodovým hodnocením... 13 2.1.1 Přehled bodovaných výsledků... 13 2.1.2 Výsledek typu J imp článek v impaktovaném časopise... 16 2.2 Proces renormalizace... 27 2.2.1 Přepočet bodů na korigované body... 27 2.2.2 Výpočet finanční hodnoty korigovaného bodu... 31 2.3 Časový vývoj produkce bodovaných výsledků VaVaI... 32 3 Návrh alternativních modelů pro hodnocení článků... 34 3.1 Matematický aparát... 35 3.1.1 Metoda párového srovnávání... 35 3.1.2 Saatyho Analyticko hierarchický proces (AHP)... 36 3.2 Návrh modelu hodnocení výsledků typu J... 41 Závěr... 53 Literatura... 55

Rejstřík použitých zkratek AV ČR ČR ESF IPN Akademie věd České republiky Česká republika Evropský sociální fond Individuální projekt národní IPN Audit VaVaI Mezinárodní audit výzkumu, vývoje a inovací v ČR a implementace jeho výsledků do strategických dokumentů IPN Metodika IS VaVaI JCR Kč Metodika 2012 MŠMT OECD RIV RVVI VaVaI VŠ WoS WoK Efektivní systém hodnocení a financování výzkumu, vývoje a inovací Informační systém výzkumu, experimentálního vývoje a inovací Journal Citation Report Koruna česká Metodika hodnocení výsledků výzkumu a ukončených programů (platná pro léta 2010 a 2011 a rok 2012) Ministerstvo školství, mládeže a tělovýchovy Organizace pro hospodářskou spolupráci a rozvoj Rejstřík informací o výsledcích Rada pro výzkum, vývoj a inovace Výzkum, experimentální vývoj a inovace Vysoké školy Web of Science Web of Knowledge

Úvod Tématem této kvalifikační práce je Analýza modelu hodnocení výsledků výzkumu a vývoje. Vždy jsem byl fascinován aplikací matematiky při řešení reálných problémů v praxi, což byla hlavní příčina výběru daného tématu. Díky této práci jsem získal příležitost seznámit se obecně s problematikou vědy, výzkumu a inovací (dále VaVaI), především pak s Metodikou hodnocení výsledků výzkumných organizací a hodnocení výsledků ukončených programů (platnou pro léta 2010, 2011 a 2012) (dále Metodika 2012) [12] a souvisejícím způsobem financování VaVaI v ČR. Z toho důvodu mi přišlo téma velmi atraktivní, ačkoliv jsem o něm v okamžiku, kdy jsem se pro toto téma bakalářské práce rozhodoval, nevěděl de facto nic. Práce je tematicky členěna na 3 kapitoly. Cílem první kapitoly je čtenáři stručně poskytnou základní informace o systému hodnocení VaVaI v ČR a budoucím předpokládaném vývoji a vysvětlit proceduru hodnocení dle Metodiky 2012. Cílem druhé kapitoly je analyzovat bodové ohodnocení jednotlivých výsledků dle Metodiky 2012 s využitím konkrétních příkladů a návodů. Důraz zde je položen na analýzu hodnocení výsledku typu J imp článek v impaktovaném časopise. Výsledky této analýzy ukazující na určité nedokonalosti aktuálně používaného modelu hodnocení se staly motivací pro návrh alternativních modelů hodnocení článků, které jsou předmětem třetí kapitoly. Výzkum, vývoj a inovace patří mezi nejdůležitější odvětví ekonomik vyspělých zemí. VaVaI je zdrojem nových poznatků, jejichž správnou implementací do praxe roste úroveň a kvalita života. Aktuální motto zní: Věda dělá z peněz znalosti, inovace dělají ze znalostí peníze. Aby motto platilo, je nesmírně důležité nastavit optimální mechanismus hodnocení tak, aby se VaVaI rozvíjelo co nejefektivnějším způsobem, především pak díky optimální alokaci finančních prostředků. Věda a výzkum se v posledních letech dynamicky vyvíjí, a proto je její politika předmětem cílených reforem. Poslední reforma z roku 2008 zavedla pro následující nový systém hodnocení, který se ihned setkal s řadou ostrých kritik vědeckých pracovníků. Metodika 2009 zavedla systém kvantifikace výsledků, tj. každému výsledku se přiřadí bodová hodnota. Takovýto systém si brzy získal přezdívku kafemlejnek. Metodika se v průběhu let na základě získávaných zkušeností vyvíjela. Významný vliv na vývoj metodiky hodnocení měly závěry IPN Audit VaVaI, který doporučil od takového systému 5

hodnocení ihned odstoupit. Aktuálně se tedy pracuje na novém systému hodnocení s využitím multioborových metodik, které budou v nadcházejících letech zavedeny. 6

1 Metodika hodnocení výsledků VaVaI Jeden z největších problémů poslední doby z oblasti řízení VaVaI je najít vhodný způsob hodnocení a s ním související způsob financování VaVaI. Metodika hodnocení výsledků výzkumných organizací a hodnocení ukončených programů platná pro léta 2010, 2011 a 2012 rozdělila akademickou obec na 2 části, a to její příznivce a odpůrce. 1.1 O metodice hodnocení a jejím předpokládaném dalším vývoji Cílem této kapitoly je poskytnout čtenáři úvod do problematiky hodnocení VaVaI. Hodnocení vědy a výzkumu je nesmírně složité a vytvořit dokonalou metodiku hodnocení je prakticky nemožné. V roce 2009 u nás zavedla výše zmíněná Metodika 2009, která zavedla nový systém hodnocení výsledků výzkumu a vývoje známy jako kafemlejnek. Jedná se o systém, který přesně definovaným výsledkům VaVaI přiřazuje stanovené počty bodů vyjadřující jejich významnost. Na základě celkového počtu bodů jsou pak výzkumným organizacím rozdělovány finanční prostředky ze státního rozpočtu. Každá instituce, zabývající se VaVaI a přijímající podporu z veřejných prostředků, musí své výsledky vkládat do Rejstříku informací o výsledcích (dále RIV), jedné z databází Informačního systému výzkumu, experimentálního vývoje a inovací (IS VaVaI). Zde je pak možné vyhledávat konkrétní informace o konkrétních výsledcích. Z dat vložených jednotlivými výzkumnými organizacemi (např. VŠ) se sestavují roční bilance produkce výsledků těchto institucí (viz [8], [9], [10]). Výsledky dosažené institucí v průběhu několika let (5) jsou pak použity jako ukazatel pro rozdělování finanční podpory na VaVaI v následujícím období. Tento systém byl zaveden na základně reformy z r. 2008, kde cílem vlády bylo financovat výzkumné organizace (VO) na základě dosažených výsledků. Jestliže mají VO dostávat institucionální podporu z veřejných prostředků, musí produkovat výsledky. S tímto tvrzení nelze než souhlasit. Vznikla však otázka, jak a na základě čeho by měly být VO hodnoceny. Kafemlejnek přinesl některá negativa, ale i pozitiva. Původní přínosná myšlenka zavést systém, kde budou výrazně zhodnoceny velmi kvalitní výsledky a kde málo významné výsledky budou zhodnoceny minimálně, začala přinášet 7

problémy v okamžiku, kdy se významná část institucionální podpory na VaVaI začala rozdělovat přímo úměrně počtu vyprodukovaných bodů, a tedy prakticky se zaměřila čistě na počítání výstupů, tedy odrážela pouze realizovanou minulost. Institucionální financování 1 VaVaI tak zanedbávalo další klíčové faktory jako plánovaný budoucí rozvoj materiální výzkumné základny nebo rozvoj lidských zdrojů, ale zejména za nimi stojící existující koncepce rozvoje výzkumu. Hodnotit pomocí stejného modelu 2 výstupy různých oborů také není dobrým řešením. Do budoucna se plánuje zavedení multioborových metodik hodnocení. Metodika 2012 totiž zvýhodňuje přírodní obory (chemie, biologie) oproti oborům humanitním, je nastavena na jejich typ výstupů, především pak na jejich publikační zvyklosti. Rovněž se ukázalo, že v takto nastaveném systému lze poměrně snadno nahradit kvalitu kvantitou. Tedy původně dobrá myšlenka najít objektivní nástroj pro hodnocení produkce se pro některé VO stala počátkem závodu o body za účelem maximalizace příjmů z veřejných prostředků. Metodika ovšem nepřinesla jen negativa. Takto nastavený systém hodnocení poskytl příležitost některým VO rozvinout svůj potenciál díky motivaci v podobě finančního ohodnocení jejich výsledků. Některá pracoviště, především pak ta univerzitní, doslova expandovala (např. UPOL jen v r. 2012 zvýšila produkci 3 výsledků s bodovým hodnocením oproti předchozímu roku o více jak 30%). Dalším přínosem kafemlejnku je transparentnost. V systému, kde každý vyprodukovaný výsledek VaVaI získává body a kde se za body získávají peníze, je minimálně riziko korupce či lobismu. V době sílící kritiky kafemlejnku připravilo MŠMT jako jeden z velkých tzv. Individuálních projektů národních (IPN) Operačního programu Vzdělávání pro konkurenceschopnost (OP VK) financovaného z Evropského sociálního fondu (ESF) a státního rozpočtu ČR unikátní projekt Mezinárodní audit výzkumu vývoje a inovací (Audit VaVaI 4, 2010-2011). Cílem tohoto projektu bylo provést vnější nezávislé hodnocení systému VaVaI, analyzovat jeho aktuální stav, odhalit slabiny a nastínit možný směr dalšího vývoje, a mimo jiné navrhnout doporučení ke zlepšení systému hodnocení. Audit měl být proveden 1 O institucionálním financování VaVaI v ČR podrobně viz [21]. 2 Proces hodnocení podrobně rozebrán v 2. kapitole. 3 Lze dohledat v Tabulce č. 6 v [9] a [10]. 4 Vše o Auditu VaVaI viz [20]. 8

autoritativním a nezpochybnitelným pohledem zahraničních expertů formou veřejné zakázky. Výběrové řízení vyhrálo zahraniční konsorcium šesti renomovaných institucí pod vedením Technopolis Group. Audit přinesl řadu zásadních závěrů a doporučení. Retrospektivní kafemlejnek má být nahrazen systémem výkonnostních smluv obsahující jak složku retrospektivní, tak perspektivní. Tento nový systém se má skládat z multioborových metodik a k hodnocení výsledků v rámci jednotlivých oborů mají být přizváni zahraniční renomovaní specialisté. Na toto doporučení navázalo MŠMT dalším IPN projektem Efektivní systém hodnocení a financování výzkumu, vývoje a inovací (IPN Metodika) s náklady více jak 110 mil. Kč, který si klade za cíl vytvořit nový systém hodnocení VaVaI zaměřený na: 1. Zvýšení efektivity financování VaVaI, 2. podpoření excelence, 3. vytvoření atraktivního prostředí pro mladé začínající vědce, 4. zvýšení kvality VaVaI v mezinárodním kontextu. Projekt IPN Metodika rovněž reflektuje strategický dokument Dlouhodobé principy hodnocení výsledků VO (viz [6]) schválený dne 25. března 2011 Radou pro výzkum, vývoj a inovace (RVVI), nejvyšším poradním orgánem vlády ČR ve věcech politiky VaVaI. Předpokládá se zřízení jediné instituce, která bude za hodnocení výsledků zodpovědná, dohled nad ní má vykonávat vláda ČR prostřednictvím RVVI a jejich poradních orgánů. Hodnocení VaVaI pak bude každoročně financováno X % institucionální podpory. Tato hodnotící instituce pak bude transparentně verifikovat výsledky předkládané jednotlivými výzkumnými institucemi k hodnocení. Výstupem projektu IPN Metodika má být tzv. velká metodika, než však bude vytvořena, má se k hodnocení prozatímně používat malá metodika. Malá metodika bude sloužit k hodnocení v přechodné době mezi Metodikou 2012 a velkou metodikou. Má se jednat o zdokonalenou verzi Metodiky 2012, která se však bude lišit především zrušením přímé vazby mezi institucionální podporou a množstvím vyprodukovaných bodů. Významnou složkou má být zavedení hodnocení excelence. Zachována by měla být procedura hodnocení (viz podkapitola 1.2), tj. hodnocení výsledků až 5-let zpětně uplatněných, zařazených v RIV, splňující definice dle [12]. 9

Velká metodika má reflektovat výsledky projektu IPN Metodika. Má se jednat o systém multioborových metodik. Oborové dělení bude vycházet z dokumentu Frascati Manual 2002 [4], jehož autorem je OECD. Předpokládaný rok zavedení je 2016. Do té doby se musí velká metodika vytvořit, pilotně ověřit a schválit vládou ČR. Hodnocení zde nebude probíhat každoročně, nýbrž jednou za cca 5 6 let. Účelem tohoto hodnocení bude vytvoření opory pro redistribuci institucionální podpory a vypracování informace o výkonosti výzkumných organizací. V rámci velké metodiky se dále předpokládá zavedení tzv. peerreview hodnocení. Jedná se o hodnocení prostřednictvím odborných komisí, které jsou tvořeny renomovanými specialisty z oboru. Tyto odborné komise jsou nazývány panely, jim podřízené odborné komise sub-panely. Předpokládá se 5 10 odborných panelů, sub-panelů pak cca 30 40. Minimálně 50% hodnotitelů v panelech a sub-panelech musí být ze zahraničí a musí se jednat o prokazatelně špičkové experty z příslušného oboru. Zbytek bude tvořen domácími hodnotiteli tak, aby se rovněž jednalo o špičkové odborníky z oboru a aby byl vyloučen střet zájmů. Hodnocení formou peer-review bude podléhat přísným pravidlům. Hodnocení sub-panely v rámci jednotlivých oborů bude probíhat podle oborově specifických metodik, které by měly do jisté míry reflektovat zvyklosti daného oboru. Výsledky nepublikačního charakteru budou primárně hodnoceny podle finančních a nefinančních přínosů, popřípadě podle finančních nákladů spotřebovaných při tvorbě. Velká metodika se bude skládat ze tří dimenzí: 1. dimenze zaměřená na zhodnocení výsledků 2. dimenze zaměřená na společenský dopad výzkumu 3. dimenze zaměřená na předpoklady dalšího rozvoje Multidimenzionální členění má zohledňovat různorodost výzkumných organizací (typ, zaměření, velikost). Největší důraz při hodnocení bude kladen na 1. dimenzi. Takto nastavený systém má v mezinárodním kontextu nejblíže k britským systémům hodnocení výsledků výzkumu a vývoje REF a RAE. Z dokumentu Dlouhodobé principy hodnocení výsledků VO [6] a z Auditu VaVaI [20] vychází dokument Návrh implementace závěrů a doporučení Mezinárodního auditu do 10

Metodiky hodnocení výsledku VaV [2]. Tyto dokumenty obsahují daleko podrobnější popis problematiky budoucího vývoje hodnocení VaVaI v ČR. 1.2 Procedura hodnocení dle Metodiky 2012 Cílem této kapitoly je popsat proceduru, která je nezbytnou součástí hodnocení výsledků VaVaI v roce 2012. Následující kapitola vychází z [12]. Metodika 2012 je založena na několika zásadách. Neprovádí se hodnocení efektivnosti instituce jak tomu bývalo dříve, dále jsou hodnoceny pouze ty VO, které jsou nebo mohou být příjemci institucionální podpory dle norem stanovených RVVI. Každý výsledek, jenž má být součástí hodnocení, musí splňovat platné definice (viz [12, Příloha č. 2]) a současně být zaznamenán v RIV. VO mohou do hodnocení vložit výsledky uplatněné 5 až 5 let zpětně, avšak každý jeden nejvýše jednou. Hodnocení probíhá v roce následujícím pětiletému období uplatnění. Na základě zhodnocení výsledků je pak v následujícím roku poskytnuta institucionální podpora. Podrobněji viz Tabulka 2.1. Tabulka 2.1: Časový harmonogram hodnocení VaVaI období uplatnění výsledků rok hodnocení rok příjmu podpory od 1. 1 roku do 31.12 roku 2007 2011 2012 2013 Základem pro hodnocení výsledků výzkumu a vývoje a jedinou směrodatnou databází je RIV. Za správnost údajů zde vložených zodpovídá poskytovatel 6 podpory. Samotný proces hodnocení je potom rozdělen na 4 etapy, jejichž výstupem je 6 tabulek 7. V první etapě musí provozovatel IS VaVaI (RVVI) zpracovat data vložená do RIV. Dochází k verifikaci, kdy je ověřováno splnění nejprve obecných, poté specifických kritérií za pomocí softwarového algoritmu či odborných komisí sestavených RVVI nebo poskytovatelem pro zařazení výsledku do hodnocení, podrobně rozepsáno v [12]. Nesplňuje-li 5 Rokem uplatnění výsledku je rok, kdy byl daný výsledek vytvořen, tj. publikován, realizován, atd., ne rok vložení do RIV. 6 Každá VO spadá pod jednoho z poskytovatelů podpory. Ti svým VO vyplácí institucionální podporu. Seznam poskytovatelů viz [17]. 7 Tabulky č. 1-6 zde popisovány nejsou obsaženy v této práci. Jedná se o tabulky vytvořené v rámci procesu hodnocení dle Metodiky 2012. Specifika každé tabulky podrobně popsány viz [12, Příloha č. 3]. 11

některý z výsledků alespoň jedno obecné, nebo následně alespoň jedno specifické kritérium, je automaticky vyřazen z hodnocení a evidován v Tabulce č. 1, ve které jsou zahrnuty veškeré vyřazené výsledky. V Tabulce č. 2 jsou evidovány výsledky splňující kritéria, ale obsahující rozpory a nesrovnalosti (např. předkládá-li více poskytovatelů jeden výsledek, např. odbornou knihu, může dojít k nejednotně uvedenému ISBN kódu), a proto nemohou být součástí hodnocení, avšak mají možnost dle stanov v [12] tyto rozpory odstranit a zajistit tak výsledku zařazení do hodnocení. V druhé etapě hodnocení se řeší především nesrovnalosti u výsledků zaznamenaných v Tabulce č. 2. VO mají možnost prostřednictvím svých poskytovatelů opravit rozporné údaje v databázi RIV, které vedly k vyřazení z hodnocení, a tím docílit zařazení do hodnocení společně s bodovým ohodnocením. Dále výsledek typu P patent lze zařadit do vyšší bodové kategorie, byl-li využit na základě platné licenční smlouvy. V této etapě již není možné požadovat jakékoliv změny v RIV či zařazení dalších výsledků do hodnocení. Ve třetí etapě se rozdělí výsledky na 2 výstupy. V Tabulce č. 3 jsou zaznamenány všechny výsledky, které jsou ohodnoceny, včetně jejich bodových hodnot, a v Tabulce č. 4 jsou zaznamenány veškeré výsledky, které jsou vyřazeny z hodnocení prostřednictvím odborných poradních orgánů RVVI. K vyřazení lze napsat vyjádření, ve kterém musí být odůvodnění zpětného zařazení do hodnocení. Výstupem čtvrté etapy hodnocení je po schválení RVVI Tabulka č. 5 a Tabulka č. 6. Tyto tabulky jsou jediné zveřejněny (pro hodnocení 2012 viz [10]), Tabulky č. 1 4 jsou zasílány poskytovatelům podpory a rovněž jsou umístěny na neveřejné části webových stránek RVVI. Tabulka č. 5 obsahuje výsledné hodnocení jednotlivých VO obsahující především informaci o celkovém počtu vyprodukovaných výsledků a získaném počtu bodů, rovněž jejich strukturu v rámci jednotlivých druhů výsledků. Tato informace pak slouží poskytovatelům podpory při přerozdělování institucionální podpory na následující rok. Tabulka č. 6 obsahuje pouze shrnutí, kolik výsledků bylo hodnoceno, a celkový počet korigovaných bodů podle jednotlivých výsledků. 12

2 Klasifikace výsledků výzkumu Metodika 2012 rozděluje výsledky výzkumu na dvě základní kategorie, a to výsledky s bodovým hodnocením a nehodnocené výsledky. Zde budou popsány pouze výsledky s bodovým hodnocením, neboť pouze ty vstupují do výsledného hodnocení VO. Kompletní klasifikace výsledků výzkumu viz [12]. 2.1 Výsledky s bodovým hodnocením Pro účely hodnocení je nutné, aby každému výsledku bylo možné jednoznačně přiřadit jeho druh. Zároveň musí každý výsledek pro přiřazení k patřičnému druhu splňovat přesné definice, které jsou uvedeny v [12, Příloha č. 2]. V této podkapitole si představíme druhy výsledků a jejich bodové hodnoty, podrobněji pak rozebereme bodování článků v impaktovaných časopisech, neboť ostatní druhy výsledků získávají po splnění podmínek stanovených Metodikou 2012 předem daná bodová ohodnocení. 2.1.1 Přehled bodovaných výsledků Tabulka 2.2 je převzata z [12, Příloha č. 1] a představuje druhy výsledků a jejich bodová ohodnocení. Výsledky výzkumu a vývoje lze rozdělit na dvě kategorie, a to výsledky základního výzkumu (J, B, C, D) a výsledky aplikovaného výzkumu (P, Z, F, G, H, N, R). Takové dělení není zcela optimální. Je zřejmé, že o výsledcích aplikovaného výzkumu (např. patent) lze rovněž napsat článek do oborného periodika. Tedy primárně výsledek aplikovaného výzkumu se může ohodnotit i jako výsledek publikačního charakteru. Pro účely této práce si představíme pouze výsledky základního výzkumu (publikačního charakteru), bodové hodnoty výsledků aplikovaného výzkumu jsou zde uvedeny pouze ukázkově. Pro hlubší nastudování problematiky výsledků aplikovaného výzkumu odkazuji na [12]. Již od Metodiky 2009 jsou rozděleny obory dle číselníku VaVaI [11] na dvě kategorie, a to obory spadající do tzv. Národního referenčního rámce excelence (NRRE) a ostatní obory. Zavedení NRRE bylo motivováno obavami z negativního dopadu jednotné metodiky na humanitní a společenské vědy, které nedisponují globálním zázemím jako ostatní disciplíny (např. chemické či biologické). Jedním z problémů při zavádění NRRE bylo stanovení, které obory 13

zde budou zahrnuty. Výsledné zařazení viz [12, Příloha č. 1] lze považovat za čistě politické rozhodnutí. Z Tabulky 2.2 je zřejmé, že obory z NRRE jsou v oblasti základního výzkumu silně preferovány před ostatními. Hodnocení výsledku typu J článků v odborných periodikách, je rozděleno do několika kategorií. Články v impaktovaných časopisech (J imp ) se dále dělí na články v multioborových impaktovaných periodikách Science (ISSN 0036-8075) a Nature (ISSN 0028-0836) a ostatních impaktovaných časopisech 8. Články v neimpaktovaných periodikách (J neimp ) jsou články v recenzovaných časopisech světově uznávaných databází SCOPUS a ERIH, které získávají konstantní bodová ohodnocení v závislosti na tom, zda jsou uplatněny v rámci oboru z NRRE a současně na zařazení periodika do příslušné databáze. K hodnocení publikací v periodikách vydávaných v České republice (J rec ) byl zaveden tzv. Seznam recenzovaných neimpaktovaných periodik vydávaných v České republice viz [15]. Aby mohl být článek publikovaný v časopise z výše zmíněného seznamu uznán jako výsledek typu J rec, musí být skutečně recenzován. Ne všechny časopisy zařazené v [15] mají všechny články recenzované. Vědci si tak musí ověřovat, zda bude jejich článek recenzován. Pokud ne, mají možnost si o recenzi zažádat. U výsledek typu B odborná kniha se jedná o vědeckou neperiodickou publikaci v rozsahu minimálně 50 stran vlastního textu. Aby byla odborná kniha klasifikována jako výsledek typu B, musí být recenzována alespoň jedním renomovaným specialistou z oboru. Jako odborná kniha se neklasifikují vysokoškolská skripta, což může vést k poklesu zájmu vysokoškolských pedagogů o tvorbu učebnic. Pokud má odborná kniha více autorů, kde každý vytvořil určitý počet kapitol, je každému spoluautorovi přiřazen odpovídající podíl na výsledném bodovém hodnocení odborné knihy. Podíl každého autora na bodovém hodnocení se zjistí následující způsobem. Určí se hodnota faktoru, který je dán jako podíl autorových stránek v odborné knize ku celkovému počtu stran knihy. Tímto faktorem je vynásobena bodová hodnota odborné knihy a výsledné body získává autor. 8 Hodnocení článků v impaktovaných časopisech podrobně rozebráno v následující kapitole. 14

Výsledek typu D článek ve sborníku musí být zařazen v jedné z databází Web of Science. Pro hodnocení většiny výsledků publikačního charakteru (J imp, J neimp a D) se využívají mezinárodně uznávané databáze. Uveďme si jejich stručný přehled. Mezinárodní databáze využívané pří hodnocení výsledků VaVaI: Web of Knowledge (WoK) společnosti Thomson Reuters. Tato služba shromažďuje periodika z celého světa, avšak nejčastěji periodika vydávaná v USA. Hodnocení VaVaI v ČR využívá tyto databáze: o Web of Science (WoS) nástroj umožňující vyhledávat odborné publikace z více jak 11 000 periodik, více jak 120 000 sborníků z konferencí, dále reprinty, bibliografie a další typy dokumentů. Skládá se z těchto sub-databází: Science Citation Index Expanded (SCI Expanded) od r. 1945 - současnost Social Science Citation Index (SSCI) od r. 1980 - současnost Arts & Humanities Citation Index (A& HCI) od r. 1980 - současnost Index Chemicus (IC) od r. 1993 - současnost Current Chemical Reactions (CCR-EXPANDED) od r. 1986 současnost Conference Proceedings Citation Index Science (CPCI - S) Conference Proceedings Citation Index - Social Science & Humanities (CPCI-SSH) o Journal Citation Report (JCR) databáze periodik (viz [23]), které jsou součástí bibliometrických hodnocení za pomocí kvantitativních ukazatelů. V roce 2011 bylo v JCR evidováno 11 302 periodik. JCR obsahuje dvě sub-databáze: JCR Science Edition v roce 2011 evidováno 8336 periodik JCR Social Sciences Edition v roce 2011 evidováno 2 966 periodik 15

SCOPUS v rámci malé metodiky se plánuje hodnocení článků v periodikách obsažených v této databázi analogicky hodnocení článků v impaktovaných časopisech. Místo Impakt faktoru se zde bude využívat index SJR ERIH určena pro společenské a humanitní vědy Tabulka 2.2: Bodové hodnoty jednotlivých druhů výsledků Druh výsledku I-obory NRRE II-ostatní obory J imp článek v prestižním impaktovaném časopise Nature a Science 500 článek v impaktovaném časopise 10 305 SCOPUS 12 J neimp článek v recenzovaném časopise světově A 30 12 uznávané databáze ERIH B 20 11 C 10 10 J rec článek v českém recenzovaném časopise 10 4 světový jazyk (angličtina, čínština, francouzština, 40 B odborná kniha němčina a španělština) ostatní jazyky 40 20 D článek ve sborníku 8 evropský patent EPO, patent USA a Japonska 500 P patent český nebo národní patent (s výjimkou USA a Japonska), který je využíván na základě platné licenční 200 smlouvy ostatní patenty 40 Z poloprovoz, ověřená technologie, odrůda, plemeno 100 F užitný vzor 40 G prototyp, funkční vzorek 40 H poskytovatelem realizované výsledky 40 N certifikované metodiky a postupy, specializované mapy 40 s odborným obsahem, R software 40 V výzkumná zpráva, která je výsledkem obsahujícím utajované informace 50 2.1.2 Výsledek typu J imp článek v impaktovaném časopise Cílem této podkapitoly je nejprve vytvoření stručného přehledu kvantitativních ukazatelů, které lze využít při hodnocení článků v impaktovaných časopisech, dále provedení analýzy postupu hodnocení článků v impaktovaných časopisech dle [12] obohacenou o praktické 16

příklady. Tento výsledek nabývá hodnot od 10 do 305 bodů, přičemž se bodové hodnocení počítá dle modelu, který bude dále popsán. 2.1.2.1 Kvantitativní ukazatele hodnocení periodik Těmito se podrobně zabývá věda s názvem scientometrie. Níže zmínění ukazatelé jsou vypočítávány každoročně společností Thomson Reuters, dříve známou jako Institut pro vědecké informace (Institute for Scientific Information). Impakt Faktor (IF Impact Factor) je jediným z kvantitativních ukazatelů, který je dle Metodiky 2012 prakticky využíván pro hodnocení výsledku typu J imp. IF daného časopisu se vypočítává dle následujícího vztahu. (2.1) Na IF lze také nahlížet jako na průměrné množství citací článku publikovaného v daném periodiku v předchozích dvou letech. Hodnota IF = 3 nás informuje, že článek publikovaný v daném časopise v jednom z předchozích dvou let byl v roce hodnocení průměrně 3x citován. Příklad 2.1 Výpočet IF časopisu Science v roce 2011 Sloupec Počet publikovaných článků v Tabulce 2.3 nás informuje o počtu článků v časopise Science v letech 2009 a 2010. Sloupec Počet citací v r. 2011 k článkům nám uvádí počet citací ze všech článků 9 v roce 2011 vztahující se k článkům publikovaných v letech 2009 a 2010. Tabulka 2.3 Rok Počet publikovaných článků Počet citací v r. 2011 k článkům z roku 2009 897 30 640 2010 862 24 242 Celkem 1759 54 882 Hodnota impakt faktoru se vypočítá dle vztahu (2.1): 9 Přirozeně se nejedná o všechny časopisy na světě, ale pouze o časopisy, které jsou součástí databáze JCR. 17

Hodnota IF = 31,201 nám udává, že článek vydaný v časopise Science v letech 2009 nebo 2010 byl v roce 2011 průměrně 31, 201 ocitovaný. Tabulka 2.4 uvádí 10 časopisů s největší hodnotou IF v roce 2011 dle JCR Science Edition [23]. Tabulka 2.4 Pořadí Název ISSN Stát IF 1. CA-A Cancer Journal for Clinicians 0007-9235 USA 101,780 2. New England journal of Medicine 0028-4793 USA 53,298 3. Annual Review of Immunology 0732-0582 USA 52,761 4. Reviews of Modern Physics 0034-6861 USA 43,933 5. Chemical Reviews 0009-2665 USA 40,197 6. Nature Reviews Molecular Cell Biology 1471-0072 England 39,123 7. Lancet 0140-6739 England 38,278 8. Nature Reviews Genetic 1471-0056 England 38,075 9. Nature Reviews Cancer 1474-175X England 37,545 10. Advances in Physics 0001-8732 England 37,000 Impakt Faktor bez sebecitací (IFwSC Impact Factor without Self Cites) se oproti klasickému IF liší v tom, že se při jeho výpočtu nezapočítávají sebecitace, tedy se nezapočítají případy, kdy autor článku cituje článek publikovaný v témže periodiku. Hodnotu tohoto ukazatel nám vyjadřuje vztah (2.2). ( ) (2.2) Příklad 2.2 Výpočet IFwSC časopisu Science v roce 2011 Tabulka 2.5 Počet článků publikovaných Počet citací 10 v r. 2011 k článkům v letech 2010 a 2009 v letech 2009 a 2010 Celkem 1759 54 182 10 Jedná se o citace očištěné od sebecitací. Tabulka 2.5 je zjednodušena oproti Tabulce 2.3, neboť v databázi JCR jsou obsaženy pouze data reprezentující celkový počet sebecitací, nikoliv počty sebecitací v jednotlivých letech. 18

Vypočet hodnoty IFwSC se provede pomocí vztahu (2.2) dle dat z Tabulky 2.5. 5-ti letý Impakt Faktor (5Y-IF 5-Year Impact Factor) je rozšířením výše zavedeného IF. Tento ukazatel se u nás nevyužívá. Jeho výpočet je uveden v příkladu 2.3 dle vztahu (2.3) 5Y-IF = (2.3) Příklad 2.3 Výpočet 5-Y IF časopisu Science v roce 2011. Hodnotu 5-Y IF vypočítáme pomocí dat z Tabulky 2.6 užitím vztahu (2.3). Tabulka 2.6 Rok Počet publikovaných článků Počet citací v r. 2011 k článkům z r. 2006 885 28 130 2007 886 29 393 2008 862 30 123 2009 897 30 640 2010 862 24 242 Celkem 4 392 142 528 5-Y IF Hodnota 5-Y IF = 32,452 nám udává, že článek vydaný v časopise Science v letech 2006, 2007, 2008, 2009 nebo 2010 byl v roce 2011 průměrně 32,452 ocitovaný. Tabulka 2.7 nám představuje prvních 10 časopisů seřazených dle 5Y-IF v roce 2011. Tento ukazatel je vhodné využívat v disciplínách, které mají zdlouhavé recenzní řízení, jako např. matematické. Poznámka 2.1: Některé časopisy si získávají prestiž velmi rychle a i přes vysokou hodnotu IF v daném roce nemají stále vyjádřenou hodnotu 5-Y IF. To může někdy budit podezření 19

z umělého navyšování impakt faktoru sebecitacemi. Tabulka 2.8 nám uvádí 8 časopisů s největší hodnotou IF, které ještě nemají přiřazenou hodnotu 5-Y IF z JCR Science Edition pro rok 2011 [23]. Tabulka obsahuje sloupce s hodnotami IF a IFwSC. Pouze u 2 případů z 8 (červeně vyznačeny) si získalo periodikum vysokou hodnotu IF sebecitacemi, a tedy u 6 případů z 8 dosahují relativně vysokých hodnot IF díky citacím v publikacích publikovaných v jiných periodikách. Tabulka 2.7 Pořadí Název ISSN Stát 5-Y IF 1. CA-A Cancer Journal for Clinicians 0007-9235 USA 67,410 2. New England journal of Medicine 0028-4793 USA 50,075 3. Reviews of Modern Physics 0034-6861 USA 44,436 4. Annual Review of Immunology 0732-0582 USA 42,901 5. Nature Reviews Molecular Cell Biology 1471-0072 Anglie 42,508 6. Chemical Reviews 0009-2665 USA 42,054 7. Nature Reviews Cancer 1474-175X Anglie 38,460 8. Nature Materials 1476-1122 Anglie 36,732 9. Nature 0028-0836 Anglie 36,235 10. Physiological Reviews 0031-9333 USA 36,169 Tabulka 2.8 Pořadí 11 Název ISSN IF IF WSC 17. Energy Education Science and Technology 1301-8361 31,677 2,887 55. Living Reviews in Relativity 1433-8351 17,462 16,923 104. Living Reviews in Solar Physics 1614-4961 12,500 12,000 133. Pain Physician 1533-3159 10,722 2,060 262. Particle and Fibre Toxicology 1743-8977 7,253 6,680 266. Expert Reviews in Molecular Medicine 1462-3994 7,143 7,078 292. Nanomedicine-Nanotechnology Biology and Medicine 1549-9634 6,692 6,582 326. Alzheimers & Dementia 1552-5260 6,373 6,042 Celkový citační ohlas (TC Total Cites) též citační index je definován jako celkový počet citací k článkům publikovaným v daném periodiku. Tento kvantitativní ukazatel je však neobjektivní, neboť zde vedle kvality časopisu a multioborových specifik hraje i velkou roli 11 Pořadím se zde rozumí pořadí dle sestupného IF všech časopisů zařazených do JCR sekce Science Edition v roce 2011. 20