Zkušenosti Knihovny Akademie věd ČR Mgr. Pavel Mika 10. 10. 2014 KRE 2014
Osnova Bibliometrické metody - možnosti a omezení jejich použití Dostupné informační zdroje Možnosti základních analýz Hodnocení pracovišť AV ČR IPN Metodika KA1
Respektované bibliometrické zásady San Francisco Declaration on Research Assessment (DORA) General recommendation: Do not use journal-based metrics, such as Journal Impact Factors (JIFs), as surrogate measures of the quality of individual research articles, to assess an individual scientist s contributions, or in hiring, promotion, or funding decisions. Nepoměřujeme počty citací (nebo průměrné počty citací na článek) mezi různými obory Z toho vyplývají jistá omezení a nutnost využití sofistikovaných citačních indikátorů nejsou dostupné z WoS/Scopus přímo http://www.ascb.org/dora/
Dostupné informační zdroje ASEP, Analytika ASEP WoS Scopus Další (IS VaVaI - RIV, Google Scholar, ) Zatím pouze k testování InCites SciVal
Analytika ASEP Bibliografické přehledy a grafické výstupy výsledků základního výzkumu oblastí, ústavů, útvarů a vědeckých pracovníků AV ČR. Analýza typů dokumentů Přehled časopisů, ve kterých entita publikuje Přehled ústavů http://www.lib.cas.cz/arl/
Ukázka Analytika ASEP
Možnosti základních analýz Druhy dokumentů Počty dokumentů Obory Zahraniční spolupráce Míra Počet zemí Korespondenční autoři Percentilové rozdělení na základě citačního ohlasu časopisu Analýza adres
1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 Počet dokumentů Počty dokumentů 16000 14000 12000 10000 8000 6000 ČR UNI AVČR 4000 2000 0 Roky - Typ dokumentu: article, proceedings paper, review - Zdroj dat: WoS
Oborové rozdělení AV ČR 21% 9% 2% 3% 1% 1. Natural Sciences 2. Engineering and Technology 3. Medical and Health Sciences 4. Agricultural Sciences 64% 5. Social Sciences 6. Humanities - OECD klasifikace - Typ dokumentu: article, proceedings paper, review - Zdroj dat: WoS - Kumulativně data z let 1988-2012
TOP obory 18% 1.03 Physical sciences and astronomy 1.06 Biological sciences 1.04 Chemical sciences 2.05 Materials engineering 4% 4% 5% 8% 17% 18% 3.01 Basic medical research 1.05 Earth and related environmental sciences 1.01 Mathematics - OECD klasifikace - Typ dokumentu: article, proceedings paper, review - Zdroj dat: WoS - Kumulativně data z let 1988-2012
1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 Počet dokumentů Zahraniční spolupráce 4500 4000 3500 3000 2500 AV ČR vše AV ČR zahr. spol. Koresp. aut. CZ 2000 1500 1000 500 0 Roky - Typ dokumentu: article, proceedings paper, review - Zdroj dat: WoS
Rozložení zahraniční spolupáce a korespondenčních autorů 54% 19% 27% Zahraniční spolupráce - CZ koresp. autor Zahraniční spolupráce - zahr. koresp. autor CZ autoři (bez zahr. spol) - Typ dokumentu: article, proceedings paper, review - Zdroj dat: WoS - Kumulativně data z let 1988-2012
1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 Podíl zahraniční spolupráce (%) 60 50 47 47 49 47 49 51 50 49 50 50 49 50 48 48 51 49 53 40 40 42 30 29 30 32 33 24 23 20 10 00 Roky - Typ dokumentu: article, proceedings paper, review - Zdroj dat: WoS
1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 % 80 Porovnání spolupráce a citačního ohlasu (%) 70 60 50 40 30 20 10 podíl zahraniční spolupráce podíl citací dokumentů v zahr. Spol. (zahr/všechny) 00 Roky - Typ dokumentu: article, proceedings paper, review - Zdroj dat: WoS
1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 Počet zemí v mezinárodní spolupráci 120 100 95 99 94 108 101 80 60 40 76 77 71 71 68 61 61 63 61 56 57 56 52 54 48 48 49 54 56 52 40 39 42 44 45 38 41 33 31 30 34 37 34 30 88 90 80 57 59 59 73 71 75 80 79 20 0 Roky - Typ dokumentu: article, proceedings paper, review - Zdroj dat: WoS
Kvartilová distribuce na základě IF časopisu 100% 90% 80% 70% 60% 50% 40% Q4 Q3 Q2 Q1 30% 20% 10% 0% AV ČR celá ČR ČR bez AV - Typ dokumentu: article - Zdroj dat: WoS; data za rok 2012
Astronomický ústav Fyzikální ústav Ústav jaderné fyziky Ústav informatiky Matematický ústav Ústav teorie informace a automatizace Ústav fyziky materiálů Ústav fotoniky a elektroniky Ústav přístrojové techniky Ústav teoretické a aplikované mechaniky Ústav termomechaniky Ústav fyziky plazmatu Ústav pro hydrodynamiku Ústav fyziky atmosféry Ústav struktury a mechaniky hornin Geofyzikální ústav Geologický ústav Ústav geoniky Ústav analytické chemie Ústav fyzikální chemie J. Heyrovského Ústav chemických procesů Ústav organické chemie a biochemie Ústav anorganické chemie Ústav makromolekulární chemie Biotechnologický ústav Biofyzikální ústav Ústav molekulární genetiky Mikrobiologický ústav Ústav experimentální botaniky Ústav experimentální medicíny Fyziologický ústav Ústav živočišné fyziologie a genetiky Botanický ústav Biologické centrum Centrum výzkumu globální změny Ústav biologie obratlovců Pořadí podle 1. kvartilu - % článků 80 74 70 60 % 50 40 30 54 53 40 35 30 49 39 38 35 33 29 25 52 42 36 31 66 63 59 54 45 43 65 62 61 58 57 56 39 35 60 45 42 35 20 10 11 00
Analýza CZ vs Praha Distribuce dokumentů podle afiliace 100% 90% 80% 70% 60% 50% 40% 30% 20% Praha, CZ a zahraničí Praha a CZ Praha a zahraničí Praha CZ a zahraničí mimo Prahu CZ mimo Prahu 10% 0% 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 Zdroj dat: WoS Rok
Analýza CZ vs Praha 45000 Počet publikací podle afiliace, 2002-2013 40000 35000 38934 40287 30000 25000 29948 20000 15000 17503 10000 5000 6951 0 CZ mimo Prahu CZ a zahraničí mimo Prahu 3719 Praha Praha a zahraničí Praha a CZ Praha, CZ a zahraničí
Hodnocení výzkumné a odborné činnosti pracovišť AV ČR za období 2010-2014 KNAV spolupracuje na přípravě dat pro bibliometrické analýzy Zavedení identifikátoru ResearcherID Všichni vědečtí pracovníci publikující v časopisech indexovaných ve WoS
IPN Metodika Jedním z cílů: navrhnout a pilotně ověřit systém hodnocení výzkumných organizací. Projekt rozdělen do 7 klíčových aktivit.
KA1 Informační podpora Bibliometrie důležitou součástí této KA Proběhlo testování analytických nástrojů InCites/SciVal pro pilotní ověření byl vybrán nástroj InCites V rámci bibliometrie probíhá diskuze a komentování navržené sady indikátorů Návrh na vylepšení IS VaVaI
Poznatky z testování analytických nástrojů Klíčové se jeví správné namapování dat Otázka pokrytí vs. kvalita dat Společný problém není řešena frakcionalizace (prozatím) rozdělení podílu na vzniku práce Pružnost ve vývoji nástrojů
Poznatky z testování analytických nástrojů-přehled metrik: InCites SciVal Normalized Citation Impact Web of Science Documents Times cited Citation Impact % Documents cited % International Collaborations International Collaborations % Documents in Top 1% (normalized) % Documents in Top 10%(normalized) H-Index Journal normalized citation impact Average percentile ESI Most Cited THE Ranked Organization Type % Highly Cited Papers Highly Cited Papers % Hot Papers % Industry Collaborations (useless for CR) Impact Relative to World Field-Weighted Citation Impact (FWCI) Scolarly Output Citation Count Citation per Publication Cited Publications Collaboration (not just international) Outputs in Top Percentiles (non-normalized) h-indicies h-index (Hirsch index) g-index (high cited publications) m-index (h-index/publication years) Publications in Top Journal Percentiles Collaboration Impact Journal Count Number of Citing Countries Journal Category Count Academic-Corporate Collaboration Academic-Corporate Collaboration Impact S S S S S S S S S S
Závěr Možnosti převážně retrospektivních základních analýz Pokročilé citační analýzy se odvíjejí od dostupnosti nástrojů případně zdrojových dat Stále chybí jasné standardy použití bibliometrie na mezinárodní úrovni diskuze vznikají různá doporučení (Leiden Manifesto) Na národní úrovni by mohly posloužit výstupy z projektu IPN Metodika
Kontakt: mika@knav.cz Děkuji za pozornost