Název projektu: Od rozvoje znalostí k inovacím Registrační číslo projektu: CZ.1.07./2.3.00/09.0009 Tento projekt je spolufinancován Evropským sociálním fondem a státním rozpočtem České republiky.
SCIENTOMETRIE JE MOŽNÉ MĚŘIT VĚDECKOU PRÁCI? Ano, ale Prof. RNDr. E. Šucman, CSc. VFU Brno sucmane@vfu.cz
Cíl vědecké práce Poznání a jeho využití Informace o poznaném (information science) - poznatky je třeba zveřejnit Work Finish Publish Michael Michael Faraday s well-known advice to the young William Crookes, who had asked him the secret of his success as a scientific investigator (1874). - poznatky musí být vyhledatelné tj. musí vejít ve známost
Cesta k poznání: Vědecká práce Myšlenka a metody jejího ověření/potvrzení/rozšíření/ Experimenty a jejich vyhodnocení/interpretace Sdělení přednáška, poster, publikace,
Výsledky práce Zveřejnění výsledků vědecké práce: Formy - publikace/přednášky/postery/ Vyhledatelnost Databáze výsledků na různých úrovních - institucionální úrovni (ročenky, ) - celonárodní úrovni (RIV rejstřík informací o výsledcích) - nadnárodní databáze výsledků/publikací (různé většinou oborově orientované databázové informační/vyhledávací systémy) Databázové vyhledávací systémy
Výsledky práce Zveřejnění výsledků vědecké práce: Přednáška - hodnocení subjektivní - přijetí přednášky organizátorem konference - posluchači sledovali výklad se zájmem - bohatá diskuse
Výsledky práce Zveřejnění výsledků vědecké práce: Poster (plakátové sdělení) - hodnocení subjektivní - přijetí posteru organizátorem konference - účastníci se zastavovali, prohlíželi se zájmem prezentovaný poster - bohatá diskuse (souhlas, nesouhlas, komentáře) - možnost navázání nových kontaktů - možnost zapojení do projektů
Výsledky práce Zveřejnění výsledků vědecké práce: Publikace - hodnocení objektivní - přijetí práce k publikaci na základě kladných/doporučujících recenzí - čtenářský ohlas citace - navázání nových kontaktů s badateli zabývajícími se podobnou tématikou - zapojení do projektů
Scientometrie možnosti využití Hodnocení výsledků vědecké práce Osobní hodnocení Hodnocení na institucionální úrovni Jiné určení hodnocení pokroků disciplíny, vyhledávání pracovníků/týmů zabývajících se stejným tématem, bibliografické práce,
Scientometrie Scientometrie - definice je věda, která studuje pokrok vědeckého poznání pomocí počtu vědeckých článků publikovaných v daném období Podstatou je tedy měření/zjišťování - individuálního - institucionálního (na různé hladině) příspěvku k vědeckému poznání
Scientometrie - definice Posuzování výkonnosti vědecké práce je realizováno pomocí indikátorů: - počet článků publikovaných ve vědecky uznávaných časopisech - počet citací těchto článků jinými autory ve vědecky uznávaných časopisech
Scientometrie Dr. Eugen Garfield Founder & Chairman Emeritus Institute for Scientific Information, now Thomson Reuters - 1951 Welch Medical Indexing Project at Johns Hopkins University, funded by the Army Medical Library, the predecessor of the National Library of Medicine. - 1957 CurrentContents/Pharmaco- Medical & Life Sciences, - 1960 zakládá ISI - 1964 Science Citation Index
Impact factor Thomson Reuters Institute for Scientific Information (ISI) - ve všech oblastech vědy - předpokládá se, že tyto časopisy mají vysokou vědeckou hodnotu uznávanou akademickou komunitou - publikované práce se soustřeďují v časopisech (často multidisciplinárních) s vysokým impaktním faktorem ISI Web of Knowledge - takové časopisy (asi 9500, pokrývající oblast asi 150 vědeckých disciplín) zahrnují 90% literatury
CITACE Formalizovaný odkaz na určitý výsledek, metodu, či myšlenku v jiné publikaci Citovanost - počet citací dané publikace v určitém období Autocitace - autor článku cituje práce, v nichž figuruje jako autor či spoluautor a - citace kterýmkoli ze spoluautorů dané práce.
CITACE Citační zvyklosti jsou v různých oborech/časopisech odlišné Vysokou citovanost lze předpokládat pro - přehledné články REVIEW - kontroverzní publikace - publikace chyby (výsledek/poznatek/interpretace)
Impact factor (IF) Počet citací v roce R na články publikované v letech (R-1) a (R-2) IF = Celkový počet článků publikovaných v letech (R-1) a (R-2) Příklad: Analytical Chemistry, IF 2006 Cites in 2006 to articles published in: 2005 = 4980 Number of articles published in: 2005 = 1092 2004 = 6871 2004 = 1007 Sum: 11851 Sum: 2099 Calculation: Cites to recent articles = 11851 = 5.646 Number of recent articles 2099
Impact factor (IF) IF (faktor dopadu) je určitým (ne zcela ideálním) hodnotícím kritériem pro časopis nemůže být kritériem pro hodnocení jedné konkrétní práce v tom časopise publikované. asi 95 % vědeckých publikací není nikdy citováno tzn. na IF se tedy průměrně podílí zhruba 5 % článků (samozřejmě v citovanějších oborech a v lepších časopisech více). použití IF jako jediného kritéria hodnocení kvality časopisu je, jako posuzovat zdravotní stav organismu jen na základě jeho hmotnosti.
Impact factor (IF) Poznámky 1. IF rozhodně nevyjadřuje obtížnost publikování v daném časopise, ale průměrnou míru ohlasu informací publikovaných v tomto časopise v následujících dvou letech. To závisí nejen na kvalitě práce samotné, ale i na sledovanosti a dostupnosti časopisu a ve značné míře i na určité módnosti dané tematiky. 2. IF samozřejmě v průměru s kvalitou prací koreluje, ale určitě ne přímo úměrně a už vůbec se nedá aplikovat na hodnocení malého vzorku prací.
Impact factor (IF) Kvantitativní spolehlivost údajů je však sporná, chyby nejrůznějšího charakteru dosahují až 25 % počtu prací, spolehlivost údajů o počtu citací ve starším období je snížená. Databáze citací ISI uvádí výhradně práce, na něž se někdy někdo (včetně autorů samých) odvolával. Citovanost prací publikovaných v časopisech s vyšším IF je sice obecně vyšší (neplatí absolutně) ale i práce zveřejněné v časopise s nižším IF mohou mít solidní ohlas. Záleží tedy nejen na časopise.
Impact factor (IF) Citovanost práce hodně závisí na oboru její působnosti: Např.: biologicky zaměřené práce mají v současnosti podstatně vyšší citovanost, než práce chemické. Biologické práce (povětšinou) citují jen práce v biologických časopisech. Skutečný dopad práce tedy není bezezbytku vyjádřen ani samotným IF, ani samotnou citovaností. Databáze citací ISI nepřihlíží k počtu spoluautorů ani autorských pracovišť. U téhož autora musí mít nepochybně jinou váhu práce, kde je autorem jediným, než práce, kde je spoluautorem s deseti dalšími. Databáze nebere ohled na počet autocitací.
Impact factor (IF) Poznámky k časopisům s nízkým IF Časté problémy časopisů s nízkým IF 1. Nedostatek vysoce kvalifikovaných recenzentů a tudíž je u nich vyšší pravděpodobnost publikace nekvalitních prací. Záleží na šíři problematiky, kterou časopis pokrývá (scope of the journal) 2. Slabé ocenění publikovaných prací při evaluacích a financování výzkumu 3. Menší zájem čtenářů 4. Nestabilita IF....
Vybráno z Nature: Impact factor hrátky s IF Časopis Folia Phoniatrica et Logopaedica má mezi badateli v dané oblasti dobrou reputaci, třebaže jeho impact factor byl 0.655 in 2006 Publikace v takovém časopise však autorům/institucím, bohužel, nepřinese uznání, či grantové peníze. Dva badatelé Holanďan a Čech využili vlastností systému a publikovali článek s názvem: Reaction of Folia Phoniatrica et Logopaedica on the current trend of impact factor measures (H. K. Schutte and J. G. Švec: Folia Phoniatr. Logo., 59, 281-285, 2007). V tomto článku byly citovány všechny práce publikované v Folia Phoniatrica et Logopaedica v předchozích dvou letech.
Impact factor hrátky s IF Vybráno z Nature: Na základě definice impact factoru tato strategie vedla k dramatické změně a pro Folia Phoniatrica et Logopaedica se impact factor pro rok 2007 zvýšil na 1.439 Srovnej 0,655 v roce 2006
Impact factor hrátky s IF Impaktní faktory a citační ohlasy jsou významnými scientometrickými údaji ty jsou zvláště důležité při hodnocení institucí a výkonnosti vědy ve státech či regionech. při hodnocení jednotlivců nebo týmů mohou prosté součty citací a/nebo IF vést k nesprávným závěrům. impaktní faktory reflektují citovanost průměrné práce v daném časopise. vyjadřují tedy naději, že určitá publikovaná práce získá stejný počet ohlasů (citací). Po určitém čase lze posoudit, zda skutečné citační ohlasy této naději opravdu odpovídají.
Impact factor hrátky s IF Počet citací je sice dobrým vodítkem pro předběžný odhad kvality práce badatelů v dané vědecké oblasti. ALE K ZAMYŠLENÍ: 1. Autor hojně publikuje a cituje hlavně sebe 2. Spoluautor získal spoustu citací, ale jeho vlastní zásluhy jsou malé (např. v době výzkumu pracoval ve špičkovém zahraničním kolektivu, kde jeho vlastní, tvůrčí přínos mohl být malý (stáž, hostování, studijní pobyt apod.) 3. Citace jsou dokladem minulosti autora a neříkají nic jeho aktuálním vědeckém výkonu 4. Citovaná práce je přehledný článek, nepřináší tedy žádné nové poznatky 5. Práce je silně citována proto, že je kritizována pro závažnou chybu 6. Autor svým objevem předběhl dobu (G.J.Mendel)
Impact factor hrátky s IF Body 1. 5. lze řešit pomocí citační analýzy. V případě popsaném v bodě 6. lze autora jen politovat
Další scientometrické parametry časopisů - Immediacy Index (Index bezprostřednosti, naléhavosti) - Journal Cited Half-Life (Citační poločas článků v časopisu) - Journal Citing Half-Life (Citační poločas časopisu) ISI Web of Knowledge
Immediacy Index Příklad: Analytical Chemistry Cites in 2006 to articles published in 2006 = 865 Number of articles published in 2006 = 1088 Calculation: Cites to current articles Number of current articles 865 1088 = 0.795
Journal Cited Half-Life (Citační poločas článků v časopisu) The cited half-life je dán jako medián stáří článků publikovaných v daném časopise a citovaných v JCR (Journal Citation Report) v daném roce. Takže právě polovina článků publikovaných v daném časopise je citována v této době. Příklad: Analytical Chemistry Cited Half-Life: 7.0 years
Journal Citing Half-Life (Citační poločas časopisu) The citing half-life je dán jako medián stáří publikace citované v daném roce v JCR (Journal Citation Report) Takže právě polovina citací v článku uveřejněném v daném časopise má stáří dané touto dobou Příklad: Analytical Chemistry Citing Half-Life: 5.2 years
Měření vědecké výkonnosti jednotlivce Co se hodnotí: Články ve vědeckých časopisech (s IF) Monografie, kapitoly v monografiích Konferenční příspěvky (zejména zvané plenární přednášky) Popularizační články Pedagogická a osvětová činnost Parametry Celkový počet publikovaných článků Celkový počet citací Citace připadající na jeden článek Počet významných článků
Citace obory Molekulární biologie a genetika Nasmyth, K. molekulární biologie 1. Nejcitovanější práce: 531 citací... 20. Práce 241 citací (z hlediska citovanosti)
Citace obory Matematika Csorgo, S. statistika 1. Nejcitovanější práce: 82 citací... 20. Práce 12 citací (z hlediska citovanosti)
OBORY: (odhad počtu citací článku) CITACE Astronomie, astrofyzika Fyzika Chemie Molekulární biologie, biochemie, genetika - desítky - desítky až stovky - stovky - stovky až tisíce
Měření vědecké výkonnosti jednotlivce V posledních letech zaváděna nová kritéria (míry) Hirsch (2005): h-index Egghe (2006): g-index Batista et al. (2006): individualizovaný h-index
Extra třída bio ČEŠI a. Fyzici Nobel c.bio b.chemici Vesmír, září 2006
h - index Robustní míra zohledňující kvalitu a kvantitu práce autora, nebo instituce, kterou vyjadřuje pomocí jednoho údaje (čísla) Využívá citačních ohlasů vědeckých prací. h-index je roven pořadovému číslu h publikace (publikace jsou seřazeny sestupně podle počtu citačních indexů), která má citační index rovný, nebo větší než toto pořadové číslo. index neřeší srovnávání výkonnosti vědců v různých oborech, je vázaný na vědní disciplínu Hirsch J.E.: Proc.Natl.Acad.Sci. 106, 16569 (2005)
Počet citací h index (příklad pro jednotlivce) Pořadí práce Suma citací h 2 47 1 47 1 42 2 89 4 37 3 126 9 36 4 162 16 21 5 183 25 18 6 201 36 17 7 218 49 16 8 234 64 16 9 250 81 16 10 266 100 15 11 281 121 13 12 294 144 13 13=h 307 169 13 14 320 196 13 15 333 225 12 16 345 256 12 17 357 289 12 18 369 324 12 19 381 361 11 20 392 400 Egghe L.: ISSI Newsletter, 2, 8 (2006)
h index (příklad pro instituce) Acad.Sci,Brno h index = 76 Acad Sci, Praha h index = 144
g index Robustní míra zohledňující kvalitu a kvantitu práce autora, nebo instituce, kterou vyjádřuje pomocí jednoho údaje (čísla) námitka- h-index nezohledňuje váhu publikace, tj. kolikrát byl článek citován g-index také využívá citačních ohlasů vědeckých prací g-index je roven pořadovému číslu g publikace (publikace jsou seřazeny sestupně podle počtu citačních indexů), pro kterou je suma citací rovna, nebo větší než g 2 Egghe L.: Scientometrics, 69, 131 (2006)
Počet citací g index (příklad pro jednotlivce) Pořadí práce Suma citací g 2 47 1 47 1 42 2 89 4 37 3 126 9 36 4 162 16 21 5 183 25 18 6 201 36 17 7 218 49 16 8 234 64 16 9 250 81 16 10 266 100 15 11 281 121 13 12 294 144 13 13 307 169 13 14 320 196 13 15 333 225 12 16 345 256 12 17 357 289 12 18 369 324 12 19=g 381 361 11 20 392 400 Egghe L.: ISSI Newsletter, 2, 8 (2006)
Individualizovaný h-index Komplementární míra h-indexu Zohledňuje spoluautorství (spoluatoři také citují práce) Je méně závislý na vědním oboru Předpokládaný h I -index daného autora, který by pracoval sám Je-li průměrný počet spoluautorů h-publikací N p = N c /h pak h I = h/n p = h 2 /N c Batista P.D. et al.: Scientometrics, 68, 179(2006)
Časopisy - scientometrie Journal Scientometrics Publisher ISSN Akadémiai Kiadó, co-published with Springer Science+Business Media B.V., Formerly Kluwer Academic Publishers B.V. 0138-9130 (Print) 1588-2861 (Online) Issue Volume 31, Number 3 / November, 1994 DOI 10.1007/BF02016875 Pages 251-260 Subject Group Computer Science Online Date Saturday, August 06, 2005