Název projektu: Od rozvoje znalostí k inovacím. Registrační číslo projektu: CZ.1.07./2.3.00/

Transkript

1 Název projektu: Od rozvoje znalostí k inovacím Registrační číslo projektu: CZ.1.07./2.3.00/ Tento projekt je spolufinancován Evropským sociálním fondem a státním rozpočtem České republiky.

2 SCIENTOMETRIE JE MOŽNÉ MĚŘIT VĚDECKOU PRÁCI? Ano, ale Prof. RNDr. E. Šucman, CSc. VFU Brno

3 Cíl vědecké práce Poznání a jeho využití Informace o poznaném (information science) - poznatky je třeba zveřejnit Work Finish Publish Michael Michael Faraday s well-known advice to the young William Crookes, who had asked him the secret of his success as a scientific investigator (1874). - poznatky musí být vyhledatelné tj. musí vejít ve známost

4 Cesta k poznání: Vědecká práce Myšlenka a metody jejího ověření/potvrzení/rozšíření/ Experimenty a jejich vyhodnocení/interpretace Sdělení přednáška, poster, publikace,

5 Výsledky práce Zveřejnění výsledků vědecké práce: Formy - publikace/přednášky/postery/ Vyhledatelnost Databáze výsledků na různých úrovních - institucionální úrovni (ročenky, ) - celonárodní úrovni (RIV rejstřík informací o výsledcích) - nadnárodní databáze výsledků/publikací (různé většinou oborově orientované databázové informační/vyhledávací systémy) Databázové vyhledávací systémy

6 Výsledky práce Zveřejnění výsledků vědecké práce: Přednáška - hodnocení subjektivní - přijetí přednášky organizátorem konference - posluchači sledovali výklad se zájmem - bohatá diskuse

7 Výsledky práce Zveřejnění výsledků vědecké práce: Poster (plakátové sdělení) - hodnocení subjektivní - přijetí posteru organizátorem konference - účastníci se zastavovali, prohlíželi se zájmem prezentovaný poster - bohatá diskuse (souhlas, nesouhlas, komentáře) - možnost navázání nových kontaktů - možnost zapojení do projektů

8 Výsledky práce Zveřejnění výsledků vědecké práce: Publikace - hodnocení objektivní - přijetí práce k publikaci na základě kladných/doporučujících recenzí - čtenářský ohlas citace - navázání nových kontaktů s badateli zabývajícími se podobnou tématikou - zapojení do projektů

9 Scientometrie možnosti využití Hodnocení výsledků vědecké práce Osobní hodnocení Hodnocení na institucionální úrovni Jiné určení hodnocení pokroků disciplíny, vyhledávání pracovníků/týmů zabývajících se stejným tématem, bibliografické práce,

10 Scientometrie Scientometrie - definice je věda, která studuje pokrok vědeckého poznání pomocí počtu vědeckých článků publikovaných v daném období Podstatou je tedy měření/zjišťování - individuálního - institucionálního (na různé hladině) příspěvku k vědeckému poznání

11 Scientometrie - definice Posuzování výkonnosti vědecké práce je realizováno pomocí indikátorů: - počet článků publikovaných ve vědecky uznávaných časopisech - počet citací těchto článků jinými autory ve vědecky uznávaných časopisech

12 Scientometrie Dr. Eugen Garfield Founder & Chairman Emeritus Institute for Scientific Information, now Thomson Reuters Welch Medical Indexing Project at Johns Hopkins University, funded by the Army Medical Library, the predecessor of the National Library of Medicine CurrentContents/Pharmaco- Medical & Life Sciences, zakládá ISI Science Citation Index

13 Impact factor Thomson Reuters Institute for Scientific Information (ISI) - ve všech oblastech vědy - předpokládá se, že tyto časopisy mají vysokou vědeckou hodnotu uznávanou akademickou komunitou - publikované práce se soustřeďují v časopisech (často multidisciplinárních) s vysokým impaktním faktorem ISI Web of Knowledge - takové časopisy (asi 9500, pokrývající oblast asi 150 vědeckých disciplín) zahrnují 90% literatury

14 CITACE Formalizovaný odkaz na určitý výsledek, metodu, či myšlenku v jiné publikaci Citovanost - počet citací dané publikace v určitém období Autocitace - autor článku cituje práce, v nichž figuruje jako autor či spoluautor a - citace kterýmkoli ze spoluautorů dané práce.

15 CITACE Citační zvyklosti jsou v různých oborech/časopisech odlišné Vysokou citovanost lze předpokládat pro - přehledné články REVIEW - kontroverzní publikace - publikace chyby (výsledek/poznatek/interpretace)

16 Impact factor (IF) Počet citací v roce R na články publikované v letech (R-1) a (R-2) IF = Celkový počet článků publikovaných v letech (R-1) a (R-2) Příklad: Analytical Chemistry, IF 2006 Cites in 2006 to articles published in: 2005 = 4980 Number of articles published in: 2005 = = = 1007 Sum: Sum: 2099 Calculation: Cites to recent articles = = Number of recent articles 2099

17 Impact factor (IF) IF (faktor dopadu) je určitým (ne zcela ideálním) hodnotícím kritériem pro časopis nemůže být kritériem pro hodnocení jedné konkrétní práce v tom časopise publikované. asi 95 % vědeckých publikací není nikdy citováno tzn. na IF se tedy průměrně podílí zhruba 5 % článků (samozřejmě v citovanějších oborech a v lepších časopisech více). použití IF jako jediného kritéria hodnocení kvality časopisu je, jako posuzovat zdravotní stav organismu jen na základě jeho hmotnosti.

18 Impact factor (IF) Poznámky 1. IF rozhodně nevyjadřuje obtížnost publikování v daném časopise, ale průměrnou míru ohlasu informací publikovaných v tomto časopise v následujících dvou letech. To závisí nejen na kvalitě práce samotné, ale i na sledovanosti a dostupnosti časopisu a ve značné míře i na určité módnosti dané tematiky. 2. IF samozřejmě v průměru s kvalitou prací koreluje, ale určitě ne přímo úměrně a už vůbec se nedá aplikovat na hodnocení malého vzorku prací.

19 Impact factor (IF) Kvantitativní spolehlivost údajů je však sporná, chyby nejrůznějšího charakteru dosahují až 25 % počtu prací, spolehlivost údajů o počtu citací ve starším období je snížená. Databáze citací ISI uvádí výhradně práce, na něž se někdy někdo (včetně autorů samých) odvolával. Citovanost prací publikovaných v časopisech s vyšším IF je sice obecně vyšší (neplatí absolutně) ale i práce zveřejněné v časopise s nižším IF mohou mít solidní ohlas. Záleží tedy nejen na časopise.

20 Impact factor (IF) Citovanost práce hodně závisí na oboru její působnosti: Např.: biologicky zaměřené práce mají v současnosti podstatně vyšší citovanost, než práce chemické. Biologické práce (povětšinou) citují jen práce v biologických časopisech. Skutečný dopad práce tedy není bezezbytku vyjádřen ani samotným IF, ani samotnou citovaností. Databáze citací ISI nepřihlíží k počtu spoluautorů ani autorských pracovišť. U téhož autora musí mít nepochybně jinou váhu práce, kde je autorem jediným, než práce, kde je spoluautorem s deseti dalšími. Databáze nebere ohled na počet autocitací.

21 Impact factor (IF) Poznámky k časopisům s nízkým IF Časté problémy časopisů s nízkým IF 1. Nedostatek vysoce kvalifikovaných recenzentů a tudíž je u nich vyšší pravděpodobnost publikace nekvalitních prací. Záleží na šíři problematiky, kterou časopis pokrývá (scope of the journal) 2. Slabé ocenění publikovaných prací při evaluacích a financování výzkumu 3. Menší zájem čtenářů 4. Nestabilita IF....

22 Vybráno z Nature: Impact factor hrátky s IF Časopis Folia Phoniatrica et Logopaedica má mezi badateli v dané oblasti dobrou reputaci, třebaže jeho impact factor byl in 2006 Publikace v takovém časopise však autorům/institucím, bohužel, nepřinese uznání, či grantové peníze. Dva badatelé Holanďan a Čech využili vlastností systému a publikovali článek s názvem: Reaction of Folia Phoniatrica et Logopaedica on the current trend of impact factor measures (H. K. Schutte and J. G. Švec: Folia Phoniatr. Logo., 59, , 2007). V tomto článku byly citovány všechny práce publikované v Folia Phoniatrica et Logopaedica v předchozích dvou letech.

23 Impact factor hrátky s IF Vybráno z Nature: Na základě definice impact factoru tato strategie vedla k dramatické změně a pro Folia Phoniatrica et Logopaedica se impact factor pro rok 2007 zvýšil na Srovnej 0,655 v roce 2006

24 Impact factor hrátky s IF Impaktní faktory a citační ohlasy jsou významnými scientometrickými údaji ty jsou zvláště důležité při hodnocení institucí a výkonnosti vědy ve státech či regionech. při hodnocení jednotlivců nebo týmů mohou prosté součty citací a/nebo IF vést k nesprávným závěrům. impaktní faktory reflektují citovanost průměrné práce v daném časopise. vyjadřují tedy naději, že určitá publikovaná práce získá stejný počet ohlasů (citací). Po určitém čase lze posoudit, zda skutečné citační ohlasy této naději opravdu odpovídají.

25 Impact factor hrátky s IF Počet citací je sice dobrým vodítkem pro předběžný odhad kvality práce badatelů v dané vědecké oblasti. ALE K ZAMYŠLENÍ: 1. Autor hojně publikuje a cituje hlavně sebe 2. Spoluautor získal spoustu citací, ale jeho vlastní zásluhy jsou malé (např. v době výzkumu pracoval ve špičkovém zahraničním kolektivu, kde jeho vlastní, tvůrčí přínos mohl být malý (stáž, hostování, studijní pobyt apod.) 3. Citace jsou dokladem minulosti autora a neříkají nic jeho aktuálním vědeckém výkonu 4. Citovaná práce je přehledný článek, nepřináší tedy žádné nové poznatky 5. Práce je silně citována proto, že je kritizována pro závažnou chybu 6. Autor svým objevem předběhl dobu (G.J.Mendel)

26 Impact factor hrátky s IF Body lze řešit pomocí citační analýzy. V případě popsaném v bodě 6. lze autora jen politovat

27 Další scientometrické parametry časopisů - Immediacy Index (Index bezprostřednosti, naléhavosti) - Journal Cited Half-Life (Citační poločas článků v časopisu) - Journal Citing Half-Life (Citační poločas časopisu) ISI Web of Knowledge

28 Immediacy Index Příklad: Analytical Chemistry Cites in 2006 to articles published in 2006 = 865 Number of articles published in 2006 = 1088 Calculation: Cites to current articles Number of current articles = 0.795

29 Journal Cited Half-Life (Citační poločas článků v časopisu) The cited half-life je dán jako medián stáří článků publikovaných v daném časopise a citovaných v JCR (Journal Citation Report) v daném roce. Takže právě polovina článků publikovaných v daném časopise je citována v této době. Příklad: Analytical Chemistry Cited Half-Life: 7.0 years

30 Journal Citing Half-Life (Citační poločas časopisu) The citing half-life je dán jako medián stáří publikace citované v daném roce v JCR (Journal Citation Report) Takže právě polovina citací v článku uveřejněném v daném časopise má stáří dané touto dobou Příklad: Analytical Chemistry Citing Half-Life: 5.2 years

31 Měření vědecké výkonnosti jednotlivce Co se hodnotí: Články ve vědeckých časopisech (s IF) Monografie, kapitoly v monografiích Konferenční příspěvky (zejména zvané plenární přednášky) Popularizační články Pedagogická a osvětová činnost Parametry Celkový počet publikovaných článků Celkový počet citací Citace připadající na jeden článek Počet významných článků

32 Citace obory Molekulární biologie a genetika Nasmyth, K. molekulární biologie 1. Nejcitovanější práce: 531 citací Práce 241 citací (z hlediska citovanosti)

33 Citace obory Matematika Csorgo, S. statistika 1. Nejcitovanější práce: 82 citací Práce 12 citací (z hlediska citovanosti)

34 OBORY: (odhad počtu citací článku) CITACE Astronomie, astrofyzika Fyzika Chemie Molekulární biologie, biochemie, genetika - desítky - desítky až stovky - stovky - stovky až tisíce

35

36 Měření vědecké výkonnosti jednotlivce V posledních letech zaváděna nová kritéria (míry) Hirsch (2005): h-index Egghe (2006): g-index Batista et al. (2006): individualizovaný h-index

37 Extra třída bio ČEŠI a. Fyzici Nobel c.bio b.chemici Vesmír, září 2006

38 h - index Robustní míra zohledňující kvalitu a kvantitu práce autora, nebo instituce, kterou vyjadřuje pomocí jednoho údaje (čísla) Využívá citačních ohlasů vědeckých prací. h-index je roven pořadovému číslu h publikace (publikace jsou seřazeny sestupně podle počtu citačních indexů), která má citační index rovný, nebo větší než toto pořadové číslo. index neřeší srovnávání výkonnosti vědců v různých oborech, je vázaný na vědní disciplínu Hirsch J.E.: Proc.Natl.Acad.Sci. 106, (2005)

39 Počet citací h index (příklad pro jednotlivce) Pořadí práce Suma citací h =h Egghe L.: ISSI Newsletter, 2, 8 (2006)

40 h index (příklad pro instituce) Acad.Sci,Brno h index = 76 Acad Sci, Praha h index = 144

41 g index Robustní míra zohledňující kvalitu a kvantitu práce autora, nebo instituce, kterou vyjádřuje pomocí jednoho údaje (čísla) námitka- h-index nezohledňuje váhu publikace, tj. kolikrát byl článek citován g-index také využívá citačních ohlasů vědeckých prací g-index je roven pořadovému číslu g publikace (publikace jsou seřazeny sestupně podle počtu citačních indexů), pro kterou je suma citací rovna, nebo větší než g 2 Egghe L.: Scientometrics, 69, 131 (2006)

42 Počet citací g index (příklad pro jednotlivce) Pořadí práce Suma citací g =g Egghe L.: ISSI Newsletter, 2, 8 (2006)

43 Individualizovaný h-index Komplementární míra h-indexu Zohledňuje spoluautorství (spoluatoři také citují práce) Je méně závislý na vědním oboru Předpokládaný h I -index daného autora, který by pracoval sám Je-li průměrný počet spoluautorů h-publikací N p = N c /h pak h I = h/n p = h 2 /N c Batista P.D. et al.: Scientometrics, 68, 179(2006)

44 Časopisy - scientometrie Journal Scientometrics Publisher ISSN Akadémiai Kiadó, co-published with Springer Science+Business Media B.V., Formerly Kluwer Academic Publishers B.V (Print) (Online) Issue Volume 31, Number 3 / November, 1994 DOI /BF Pages Subject Group Computer Science Online Date Saturday, August 06, 2005

45