Vztah sběru dat a hodnocení vědecké práce Marek Vecka 1. LF UK a VFN
Sběr r dat I. Specifita z pohledu produkce dat - tvorba primárn rní informace - unit of analysis - co se mám sbírat? II. Zpracování dat - nároky na vědecký v personál (anotace...) ostatní
Proč se mám sbírat I USA: 2. svět t válka: v cílenc lené vědecké projekty (Manhattan...) snazší kontrola vědeckých v výstupů (i peněz z...) po 2. svět t válce v koncept opuštěn n (liberáln lní přístup) 1957 The Sputnik shock,, vojenská hrozba SSSR reorganizace systému NASA (The National Aeronautics and Space Administration) ARPA (The Advanced Research Project Agency)
Proč se mám sbírat II vzrůst západních ekonomik nevysvětlitelný tradičními ekonomickými faktory (půda + práce + kapitál) Residual factor = informace (ekonomie věda) NATO - vojenská technologická spolupráce 1961 OECD (the Organization for Economic Cooperation and Development) - organizace a kooordinování vědecké a technologické politiky vyspělých ekonomik.
Co se mám sbírat I 1. Intelektuální organizace vědy neodpovídá její institucionální organizaci 2. Vztahy mezi úrovněmi organizací jsou různé u různých vědních disciplín 3. Nové vědecké poznatky (umělá inteligence) mohou vznikat ve velmi odlišných institucích (snaha definovat kognitivní jednotku analýzy pro evaluaci vědy)
Co se mám sbírat II Každý obor mám své výsledkové portfolio článek v časopise příspěvek ve sborníku kapitola v knize monografie /kniha artefakt prototyp přírodní vědy vědy o živé přírodě technické vědy humanitní a společensk enské obory umění x x x x x x x primární písemný zdroj vědecké komunikace x x x
Sbíran rané dokumenty 1.LF UK Korelace s IS VaVaI?
Co se mám sbírat III Nové indikátory vědeckv decké práce - návštěvnost vnost výstav a prezentací - hodnocení mediáln lního obrazu - počet neakademických uživatelu ivatelů vybavení vědecké instituce - napojení na místnm stní dění - spokojenost s poskytovanými informacemi a radami - přenositelnost vědomostv domostí Donovan 2007
Indikátory a metody evaluace ve vědě, v technologiích a inovacích ch Donovan 2007
Vlastnosti parametrů hodnocení vědeckého výkonu Parametr přesnost robustnost validita funkčnost čas náklady popis míra blízkosti indikátoru vědeckého výkonu k jeho skutečné hodnotě vlastnost systému poskytovat pořadí, které není citlivé na podíl hodnocených vstupů výzkumu schopnost systému měřit to, co je hodnoceno schopnost hodnotícího systému poskytovat všechny funkce, pro které je využíván čas nutný k provedení měření/hodnocení přímé+nepřímé výdaje měření Abramo 2011
Hodnocení vědecké práce I Úrovně dle potřeby zadavatele Mezinárodn rodní - IF, SCI, h-indexh Národní - např.. Hodnocení RIV Institucionáln lní - pro složky organizace - přímo pro jednotlivce
Hodnocení vědecké práce II Vědecká produktivita Počet publikací/jiných vědeckých v výstupů - rozdíly mezi obory, důraz d na kvantitu Kvalita, dopad vědeckv deckého výstupu Počet publikací v top časopisech - pouze pro exaktní vědy Citační ohlas - Web of Science, Scopus, Google Scholar - odráží intelektuáln lní vliv, nemusí korelovat s kvalitou výstupu Počet udělených prestižních cen - nelze mezioborově Členství v redakčních radách/oponentury pro (mezi)národn rodní časopisy - nelze mezioborově
Hodnocení vědecké práce III Inovace a společenský enský prospěch Příjmy z externích zdrojů (granty, průmysl, vládn dní podpora) - data se získz skávají poměrn rně obtížně - kolik prostředk edků získáno v grantových soutěž ěžích Zaměstnanost PhD absolventů - podle síly s ekonomiky Komercializace intelektuáln lního vlastnictví = patenty, licence, užitnu itné vzory, prototypy Hodnocení koncovými uživateliu = technické zprávy, kontrakty, ocenění v soutěž ěžích
Hodnocení vědecké práce IV Udržitelnost a měřm ěřítko Zastoupení PhD studentů,, mladých výzkumníků ve výzkumných týmech - hlavně biomedicínsk nské obory, ostatní různé zastoupení Spolupráce a jiná partnerství - odráží aktivitu, ale špatně se měřm ěří Dokončen ené PhD, MSc. práce - některé obory PhD/MSc aktivity upřednost ednostňují Výzkumná infrastruktura Aktivní pracovníci ci ve výzkumu Podíl l prostředk edků alokovaných pro VaV v dané instituci/státě Vybavení pro výzkum - starší ší,, zavedené instituce mají výhodu Etika ve výzkumu přiznávat konflikt zájmz jmů,, zdroje, práva zkoumaných objektů
Hodnocení vědy v různých r Stát Instituce Popis hodnocení státech tech Itálie univerzitní výzkum 2/3 váhy, úroveň vzdělávání 1/3 váhy Kritéria hodnocení výzkumu výstupy podle počtu úvazků rozděleny na exc dobré přij nedostačující hodnoceny expertními panely Španělsko univerzitní pouze výzkum 11 vědeckých oborů; výstupy 5 nej za posledních 6 let, expertní hodnocení Švédsko univerzitní (granty) ½ váhy bibliometrie, ½ váhy prostředky ext. výzkumu Vědecké obory mají různé faktory, data za poslední tři roky
Hodnocení univerzit ARWU (Academic Ranking of World Universities) První pokus o sestavení světov tového žebříčku Kritérium Indikátor Váha Kvalita vzdělávání Kvalita fakulty Výsledky výzkumu Absolventi univerzity, kteří získali Nobelovu cenu nebo jiné oborově významné ocenění Zaměstnanci fakulty, kteří získali Nobelovu cenu nebo jiné oborově významné ocenění 10% 20% Vysoce citovaní vědci v 21 vybraných oborech 20% Články publikované v časopisech Science nebo Nature Články v databázi Science Citation Index-expanded, nebo Social Science Citation Index Performance 20% 20% Jednotlivci Akademický výkon vztažený na úvazek 10% Celkem 100%
Proč se zajímat o hodnocení vědy uživatel účel požadovaný typ dat vědečtí a akademičtí pracovníci studenti identifikace pracovních ch příležitostí hledání výzkumných partnerů stanovení nejlepší infrastruktury a podpory pro výzkum výběr r vzdělávac vací instituce identifikace pracovních ch příležitostí institucionáln lní a oborová data o kvalitě, kompetenci, odbornosti a udržitelnosti hodnocení experty v oboru podmínky pro zaměstnance vztah výzkumu k výuce, poměr zaměstnanci/studenti institucionáln lní podpora institucionáln lní a oborová data o kvalitě, kompetenci, odbornosti a udržitelnosti hodnocení experty v oboru poměr r zaměstnanci/studenti podmínky pro zaměstnance, absolventy PhD abs. věk, v trvání,, program, podpora EU expert group 2008
Nesnáze při p i sběru dat Autoři nejednoznačná identifikace - přiřazení správn vného datového vstupu - výpočty h-indexh indexů,, citačních ch ohlasů... - splnění kritéri rií pro autocitace Afiliace autorů - nepřesnosti, esnosti, dělend lené úvazky
Závěr Očekávání a hodnocení výzkumu mohou mít m vliv na zkoumaná data. Je důled ležité pracovat s kvalitními daty. Vědu lze měřm ěřit, otazné je, jak dokonale.