Financování české vědy a Metodika hodnocení výsledků Jiří Málek RVVI, KHV Česká akademie zemědělských věd, 14.5.2013
Obsah přednášky Struktura státního rozpočtu Financování programů a institucí Aplikovaný vs. základní výzkum Trendy ve financování Trendy v publikační aktivitě Jak hodnotit vědu? Metodika hodnocení v ČR Proč potřebujeme změnu a v čem spočívá? Jaké jsou možnosti?
Státní rozpočet VaVaI 2013 Rozpočet 2013 13,094 13,023 Účelové Institucionální
Financování programů 2013 Účelové výdaje 2013 6% 4% 3% 3% 2% 9% 13% 16% 25% 19% GAČR TAČR MPO MŠMT MŠMT_VŠ MZ MV MK MZe MO AVČR
Institucionální financování Institucionální výdaje 2013 19% 10% RVO+VZ Nákl. činnost Ostatní 71% AVCR: 1,130 mld. GACR: 0,110 mld. TACR: 0,099 mld. Govt.: 0,033 mld.
Rozvoj výzkumných organizací Výdaje na RVO+VZ 2013 11% 4% 1% MŠMT AVČR AVČR_nč 48% MZ MPO MZe 32% MO MK MV MZ: 0,382 MPO: 0,146 MZe: 0,090
RVO podle oborových skupin Medical & Health Sci. 15% 11% Biological Sci. 12% Chemical Sci. 17% Physics Mathematics 5% 5% 5% 15% 15% Earth Sci. Agri. Sci. Technical Sci. & IT Social Sci. & Humanities
Vývoj financování AV a univerzit 2006-2013 5,5 5,0 RVO + VZ (mld. Kč) 4,5 4,0 3,5 3,0 2,5 Univerzity AVČR (včetně NČ) 2006 2008 2010 2012 2014 rok
Vývoj v kapitolách MPO a TAČR 5,5 5,0 Účelové výdaje (mld. Kč) 4,5 4,0 3,5 3,0 2,5 2,0 2006 2008 2010 2012 2014 2016 rok MPO+TAČR
Vývoj v ostatních kapitolách Účelové výdaje (mld. Kč) 2,5 2,0 1,5 1,0 0,5 MV MK MZ MZe MO 0,0 2006 2007 2008 2009 2010 2011 2012 2013 rok
Daňové úlevy VaV v podnikatel. sektoru 2,0 Nepřímá podpora VaVaI (mld. Kč) 1,8 1,6 1,4 1,2 1,0 0,8 2005 2006 2007 2008 2009 2010 2011 rok
Celostátní vývoj počtu publikací v impaktovaných časopisech 18000 16000 14000 S lovensko Č R Č eskoslo vensko Publikace 12000 10000 8000 zákon 130/2 002 6000 4000 b odová ní 2000 1980 1984 1 988 1992 1996 2000 2004 2008 2012 rok
Vývoj v rámci institucí 1980-2010 Impaktované publikace 14000 12000 10000 8000 6000 4000 2000 C R & U niv C ountry C R & A cad S ci 1980 1985 1990 1995 2000 2005 2010 rok
Vývoj počtu citací 1980-2010 1 0 0 0 0 0 8 0 0 0 0 C o u n try C R & U n iv C R & A c a d S c i Počet citací 6 0 0 0 0 4 0 0 0 0 2 0 0 0 0 1 9 8 0 1 9 8 5 1 9 9 0 1 9 9 5 2 0 0 0 2 0 0 5 2 0 1 0 ro k
Typy publikací podle zemí Czech Republic Austria Hungary Others Abstract Proceedings Article Switzerland Denmark Poland Finland 0 20 40 60 80 100 Web of Science, THOMSON REUTERS, 03/2013 %
X Axis Title Tech Univ Ostrava Univ Def, CR Univ Ekon, CR Tech Univ Brno Tech Univ Liberec Univ Zlin Czech Tech Univ Univ W Bohemia Cz Univ Life Sci Masaryk Univ Charles Univ Mendel Univ Palacky Univ Univ Pardubice U Vet & Ph Sci Acad Sci, CR Inst Chem Tech Univ S Bohemia Typy publikací podle institucí (2010) 0 20 40 60 80 100 Web of Science, THOMSON REUTERS, 03/2013 % Abstract Proceedings Article
Essential Science Indicators (THOMSON REUTERS) Kategorizuje citace na 9 mil. publikací zveřejněných za posledních 10 let v rámci časopisů indexovaných na Web of Science Tyto práce jsou rozděleny na 22 oborů (FIELDS) podle časopisů, kde jsou uveřejněny Jsou vybrány pouze nejvíce citované práce, jejichž autoři a instituce jsou seřazeny podle počtu získaných citací (ALL FIELDS)
Instituce v ČR (2000 2010) # Institution Citation / paper h-index 214 Acad. Sci.. 9,19-402 Charles Univ. 11,29-938 Masaryk Univ. 7,15 57 1446 Palacky Univ. 6,98 50 1590 Univ. S. Bohemia 7,68 46 1689 Inst. Chem. Technol. 5,82 44 1838 Czech. Tech. Univ. 4,40 50 2075 Univ. Pardubice 6,56 36 3601 Univ. W. Bohemia 4,60 25
Lze hodnotit vědu? Opravdovou vědu jen velmi obtížně hodnotné výsledky se často ztrácejí v balastu často nevyhovují zavedeným kategoriím kvalita lidí se obvykle pozná až začnou chybět rutina versus originalita Pokud však chceme alespoň trochu spravedlivě rozdělit peníze, tak hodnotit prostě musíme 19
Jak se hodnotí věda ve světě Lesk a stíny světových žebříčků univerzit (US News &World Report, THES, Shanghai Jiao Tong) Lze podle těchto žebříčků financovat? Britský Research Assessment Excercise Lombardiho projekt měření univerzitní výkonnosti v USA (výdaje, ocenění, PhD, PostD, SAT) Nesrovnatelnost měřítek a zvyklostí 20
Publikační produktivita institucí * 2001-2005 25 Harvard 20 MIT Oxford Publikace / AP 15 10 ČR Princeton Cornell Duke UCLA Columbia Yale CSIC Stanford 5 UK TUM AVCR 0 0 100 200 300 400 Roční dotace VaV / AP (tis. USD) 21
Metodika hodnocení výsledků VO (prováděcí předpis vyplývající ze Zákona) Přípravu Metodiky a její předložení vládě zabezpečuje RVVI ( 35, odst 2, písm. c) RVVI následně provádí též hodnocení výsledků výzkumných organizací podle platné Metodiky ( 35, odst 2, písm. d) RVVI následně promítá výsledky hodnocení do návrhu výdajů státního rozpočtu na výzkum a vývoj a to konkrétně do výše institucionální podpory VO dle 5a, 6 (odst. 2, písm. c) a 7 (odst. 6)
Jak probíhalo hodnocení výsledků výzkumných organizací? Od roku 2004 jsou ročně publikována bodová hodnocení VO na základě RIV dle postupu definovaného v Metodice hodnocení výsledků VO V letech 2010-2011 probíhal v souladu se zákonem přechod ze systému výzkumných záměrů na systém každoročního průběžného hodnocení na základě Metodiky (vždy za 5 let) Rok 2012 byl již plně financován podle nového systému na základě Metodiky Rozpočet na letošní rok na úrovni poskytovatelů přihlíží pouze z 20% k Metodice. V příštím roce se zřejmě bude postupovat obdobně
K čemu slouží Metodika? Metodika je vhodná pro rozdělení institucionální podpory mezi poskytovatele Už méně se hodí pro rozdělení podpory mezi VO v rámci poskytovatelů Je zcela nevhodná pro hodnocení malých výzkumných skupin a jednotlivců
Proč nová Metodika? Je třeba respektovat Zákon a naplnit povinnosti RVVI dané 35 Současná Metodika (2010-2012) je oprávněně kritizována pro některé zřejmé nedostatky Zřejmě nelze čekat na výsledky projektu IPN Metodika, které budou v implementovatelné podobě k dispozici nejdříve v roce 2016 (spíše však později) Je tedy asi vhodné připravit upravenou podobu současné Metodiky (M13), která bude platit po dobu přechodného období
Východiska Národní politika VaVaI (opatření A 3-1) IPN Audit VaVaI (závěrečná zpráva, bod 7) Dlouhodobé principy hodnocení VO (strategický materiál RVVI z roku 2010) Princip 1: Předpokládá se vznik velkého hodnocení, které bude výsledkem projektu IPN Do doby, než vznikne bude fungovat malé hodnocení, probíhající každoročně na základě sběru dat v IS VVI
Základní principy M13 Peer-review hodnocení výsledků ve společenských a humanitnich vědách Hodnocení kvality výsledků, které VO vyberou jako své nejlepší Aplikační výzkum bude hodnocen podle patentů, odrůd, plemen a podílu VO na zdrojích získaných v grantových soutěžích
Pilíř I Kombinace stávajícího systému hodnocení podle numerických indikátorů s prvky peer-review Numerickými indikátory se budou hodnotit obory, ve kterých je tento způsob obecně uznávaný Peer-review bude hrát významnější roli v oborech (SHV), kde jako výsledky převažují knihy nebo časopisy, které nejsou zahrnuty ve světově akceptovaných databázích (subpilíř I) Bodová hodnota patentů se sníží: 100-50-20 Pro vybrané obory je navrženo zařazení časopisů z databáze SCOPUS Metodika bude oddělena od přípravy SR Hodnocení bude probíhat v rámci oborových skupin, tak jako doposud
Oborové skupiny 1.Společenské a humanitní vědy A, B, C 2.Technické vědy a informatika 3.Matematické vědy 4.Fyzikální vědy 5.Chemické vědy 6.Vědy o zemi 7. Biologické vědy 8.Zemědělské vědy 9.Lékařské vědy
Publikační výsledky 2013 Druh výsledku SHVa, SHVb 1) ostatní Jimp článek v impaktovaném časopise 2) 10-305 3) Jsc Článek v databázi Scopus 4) 10-305 4) Jneimp Jrec B D Článek v databázi ERIH INT 1 30 12 INT 2 20 11 NAT 10 10 článek v časopise uvedeném v seznamu recenzovaných periodik 5) 4 7) 0 světový jazyk 40 odborná kniha 40 ostatní jazyky angličtina, čínština, francouzština, němčina, ruština a španělština článek ve sborníku 6) 8-60 6) 20
Publikační výsledky 2014 SHVa, Druh výsledku SHVb 1) ostatní obory Jimp článek v impaktovaném časopise 2) 10-305 3) Jsc Článek v databázi Scopus 4) 10-305 4) Jneimp Článek v databázi ERIH INT 1 30 12 INT 2 20 11 NAT 10 10 4 7) Jrec článek v časopise uvedeném v seznamu recenzovaných periodik 5) B odborná kniha 4-120 8) D článek ve 8-60 6) sborníku 6) 0
Pilíř II Každá VO (univerzity po fakultách) vybere určitý počet libovolných výsledků v RIV, které sama považuje za kvalitní (včetně oborové skupiny kde má být výsledek posuzován) Oborové skupiny budou stejné jako v pilíři I Bude určena kvóta pro počet výsledků vybraných danou VO k expertnímu posouzení, (např. jeden výsledek na každých 10 MKč instit. podpory) K danému výsledku VO dodá zdůvodnění, proč jej považuje za kvalitní (citace, komercionalizace, výrazné ovlivnění oboru, atd.). Výsledky budou posouzeny expertními panely v rámci oborových skupin napříč všemi VO a v každé skupině bude vybráno 20% nejlepších výsledků Budou stanovena pravidla pro míru příspěvku dané VO k danému výsledku (pokud půjde o výsledek více institucí) Tomuto indikátoru bude alokováno 10% z celkového počtu bodů, které se budou mezi VO přerozdělovat na základě expertního posouzení výsledků Určitý počet bodů bude přiznán VO, jejíž pracovníci v uplynulém pětiletém období uspěli v získání ERC grantu
Pilíř III V rámci tohoto pilíře je navržen postup ve dvou krocích. Nejprve budou zohledněna bodová ohodnocení patentů, odrůd a plemen v rámci pilíře I, které byly vykázány jednotlivými VO v daném roce V dalším kroku se množství bodů přidělené patentům, odrůdám a plemenům odečte od celkového počtu bodů alokované na výsledky aplikovaného VaV (15%) a tato zbylá část bodů se rozpočítá mezi jednotlivé VO v poměru neinvestičních nákladů vyplacených VO na realizaci aplikovaného výzkumu z projektů TAČR, MPO, 7RP, a smluvního výzkumu ApKč = α Projekty + β SmlVýzk (α = 0,9; β = 0,1) Pro tento typ hodnocení nebude možné uplatnit finanční náklady vyplývající z výzkumných záměrů, rozvojových projektů MŠMT, rozvojových projektů z fondů EU (např. OPVK, VaVpI), nebo z infrastrukturních projektů výzkumu a vývoje
Garanti jednotlivých pilířů (KHV) prof. Zdeněk Němeček, MFF UK (pilíř I.) prof. Tomáš Opatrný, PřF UP (pilíř II.) prof. Josef Psutka, FAV ZČU (pilíř III.)
Porovnání M12 a M13 Metodika 2012 Metodika 2013 15% Publikační Nepublikační 10% 15% Pilíř I Pilíř II Pilíř III 85% 75% - Problém pseudovýsledků (knihy a nepubl. výsledky) - Preference kvantity - Malý důraz na kvalitu - Příma vazba na finance - Peer-review knih, kapitol a recenzovaných časopisů (návrh SHV) - Potlačení kvantity u nepubl. výsledků - Hodnocení kvality vybraných výsledků - Hodnocení odděleno od financí
Jak dál v příštích 4-5 letech? Podaří se přijmout navrženou M13 a odstranit nejvíce kritizované nedostatky současného systému hodnocení VO? Nebo v přechodném období bude platit dále současná Metodika, která je prodlužována od roku 2010?