Výzvy pro novou metodiku hodnocení výzkumu KHV, 12. 10. 2015, Tomáš Opatrný
Osnova: Stručný seznam hlavních výzev (hlavně z pohledu VŠ) Hodnocení a financování VŠ dnes Historická poučení (kafemlejnek a aplikované výsledky, hodnocení AV) Zamyšlení nad experty VŠ připomínky k výstupům IPN Metodika Co potřebujeme
Výzvy před novou metodikou (zejména z pohledu VŠ) Jak hodnotit instituce, ne pouze jejich výsledky? Jak postihnout fungování VŠ ve všech jejích rolích? Jak propojit hodnocení s financováním? Jak to provést v rámci stávající legislativy či jak legislativu změnit?
Výzvy před novou metodikou (zejména z pohledu VŠ) Jak efektivně hodnotit a financovat aplikovaný výzkum? Jak účinně stimulovat výzkumnou spolupráci škol a průmyslu? Jak podpořit kvalitu a zároveň diverzitu na VŠ? Jak podpořit synergii výzkumu a vzdělávání?
Výzvy před novou metodikou (zejména z pohledu VŠ) Kam směřovat PhD programy a jak hodnotit výzkum v oborových didaktikách? Jak zajistit efektivitu a férovost peerreview procesu?
Vysoké školy: Mají autonomii, jsou značně různorodé, skládají se z fakult, které mají také svou autonomii a jsou také různorodé i uvnitř jedné školy, navenek je ale VŠ jeden subjekt, VŠ mají několik rolí
Role VŠ: Vzdělávání výzkum (a jiná tvůrčí činnost) třetí role hrají aktivní roli ve veřejné diskusi o společenských a etických otázkách, při pěstování kulturní rozmanitosti a vzájemného porozumění, při utváření občanské společnosti a přípravě mladých lidí pro život v ní přispívají k rozvoji na národní a regionální úrovni a spolupracují s různými stupni státní správy a samosprávy, s podnikovou a kulturní sférou, rozvíjejí mezinárodní a zvláště evropskou spolupráci jako podstatný rozměr svých činností, podporují společné projekty s obdobnými institucemi v zahraničí, vzájemné uznávání studia a diplomů, výměnu akademických pracovníků a studentů.
Hodnocení VŠ - stávající situace: akreditace studijních oborů, kontroly AK projednávání strategických dokumentů (dlouhodobý záměr a jeho aktualizace) a výročních zpráv s MŠMT sledování indikátorů vstupujících do Pravidel poskytování příspěvku a dotací VVŠ RIV, RUV MŠMT může jmenovat své zástupce do státnicových komisí
Financování VŠ (stav 2015): příspěvek : cca 16 mld, v tom 12 mld podle studentů 4 mld koeficient K (podle ukazatelů tzv. kvality - mobility, zaměstnanost absolventů, počty prof, doc., získaná účelová podpora, RIV, RUV) dotace : cca 1 mld. Projekty vycházející ze strategických dokumentů VŠ
Financování VŠ (stav 2015): RVO: cca 5 mld, podle RIV Specifický vysokoškolský výzkum: cca 1 mld. Projekty s PhD a Mgr studenty. Účelová podpora výzkumu (GAČR, TAČR, MZ, atd.) Strukturální fondy Zahraniční projekty, Horizon 2020,... Vedlejší činnost (zakázky pro firmy atd.)
Dopady stávajícího systému: Vzrostl počet VŠ studentů a absolventů (totéž se nedá říct o jejich kvalitě), ač je ČR stále pod průměrem EU 28 v relativním počtu VŠ absolventů
Proportion of the population aged 30 to 34 having a tertiary educational attainment, 2014:
Dopady stávajícího systému: Výrazně vzrostl vědecký výkon VŠ 600 Počet publikací UP na WoS 500 400 300 200 100 0 1995 2000 2005 Data: Závěrečná zpráva Audit VaV v ČR
Dopady stávajícího systému: 1400 1200 1000 800 600 400 200 Výrazně vzrostl vědecký výkon VŠ počet publikací UP na WOS 0 2000 2002 2004 2006 2008 2010 2012 2014 Data: T.O. dle WOS
Analýza VaV 2014, počty publikací a citovanost
Dopady stávajícího systému: Létající profesoři (prof = surovina pro produkci akreditovaných studijních programů -> financovaných studentů; -> regulace sdílení suroviny: REDOP )
Hodnocení aplikovaného výzkumu Metodiky 2004-2012: paušální body za výsledky typu užitný vzor atd. (od r. 2010 bodová renormalizace) Důsledek:
1000 900 800 700 600 500 400 300 200 100 Hodnocení aplikovaného výzkumu Pozn.: nárůst aplikačních výsledků: Užitné a průmyslové vzory 0 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013
Hodnocení aplikovaného výzkumu Pozn.: nárůst aplikačních výsledků: 2500 Funkční vzorky, prototypy 2000 1500 1000 500 0 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013
Hodnocení aplikovaného výzkumu Analýza VaV 2014, aplikované výsledky 2005-14:
Hodnocení VaV: historie Pozn.: nárůst aplikačních výsledků: 2010 RIV/60460709:41610/10:49670 Palivo na bázi čiroku cukrového RIV/60460709:41310/10:22181 Palivo na bázi dendromasy a sběrového papíru a/nebo lepenky
Hodnocení VaV: historie Pozn.: nárůst aplikačních výsledků: 2011 RIV/60460709:41310/11:50766 Palivo na bázi zbytků z čaje RIV/60460709:41310/11:50767 Palivo na bázi zbytků z kávy RIV/60460709:41310/11:50317 Palivo na bázi zbytků z řezu bobulovin RIV/60460709:41310/11:51587 Palivová briketa na bázi zbytků z gastronomie RIV/60460709:41310/11:51617 Ekologické palivo na bázi ořechových skořápek RIV/60460709:41310/11:50768 Ekologické palivo na bázi zbytků z řezu růží RIV/60460709:41310/11:50769 Ekologické palivo na bázi zbytků z tabáku
Hodnocení VaV: historie Pozn.: nárůst aplikačních výsledků: 2012 RIV/60460709:41310/12:54336 Palivo na bázi bionafty RIV/60460709:41610/12:59431 Palivo na bázi odpadu z výroby oleje z oplodí palmy olejné RIV/60460709:41310/12:55043 Palivo na bázi pseudoobilovin RIV/60460709:41310/12:56134 Palivo na bázi zbytků z řezu ovocných stromů RIV/60460709:41310/12:56254 Palivo vyrobené z obilovin RIV/60460709:41310/12:56258 Palivo vyrobené z odpadu vznikajícího při zpracování bavlny RIV/60460709:41310/12:56256 Palivo vyrobené z odpadu vzniklého při výrobě alkoholických nápojů RIV/60460709:41310/12:56257 Palivo vyrobené z odpadu vzniklého z vyplozených substrátů z pěstování hub RIV/60460709:41310/12:56255 Palivo vyrobené z palic kukuřice
Hodnocení VaV: historie Pozn.: nárůst aplikačních výsledků: 2012 RIV/60460709:41310/12:56066 Palivo vyrobené ze spalitelných zahradních zbytků RIV/60460709:41310/12:56250 Palivo vyrobené ze stabilizované biomasy s využitím gastroodpadů RIV/60460709:41310/12:56251 Palivo vyrobené ze stabilizované biomasy s využitím kostí RIV/60460709:41310/12:56253 Palivo vyrobené ze stabilizované biomasy s využitím odpadu z výroby papíru a celulózy RIV/60460709:41310/12:54987 Palivo vytvořené z korku RIV/60460709:41310/12:55040 Palivo vytvořené z kůry jehličnanů RIV/60460709:41310/12:55044 Palivo vytvořené z kůry listnatých stromů RIV/60460709:41310/12:55041 Palivo vytvořené z máku setého RIV/60460709:41310/12:55042 Palivo vytvořené z obilovin
Hodnocení VaV: historie Pozn.: nárůst aplikačních výsledků: 2012 RIV/60460709:41310/12:54988 Palivo vytvořené ze šišek jehličnanů RIV/60460709:41310/12:55045 Palivo z kůry listnatých stromů RIV/60460709:41310/12:54989 Palivová briketa z kukuřice RIV/60460709:41310/12:55343 Palivová briketa z kůry jehličnanů RIV/60460709:41310/12:56064 Palivová briketa z listů listnatých stromů RIV/60460709:41310/12:55342 Palivová briketa z obilovin RIV/60460709:41310/12:55389 Palivová briketa ze šišek jehličnanů RIV/60460709:41310/12:56065 Palivová peleta ze spalitelných zahradních zbytků
Hodnocení VaV: historie Pozn.: nárůst aplikačních výsledků: 2013 RIV/60460709:41310/13:59975 Palivo vyrobené z kejdy RIV/60460709:41310/13:59977 Palivo vyrobené z odpadu vznikajícího při čištění a zpracování obilovin RIV/60460709:41310/13:59974 Palivo vyrobené z odpadu vznikajícího při lisování olejnatých semen RIV/60460709:41310/13:59979 Palivo vyrobené z odpadu vzniklého v textilním průmyslu RIV/60460709:41310/13:59978 Palivo vyrobené z odpadu vzniklého z mlýnských a pekárenských výrobků RIV/60460709:41310/13:59976 Palivo vyrobené z pokrutin
Hodnocení VaV: historie Zkušenosti s hodnocením AVČR 2005-2009 Hodnotící komise vypracují závěrečný protokol o hodnocení, k němuž ředitel pracoviště po poradě s radou pracoviště zaujme písemné stanovisko. Případné námitky k hodnocení obsažené ve stanovisku ředitele budou vypořádány celoakademickou hodnoticí komisí. Protokol o hodnocení, stanovisko ředitele pracoviště, případně vypořádání připomínek celoakademickou hodnoticí komisí budou zveřejněny na veřejných internetových stránkách AV ČR. [Metodický pokyn, AR AVČR, 4. května 2010]
Hodnocení VaV: historie Zkušenosti s hodnocením AVČR 2005-2009 Dokumentace spojená s hodnocením je velmi obsáhlá, a proto Akademická rada AV ČR schválila rozsah dokumentů, které jsou nyní zveřejněny prostřednictvím veřejných webových stránek AV ČR. O zveřejnění dalších materiálů neuvažujeme... [J. Drahoš, odpověď na mail 16. ledna 2012]
Hodnocení VaV: historie Zkušenosti s hodnocením AVČR 2005-2009
Hodnocení VaV: historie Zkušenosti s hodnocením AVČR 2005-2009 The Department is involved in many international programmes and several pubblications are shared with international scientists. (Kompletní odůvodnění známky 2 za mezinárodní spolupráci od zahraničního experta) It is unclear for me the acronyms used in this section. However the personnel seem well balanced and with clear programmes. (Kompletní odůvodnění známky 2 za mezinárodní spolupráci od zahraničního experta)
Hodnocení VaV: historie Zkušenosti s hodnocením AVČR 2005-2009...je nutné konstatovat, že celé přehodnocení vyvolává v ústavu silnou pachuť a vzbuzuje otázky, proč bylo nutné zvát externí hodnotitele, vynakládat nemalé finanční prostředky a čas mnoha lidí, když výsledné hodnocení odpovídá osobnímu názoru jednoho či několika málo jedinců z XXX?... Jak snadno získáme příště hodnotitele ze zahraničí, když celé přehodnocení je vlastně jednou velkou deklarací jejich neuspokojivé práce? Bude před nimi AV ČR závěry vyjádřené ve Stanovisku tajit, nebo jim vysvětlí, kde v hodnocení pochybili? (z vyjádření ředitele hodnoceného ústavu)
Hodnocení VaV: historie Zkušenosti s hodnocením AVČR 2005-2009...Pokud se AV ČR rozhodla hodnotit ústavy pomocí komisí externích expertů, jejichž výběr AR sama schválila, pak by měla také najít odvahu takto získané výsledky hodnocení přijmout.... Není možné ad hoc chatrně zdůvodněnými změnami známkování nahoru i dolů prosadit výsledek odpovídající mínění některých zaměstnanců ústavu a komisi externích hodnotitelů použít jako zástěrku demonstrující náročnost hodnocení. Toto vše nás vede k vyslovení zásadního nesouhlasu s těmi korekcemi, provedenými Řídící skupinou a AR, které se neopírají o jednání externích hodnotitelů. (z vyjádření ředitele hodnoceného ústavu, pokrač.)
Hodnocení VaV: historie Zkušenosti s hodnocením AVČR 2005-2009 K objektivnímu zhodnocení výzkumné činnosti nebyl získán dostatečný počet kvalifikovaných zahraničních posuzovatelů, dvě oddělení byla posuzována pouze jedním odborníkem, ostatní oddělení měla dva zahraniční posuzovatele a pouze jedno oddělení získalo 3 zahraniční posudky. Ačkoliv se výsledné hodnocení uvedené v tabulce Profily vědeckých útvarů ve většině případů shoduje s výsledným hodnocením zahraničních posuzovatelů, u oddělení XXX došlo k posunu z hodnocení 1 na 3, aniž by byly důvody k takto razantnímu posunu uvedeny... (stanovisko vedení hodnoceného ústavu)
Hodnocení VaV: historie Zkušenosti s hodnocením AVČR 2005-2009...Pokud se týče hodnocení jednotlivých útvarů byli jsme překvapeni celkovým hodnocením některých útvarů. Extrémem je hodnocení Oddělení..., které je vedeno prof. XXX, které dostalo známku 2. Prof. XXX je nejvíce citovanou vědeckou pracovnicí z České republiky (5717 citací, H index 42), její oddělení trvale produkuje významné impaktované publikace, prof. XXX patří mezi ve světě nejvíce uznávané české vědce. Celkem 26 pracovních týmů bylo hodnoceno v sekci 5 lepší známkou než tým prof. XXX (z toho pouze 4 vedoucí týmů dosahují většího citačního indexu než prof. XXX). Předpokládali jsme, že hodnotící komise a následně i Akademická rada upraví naprosto neobjektivní a zaujaté hodnocení zahraničního hodnotitele Prof. YYY, na což jsme hodnotící komisi upozornili. Pohrdání objektivními fakty nemá ve vědě místo. (z vyjádření ředitelky hodnoceného ústavu)
Hodnocení VaV: historie Zkušenosti s hodnocením AVČR 2005-2009 Profesor XXX... následně poukázal na některé nedostatky nastavení procesu hodnocení AV ČR ve vztahu k zahraničním hodnotitelům, kteří jsou díky nastavení kritérií a způsobu prezentace dat a podkladů i jazykové bariéře nuceni posuzovat spíše kvantitu než kvalitu výstupů XXX či ústavů obecně... (zápis z prezenčního hodnocení) Hodnocení okruhu D je zcela nepřijatelné, protože se orientuje pouze na věkovou strukturu k datu odevzdávání podkladů a nebere v úvahu celé hodnocené období. Materiální otázky byly posuzovány povrchně, rovněž připomínky k organizačním otázkám jsou mechanistické... (z vyjádření pracoviště)
Výzvy před novou metodikou Jak zajistit efektivitu a férovost peerreview procesu?
D. Kahneman, Myšlení rychlé a pomalé : Z [...] výzkumů plyne významný závěr: algoritmus, který si sepíšete na kus papíru, je často stejně dobrý jako statistický vzorec s vícenásobnou regresí, a určitě dost dobrý na to, aby překonal expertní úsudek. Kdykoliv existuje možnost nahradit lidský úsudek vzorcem, měli bychom o tom alespoň uvažovat.
D. Kahneman, Myšlení rychlé a pomalé : Paul Mehl Clinical versus Statistical Prediction: a Theoretical Analysis and a Review of the Evidence [Univ. Minnesota 1954] Robyn Dawes The robust beauty of improper linear models in decision making [Am. Psychol. 34, 571 (1979)]
Experti jsou skvělí, ale: Science is the belief in the ignorance of experts Richard Feynman
Výzvy před novou metodikou Připomínky Rady VŠ k výstupům IPN Metodika Jak zajistit dostatečný počet kvalitních nestranných zahraničních hodnotitelů? Registr výzkumníků a evidence FTE výzkumníků - nadbytečná byrokratická zátěž + nejasné, jak na VŠ stanovit rozdělení činnosti mezi výuku, výzkum a další aktivity?
Výzvy před novou metodikou Připomínky Rady VŠ k výstupům IPN Metodika Perioda hodnocení 5-6 let je příliš dlouhá na poskytnutí efektivní zpětné vazby v dynamickém prostředí ČR. VŠ a AVČR v jednom hrnci jako Scientific Research Organizations bez ohledu na značnou variabilitu škol i fakult a různost jejich poslání (některé mají blíže k Public Service RO, jiné k Industry & Business Service RO. Jde o krok proti diverzifikaci VŠ.
Výzvy před novou metodikou Připomínky Rady VŠ k výstupům IPN Metodika Výpočet financí podle FTE výzkumníků je problematický v obou variantách (závislost na přesném stanovení FTE, nebo rigidita a neadekvátnost vůči rychle rostoucím pracovištím) Problematické (ne)započítávání spoluautorských podílů
Výzvy před novou metodikou Připomínky Rady VŠ k výstupům IPN Metodika Nepřesvědčivé řešení problematiky hodnocení aplikovaného výzkumu (vše peer review, ale absence výsledků typu prototyp, poloprovoz, software ). Jak vůbec bude panel hodnotit význam aplikovaných výsledků?
Co potřebujeme: Zajistit solidní sběr dat týkajících se všech rolí univerzity (či jiné VO): vzdělávání, výzkum, spolupráce se státní správou, samosprávou a veřejným sektorem spolupráce s podnikovou a kulturní sférou, evropská a mezinárodní spolupráce atd.
Co potřebujeme: Zajistit efektivní zpracování sebraných dat a formulaci výsledných doporučení. Kvalitní data potřebujeme víc než slohová cvičení.
Shrnutí: Výzvy z pohledu VŠ (hodnotit všechny role a podpořit jejich synergii) Hodnocení a financování VŠ dnes (baterie kafemlejnků) Historická poučení (aplikace, hodnocení AV) Zamyšlení nad experty ( science is... ) VŠ připomínky k výstupům IPN Metodika Co potřebujeme (především dobrá data) Děkuji za pozornost!