Výzvy pro novou metodiku hodnocení výzkumu. KHV, , Tomáš Opatrný

Transkript

1 Výzvy pro novou metodiku hodnocení výzkumu KHV, , Tomáš Opatrný

2 Osnova: Stručný seznam hlavních výzev (hlavně z pohledu VŠ) Hodnocení a financování VŠ dnes Historická poučení (kafemlejnek a aplikované výsledky, hodnocení AV) Zamyšlení nad experty VŠ připomínky k výstupům IPN Metodika Co potřebujeme

3 Výzvy před novou metodikou (zejména z pohledu VŠ) Jak hodnotit instituce, ne pouze jejich výsledky? Jak postihnout fungování VŠ ve všech jejích rolích? Jak propojit hodnocení s financováním? Jak to provést v rámci stávající legislativy či jak legislativu změnit?

4 Výzvy před novou metodikou (zejména z pohledu VŠ) Jak efektivně hodnotit a financovat aplikovaný výzkum? Jak účinně stimulovat výzkumnou spolupráci škol a průmyslu? Jak podpořit kvalitu a zároveň diverzitu na VŠ? Jak podpořit synergii výzkumu a vzdělávání?

5 Výzvy před novou metodikou (zejména z pohledu VŠ) Kam směřovat PhD programy a jak hodnotit výzkum v oborových didaktikách? Jak zajistit efektivitu a férovost peerreview procesu?

6 Vysoké školy: Mají autonomii, jsou značně různorodé, skládají se z fakult, které mají také svou autonomii a jsou také různorodé i uvnitř jedné školy, navenek je ale VŠ jeden subjekt, VŠ mají několik rolí

7 Role VŠ: Vzdělávání výzkum (a jiná tvůrčí činnost) třetí role hrají aktivní roli ve veřejné diskusi o společenských a etických otázkách, při pěstování kulturní rozmanitosti a vzájemného porozumění, při utváření občanské společnosti a přípravě mladých lidí pro život v ní přispívají k rozvoji na národní a regionální úrovni a spolupracují s různými stupni státní správy a samosprávy, s podnikovou a kulturní sférou, rozvíjejí mezinárodní a zvláště evropskou spolupráci jako podstatný rozměr svých činností, podporují společné projekty s obdobnými institucemi v zahraničí, vzájemné uznávání studia a diplomů, výměnu akademických pracovníků a studentů.

8 Hodnocení VŠ - stávající situace: akreditace studijních oborů, kontroly AK projednávání strategických dokumentů (dlouhodobý záměr a jeho aktualizace) a výročních zpráv s MŠMT sledování indikátorů vstupujících do Pravidel poskytování příspěvku a dotací VVŠ RIV, RUV MŠMT může jmenovat své zástupce do státnicových komisí

9 Financování VŠ (stav 2015): příspěvek : cca 16 mld, v tom 12 mld podle studentů 4 mld koeficient K (podle ukazatelů tzv. kvality - mobility, zaměstnanost absolventů, počty prof, doc., získaná účelová podpora, RIV, RUV) dotace : cca 1 mld. Projekty vycházející ze strategických dokumentů VŠ

10 Financování VŠ (stav 2015): RVO: cca 5 mld, podle RIV Specifický vysokoškolský výzkum: cca 1 mld. Projekty s PhD a Mgr studenty. Účelová podpora výzkumu (GAČR, TAČR, MZ, atd.) Strukturální fondy Zahraniční projekty, Horizon 2020,... Vedlejší činnost (zakázky pro firmy atd.)

11 Dopady stávajícího systému: Vzrostl počet VŠ studentů a absolventů (totéž se nedá říct o jejich kvalitě), ač je ČR stále pod průměrem EU 28 v relativním počtu VŠ absolventů

12 Proportion of the population aged 30 to 34 having a tertiary educational attainment, 2014:

13 Dopady stávajícího systému: Výrazně vzrostl vědecký výkon VŠ 600 Počet publikací UP na WoS Data: Závěrečná zpráva Audit VaV v ČR

14 Dopady stávajícího systému: Výrazně vzrostl vědecký výkon VŠ počet publikací UP na WOS Data: T.O. dle WOS

15 Analýza VaV 2014, počty publikací a citovanost

16 Dopady stávajícího systému: Létající profesoři (prof = surovina pro produkci akreditovaných studijních programů -> financovaných studentů; -> regulace sdílení suroviny: REDOP )

17 Hodnocení aplikovaného výzkumu Metodiky : paušální body za výsledky typu užitný vzor atd. (od r bodová renormalizace) Důsledek:

18 Hodnocení aplikovaného výzkumu Pozn.: nárůst aplikačních výsledků: Užitné a průmyslové vzory

19 Hodnocení aplikovaného výzkumu Pozn.: nárůst aplikačních výsledků: 2500 Funkční vzorky, prototypy

20 Hodnocení aplikovaného výzkumu Analýza VaV 2014, aplikované výsledky :

21 Hodnocení VaV: historie Pozn.: nárůst aplikačních výsledků: 2010 RIV/ :41610/10:49670 Palivo na bázi čiroku cukrového RIV/ :41310/10:22181 Palivo na bázi dendromasy a sběrového papíru a/nebo lepenky

22 Hodnocení VaV: historie Pozn.: nárůst aplikačních výsledků: 2011 RIV/ :41310/11:50766 Palivo na bázi zbytků z čaje RIV/ :41310/11:50767 Palivo na bázi zbytků z kávy RIV/ :41310/11:50317 Palivo na bázi zbytků z řezu bobulovin RIV/ :41310/11:51587 Palivová briketa na bázi zbytků z gastronomie RIV/ :41310/11:51617 Ekologické palivo na bázi ořechových skořápek RIV/ :41310/11:50768 Ekologické palivo na bázi zbytků z řezu růží RIV/ :41310/11:50769 Ekologické palivo na bázi zbytků z tabáku

23 Hodnocení VaV: historie Pozn.: nárůst aplikačních výsledků: 2012 RIV/ :41310/12:54336 Palivo na bázi bionafty RIV/ :41610/12:59431 Palivo na bázi odpadu z výroby oleje z oplodí palmy olejné RIV/ :41310/12:55043 Palivo na bázi pseudoobilovin RIV/ :41310/12:56134 Palivo na bázi zbytků z řezu ovocných stromů RIV/ :41310/12:56254 Palivo vyrobené z obilovin RIV/ :41310/12:56258 Palivo vyrobené z odpadu vznikajícího při zpracování bavlny RIV/ :41310/12:56256 Palivo vyrobené z odpadu vzniklého při výrobě alkoholických nápojů RIV/ :41310/12:56257 Palivo vyrobené z odpadu vzniklého z vyplozených substrátů z pěstování hub RIV/ :41310/12:56255 Palivo vyrobené z palic kukuřice

24 Hodnocení VaV: historie Pozn.: nárůst aplikačních výsledků: 2012 RIV/ :41310/12:56066 Palivo vyrobené ze spalitelných zahradních zbytků RIV/ :41310/12:56250 Palivo vyrobené ze stabilizované biomasy s využitím gastroodpadů RIV/ :41310/12:56251 Palivo vyrobené ze stabilizované biomasy s využitím kostí RIV/ :41310/12:56253 Palivo vyrobené ze stabilizované biomasy s využitím odpadu z výroby papíru a celulózy RIV/ :41310/12:54987 Palivo vytvořené z korku RIV/ :41310/12:55040 Palivo vytvořené z kůry jehličnanů RIV/ :41310/12:55044 Palivo vytvořené z kůry listnatých stromů RIV/ :41310/12:55041 Palivo vytvořené z máku setého RIV/ :41310/12:55042 Palivo vytvořené z obilovin

25 Hodnocení VaV: historie Pozn.: nárůst aplikačních výsledků: 2012 RIV/ :41310/12:54988 Palivo vytvořené ze šišek jehličnanů RIV/ :41310/12:55045 Palivo z kůry listnatých stromů RIV/ :41310/12:54989 Palivová briketa z kukuřice RIV/ :41310/12:55343 Palivová briketa z kůry jehličnanů RIV/ :41310/12:56064 Palivová briketa z listů listnatých stromů RIV/ :41310/12:55342 Palivová briketa z obilovin RIV/ :41310/12:55389 Palivová briketa ze šišek jehličnanů RIV/ :41310/12:56065 Palivová peleta ze spalitelných zahradních zbytků

26 Hodnocení VaV: historie Pozn.: nárůst aplikačních výsledků: 2013 RIV/ :41310/13:59975 Palivo vyrobené z kejdy RIV/ :41310/13:59977 Palivo vyrobené z odpadu vznikajícího při čištění a zpracování obilovin RIV/ :41310/13:59974 Palivo vyrobené z odpadu vznikajícího při lisování olejnatých semen RIV/ :41310/13:59979 Palivo vyrobené z odpadu vzniklého v textilním průmyslu RIV/ :41310/13:59978 Palivo vyrobené z odpadu vzniklého z mlýnských a pekárenských výrobků RIV/ :41310/13:59976 Palivo vyrobené z pokrutin

27 Hodnocení VaV: historie Zkušenosti s hodnocením AVČR Hodnotící komise vypracují závěrečný protokol o hodnocení, k němuž ředitel pracoviště po poradě s radou pracoviště zaujme písemné stanovisko. Případné námitky k hodnocení obsažené ve stanovisku ředitele budou vypořádány celoakademickou hodnoticí komisí. Protokol o hodnocení, stanovisko ředitele pracoviště, případně vypořádání připomínek celoakademickou hodnoticí komisí budou zveřejněny na veřejných internetových stránkách AV ČR. [Metodický pokyn, AR AVČR, 4. května 2010]

28 Hodnocení VaV: historie Zkušenosti s hodnocením AVČR Dokumentace spojená s hodnocením je velmi obsáhlá, a proto Akademická rada AV ČR schválila rozsah dokumentů, které jsou nyní zveřejněny prostřednictvím veřejných webových stránek AV ČR. O zveřejnění dalších materiálů neuvažujeme... [J. Drahoš, odpověď na mail 16. ledna 2012]

29 Hodnocení VaV: historie Zkušenosti s hodnocením AVČR

30 Hodnocení VaV: historie Zkušenosti s hodnocením AVČR The Department is involved in many international programmes and several pubblications are shared with international scientists. (Kompletní odůvodnění známky 2 za mezinárodní spolupráci od zahraničního experta) It is unclear for me the acronyms used in this section. However the personnel seem well balanced and with clear programmes. (Kompletní odůvodnění známky 2 za mezinárodní spolupráci od zahraničního experta)

31 Hodnocení VaV: historie Zkušenosti s hodnocením AVČR je nutné konstatovat, že celé přehodnocení vyvolává v ústavu silnou pachuť a vzbuzuje otázky, proč bylo nutné zvát externí hodnotitele, vynakládat nemalé finanční prostředky a čas mnoha lidí, když výsledné hodnocení odpovídá osobnímu názoru jednoho či několika málo jedinců z XXX?... Jak snadno získáme příště hodnotitele ze zahraničí, když celé přehodnocení je vlastně jednou velkou deklarací jejich neuspokojivé práce? Bude před nimi AV ČR závěry vyjádřené ve Stanovisku tajit, nebo jim vysvětlí, kde v hodnocení pochybili? (z vyjádření ředitele hodnoceného ústavu)

32 Hodnocení VaV: historie Zkušenosti s hodnocením AVČR Pokud se AV ČR rozhodla hodnotit ústavy pomocí komisí externích expertů, jejichž výběr AR sama schválila, pak by měla také najít odvahu takto získané výsledky hodnocení přijmout.... Není možné ad hoc chatrně zdůvodněnými změnami známkování nahoru i dolů prosadit výsledek odpovídající mínění některých zaměstnanců ústavu a komisi externích hodnotitelů použít jako zástěrku demonstrující náročnost hodnocení. Toto vše nás vede k vyslovení zásadního nesouhlasu s těmi korekcemi, provedenými Řídící skupinou a AR, které se neopírají o jednání externích hodnotitelů. (z vyjádření ředitele hodnoceného ústavu, pokrač.)

33 Hodnocení VaV: historie Zkušenosti s hodnocením AVČR K objektivnímu zhodnocení výzkumné činnosti nebyl získán dostatečný počet kvalifikovaných zahraničních posuzovatelů, dvě oddělení byla posuzována pouze jedním odborníkem, ostatní oddělení měla dva zahraniční posuzovatele a pouze jedno oddělení získalo 3 zahraniční posudky. Ačkoliv se výsledné hodnocení uvedené v tabulce Profily vědeckých útvarů ve většině případů shoduje s výsledným hodnocením zahraničních posuzovatelů, u oddělení XXX došlo k posunu z hodnocení 1 na 3, aniž by byly důvody k takto razantnímu posunu uvedeny... (stanovisko vedení hodnoceného ústavu)

34 Hodnocení VaV: historie Zkušenosti s hodnocením AVČR Pokud se týče hodnocení jednotlivých útvarů byli jsme překvapeni celkovým hodnocením některých útvarů. Extrémem je hodnocení Oddělení..., které je vedeno prof. XXX, které dostalo známku 2. Prof. XXX je nejvíce citovanou vědeckou pracovnicí z České republiky (5717 citací, H index 42), její oddělení trvale produkuje významné impaktované publikace, prof. XXX patří mezi ve světě nejvíce uznávané české vědce. Celkem 26 pracovních týmů bylo hodnoceno v sekci 5 lepší známkou než tým prof. XXX (z toho pouze 4 vedoucí týmů dosahují většího citačního indexu než prof. XXX). Předpokládali jsme, že hodnotící komise a následně i Akademická rada upraví naprosto neobjektivní a zaujaté hodnocení zahraničního hodnotitele Prof. YYY, na což jsme hodnotící komisi upozornili. Pohrdání objektivními fakty nemá ve vědě místo. (z vyjádření ředitelky hodnoceného ústavu)

35 Hodnocení VaV: historie Zkušenosti s hodnocením AVČR Profesor XXX... následně poukázal na některé nedostatky nastavení procesu hodnocení AV ČR ve vztahu k zahraničním hodnotitelům, kteří jsou díky nastavení kritérií a způsobu prezentace dat a podkladů i jazykové bariéře nuceni posuzovat spíše kvantitu než kvalitu výstupů XXX či ústavů obecně... (zápis z prezenčního hodnocení) Hodnocení okruhu D je zcela nepřijatelné, protože se orientuje pouze na věkovou strukturu k datu odevzdávání podkladů a nebere v úvahu celé hodnocené období. Materiální otázky byly posuzovány povrchně, rovněž připomínky k organizačním otázkám jsou mechanistické... (z vyjádření pracoviště)

36 Výzvy před novou metodikou Jak zajistit efektivitu a férovost peerreview procesu?

37 D. Kahneman, Myšlení rychlé a pomalé : Z [...] výzkumů plyne významný závěr: algoritmus, který si sepíšete na kus papíru, je často stejně dobrý jako statistický vzorec s vícenásobnou regresí, a určitě dost dobrý na to, aby překonal expertní úsudek. Kdykoliv existuje možnost nahradit lidský úsudek vzorcem, měli bychom o tom alespoň uvažovat.

38 D. Kahneman, Myšlení rychlé a pomalé : Paul Mehl Clinical versus Statistical Prediction: a Theoretical Analysis and a Review of the Evidence [Univ. Minnesota 1954] Robyn Dawes The robust beauty of improper linear models in decision making [Am. Psychol. 34, 571 (1979)]

39 Experti jsou skvělí, ale: Science is the belief in the ignorance of experts Richard Feynman

40 Výzvy před novou metodikou Připomínky Rady VŠ k výstupům IPN Metodika Jak zajistit dostatečný počet kvalitních nestranných zahraničních hodnotitelů? Registr výzkumníků a evidence FTE výzkumníků - nadbytečná byrokratická zátěž + nejasné, jak na VŠ stanovit rozdělení činnosti mezi výuku, výzkum a další aktivity?

41 Výzvy před novou metodikou Připomínky Rady VŠ k výstupům IPN Metodika Perioda hodnocení 5-6 let je příliš dlouhá na poskytnutí efektivní zpětné vazby v dynamickém prostředí ČR. VŠ a AVČR v jednom hrnci jako Scientific Research Organizations bez ohledu na značnou variabilitu škol i fakult a různost jejich poslání (některé mají blíže k Public Service RO, jiné k Industry & Business Service RO. Jde o krok proti diverzifikaci VŠ.

42 Výzvy před novou metodikou Připomínky Rady VŠ k výstupům IPN Metodika Výpočet financí podle FTE výzkumníků je problematický v obou variantách (závislost na přesném stanovení FTE, nebo rigidita a neadekvátnost vůči rychle rostoucím pracovištím) Problematické (ne)započítávání spoluautorských podílů

43 Výzvy před novou metodikou Připomínky Rady VŠ k výstupům IPN Metodika Nepřesvědčivé řešení problematiky hodnocení aplikovaného výzkumu (vše peer review, ale absence výsledků typu prototyp, poloprovoz, software ). Jak vůbec bude panel hodnotit význam aplikovaných výsledků?

44 Co potřebujeme: Zajistit solidní sběr dat týkajících se všech rolí univerzity (či jiné VO): vzdělávání, výzkum, spolupráce se státní správou, samosprávou a veřejným sektorem spolupráce s podnikovou a kulturní sférou, evropská a mezinárodní spolupráce atd.

45 Co potřebujeme: Zajistit efektivní zpracování sebraných dat a formulaci výsledných doporučení. Kvalitní data potřebujeme víc než slohová cvičení.

46 Shrnutí: Výzvy z pohledu VŠ (hodnotit všechny role a podpořit jejich synergii) Hodnocení a financování VŠ dnes (baterie kafemlejnků) Historická poučení (aplikace, hodnocení AV) Zamyšlení nad experty ( science is... ) VŠ připomínky k výstupům IPN Metodika Co potřebujeme (především dobrá data) Děkuji za pozornost!