Efektivní systém institucionální finanční podpory výzkumných organizací založených na výkonech (PRFS): principy a praxe Paul Hubbard

Transkript

1 Efektivní systém institucionální finanční podpory výzkumných organizací založených na výkonech (PRFS): principy a praxe Paul Hubbard

2 O mně vedoucí výzkumné politiky na HEFCE, od 2003 do 2013: expertní poradenství v oblasti návrhu systémů hodnocení a jejich využití při přidělování financí v podobě blokových grantů univerzitám ve Velké Británii, 1992 spolupráce na vývoji hodnocení RAE; 1996 RAE manažer; vedl práce HEFCE, které přispěly k podstatnému přezkoumání principu hodnocení ve Velké Británii a vyústily v hodnocení RAE 2014; předsedou řídicí komise RAE. Poznámka překladatele: HEFCE = Higher Education Funding Council for England RAE = Research Assessment Exercise PRFS = Performance-based Funding System 2

3 Efektivní PRFS: principy a praxe Proč bychom měli hodnotit kvalitu a proč navázat výkon na financování? Principy: v čem spočívá silný systém hodnocení a výběr principu hodnocení? Praxe: vědní disciplíny a výzkumné jednotky Praxe: informace a indikátory Praxe: management a komunikace Hodnocení a financování Několik myšlenek závěrem 3

4 Proč hodnotit kvalitu? Hodnocení kvality nám umožní dívat se zpět, abychom viděli dopředu a plánovat na základě důkladného pochopení, odkud jsme začínali. Efektivní hodnocení kvality nám může: podat informace o tom, jak dobrý je národní systém, instituce nebo výzkumná skupina poskytování informací veřejnosti a odpovědnost za veřejné financování, identifikovat silné a slabé stránky, povzbudit a informovaně podněcovat ke zlepšení standardů. 4

5 Proč provázat výkon s financováním? Hodnocení propojené s financováním má všechny tyto dopady a navíc poskytuje: mnohem silnější podněty ke zvýšení standardů a zároveň posiluje autoritu výzkumných lídrů a manažerů, lepší cílení financování v návaznosti na cíle politiky VaV, posílení odpovědnosti za použité finance. 5

6 Co tvoří pevný hodnoticí systém? Objektivita a průhlednost: je vnímán jako férový a dobře informovaný, důslednost: všechny obory jsou hodnoceny na základě podobných kritérií a souboru dat a společných měřítek excelence, vhodnost účelu: systém je navržen tak, aby splnil cíle politiky, vhodnost pro národní systém a kulturu: neexistuje jediné řešení, které vyhovuje všem zemím a nejvhodnější sytém pro jeden stát nemusí být nejlepší pro stát jiný, včasnost a opakování: hodnocení je pravidelně aktualizováno a učíme se v něm z vlastních zkušeností, abychom zdokonalili náš postup, důvěryhodnost: poskytovatelé, výzkumníci i ostatní přijmou, že výsledky hodnoticího systému jsou dobré. 6

7 Výběr principu hodnocení a financování (1) Co chceme znát a čeho se snažíme docílit? Jasný přehled silných a slabých stránek nám pomůže při volbě, jaká politická rozhodnutí pro zlepšení, případně pro cílené financování zvolit. Identifikace silných oblastí a důkladná pozornost věnovaná společenskému dopadu výzkumu předloženého k hodnocení nám pomůže zajistit, aby výzkumná základna plně podporovala národní hospodářství. 7

8 Výběr principu hodnocení a financování (2) Hlavní dostupné principy hodnocení jsou: Sebehodnocení, Statistické hodnocení ( indikátory nebo metriky ), Peer review. 8

9 Sebehodnocení Napomáhá výzkumníkům a hodnoceným výzkumným jednotkám zajistit, aby jejich silné stránky byly viditelné a plně doceněné. Podporuje reflexi a budování strategií ve výzkumných jednotkách. Pokud je však použito jako hlavní prvek hodnocení nebo financování, tak vyvstávají nevyhnutelné otázky důvěryhodnosti a spolehlivosti. 9

10 Hodnocení pomocí statistik Je objektivní a zakládá se na faktech, není jednoduše manipulovatelné nebo ovlivnitelné. Lze jej provést relativně jednoduše a levně a může být opakováno dle potřeby. Funguje však lépe v určitých oborech než v jiných a pro velké jednotky než pro menší. Kvantitativní informace nám ovšem nemohou říci všechno o výzkumné jednotce; vybraný statistický přístup a interpretace dat budou hojně kritizovány 10

11 Peer review Dobře zavedená metodika, široce akceptována ve výzkumné komunitě. Peer review hodnocení je pouze tak dobré, jak dobré jsou informace, na kterých se zakládá, a jaká je odbornost hodnotitelů. Dobře navržený systém a jeho ověření ve srovnání s mezinárodními standardy excelence jsou základem úspěchu. Významná účast mezinárodních hodnotitelů zajistí, že výstupy hodnocení budou porovnatelné s mezinárodními standardy, a zároveň bude minimalizován možný střet zájmů. 11

12 Vybíráme si svoje postupy Nejlepší postup k tomu, abychom dospěli k vyváženému a kvalitnímu hodnocení napříč všemi obory a na úrovni jednotlivých institucí nebo jednotek, je peer review hodnocení, které čerpá z pečlivě vybraných a interpretovaných statistických a kontextuálních informací. Tento postup musí umožnit výzkumným organizacím a jednotkám, aby sdělily, v čem podle nich spočívá jejich hlavní síla. Hodnocení, které kombinuje jasné a široké indikátory se škálováním proti několika hodnoticím kritériím, může nejlépe zachytit celý rozsah rozdílných výzkumných metod a výstupů napříč akademickým spektrem. Mnohem lépe, než přidělení jedné jediné známky. 12

13 Praxe: obory a výzkumné jednotky (1) Jak rozdělit práci mezi obory a jak definovat výzkumnou jednotku v praxi, to jsou klíčová rozhodnutí. Je nutné zajistit, aby hodnocení bylo provedeno na správné úrovni a bylo dostatečně detailní. Tím budou rozpoznatelné různé přístupy napříč obory a také bude možné získat informace pro politická rozhodnutí. 13

14 Praxe: obory a výzkumné jednotky (2) Je třeba zajistit, aby panely hodnotily výzkumné skupiny a jednotky, ne jednotlivce. Informace o specifickém rozpoznatelném oboru nebo podoboru jsou užitečnější pro manažery a plánovače než pro širší posouzení. Potřebujeme definovat oborové disciplíny, abychom reflektovali běžnou praxi jak jsou výzkumníci seskupeni a řízeni v rámci svých institucí? Je důležité, že hodnoticí panel funkční velikosti by neměl pokrývat příliš široký obor, aby byl důvěryhodný. Velikost systému je relevantní objem práce panelu by měl být zvladatelný. Seskupení panelů do širokých oborových skupin pomáhá udržet společné standardy. Systém musí dobře zvládat mezioborové disciplíny výzkumu. 14

15 Praxe: informace a indikátory Musíme sesbírat dostatek informací, abychom dali panelům celkový obraz. Zároveň nesmíme zahltit panely informacemi, které nepotřebují nebo kterým nerozumí. Je dobré mít kombinaci vstupních a výstupních dat. Vstupní data nám řeknou, se kterými zdroji musí jednotka pracovat; výstupní data nám ukáží, co umí jednotka z těchto zdrojů vytvořit. Obojí jsou dobrými indikátory kapacity a potenciálu jednotky k dosažení excelentního výzkumu v budoucnu. Kvantitativní indikátory by měly být použity k informování akademického posouzení: neměly by být použity přímo jako zdroj pro hodnocení kvality 15

16 Indikátory Ideálně potřebujeme množinu indikátorů, která pomůže hodnoticímu panelu porozumět: jaké zdroje má jednotka k dispozici (ukazují její kapacitu a závazky financujících), jaké vnější uznání (financování a jiné) si její úspěchy zasloužily, celou škálu úspěchů a jejich dopadů, může být ponechán prostor pro indikátory produktivity, zejména pokud je to v zájmu politiky, ale objem práce jako takové nemusí vždy být indikátorem kvality. 16

17 Indikátory: citační indexy (bibliometrika) Citační indexy jsou významným indikátorem kvality výzkumu: v oborech, kde je publikování v časopisech/sbornících zavedenou praxí, v případě, že se hodnotí dostatečný počet výsledků v rámci oboru a úzce souvisejících činností, pokud jsou použity s jasným pochopením kontextu (porovnávání v rámci podoboru, ve kterém se citační praxe příliš neliší). 17

18 Indikátory: citační indexy (bibliometrika) Citační indexy jsou rovněž užitečné pro účely peer review i na úrovni jednotlivých výsledků, kdy hodnotitelé rozumí kontextu a publikačním a citačním zvyklostem v oboru. 18

19 Informace: nejlepší výstupy Požadavek, aby jednotky pro účely hodnocení identifikovaly svoje nejlepší výstupy, nám umožňuje udělat si dobrý obrázek o tom, co výzkumné jednotky umí: sílu, hloubku a šířku jejich práce. Ponechává objem práce hodnotitele na zvladatelné úrovni. Zaměřuje pozornost na skutečně vynikající výzkumnou práci. Je důležité rozlišovat rozmanitost forem výzkumných výstupů v jedné disciplíně i mezi vědními disciplínami. 19

20 Praxe: management a komunikace (1) Principy hodnocení a financování musí být pokládány za průhledné a spravedlivé. Pomůže, pokud: proces hodnocení a kritéria jsou publikována podrobně a v předstihu, výzkumné organizace cítí, že jim bylo umožněno zcela ukázat své silné stránky, hodnoticí panely mají plnou podporu sekretariátu a pracují společně, aby zajistili společné standardy, panely poskytují souhrnnou a podpůrnou zpětnou vazbu, ve které identifikují silné i slabé stránky. 20

21 Praxe: management a komunikace (2) Měli bychom udělat všechno, co můžeme, abychom odradili hodnocené výzkumné jednotky od přílišné připravenosti a rozehrávání her. Naším cílem by mělo být podněcování důvěry, že hodnoticí systém najde výjimečnost, ať už existuje kdekoliv. 21

22 Hodnocení a financování (1) Je často nejlepší provést hodnocení před konečným rozhodnutím o parametrech financování: snižuje se tak tlak na hodnoticí panely, snižuje se tak rozsah rozehrávání her v podávaných přihláškách do hodnocení, umožňuje se vytvořit financování na míru na základě nalezeného vzorce výjimečnosti. 22

23 Hodnocení a financování (2) Je vysoce žádoucí mít jasný názor na to, jaké objemy výzkumné činnosti jsou posuzovány a financovány u jednotlivých výzkumných jednotek a organizací. To vyžaduje nějakou formu počítání aktivních výzkumných pracovníků. Mezi financování a hodnocením lze vytvořit vhodnou smyčku záporné zpětné vazby, odrazující od nadhodnocování FTE. Objem výstupů nelze napříč vědními disciplínami věrohodně srovnávat. 23

24 Několik myšlenek na závěr PRFS je silným nástrojem pro zkvalitňování národní výzkumné základny v souladu s cíli politiky VaV a podporou ze strany výzkumných manažerů. Pravidelné opakování hodnocení umožňuje naladit postup na národní potřeby a podmínky. Neexistuje jediný nejlepší postup pro všechny výzkumné systémy. Pokud se přístup k hodnocení bude zdát výzkumným jednotkám složitý a zatěžující, může se stát, že pro přípravu budou dělat více, než je skutečně nutné. Dobře navržený systém nebude destabilizovat silné výzkumné jednotky. Tempo jakékoli změny bude z velké části určeno rozhodnutím o financování. Průhlednost a dobrá komunikace s výzkumníky ve všech stádiích jsou nutností. Vyskytne se kritika a jistá míry rozehrávání her. Pokud však bude systém dobře navržen a řízen, tak to neznehodnotí výsledky: naopak, jistá míra pokračující debaty je užitečná. 24

25 Děkuji za pozornost!