Publikováno se souhlasem autora. Autor je členem České evaluační společnosti, o.s.

Transkript

1 Publikováno se souhlasem autora. Autor je členem České evaluační společnosti, o.s. Pohledy evaluační praxe 1 Ing. Vladimír Kváča, Ph.D. Použít evaluaci je obtížnější než ji jen udělat Zkušenosti Operačního programu Lidské zdroje a zaměstnanost (OP LZZ) s uváděním evaluačních doporučení do praxe Získat odpovědi na evaluační otázky zpravidla není velký problém. Obtížnější je zajistit, aby na odpovědi někdo čekal a užíval je pro své rozhodování. V ideálním případě evaluátor dostává od managementu zadání (potřebuji vědět to a to, evaluátore, zjisti to), zadání evaluátor sám nebo s přispění externích evaluátorů operacionalizuje, sebere data, analyzuje je, interpretuje je a formuluje závěry a doporučení. Ta předá managementu, který na ně netrpělivě čeká, a následně management koriguje chod projektu/programu/politiky. Evaluační kultura je v prostředí strukturálních fondů v ČR zatím obecně slabá, management často není zvyklý s evaluacemi pracovat. Evaluace jsou chápány jako povinnost vyplývající z nařízení Evropské komise a nikoliv jako potřebný pomocník managementu. Nikdo nečeká na evaluační doporučení. Realita je pak ideálnímu případu vzdálená a prvořadým úkolem tak je budování evaluační kultury, ve které budou mít evaluace smysl. Děje-li se toto s podporou managementu shora, jde to pravděpodobně snáze než v případě OP LZZ, kde byl realitou spíše proces zdola. Zkušenosti se dají shrnout do těchto postřehů: Nečekejte na zadání, aktivně si shánějte práci cíleně se ptejte stakeholderů programu na jejich informační potřeby, ty pak uspokojujte. Předvídejte informační potřeby jiných vždy po vás bude někdo chtít informace teď hned. Malé evaluace k dílčím problémům, které však mají svého vlastníka, jsou pro demonstraci významu evaluací důležitější, než strategické evaluace psané do šuplíku. Buďte v obraze, musíte vědět, co se děje v OP LZZ má každý člen evaluačního týmu na starosti jednu prioritní osu, kde sleduje dění a nabízí evaluační služby na míru. Urychlujte neplodné procesy kvalitní evaluace zpravidla potřebuje čas, který management nemá. Vypsání ToRky, výběrové řízení, zpracování a odsouhlasení evaluace je záležitost na měsíce. Snažte se o flexibilitu zakázek v případě, že používáte externí evaluační společnosti. Občas se vyskytne horká otázka, kdy není čas na celý proces tendru. Někdy to jde udělat neformálně, dobré je používat smlouvy s možností opce na rozšíření zakázky. Naučte se provádět rychlé evaluace interně vlastními silami. Klíčová je oblast práce s doporučeními: Obecné a nekonkrétní evaluační doporučení je k ničemu. Management preferuje konkrétní doporučení až pod nos. Nestačí říci, co se má dělat. Potřeba je říkat, co, proč, jak, kdy a kdo má udělat, jaké jsou varianty a kolik to bude stát (zde pozor na

2 Publikováno se souhlasem autora. Autor je členem České evaluační společnosti, o.s. nebezpečí typu tak to evaluátore celé zařiď, je tedy nutné bránit se, aby se evaluátor nestal implementátorem). Při formulaci doporučení je klíčová pozice interních evaluátorů. Externí evaluátor nemá zpravidla dostatečné znalosti o organizační struktuře, způsobu práce či možnostech evaluovaného subjektu. Interní evaluátor proto musí hrát roli tlumočníka mezi externím evaluátorem a příjemci doporučení. Evaluační doporučení občas nejsou nadšeně vítána, často vyžadují změnu zaběhlých pořádků. Pro práci s nimi je vhodné kombinovat formální i neformální postupy a komunikaci. Neformální práce s doporučeními Evaluátor musí vědět, co se děje a mluvit při každé vhodné příležitosti o evaluačních závěrech. Je třeba využít situace, kdy se evaluační výstupy, třeba i předběžné, dají použít jako argument. Konkrétním příkladem může být situace, kdy v OP LZZ byl dlouho vnímán problém přetížení managementu, což vedlo k rezignaci na většinu strategických aktivit, včetně realizace řady evaluačních doporučení. Vedení ministerstva přitom dlouho odmítalo vytvoření pozice uvolněného zástupce ředitele. Změna nastala teprve v okamžiku, kdy bylo možné argumentaci potřebnosti tohoto kroku opřít o závěry z externí evaluace. Pozice zástupce ředitele byla vytvořena ještě dříve, než se doporučení objevilo ve formálním Plánu realizace evaluačních doporučení. Rozšíření managementu, navíc o člověka se zájmem o evaluace, výrazně přispělo k posunu od managementu, který program administruje, k managementu, který se jej snaží strategicky řídit. Formální práce s doporučeními Závažným problémem je realizace doporučení z evaluací, které nemají jasného nedočkavého vlastníka. Především jde o evaluace, jejichž povinná realizace vyplývá z evropské legislativy o strukturálních fondech. Pro tento případ interní evaluátoři sestavují tzv. Plán realizace evaluačních doporučení. Jde o seznam doporučení, která jsou předložena dotčeným subjektům k realizaci resp. vyjádření. Během půl roku se zpravidla shromáždí řádově desítky doporučení z několika různých evaluací. Původními problémy byla malá konkrétnost doporučení, velký počet překrývajících se doporučení i absence prioritizace doporučení. Nyní se v rámci přípravy Plánu doporučení přeformulovávají či aktualizují (související doporučení slučují, obecnější doporučení od externích evaluátorů konkretizují). Před sestavením Plánu probíhá elektronické dotazování, ve kterém několik ochotných pracovníků implementační struktury hodnotí jednotlivá doporučení v dimenzích důležité/nedůležité a realizovatelné/nerealizovatelné. Takto jsou doporučení rozdělena do 4 skupin/kvadrantů. Skupiny doporučení nesou označení: Must do! Neřešitelný problém Kosmetická změna Ignorovat Plán obsahuje soupis doporučení podle témat (např. komunikace, metodiky, hodnocení projektů, indikátory atd.), v jejich rámci seznam doporučení rozdělených do čtyř kategorií a návrh adresáta doporučení, který by měl na doporučení reagovat.

3 Publikováno se souhlasem autora. Autor je členem České evaluační společnosti, o.s. Plán předkládá Pracovní skupina pro evaluace 1 Monitorovacímu výboru, tedy nejvyššímu orgánu programu, který Plán zadá řídícímu orgánu k plnění. Tím je částečně omezena možnost, že by pro management nepohodlná doporučení byla bez povšimnutí ignorována. Do plánu poté adresáti uvedou, jak budou doporučení implementovat, případně argumentačně podložené důvody, proč jej implementovat nebudou. Realizace plánu je poté kontrolována monitorovacím výborem. Zpravidla nejlépe se implementují doporučení, která byla projednávána již předem mimo tento formální proces, v tom případě lze ve vypořádání Plánu pouze zmínit, že doporučení již bylo implementováno KONEC PSE je pracovní skupinou zřízenou Monitorovacím výborem OP LZZ, členy je cca 20 relevantních stakeholderů programu, v praxi však mají dominantní vliv interní evaluátoři, protože zbytek členů není příliš aktivních.