Pohledy evaluační praxe 2 Ing. Vladimír Sodomka Evaluace absorpční kapacity - postřehy a zkušenosti Tento článek představuje krátké ohlédnutí za evaluací absorpční kapacity v Regionu soudržnosti Střední Čechy z roku 2007 a zahrnuje několik postřehů na téma evaluačního designu a současné evaluační praxe v ČR v oblasti strukturálních fondů. Evaluační design Evaluační design či návrh je strategie, jak se bude evaluace provádět tedy jakým způsobem budeme evaluovat. Nejedná se o přesný praco plán, neboť neobsahuje přesný sled kroků, kdo, co a kdy bude dělat. Při plánování evaluačního designu je užitečným nástrojem tzv. matice evaluačního designu, která pro jednotlivé evaluační otázky specifikuje důležité prvky pro její zhodnocení jako je design, zdroje informací, nástroje pro sběr a analýzu a další informace, které evaluátorovi na samém začátku pomohou udělat si představu, jak bude vypadat evaluace a co všechno bude potřebovat a bude muset udělat, aby zodpověděl evaluační otázky. Také evaluátorovi dopředu poodhaluje to, jak bude asi vypadat výsledný obraz evaluace. Jaké budeme mít otázky, takový budeme mít výsledný obraz. Aby byl tento obraz co nejplastičtější, mělo by zadání obsahovat více typů evaluačních otázek a použít různé nástroje pro jejich zodpovězení. To bylo na začátek trocha teorie, nyní se pojďme podívat na některá témata současné evaluační praxe. Několik postřehů ze současné evaluační praxe v ČR: 1. Evaluačních otázek není nikdy dost aneb kolik otázek máš, tolikrát jsi evaluátorem a nebo je to jinak? V některých případech se autoři zadávacích dokumentací opravdu rozepsali. Jejich torky (zadávací dokumentace) obsahují někdy až desítky evaluačních otázek na několika stránkách. Někdy se pak stává, že se otázky vzájemně více či méně překrývají či dublují, a pak je pro evaluátora obtížné uhodnout, co měl zadavatel vlastně na mysli. Horší však je, když evaluační otázka nemá svého vlastníka, který potřebuje odpověď pro svoji další práci či rozhodnutí. Případně má vlastníka, ale je typu nice-to-know tzn. že by bylo pěkné
(zajímavé) to vědět. Nutno konstatovat, že v posledních letech došlo k významnému kvalitatimu posunu v této oblasti a tedy doby, kdy zadávací dokumentace představovala spíše rozsáhlý souhrn dotazů a přání, v lepším případě posbíraný od kolegů v rámci instituce, jsou snad už minulostí. Argumentem na otázku proč tolik pak je, že evaluačních otázek musí být tak mnoho, aby bylo jasně specifikováno co chceme od dodavatele. Přesnost vymezení může v některých případech vést až ke svázání evaluátora, zvláště pak pokud se v průběhu evaluace objeví nové, další oblasti (témata), které by bylo vhodné dále prozkoumat. Tuto možnost však lze dopředu ve smlum vztahu ošetřit (například formou opce), což prá rámec umožňuje a některé subjekty ho využívají. 2. Jakou otázku máš, takovou dostaneš odpověď. Samotná evaluační otázka, respektive její typ ovlivňuje evaluační design a také podobu výsledného obrazu zkoumání jeho plastičnosti. Pokud budeme mít pouze deskripti (popisné) otázky, potom nám evaluace poskytne obraz o situaci - toho co je, ale už ne srovnání s tím, co mělo být to umožní normati otázky či proč tomu tak je a jestli je to zásluhou zkoumané intervence kauzální otázky. Kvalita odpovědi také závisí na dostupnosti a kvalitě vstupních informací, čase a kapacitách pro realizaci evaluace. Proto je užitečné před začátkem evaluace posoudit evaluovatelnost (evaluability) evaluačních otázek tzn. zda bude možné při daných znalostech/informacích, čase a financích zodpovědět otázku. Tím by se už na začátku revidovat evaluační otázky v kontextu jejich řešení a tím vytvořit lepší předpoklady pro následné odpovědi. Obecné evaluační pravidlo říká, že je lepší mít jen omezený počet hlach evaluačních otázek tzn. klíčových oblastí, na které se má evaluace zaměřit ideálně navázaná na evaluační kritéria (tyto otázky pak mohou mít pak další podotázky). 3. Otevírání černých skříněk Evaluátor při evaluaci otevírá černé skříňky (black boxes), které zadavatele zajímají a evaluační design mu to musí umožnit. Proto by měl být evaluační design dostatečně flexibilní (otevřený). Neexperimentální design, který se snaží srovnávat dvě skupiny (dva stavy bez intervence a s ní), je relativně jednodušší. K porovnání toho co intervence způsobila (co je jejím důsledkem), se používá experimentální nebo spíše kvazi-experimentální design. Pro evaluátora je pak výzvou nalézt podobné skupiny, které by bylo možné v rámci kvaziexperimentálního designu. Zatímco při evaluaci absorpční kapacity ve Středních Čechách v roce 2007 byly použity převážně neexperimentální designy zaměřené na zmapování stavu o 2 roky později při evaluaci zaměřené na vyhodnocení podpory absorpční kapacity v Moravskoslezsku, už byly ve výrazně větší míře použity kvazi-experimentální designy na posouzení účinnosti intervencí. To odráží vývoj potřeb tedy, co od evaluace požadujeme/potřebujeme.
Postřehy z evaluace Hodnocení absorpční kapacity ROP Střední Čechy: Cílem evaluace absorpční kapacity ROP Střední Čechy bylo zjistit stav v roce 2007. V zadání byl jasně definovaný, přiměřený okruh evaluačních otázek. Flexibilita zadání byla umožněna v zadání formou opce, která byla využita pro rozšíření vzorku respondentů, pro zajištění vyšší reprezentativnosti získaných dat a pro bližší prozkoumání vybraných témat. Většina otázek byla deskripti, zaměřená na zjištění stavu povědomí, kapacit a počtu připravovaných projektů a finanční alokace tomu také odpovídaly odpovědi. Výzkum provedený na rozsáhlém vzorku respondentů splnil cíl zmapoval situaci v regionu, zejména pak umožnil srovnání mezi jednotlivými kategoriemi potenciálních příjemců, mezi okresy atd. Zjištění vyjádřená v absolutních hodnotách však měla omezenou vypovídací hodnotu, především ohledně toho, zda je poptávka dostatečná zda bude dost projektů co do počtu, ale především s ohledem na finanční alokaci. Triangulace nástrojů/metod byly použity 4 nástroje: dotazníkové, fokusní skupina s euromanažery a partnery projektu SROP 3.3., analýza dokumentace (mediálních výstupů, zásobníku projektů a rozvojových strategií) a pozorování (pro zhodnocení seminářů). Hlam nástrojem bylo dotazníkové formou přímého emailu. Na začátku jsme zvažovali využití standardní tazatelské sítě, která byla využita pro výzkum u široké veřejnosti, ale vzhledem k odborné a terminologické náročnosti a složitosti tématu, jsme tento způsob u potenciálních příjemců zavrhly, jako málo efekti. Sběr dat prostřednictvím přímého emailu, bylo sice velmi časově, technicky a organizačně náročné, ale umožňovalo nám to kontrolovat celý proces a kvalitu dotazníků, což se ukázalo jako velmi důležité z hlediska zaručení správnosti dat. Emailová forma komunikace není sice zcela anonymní, na druhé straně, díky evidenci došlých dotazníků, bylo možné požádat o případné opravy chybějících či chybných údajů. Tento systém nám také umožnil efektivnější využití podpůrných nástrojů ke zvýšení návratnosti. To by v případě on-line dotazníku bez uvedení adresáta nešlo využít. U obdobných se dle předchozích zkušeností pohybuje návratnost okolo 5 %. V našem případě jsme díky podpůrným opatřením dosáhli návratnosti 30 %. ůležitá je reprezentativnost. Původní vzorek byl navýšen na dvojnásobek, aby bylo možné třídění za nižší úrovně (okresy). To umožnila výše uvedená opce ve smlouvě. Otázkou také bylo podle jakého klíče vybírat vzorek, aby byla zajištěna reprezentativnost z hlediska zastoupení jednotlivých skupin potenciálních příjemců. Klíčem, který jsme zvolili, byla četnost zastoupení jednotlivých skupin příjemců v rámci programu (podle prioritních os) se zohledněním váhy finanční alokace pro danou prioritní osu. V některých případech se ukázalo, že potenciálních příjemců je v dané skupině
(výběrový rámec) velmi omezený počet, a tudíž bylo nutné s těmito potenciální příjemci intenzivněji komunikovat, což umožnil zmíněný systém evidence respondentů. Potenciální příjemci byli do vzorku zařazeni na základě systematického strukturovaného výběru (tzn. populace příjemců byla rozdělena do homogenních skupin dle typu příjemce a následně vybrána každá n-tá jednotka) který snižuje velikost směrodatné chyby a zvyšuje spolehlivost. otazník musí být jednoznačný a všem srozumitelný všem. Tento základní princip je teoreticky zcela jasný, převedení do praxe je však již výrazně obtížnější, zvlášť pak v případě strukturálních fondů, které se vyznačují specifickým slangem a většina lidí, kteří se v této oblasti pohybují, jsou jím značně ovlivněni. Proto se jako velmi užitečné ukázalo zapojení sociologa nezatíženého touto skutečností. Absorpční kapacita regionu/potenciálních příjemců, jako velké komplexní téma, bylo rozděleno na menší celky, a podle nich strukturován dotazník. Vždy je vhodné se při řešení opřít o teorii a předchozí zkušenosti v tomto případě byla využita metodika AbCap, která byla úspěšně použita v předchozím programovém období 2004-2006. ůležitá pro úspěch evaluace a následné implementace doporučení byla podpora ze strany zadavatele tedy vedení Úřadu Regionální rady a Regionální rady a úzká spolupráce se Středočeským krajem, zejména pak v koordinaci a nasměrování komunikačních opatření. -------KONEC-------
Tabulka: Ukázka matice evaluačního designu na příkladu Hodnocení absorpční kapacity potenciální příjemci Evaluační otázka/podotázka 1. isponuje potenciální příjemce zdroji pro přípravu kvalitního projektu v oblastech definovaných 3.2.1? (lidské zdroje, finanční zdroje, tvorba projektů) 2. Jakou část alokace pokrývají v současné době zamýšlené projekty v členění na jednotlivé prioritní osy ROP SČ? 2a. Jak jsou tyto projekty rozděleny územně v rámci NUTS 2 SČ 3. Je kapacita poradenských firem v oblasti dotačního managementu dostačující? 4. Kolik euromanažerů na území SČ je aktich Typ otázky N esign Měření nebo ukazatel Zdroj dat / Census Strukturova ný dotazník Kategorizace a kvantifikace kapacit podle typů příjemců Podíl deklarované alokace podle prioritních os Podíl deklarované alokace podle okresů Nabídka poradenských služeb v jednotlivých oblastech dotačního managementu (vůči deklarovaným potřebám) počet aktich euromanažerů (vč. srovnání Strukturova ný dotazník Zásobník projektů Strukturova ný dotazník Zásobník projektů nabídky otazník Záznamové listy otazník Záznamové listy - strukturov aný: 3 kategorie Ž N* Nástroj sběru dat Fokusní skupina zásobníku zásobníku dokumentace Fokusní skupina/expertní panel Fokusní skupina dat Kvalitativ ní Kvalitativ ní
5. isponuje potenciální příjemce zdroji pro úspěšnou realizaci projektu v oblastech definovaných dle oblastí 3.2.2 (lidské zdroje a finanční zdroje) N s projektovou aktivitou v území) stav kapacit vs. kritické předpoklady otazník Záznamové listy Fokusní skupina * Vysvětlivky: subjekty, které podporu získaly Ž subjekty, které žádali, ale podporu nezískaly N subjekty, které o podporu nežádaly