Metodický pokyn evaluace komunikačních plánů OP 2007-2010 červenec 2010 Zpracoval: Ministerstvo pro místní rozvoj ČR a společnost HOPE-E.S., v.o.s., divize EUservis.cz - 1/35
Metodický pokyn evaluace komunikačních plánů OP 2007-2010 Zpracoval: Ministerstvo pro místní rozvoj Národní orgán pro koordinaci Staroměstské náměstí 6 110 15 Praha 1 a společnost HOPE-E.S., v.o.s., divize EUservis.cz Sídlo, kancelář Brno: HOPE-E.S., v.o.s., divize EUservis.cz Palackého tř. 10, 612 00 Brno IČ: 25342282 Kancelář Praha: HOPE-E.S., v.o.s., divize EUservis.cz Lidická 1, 150 00 Praha 5-2/35
Obsah 1 Úvod...4 2 Proces evaluace...5 3 Kontext plánování a realizace komunikačních plánů OP 2007-2013...6 3.1 Definice cílů a informačních priorit v KoP OP...7 3.2 Definice globálního cíle KoP...7 3.3 Definice specifických cílů KoP...8 3.4 Definice informačních priorit KoP...8 4 Legislativní vymezení a požadavky na zhodnocení informovanosti a publicity dle jednotlivých nařízení a metodických pokynů...13 4.1 Doporučené postupy pro tvorbu Výroční zprávy...13 4.2 Nařízení Komise (ES) č. 1828/2006...14 4.3 Nařízení Rady (ES) č. 1083/2006...18 5 Zásady monitorování realizace KoP...19 5.1 Monitorování dosažených hodnot monitorovacích indikátorů...19 5.2 Indikátory vstupu (finanční indikátory)...20 5.3 Sledování kvality a kvalitativní ukazatele...20 5.4 Vazba monitorování a evaluace...22 5.5 Možné techniky a metody sběru dat...22 6 Principy a postupy průběžného zhodnocení KoP za období 2007-2010...25 6.1 Obecné vymezení evaluačních kritérií...25 6.2 Aplikace evaluačních kritérií pro hodnocení KoP...27 6.3 Návrhy možných evaluačních okruhů a evaluačních otázek pro hodnocení KoP...28 7 Struktura informací hodnotících provádění komunikačních plánů OP za období 2007-2010 ve VZ za rok 2010...31-3/35
1 Úvod Účelem tohoto materiálu je poskytnout pracovníkům publicity implementačních orgánů základní metodická vodítka, návody a postupy, jak postupovat při zhodnocení provádění komunikačních plánů OP v polovině programového období 2007 2013, které má být provedeno za období let 2007 2010. Tento materiál obsahuje základní minimální metodické standardy a vodítka, je na vlastní odpovědnosti jednotlivých řídích orgánů, pokud budou hodnocení komunikačních plánů provádět (či již provedli) jiným způsobem, či nad rámec těchto metodických návodů a doporučení. Tento metodický materiál navazuje na výstupy projektu technické pomoci RPS 324 G02 Metodika komunikace realizace fondů EU v programovém období 2007 2013 (transparentnost, koordinace a řízení komunikace): Metodika tvorby a realizace Komunikačního akčního plánu pro OP zpracovaného v roce 2006 pro potřeby přípravy, plánování, provádění, monitorování a hodnocení komunikačních plánů OP pro období 2007-2013. - 4/35
2 Proces evaluace Evaluaci, neboli vyhodnocení komunikačních aktivit lze rozdělit do několika fází. Zde je jejich seznam a krátký obecný popis. Fáze 1 - Stanovení cílů, kterých je třeba dosáhnout Hlavní cíle jsou stanoveny v komunikačním plánu (KoP). Patří k nim jak cíle politické (zvyšování povědomí veřejnosti o pomoci poskytované z evropských fondů), tak cíle v podobě hodnot indikátorů, či cíle zaměřené na podporu integrace programů, atp. Další, dílčí cíle (např. pro sledování úspěšnosti konkrétního komunikačního nástroje) je třeba definovat pro každý dílčí úkol zvlášť (např. za úspěch je považována hranice X % spokojenosti dotázaných). Pro vyhodnocení míry naplňování všech cílů (celkových i dílčích) je třeba si na počátku definovat seznam evaluačních otázek. Cílům komunikačního plánu i příkladům evaluačních otázek se podrobněji věnuje kapitola 3. Fáze 2 - Monitoring Po definování evaluačních otázek je dále třeba shromáždit veškerá potřebná data pro jejich zodpovězení. Způsob a techniky sběru těchto dat více popisuje kapitola 5. Fáze 3 Evaluace Data, která byla shromážděna v rámci monitoringu, je poté třeba interpretovat a vyvodit z nich potřebné závěry. To spočívá v zodpovězení evaluačních otázek (jako např.: Do jaké míry byly naplněny cíle komunikačního plánu? Byly finanční prostředky na jednotlivé komunikační aktivity vynaloženy efektivně? Atp). Na evaluační okruhy a otázky se zaměřuje kapitola 6.3. Fáze 4 - Shrnutí závěrů a definování doporučení do další komunikační strategie Na základě závěrů získaných z evaluace lze navrhnout změny v komunikačním plánu a tím v další komunikační strategii. - 5/35
3 Kontext plánování a realizace komunikačních plánů OP 2007-2013 Pro přípravu komunikačních plánů operačních programů byl vytvořen metodický materiál s názvem Metodika tvorby a realizace komunikačního plánů OP pro období 2007-2013. Tento materiál vznikl jako součást aktivity projektu technické pomoci 324 G02 Metodika komunikace realizace fondů EU v programovém období 2007 2013 (transparentnost, koordinace a řízení komunikace): Metodika tvorby a realizace Komunikačního akčního plánu pro OP realizovaného MMR v roce 2006. Součástí metodiky tvorby a realizace komunikačních plánů bylo také doporučení pro návrhovou část komunikačních plánů (KoP). Cíle a jejich hierarchie tvoří jádro návrhové části KoP. Jejich hierarchická stavba je vybudována jako spojnice mezi cíli strategické úrovně (zakotvenou legislativními požadavky na úrovni EU, zejména pak Nařízením Rady a prováděcím Nařízením Komise), vlastním obsahem komunikace, identifikovanými cílovými skupinami a využitelným portfoliem nástrojů, které má OP k dispozici. Linie cílů pro tvorbu KoP je navržena v členění globální cíl (GC) specifické cíle (SC) informační priority (IP) následovně: a. GC globální cíl. GC představuje spojnici strategie a legislativních požadavků, které jsou brány jako řídící teze vymezující směřování a cíle celého komunikačního procesu na národní úrovni. b. SC specifické cíle v členění i. úspěšná realizace politiky HSS ii. úspěšně realizovaný program iii. úspěšně realizovaný projekt c. IP informační priority. IP představují spojnici cílů a konkrétního zaměření aktivit sloužících k jejich naplňování. Jednotlivé informační priority jsou dále naplňovány jednotlivými aktivitami (nástroji informovanosti a publicity) zaměřenými na jednotlivé cílové skupiny definované v komunikačním plánu. - 6/35
3.1 Definice cílů a informačních priorit v KoP OP V rámci KoP OP je vhodné stanovit hlavní cíl a rozvést jej do podoby specifických cílů v plném rozsahu, tj. je nutné pokrýt všechny roviny komunikace. Seznam informačních priorit, které následně představují vazbu cílů a vlastních aktivit, je však možno individuálně pro potřeby jednotlivých OP modifikovat. KoP tak může v rámci jednoho specifického cíle obsahovat pouze vybrané informační priority. Pokrytí všech tří rovin komunikace definovaných specifickými cíli je možné dále kvalitativně rozlišit dle vnímání důležitosti dané roviny pro konkrétní OP, a to např. rozsahem (a intenzitou) aplikace nástrojů informovanosti a publicity, případně také finanční alokací. 3.2 Definice globálního cíle KoP Globálním cílem komunikační strategie národní úrovně, ovšem stejně tak jednotlivých operačních programů, je v souladu s Nařízením Rady a současně s prováděcím Nařízením Komise zdůraznění role Společenství a zajištění, aby pomoc poskytovaná z fondů byla transparentní pro všechny cílové skupiny prostřednictvím zajištění široké publicity OP na všech úrovních implementace za použití širokého spektra nástrojů komunikace. Globální cíl je rozložen do specifických cílů (SC). Rozložení specifických cílů sleduje logiku základních prvků naplnění globálního cíle, a umožňuje provést členění komunikace na tři základní roviny, a to rovinu politiky HSS, rovinu programu a rovinu projektu. Dosažení globálního cíle je v tomto kontextu možné prostřednictvím komunikace na třech rovinách: Komunikace pro úspěch politiky HSS (rovina obecná) Komunikace pro úspěšný program (rovina programová) Komunikace pro úspěšný projekt (rovina projektová) Definice tzv. rovin vychází z legislativních požadavků podkládajících vymezení globálního cíle komunikační strategie, a současně umožňuje konkretizaci dle potřeby a smyslu sdělovaných informací. Specifické cíle jsou definovány v návaznosti na výše uvedené roviny komunikace. - 7/35
3.3 Definice specifických cílů KoP Specifické cíle reflektují potřebu rozdílné úrovně komunikace vzhledem k cílovým skupinám. Specifické cíle lze ve vazbě na globální cíl navrhnout následovně: Specifický cíl 1 Zajistit úspěch realizace nástrojů politiky hospodářské a sociální soudržnosti EU v rámci operačních programů prostřednictvím široké komunikace o existenci a možnostech zapojení se do programů a o přidané hodnotě, kterou program znamená pro společnost. Specifický cíl 2 Zajistit úspěšnou realizaci operačních programů prostřednictvím kvalitní komunikace ve vnitřním prostředí programů (uvnitř řídící a implementační struktury programu) a ve vnějším prostředí programů, (vůči ostatním programům a dalším subjektům ovlivňujícím implementaci SF v ČR), zejména pak na strategické rovině ovlivňující směřování, postavení a realizaci OP. Specifický cíl 3 Zajistit realizaci úspěšných projektů prostřednictvím včasné, strukturované a dostatečně kvalitní komunikace pro potenciální i skutečné příjemce podpory. 3.4 Definice informačních priorit KoP Informační priority rozvádějí jednotlivé specifické cíle a jsou k nim hierarchicky řazeny. IP již umožňují stanovit portfolio aktivit a cílových skupin. Vazbou na cíle představují IP klíčový bod návrhové části komunikační strategie OP, neboť zde dochází k volbě nástrojů a cílových skupin pouze ve vazbě na dosažení cíle. Nástroj tedy není v rámci strategie prvkem řídícím, ale řízeným. Specifický cíl 1 Informační priority v rámci specifického cíle 1 jsou zaměřeny na skupinu subjektů tvořící základní socio-ekonomické prostředí pro realizaci programů. Základem této skupiny je široká veřejnost, obvykle bez bližší identifikace. Vzhledem k obecnějšímu zaměření zejména IP 1.1 je možné nalézt synergické efekty s informačními prioritami specifického cíle 2 (rovina programu) a specifického cíle 3 (rovina projektu). Cílové skupiny zařazené k IP specifického cíle 1 lze přesněji zařadit do roviny programu a/nebo projektu pomocí zvolení určitých kritérií (např. územní kritérium je daná cílová skupina z hlediska území potenciální cílovou skupinou aktivit (projektů) realizovaných v rámci programu? - 8/35
IP 1.1 Širší informovanost o existenci a přínosech programu realizovaného v rámci politiky HSS EU Cílem této IP je vyvolat zájem o nabídku programů v obecné podobě, informovat o přidané hodnotě programů pro společnost (případně pro jednotlivé cílové skupiny komunikace) IP 1.2 Podpora integrace programů HSS do politik a rozvojových oblastí (lobby) Cílem této IP je přispět k větší míře integrace programů do národních politik a rozvojových oblastí. Komunikace v rámci této IP je zaměřena na dosažení plné integrace OP s relevantními národními politikami v gesci jednotlivých ústředních správních úřadů. Příkladem mohou být semináře (pracovní skupiny) pro tvůrce politik a strategií ústředního správního úřadu s poukázáním na výhody integrace OP přímo do cílů daných politik. Specifický cíl 2 Informační priority specifického cíle 2 jsou zaměřeny na skupinu subjektů angažovaných přímo i nepřímo na tvorbě, řízení, monitorování a evaluaci programu a mající zájem/prospěch z jeho úspěšné implementace. Tato skupina zahrnuje partnery programu (socio-ekonomicko-politické prostředí v rámci kterého je projekt realizován), subjekty realizující vlastní řízení, monitoring a evaluaci programu (řídící orgány, zprostředkující subjekty, certifikační orgány a jejich okolí). IP 2.1 Strategické směřování / postavení programu Cílem této IP je upevnit postavení programů mezi ostatními veřejnými výdajovými programy. Aktivity v rámci této IP slouží k informování o činnostech v rámci programu a k interakci s okolím ovlivňujícím postavení programu, a to zejména k těm cílovým skupinám, které mohou ovlivnit průběh realizace OP jako celku nebo i v jednotlivých oblastech intervencí. Příkladem může být komunikace a řešení návazností projektů v oblasti rozvoje lidských zdrojů, kdy některé OP nesou oblasti intervencí zaměřené na rozvoj infrastruktury, a některé jsou zaměřeny na čistě neinvestiční projekty. Vhodnou komunikací mohou být tyto oblasti intervencí provázány a dosaženo lepších výsledků. IP 2.2 Efektivní řízení a monitoring programu Cílem této priority je zajistit efektivní řízení implementační struktury programů. Tato IP zajišťuje mimo jiné zpětnou vazbu pro ŘO programu a její významnou součástí je zajištění toku informací o čerpání jednotlivých oblastí intervencí programu bez ohledu - 9/35
na formu implementace (GG versus individuální projekty, projekty s přímým přidělením prostředků, tj. systémové a národní, či regionální projekty). IP 2.3 Administrace programu (MEDIAČNÍ STUPEŇ PRO SC 3 a jednotlivé IP 1 ) Cílem této priority je zajistit komunikaci mezi jednotlivými články implementační struktury programů. Aktivity v rámci strategie jsou zaměřeny zejména na obousměrnou komunikaci umožňující výměnu informací, znalostí a dovedností zejména uvnitř implementační struktury programu, se zahrnutím všech subjektů účastnících se administrace pomoci v rámci OP včetně konečných příjemců - nositelů grantových schémat, hodnotitelů projektů apod. Specifický cíl 3 Informační priority specifického cíle 3 jsou zaměřeny na skupinu subjektů připravujících, realizujících nebo majících prospěch ze skutečných aktivit naplňujících program, zahrnující zejména potenciální žadatele, skutečné žadatele, realizátory projektů a konečné uživatele výstupů projektů aktivit realizovaných v rámci programu. IP 3.1 Existence příležitostí v operačním programu (od obecné znalosti k identifikaci) VÍŠ O... potenciální žadatelé Cílem této IP je vyvolat zájem o nabídku programů. Tato priorita navazuje na IP 1.1, a prohlubuje obecnou informovanost o významu programů realizovaných v rámci politiky HSS o konkrétní informace směrované k cílovým skupinám, které jsou možnými příjemci pomoci. Nástroje komunikace zde slouží nalezení spojnice mezi cíli a aktivitami potenciálních příjemců pomoci a nabídkou jednotlivých oblastí intervencí programu. Tato IP rozšiřuje záběr IP 1.1 a umožňuje lépe cílit informace dle cílových skupin (potenciální žadatelé) a oblastí intervencí ( zde máte možnost získat pomoc pro vámi realizované aktivity ) IP 3.2 Projektový záměr = realizace příležitosti (od identifikace k přípravě a žádosti) 3535 VÍŠ CO žadatelé Cílem této IP je zprůchodnit klíčový bod projektového cyklu vhodnými nástroji podpořit schopnost potenciálních žadatelů předložit kvalitní projektovou žádost. 1 Pracovníci implementační struktury v praxi komunikují a zprostředkovávají velký objem informací potenciálním příjemcům i příjemcům pomoci. Jejich informovanost, znalosti a dovednosti tedy mají vliv i na kvalitu předkládaných a realizovaných projektů. - 10/35
IP 3.3 Úspěšný projekt = úplná realizace projektového záměru (od žádosti po dosažení projektových výstupů). VÍŠ CO A JAK - příjemci Cílem této IP je zajistit řádnou realizaci projektů prostřednictvím včasné, strukturované a dostatečně kvalitní komunikace. Aktivity a nástroje v rámci této priority jsou zaměřeny na přenos informací, znalostí a dovedností s umožněním silné interakce a zpětné vazby. Vhodnou oblastí aktivit jsou metodické semináře, stálá horká linka pro příjemce podpory, nebo zřízení www stránek s často kladenými otázkami, kde by metodicky zpracované odpovědi usnadnily příjemcům pomoci realizaci projektů. Příklad vazby jednotlivých úrovní cílů a IP je uveden v následujícím schématu. - 11/35
Obrázek: Globální cíl KoP OP: Globálním cílem Komunikačního plánu operačního programu je v souladu s Nařízením Rady a prováděcím Nařízením Komise zdůraznění role Společenství a zajištění, aby pomoc poskytovaná z fondů byla transparentní pro všechny cílové skupiny prostřednictvím zajištění široké publicity OP na všech úrovních implementace za použití širokého spektra nástrojů komunikace Specifický cíl 1 Zajistit úspěch realizace nástrojů politiky hospodářské a sociální soudržnosti EU v rámci operačního programu prostřednictvím široké komunikace o existenci a možnostech zapojení se do programu a o přidané hodnotě, kterou program znamená pro společnost. Specifický cíl 2 Zajistit úspěšnou realizaci operačního programu prostřednictvím kvalitní komunikace ve vnitřním prostředí programu (uvnitř řídící a implementační struktury programu) a ve vnějším prostředí programu, (vůči ostatním OP a dalším subjektům ovlivňujícím implementaci SF v ČR), zejména pak na strategické rovině ovlivňující směřování, postavení a realizaci OP. Specifický cíl 3 Zajistit realizaci úspěšných projektů prostřednictvím včasné, strukturované a dostatečně kvalitní komunikace pro potenciální i skutečné příjemce podpory. IP 1.1 Širší informovanost o existenci a přínosech programu realizovaného v rámci politiky IP 2.1 Strategické směřování / postavení programu IP 3.1 Existence příležitostí v operačním programu (od obecné znalosti k identifikaci) IP 1.2 Podpora integrace programů HSS do politik a rozvojových oblastí (lobby) IP 2.2 Efektivní řízení a monitoring programu IP 3.2 Projektový záměr = realizace příležitosti (od identifikace k přípravě a žádosti) IP 2.3 Administrace programu IP 3.3 Úspěšný projekt = úplná realizace projektového záměru (od žádosti po dosažení projektových výstupů) - 12/34 -
4 Legislativní vymezení a požadavky na zhodnocení informovanosti a publicity dle jednotlivých nařízení a metodických pokynů 4.1 Doporučené postupy pro tvorbu Výroční zprávy V rámci dokumentu DOPORUČENÉ POSTUPY PRO TVORBU VÝROČNÍ ZPRÁVY O PROVÁDĚNÍ OPERAČNÍHO PROGRAMU V OBDOBÍ 2007-2013 ze dne 11.2.2010 jsou pro oblast informovanosti a publicity definovány na str. 40 následující požadavky: Pokyn č. 42 k informování a publicitě Zde musí být uveden seznam akcí uskutečněných v oblasti informování a publicity, které byly za rok 2009 provedeny včetně seznamu jejich cílových skupin příjemců, které se těchto akcí zúčastnily. EK velmi vítá příklady uskutečněných projektů. Stejně tak EK vítá výčet osvědčených postupů. EK doporučuje podat informaci o naplnění povinností ŘO podle č. 7 implementačního nařízení (jmenovitě uskutečnění jedné větší komunikační aktivity za rok). Dále EK doporučuje reformulovat požadavky na komunikační plán podle čl. 4 implementačního nařízení. Vzhledem ke skutečnosti, že platnost dokumentu je vymezena do 31. 12. 2010, lze očekávat úpravu pokynů pro oblast informovanosti a publicity především s ohledem na legislativní požadavky definované v prováděcím nařízení. Ve výroční zprávě o provádění operačního programu za rok 2010 budou obsaženy specifické informace, které jsou v prováděcím Nařízení Komise definovány pro výroční zprávu o provádění OP za rok 2010 a pro závěrečnou zprávu o provádění OP. Tyto informace jsou vymezeny v dalším textu tohoto dokumentu. - 13/35 -
4.2 Nařízení Komise (ES) č. 1828/2006 Podrobné vymezení nároků na komunikační plány, jejich realizaci, monitorování a hodnocení jsou obsažena v prováděcím Nařízení Komise (ES) č. 1828/2006 ze dne 8. prosince 2006, kterým se stanoví prováděcí pravidla k Nařízení Rady (ES) č. 1083/2006 o obecných ustanoveních týkajících se Evropského fondu pro regionální rozvoj, Evropského sociálního fondu a Fondu soudržnosti a k nařízení Evropského parlamentu. Tato část obsahuje stručný popis vybraných požadavků ve vazbě na nutnost provést průběžné vyhodnocení informovanosti a publicity ve výroční zprávě za rok 2010. V oddílu 1 Informace a propagace, Článek 2 Nařízení Komise definuje požadavky na přípravu komunikačního plánu a strukturu komunikačního plánu v těchto bodech: Článek 2 Příprava komunikačního plánu 1. Řídící orgán vypracuje pro operační program, za nějž odpovídá, komunikační plán a zapracuje do něj i jakékoli případné změny. Takový plán může vypracovat rovněž členský stát. Ten se pak bude týkat několika nebo všech operačních programů, které jsou spolufinancovány z Evropského fondu pro regionální rozvoj (ERDF), Evropského sociálního fondu (ESF) nebo Fondu soudržnosti. 2. Komunikační plán obsahuje přinejmenším tyto údaje: a) cíle a cílové skupiny; b) strategii a obsah informačních a propagačních opatření, která přijme členský stát nebo řídící orgán, jež jsou zaměřena na potenciální příjemce, příjemce a na veřejnost, s ohledem na přínos pomoci Společenství na vnitrostátní, regionální a místní úrovni; c) orientační rozpočet na provedení plánu; d) správní oddělení nebo subjekty odpovědné za provádění informačních a propagačních opatření; e) údaj o tom, jak budou informační a propagační opatření vyhodnocena, pokud jde o viditelnost operačních programů a povědomí o nich a o úlohu Společenství. - 14/35 -
Článek 4 Nařízení Komise stanovuje nutnost úzké spolupráce mezi ŘO a Monitorovacím výborem (MV) povinnost informovat MV o postupu implementace komunikačního plánu a použitých nástrojích. Dále je stanoven požadavek na informace uváděné ve výročních zprávách o provádění operačního programu a specifické požadavky na hodnocení výsledků informačních a propagačních opatření ve výroční zprávě za rok 2010 a v závěrečné zprávě. Článek 4 Provádění a monitorování komunikačního plánu 1. Řídící orgán informuje monitorovací výbor každého operačního programu, pokud jde o tyto záležitosti: a) komunikační plán a pokrok v jeho provádění; b) provedená informační a propagační opatření; c) použité komunikační prostředky. Řídící orgán poskytne monitorovacímu výboru příklady těchto opatření. 2. Výroční zprávy a závěrečná zpráva o provádění operačního programu uvedené v článku 67 nařízení (ES) č. 1083/2006 obsahují: a) příklady informačních a propagačních opatření pro operační program přijatých v rámci provádění komunikačního plánu; b) ustanovení pro informační a propagační opatření uvedená v čl. 7 odst. 2 písm. d), případně včetně elektronické adresy, na níž lze tyto údaje nalézt; c) obsah hlavních změn komunikačního plánu. Výroční zpráva o provádění za rok 2010 a závěrečná zpráva o provádění obsahuje kapitolu hodnotící výsledky informačních a propagačních opatření, pokud jde o viditelnost operačních programů a povědomí o nich a o úlohu Společenství, jak stanoví čl. 2 odst. 2 písm. e). 3. Prostředky používané při provádění, monitorování a hodnocení komunikačního plánu jsou přiměřené vzhledem k informačním a propagačním opatřením vymezeným v komunikačním plánu. - 15/35 -
Článek 5 Nařízení Komise zdůrazňuje, že ŘO musejí zajistit širokou publicitu OP se zaměřením na podrobnostech o spolufinancování z příslušného fondu. Znění článku 5 je uvedeno v nařízení v následující podobě: Článek 5 Informační opatření pro potenciální příjemce 1. Řídící orgán zajistí v souladu s komunikačním plánem řádné rozšíření operačního programu a podrobností o finančních příspěvcích z příslušných fondů a zpřístupnění těchto informací všem zainteresovaným stranám. Kromě toho zajistí, aby byly informace o možnostech financování, které nabízí společná podpora Společenství a členského státu prostřednictvím operačního programu, co nejvíce rozšířeny. 2. Řídící orgán poskytne případným příjemcům jasné a podrobné informace přinejmenším o: a) podmínkách způsobilosti, které je třeba dodržet, aby bylo možné získat finanční prostředky v rámci operačního programu; b) popis postupů hodnocení žádostí o financování a daných časových období; c) kritéria výběru operací, které budou financovány; d) kontakty na osoby, které mohou poskytnout informace o operačních programech, a to na vnitrostátní, regionální a místní úrovni. Kromě toho řídící orgán informuje případné příjemce o zveřejnění stanoveném v čl. 7 odst. 2 písm. d). 3. Řídící orgán zapojí do informačních a propagačních opatřeních v souladu s vnitrostátními právními předpisy a postupy nejméně jeden z těchto subjektů, který může řádně rozšiřovat informace uvedené v odstavci 2: a) vnitrostátní, regionální a místní orgány a rozvojové agentury; b) obchodní a profesní sdružení; c) hospodářští a sociální partneři; d) nevládní organizace; e) organizace zastupující podniky; f) informační střediska o Evropě a zastoupení Komise v členských státech; g) vzdělávací instituce. - 16/35 -
Článek 7 Nařízení Komise definuje odpovědnosti řídícího orgánu s ohledem na provádění informačních a propagačních opatření pro veřejnost: Článek 7 Odpovědnost řídícího orgánu, pokud jde o informační a propagační opatření pro veřejnost 1. Řídící orgán zajistí, aby se informační a propagační opatření prováděla v souladu s komunikačním plánem, a aby se zaměřila na rozsáhlou propagaci v médiích s využitím různých forem a metod komunikace na příslušné územní úrovni. 2. Řídící orgán odpovídá za organizaci přinejmenším následujících informačních a propagačních opatření: a) hlavní informační činnosti spočívající ve zveřejnění zahájení operačního programu, a to i bez konečné verze komunikačního plánu; b) přinejmenším jedné větší informační aktivity ročně určené v komunikačním plánu, která představí výsledky operačního programu / programů, a případně rovněž velké projekty; c) vyvěšení vlajky Evropské unie na jeden týden ode dne 9. května před budovou každého řídícího orgánu; d) elektronického nebo jiného zveřejnění seznamu příjemců, názvů operací a výše částky financování přidělené operacím z veřejných zdrojů. Jména účastníků operací Evropského sociálního fondu se neuvádí. - 17/35 -
4.3 Nařízení Rady (ES) č. 1083/2006 Podrobná pravidla pro komunikační plány, jejich přípravu a vyhodnocení jsou uvedena v prováděcím nařízení Komise, nicméně je třeba respektovat také základní legislativní vymezení oblasti informovanosti uvedené v obecném Nařízení Rady (ES) č 1083/2006. Požadavky se týkají především zajištění transparentnosti pomoci z fondů: Článek 69 Poskytování informací a propagace 1. Členský stát a řídící orgán operačního programu poskytují informace o operacích a spolufinancovaných programech a zajišťují jejich propagaci. Informace jsou určeny občanům Evropské unie a příjemcům s cílem zdůraznit roli Společenství a zajistit, aby byla pomoc z fondů průhledná (transparentní). Komise přijme prováděcí pravidla k tomuto článku postupem podle čl. 103 odst. 3. 2. Řídící orgán operačního programu odpovídá za propagaci v souladu s prováděcími pravidly k tomuto nařízení přijatými Komisí postupem podle čl. 103 odst. 3. Vnímání transparentnosti pomoci ze strany veřejnosti a cílových skupin je zásadním požadavkem ze strany EK, proto i ve výroční zprávě o provádění OP za rok 2010 je vhodné uvést informaci o vyhodnocení vnímání transparentnosti pomoci (viz struktura informací v kapitole 7). - 18/35 -
5 Zásady monitorování realizace KoP Tato část shrnuje zásady pro monitorování a sledování postupu realizace jednotlivých opatření informovanosti a publicity. Vedle sledování dosažených hodnot monitorovacích indikátorů je pro střednědobé hodnocení důležité také sledovat kvalitu realizovaných opatření informovanosti a publicity, hodnocení kvality je důležitým podkladem pro evaluaci efektivnosti prováděných akcí. 5.1 Monitorování dosažených hodnot monitorovacích indikátorů Základem pro úspěšnou realizaci KoP je průběžné sledování a hodnocení realizace opatření informovanosti a publicity. Monitoring zajišťuje sběr dat a předkládá dílčí i souhrnné informace o aktuálním stavu realizace KoP. Ke sledování a vyhodnocování realizace se obvykle používá soustava indikátorů, které lze rozčlenit do následujících skupin: - indikátory dopadů - tedy celkových efektů (např. zvýšení povědomí veřejnosti o politice HSS, měřeno průzkumem, dotazníkovým šetřením). Tyto je vhodné definovat a určit cílové hodnoty přímo v KoP OP pro jednotlivé informační priority. - indikátory výsledků - tedy kvalitativní změny docílené aplikací nástroje či opatření (např. návštěvnost www stránek a její vývoj, měřeno statistikami unikátních návštěv na stránkách). Tyto je vhodné definovat v ročních operativních plánech včetně stanovení cílových hodnot. - indikátory výstupů - kvantifikace připravených nástrojů a opatření, které jsou vytvořeny vlastními aktivitami realizace KoP (např. počet realizovaných seminářů, počet vytištěných publikací, apod.). Tyto je vhodné definovat v ročních operativních plánech včetně stanovení cílových hodnot. - indikátory vstupů (finanční indikátory, čerpání v Kč) tyto sledují čerpání prostředků. Nejsou přímo definovány v KoP OP pro jednotlivé informační priority, v KoP jsou definovány celkové disponibilní prostředky pro celou realizaci a pro jednotlivé roky. Konkrétní kalkulace nákladů je pak položkově součástí ročních operativních plánů. Jednotlivé úrovně indikátorů a jejich hodnoty definované v komunikačním plánu OP je nutné periodicky vyhodnocovat dle frekvence nastavené v KoP. V případě, že nebyla předem definována frekvence vyhodnocení dosažených hodnot jednotlivých indikátorů, je vhodným obdobím hodnocení v polovině období (tj. za roky 2007-2010) a na konci programovacího období 2007-2013. Ve výroční zprávě o provádění OP za rok 2010 by tak mělo být obsaženo shrnutí naplnění jednotlivých definovaných indikátorů všech relevantních úrovní. Kvantitativní vyhodnocení dosažených hodnot indikátorů je jedním z významných podkladů pro evaluaci úspěšnosti provádění opatření informovanosti a publicity OP. - 19/35 -
5.2 Indikátory vstupu (finanční indikátory) Indikátory vstupů (finanční ukazatele) jsou vztaženy obvykle na sledování průběžného čerpání finančních prostředků. Celková finanční náročnost KoP OP je stanovena obvykle rámcovým odhadem vycházejícím z možností technické pomoci OP a odhadem rozsahu a intenzity opatření informovanosti a publicity. V rámci ročních komunikačních plánů (případně plánů čerpání prostředků technické pomoci) jsou tyto odhady zpřesňovány. Pro sledování efektivnosti, účelnosti a hospodárnosti čerpání finančních prostředků je vhodné průběžně (měsíčně, kvartálně, ročně) sledovat čerpání finančních prostředků vztažených k zajištění aplikace jednotlivých nástrojů informovanosti a publicity. Čerpání finančních prostředků pak lze agregovat za jednotlivé nástroje na úroveň priorit a cílů a indikativně tak sledovat finanční náročnost plnění zvolené úrovně. Vyhodnocení čerpání prostředků na realizaci KoP a realizaci operativních ročních plánů je nutno pravidelně předkládat Monitorovacímu výboru příslušného OP. 5.3 Sledování kvality a kvalitativní ukazatele Sledování kvantitativních indikátorů je velmi důležité, ale pro hodnocení efektivnosti jednotlivých opatření informovanosti a publicity je nutné průběžně sledovat a vyhodnocovat kvalitu. Nejúčinnějším opatřením je stanovení vlastních kvalitativních kritérií ještě před samotnou realizací opatření informovanosti a publicity. Následně je nutno ověřovat splnění kvalitativních kritérií. Kvalitativní indikátory je třeba pro účely sledování realizace KoP definovat a vyhodnocovat v rámci interní kontroly realizujících subjektů (není tedy nutné kvalitativní indikátory přímo integrovat do soustavy kvantitativních indikátorů výstupů, výsledků a dopadů), výsledky hodnocení je pak vhodné porovnávat jak v čase, tak lze využít porovnání napříč jednotlivými nástroji či programy. Pro zajištění kvality informačních a propagačních opatření (I&P opatření) je vhodné postupovat v následujících krocích: Definovat kritéria kvality a její ukazatele, např. formou minimálního standardu kvality (např. kvalita lektora semináře vnímaná účastníky, alespoň 75 % účastníků musí vnímat kvalitu lektora jako výbornou nebo velmi dobrou) Definovat způsob sledování kvalitativních aspektů realizace jednotlivých I&P opatření (např. hodnocení kvality lektora semináře pomocí evaluačních dotazníků vyplněných účastníky) Provedení sběru dat a vyhodnocení výsledků sledování kvality a formulace závěrů a doporučení pro další I&P opatření (např. více než 80 % účastníků hodnotí lektora výborně či velmi dobře, což splňuje stanovené minimální kritérium kvality) Formulace závěru či doporučení pro další realizace, případně změna způsobu realizace příslušného I&P opatření, pokud kvalita nevyhovuje, případně úprava kritérií kvality. - 20/35 -
Kvalitativní hodnocení jednotlivých nástrojů lze provádět např. dle následujících příkladů: Příklad: Stanovení požadavků na kvalitu - publikace Požadavky na kvalitu publikace: - atraktivita publikace (grafický design, obálka) - jasný a jednoduchý jazyk - vyváženost, čtivost textu a přehlednost (fotografie vs. text) - souběžné vytvoření elektronické verze a rozumná velikost el. verze pro stažení - snadné použití publikace - definovaný efektivní distribuční plán Příklady kritérií pro vyhodnocení kvalitativních kritérií pro publikaci: - hodnocení obsahové i formální stránky zadavatelem (protokol) - externí hodnocení obsahové i formální stránky (expertní posouzení) - zpětná vazba od uživatelů informace (ankety, dotazníkové šetření, apod.) - zpětná vazba z distribučních míst (sekundární zdroj informací, zprostředkování reakce cílových skupiny) - vyhodnocení dodržení distribučního plánu (porovnání plánu a provedených dodávek) - apod. Příklad: Stanovení požadavků na kvalitu seminář (školení, workshop) Požadavky na kvalitu semináře: - dostatečná kvalita lektora (přednášejících) - kvalita obsahu informací, jejich inovativnost, přehlednost - organizační zajištění akce - existence tištěných podkladů - existence elektronických verzí materiálů ke stažení na webových stránkách - dopravní dostupnost, vhodný termín pořádání akce - apod. Příklady způsobů vyhodnocení kvalitativních kritérií pro seminář: - hodnocení kvality lektora, obsahu a formy semináře zadavatelem (protokol) - hodnocení kvality lektora, obsahu a formy semináře účastníky (evaluační dotazníky) - vizuální kontrola podkladů, kontrola podkladů na webových stránkách - apod. - 21/35 -
5.4 Vazba monitorování a evaluace Kvalitní a soustavný monitoring prováděných opatření informovanosti a publicity je základním předpokladem pro provedení vyvážené a relevantní evaluace provádění KoP OP. Bez kvalitních dat monitoringu lze jen obtížně definovat evaluační závěry ohledně relevantnosti či efektivnosti realizace KoP OP. Proto je monitoringu a průběžnému sledování realizace opatření informovanosti a publicity definovaných v rámci KoP nutné věnovat dostatečnou pozornost. Evaluace je definována jako proces hodnocení založený na metodách, které pracují s výsledky procesů průběžného sledování věcného a finančního postupu (tj. monitorování). Součástí procesů evaluace jsou i metody, jejichž součástí je sběr dat (např terénní šetření dotazování, apod.), nicméně rozsah a kvalita dat shromážděných při průběžném sledování průběhu realizace KoP přímo ovlivňuje vypovídací schopnost a využitelnost výsledků provedené evaluace. 5.5 Možné techniky a metody sběru dat Tato část obsahuje stručný přehled a základních popis vybraných technik a metod, které je možné pro evaluaci KoP OP využít. Tyto metody mohou být rozšířeny a doplněny, výsledný mix technik obvykle v případě externě prováděné evaluace navrhuje dodavatel ve své nabídce, v případě interní evaluace jsou pak jednotlivé techniky navrhovány a realizovány pracovníky implementační struktury, kteří evaluaci provádí. Mezi hojně využívané techniky a metody patří zejména: Terénní šetření (průzkumy veřejného mínění formou dotazníku, telefonického šetření, ankety, apod.) Dotazníkové šetření Analýza dokumentů (desk research), Focus-groups, Mediální analýza, media monitoring, monitoring inzerce a reklamy Individuální rozhovory s: - příjemci, - pracovníky implementační struktury, kteří přichází do kontaktu s dotazy veřejnosti, - pracovníky implementační struktury, kteří poskytují konzultace a metodické vedení příjemcům, - dalšími zapojenými subjekty, Expertní hodnocení Nástroje pro komunikaci s veřejností (informační telefonické linky a emailové schránky) - 22/35 -
Stručná charakteristika vybraných metod je následující: Průzkumy veřejného mínění druh výzkumu, jehož cílem je zjistit povědomí veřejnosti, názory či informovanost populace (či vymezených cílových skupin). Obvykle je prováděn prostřednictvím specializovaných společností na reprezentativním vzorku populace (cílové skupiny) prostřednictvím tazatelů, předem je definován soubor otázek mapujících názory či povědomí o daném jevu (předmětu průzkumu). Průzkumy veřejného mínění lze také v méně komplexní podobě provést formou ankety, případně je možné využít telefonického dotazování. Dotazníkové šetření lze provádět na vzorku respondentů nebo na kompletním souboru respondentů, pokud je to možné (např. kompletní oslovení všech příjemců prostřednictvím kontaktních osob projektů dle databáze příjemců). Jako možní respondenti se jeví např. žadatelé, příjemci, potenciální žadatelé, cílové skupiny projektů, pracovníci implementační struktury, apod. Lze využít několik forem dotazování, v současné době lze využít interaktivního elektronického dotazníkového šetření, které je komfortnější pro respondenty, lze také předpokládat vyšší návratnost než při klasické tištěné nebo elektronické distribuci dotazníku formou přílohy v emailu. Klíčové je zejména nastavení jednoduchého, efektivního a srozumitelného znění dotazníkových otázek. Analýza dokumentů (desk-research) - obsahová analýza, vyhodnocení dokumentů a informačních zdrojů relevantních pro předmět analýzy. Cílem je získat ucelenou mapu problematiky, přesně definovat tematické souvislosti výzkumu a tím vytvořit podmínky pro provedení terénního šetření a návrhu doporučení pro aktivity. Součástí analýzy dokumentů může být také komparativní analýza dokumentů (např. výstupů evaluačních aktivit, analýz, apod.). Fokusní skupiny (Focus group) - je metodou, kterou zhotovitel při řešení projektu využije ve fázi zjišťování kvalitativních dat. Metodu lze využít jako doplněk k provedení dotazníkového šetření, případně k individuálním rozhovorům s žadateli, příjemci, případně pracovníky implementačních struktur. Průběh focus group je vhodné audiovizuálně zaznamenat pro účely pozdější analýzy. Pro účast ve focus group jsou vybráni účastníci dle evaluační oblasti (žadatelé, příjemci, pracovníci implementace, případně zástupci jiné specifické cílové skupiny) tak, aby byla zajištěna vyváženost získaných výsledků. Jde o metodu kvalitativního výzkumu, kde není prioritní kvantita respondentů, ale rozhodující je typové složení skupiny napříč spektrem aktérů. Focus group se obvykle účastní cca 8 10 osob. Mediální analýza, media monitoring, monitoring inzerce a reklamy - prostřednictvím mediální analýzy lze získat přehled a srovnání spontánní a inzertní medializace. Analýza rovněž ukáže, kde a jak inzerovat a na co se přitom zaměřuje. Mediální analýza pomáhá identifikovat hlubší souvislosti a trendy napříč sledovanými médii. Media monitoring je každodenní aktuální přehled medializovaných témat a událostí souvisejících s předmětem zájmu. Jedná se o mediální ohlas, který je zcela nezávislý na publicitě řízené ŘO OP a pro vyhodnocení úspěchu publicity operačního programu je velice důležitý. Dle klíčových slov lze dále vyhledat články související - 23/35 -
s konkrétní kampaní, konferencí, či jinou akcí a reakce na ni. Lze vysledovat články související s mediálním obrazem o operačním programu, o úspěšných projektech, apod. Tyto informace je možné použít ve formě kvantitativní (statistiky) či kvalitativní (interpretace). Monitoring inzerce a reklamy je zaměřen na získání přehledu jak o reklamních kampaních, tak i o obdobných kampaních, včetně vizuální podoby inzerce. Individuální rozhovory - subjektem výzkumu je obvykle reprezentativní vzorek respondentů, např. žadatelé, příjemci, pracovníci implementace, apod. Jedná se o kvalitativní metodu zjišťování, která může vhodně doplnit kvantitativní metody (např. dotazníkové šetření). Pro provedení rozhovorů je nutné provést definování a oslovení respondentů, sestavení scénáře rozhovoru. Účelné je také provedení pilotních rozhovorů pro finalizaci scénáře a úpravy finálního znění otázek. Individuální rozhovory lze realizovat v různých obdobách dle účelu rozhovorů a předmětu rozhovorů. Expertní hodnocení hodnocení provádí expert pro danou oblast hodnocení, jedná se o kvalitativní nástroj hodnocení, jehož cílem je jednak zhodnocení daného jevu, ale také formulace doporučení pro další postup. Alternativou může být také expertní panel, kdy se hodnocení účastní současně více expertů, kteří diskutují svoje hodnocení a formulují společné hodnotící závěry a doporučení. Nástroje pro komunikaci s veřejností - v neposlední řadě lze zmínit také tento cenný zdroj informací, kde lze získat zpětnou vazbu od zástupců různých cílových skupin. Patří sem informační telefonické linky nebo emailové schránky, kde je možné získat snadno a rychle informace o ohlasu či reakcích na konkrétní komunikační aktivitu nebo kampaň, obsah dotazů obecně, apod. Telefonické rozhovory na bezplatných informačních linkách by měly být zaznamenávány a průběžně zpracovávány do statistik či krátkých souhrnných zpráv. Existují další specifické metody zaměřené např. na hodnocení kvality jednotlivých nástrojů propagace a komunikace (např. oční kamera, apod.), které mohou být při hodnocení doplňkově využity. Při volbě metod a technik pro evaluaci lze využívat obdobných technik, jako u ostatních evaluačních aktivit hodnotících např. průběh implementace programu, apod. - 24/35 -
6 Principy a postupy průběžného zhodnocení KoP za období 2007-2010 Tato kapitola obsahuje vymezení evaluačních kritérií jak v obecné rovině, tak jejich využití pro evaluací informačních a propagačních opatření využívaných v rámci realizace KoP OP. Aplikace kritérií a jejich správné pochopení (včetně terminologického vymezení) je důležité jak pro provedení evaluace, tak pro následnou interpretaci výsledků, návrhů doporučení a také pro následnou komunikaci výsledků hodnocení zainteresovaným stranám (monitorovací výbor, Evropská komise, NOK, apod.). Evaluační kritéria jsou následně využita pro formulaci evaluačních okruhů a evaluačních otázek, jejichž správná formulace je zásadní pro úspěšné provedení interní či externí evaluace KoP OP. Především v případě, kdy je evaluace realizována externím hodnotitelem, je nutné formulaci evaluačních otázek věnovat dostatečnou pozornost. Hodnocení je obvykle realizováno v předem časově vymezeném období za aplikace nástrojů, které je obtížné při opomenutí některého z témat (či opomenutí jevu, který měl být předmětem hodnocení) opakovat. 6.1 Obecné vymezení evaluačních kritérií V rámci evaluací se často používají tzv. evaluační kritéria. Jejich páteř tvoří tři kritéria, anglicky označované termíny effectiveness, efficiency a economy (tzv. 3E). V češtině jsou často uváděna jako tzv. 3Ú kritéria, tj. účelnost, účinnost a úspornost. Účelnost (effectiveness) se vztahuje k účelu cíli, kterého se má dosáhnout. Otázka tedy zní - byl splněn stanovený cíl? Do jaké míry (z jaké části) se podařilo splnit vytyčené cíle (naplnit účel)? Dosáhli jsem toho, čeho jsme chtěli? Různé strategie mohou vést k různému stupni dosažení cílů. Některé mohou být nedostatečné (nesplní svůj účel), jiné odpovídající (splní svůj účel) či více než dostatečné (původní účel je splněn a překonán). Účelnost tedy poměřuje skutečnost s vytyčeným cílem. Otázka na účelnost je otázkou, zda zkoumaná intervence funguje, zda vede k předpokládané (očekávané) změně přináší stanovený cíl. Účinnost (efficiency) hovoří o poměru, v jakém se vstupní hodnoty převádí na hodnoty výstupní. Otázka tedy zní, jak účinně jsou zdroje (čas, finanční prostředky, práce) převáděny na výsledky. Jde o poměr cena-výkon. Účinnost tedy poměřuje náklady investované do činnosti s dosaženými výsledky (cílovým stavem). Ptáme se tedy - mohlo být při daných vstupech dosaženo lepšího/vyššího výstupu? V případě, že mohlo být dosaženo lepšího/vyššího výstupu, v jakém poměru je skutečně dosažený výstup k tomuto potenciálně dosažitelnému výstupu? Úspornost (economy) neboli hospodárnost se vztahuje k minimalizaci nákladů na dosažení cíle resp. výsledku. Toto kritérium úzce souvisí s účinností i účelností. Otázka tedy zní dosáhli jsme cíle s minimálními možnými náklady? Úspornost poměřuje náklady investované do činnosti s podmínkou splnění vytyčeného cíle, hledá tedy nejnižší možné náklady na dosažení potřebného účelu. - 25/35 -
Obrázek: Schéma 3Ú Identifikované informační potřeby Úspornost Komunikační strategie, komunikační plán, stanovené cíle a informační priority Účelnost Vstupy (zdroje) Procesy, informační a komunikační kampaně, aplikace nástrojů Výstupy, výsledky, plnění stanovených cílů Účinnost Tato základní evaluační kritéria jsou dále doplněna dalšími kritérii. V rámci evaluačních aktivit je tak posuzováno např. kritérium dopadu, relevantnosti, užitečnosti či udržitelnosti. Dopad (impact) vyjadřuje širší souvislosti působení hodnocené aktivity, sleduje změny, ke kterým došlo, ať už jde o změny přímé nebo nepřímé, zamýšlené nebo nezamýšlené, pozitivní nebo negativní. Toto kritérium by mělo postihnout situace, kdy např. úspěšné řešení jednoho problému vede k nezamýšlenému vzniku jiného problému. Relevance (relevance) zjišťuje, zda definované cíle jsou (stále) potřebné. Prostředí se dynamicky proměňuje, a tak mohou nastat okolnosti, které zpochybní původní plány. Toto kritérium zjišťuje, zda nejsou realizovány zbytečné věci. Problém mohl být již úspěšně vyřešen nebo se mohl stát vlivem vnějších okolností neřešitelný. Užitečnost (utility) posuzuje, zda účinky vzniklé realizací aktivity jsou pro dosažení daného cíle prospěšné, zda byl vhodně zvolený způsob realizace nebo naopak měla být potřeba řešena jinak. Udržitelnost (sustainability) zkoumá, zda daná aktivita dosáhne cíle (řeší problém) dočasně nebo trvale, zda odstraní příčinu problému, nebo zda pouze eliminuje symptomy. Zda pozitivní výsledky přetrvají ukončení aktivity, nebo zda je třeba danou aktivitu podporovat opakovaně. Zda daná aktivita nastartuje změnu, nebo jen dočasně vychýlí okolí žádoucím směrem. Zda účinky vzniklé realizací aktivity budou přetrvávat i za předpokladu, že budou splněna všechna předchozí kritéria (účelnost, účinnost a úspornost). - 26/35 -
6.2 Aplikace evaluačních kritérií pro hodnocení KoP V kontextu evaluace komunikačních a propagačních aktivit je vhodné provést vyhodnocení na základě těchto uvedených kritérií, a to jak ve vztahu k aktivitám realizovaným na základě KoP, tak ve vztahu k definovaným cílovým skupinám v KoP OP. Kritéria lze aplikovat např. následujícím způsobem: Kritérium relevance ( relevance ) zjišťuje, zda vytyčené cíle jsou potřebné. Obvykle odpovídá na následující sadu obecných otázek: Byly použity relevantní nástroje informovanosti a publicity? Nebylo by vhodné změnit portfolio používaných komunikačních prostředků? Nebylo by vhodné změnit způsob jejich realizace? Kritérium účelnosti ( effectiveness ) se vztahuje k účelu cíli, kterého se má dosáhnout. Odpovídá na následující sadu obecných otázek: Do jaké míry se daří využívat zdroje či vstupy k dosažení očekávaných výsledků komunikačních a propagačních aktivit (z hlediska kvantity, kvality, včasnosti)? Kritérium účinnosti ( efficiency ) hovoří o poměru, v jakém se vstupní hodnoty převádí na hodnoty výstupní. Value for money - jsou vynaložené náklady na informační a propagační akce adekvátní dosaženým přínosům? Kritérium dopadu vyjadřuje širší souvislosti působení hodnocené aktivity, sleduje změny, ke kterým došlo. Např. Jak a do jaké míry přispívají aktivity informovanosti a publicity k úspěšné realizaci programu? Jak se zvýšilo povědomí o financování projektů z fondů mezi veřejností? Kritérium udržitelnosti ( sustainability ) zkoumá, zda daná aktivita dosáhne cíle dočasně nebo trvale, zda odstraní příčinu problému, nebo zda pouze eliminuje symptomy. Odpovídá na následující sadu obecných otázek: Budou pozitivní výsledky/ přínosy projektů v oblasti komunikačních a propagačních aktivit zachovány/pokračovat i po jejich ukončení? Do jaké míry jsou komunikační a propagační aktivity udržitelná na úrovni sektoru, regionu, země? Kdo a z jakých zdrojů zajistí tuto udržitelnost? Jaká je finanční udržitelnost komunikační a propagačních aktivit? Kritérium užitečnosti ( utility ) posuzuje, zda daná komunikační aktivita (nebo způsob její realizace) nepřinesl více negativních efektů než přínosů, zda byla řešena správným způsobem s ohledem na aktuální situaci či potřeby cílových skupin a zda neměla být řešena jiným způsobem. Ptáme se: Je tato komunikační aktivita skutečně prospěšná? Nevzniklo více negativních efektů než přínosů? Kritérium úspornosti ( economy ) se vztahuje k minimalizaci nákladů na dosažení cíle resp. výsledku. Odpovídá na následující sadu obecných otázek: Bylo cílů stanovených v komunikační strategii dosaženo s hospodárným využitím použitých vstupů? Konkrétní aplikace kritérií je pak obsahem formulace evaluačních okruhů a především evaluačních otázek, které jsou před vlastní zahájením evaluace formulovány. - 27/35 -
6.3 Návrhy možných evaluačních okruhů a evaluačních otázek pro hodnocení KoP Při realizaci evaluace je vhodné rozdělit evaluaci do jednotlivých evaluačních okruhů, které jsou dále členěny do konkrétních evaluačních otázek. Tento postup je účelný jak při interně prováděné evaluaci, tak při využití externích evaluátorů. Rozdělení do jednotlivých evaluačních okruhů (případně úkolů) a otázek pomáhá strukturovat přípravu evaluačních aktivit, jejich samotné provádění, ale především pak formulaci evaluačních závěrů a následných doporučení. V případě využití externích evaluátorů (ale i v případě interně prováděné evaluace) je vhodné poskytnout prostor pro definování dodatečných (doplňkových) evaluačních otázek v rámci jednotlivých okruhů, a to jak ve fázi přípravy evaluace, tak v jejím průběhu. Pro jednotlivé evaluační okruhy (úkoly) je nutno volit adekvátní metody a techniky, které mohou být kombinovány, v případě využití externího evaluátora je vhodné posoudit navrhované metody ve fázi přípravy evaluace. Návrh evaluačních okruhů a evaluačních otázek pro průběžné vyhodnocení KoP lze definovat např. takto: Evaluační okruh: Vyhodnocení informovanosti cílových skupin KoP Možné evaluační otázky: Do jaké míry cílové skupiny KoP (veřejnost, žadatelé, příjemci, odborná veřejnost, apod.) znají operační program? Do jaké míry mají jednotlivé cílové skupiny povědomí o možnostech zapojení se do OP? Vyhodnoťte úroveň informovanosti jednotlivých cílových skupin. Jaké informační zdroje nejvíce využily cílové skupiny pro získání své znalosti o OP? Možné metody a techniky: Analýza dokumentů, Terénní šetření (ankety, dotazování, rozhovory focus-groups, apod.) Průzkumy veřejného mínění Apod. - 28/35 -