Vyhodnocení Evaluačního plánu Regionálního operačního programu NUTS II Severovýchod pro rok 2014

Transkript

1 Vyhodnocení Evaluačního plánu Regionálního operačního programu NUTS II Severovýchod pro rok 2014 Datum zveřejnění:

2 ~ 1 ~ 1. Úvod Evaluační proces Regionálního operačního programu NUTS II Severovýchod vychází ze schváleného Evaluačního plánu pro programovací období , který je konkretizován ročními evaluačními plány. Rok 2014 je prvním rokem programovacího období a zároveň se v tomto období aktivity ROP Severovýchod (dále jen ROP SV ) pro období chýlí ke konci. Z tohoto důvodu by plánované evaluace měly být zaměřeny zejména na podporu uzavírání současného programovacího období, a také již vyhodnocení příspěvku ROP SV k rozvoji regionu. Jelikož Regionální rada regionu soudržnosti Severovýchod nebude v příštím programovacím období vykonávat funkci řídícího orgánu operačního programu , nemohou být evaluace zaměřeny na přípravu příštího období. Evaluace v roce 2014 byly uskutečněny ve formě zakázek malého rozsahu či interně a zaměřeny jako tzv. operativní evaluace a tematické evaluace. V roce 2014 probíhalo také pravidelné vyhodnocování věcného a finančního pokroku v realizaci ROP SV. Evaluační plán ROP SV pro rok 2014 (dále jen EP 2014 ) počítal rovněž s realizací ad-hoc evaluačních projektů. EP 2014 byl schválen Výborem Regionální rady regionu soudržnosti Severovýchod (dále jen VRR ) na jeho 43. zasedání dne usnesením č. 190/2013. Tento dokument byl předložen k projednání Monitorovacímu výboru na 21. zasedání dne , který ho vzal na vědomí usnesením č. 96/2013. V průběhu roku 2014 se ukázalo, že EP 2014 nevyhovuje aktuální potřebě Řídícího orgánu ROP SV (dále jen ŘO ROP SV ) a proto bylo vhodné, také v návaznosti na skutečnou realizaci evaluačních projektů, ho aktualizovat. Z tohoto důvodu byla VRR předložena aktualizace EP 2014, a to na 50. zasedání dne , který ji schválil usnesením č. 205/2014. Monitorovací výbor následně vzal informaci o aktualizaci EP 2014 na vědomí na 23. zasedání dne usnesením č. 108/2014. Předmětem aktualizace Evaluačního plánu ROP SV pro rok 2014 bylo: doplnění ad-hoc evaluace Zhodnocení nastavení struktury oprávněných žadatelů z ROP SV evaluace byla realizována na základě doporučení Ministerstva pro místní rozvoj Národního orgánu pro koordinaci (dále jen MMR-NOK ) v návaznosti na požadavek senátora Vladimíra Drymla, vyřazení projektu Hodnocení přínosů realizovaných projektů v rámci ROP SV evaluace byla přesunuta do roku 2015, aby bylo možné přínosy/dopady hodnotit na co nejvyšším počtu ukončených projektů, podpořených z ROP SV, úprava popisu projektu Hodnocení kvality interního auditu, dále úprava způsobu zpracování této evaluace (z interního zpracování s následnou externí validací, příp. externí zpracování, pouze na externí formu) a termínu skutečné realizace evaluace, úprava názvu projektu Ověření plnění cílů Komunikačního plánu ROP SV na příkladu vybraných aktivit na Průzkum účinku reklamní kampaně Regionální rady regionu soudržnosti Severovýchod (dále jen RR SV ) vč. úpravy termínu realizace, doplnění seminářů pro rozvoj evaluační kapacity ŘO ROP SV, realizovaných v rámci projektu MMR- NOK Systém vzdělávání zaměstnanců realizujících NSRR v období v rámci Operačního programu Technická pomoc.

3 ~ 2 ~ Všechny výše uvedené změny byly projednány a odsouhlaseny v rámci Pracovní skupiny pro evaluaci ROP SV. Aktualizace EP 2014 byla také připomínkována evaluačním pracovištěm MMR NOK. Vznesené připomínky byly zapracovány. 2. Evaluační aktivity Evaluační aktivity realizované v roce Operativní evaluace Projekt 1: Roční zhodnocení 2013 Zpracování: interní. Časový rámec: leden únor Cíl projektu: Cílem Ročního zhodnocení byl popis pokroku ROP SV dosaženého v roce 2013 a porovnání pokroku do konce roku Roční zhodnocení tematicky navazovalo na pravidelně vytvářené měsíční analýzy, jejichž je souhrnem. V rámci přehledu provádění ROP SV byl posouzen finanční a fyzický pokrok a analyzovány monitorovací indikátory na úrovni programu, jednotlivých prioritních os a oblastí podpory v roce 2013 ve srovnání s rokem Obsaženy jsou také základní finanční údaje a informace o integrovaných plánech rozvoje měst ROP SV. Výstupy tohoto hodnocení byly využity při přípravě Výroční zprávy o realizaci ROP SV za rok Výstupy tohoto projektu jsou dostupné na Tematické a územně zaměřené evaluace Projekt 2: Hodnocení realizace Komunikačního plánu ROP Severovýchod a realizace komunikačních a propagačních aktivit 1 Zpracování: interní. Časový rámec: říjen 2013 až leden Cíl projektu: Potřeba realizace tohoto projektu vzešla z požadavku MMR NOK, na základě kterého měly všechny řídící orgány zpracovat souhrnné zhodnocení komunikačních aktivit za roky Toto hodnocení mělo zároveň být využito při přípravě nového programovacího období , jelikož Evropská 1 Tento projekt náleží do EP Jelikož byl dokončen až po zpracování Vyhodnocení EP 2013, jsou informace o tomto projektu zahrnuty do Vyhodnocení EP 2014.

4 ~ 3 ~ komise doporučila před přípravou nových komunikačních strategií programů vyhodnotit doposud provedené aktivity v oblasti publicity. V závěru roku 2013 byl požadavek MMR NOK na zpracování tohoto vyhodnocení zrušen, resp. MMR NOK uvedl, že zpracování samostatných evaluací jednotlivými řídicími orgány není povinné. Nadále však zůstává povinnost zpracovat evaluaci komunikačních aktivit za každý řídící orgán do závěrečné zprávy o realizaci programu v roce Cílem tohoto projektu bylo závěrečné vyhodnocení realizace rámcového Komunikačního plánu ROP SV a zhodnocení realizace komunikačních a propagačních aktivit v období Tento projekt je realizován s využitím pokynu MMR NOK, který ŘO ROP SV poskytl doporučení na zpracování tohoto hodnocení. Hlavní závěry: Rok 2011 byl z části zaměřen na budování povědomí o ROP SV, převahu začala získávat prezentace konkrétních výsledků a projektů, která se naplno rozvinula v letech 2012 a V neposlední řadě byly aktivity zaměřeny také na vzdělávání a podporu žadatelů/příjemců. Od roku 2012 je intenzivní propagace programu rozdělována na dvě části jarní a podzimní vlnu kampaně. Forma takto zvolené propagace je shledávána jako účelnější než roztříštění jednotlivých nástrojů propagace v průběhu roku. Veřejnost je během vybraného časového intervalu mnohem intenzivněji v kontaktu s ROP SV a může si vytvořit širší povědomí o oblastech podpory a úspěšných projektech podporovaných v rámci tohoto operačního programu. Jako úspěšné jsou hodnoceny aktivity: polep MHD, variapostery na vlakových nádražích regionu, promítání spotů v multikinech s doprovodnou soutěží o volné vstupenky, rozhlasové spoty. V průběhu celého roku 2013 se ŘO ROP SV snažil účastnit otevření podpořených projektů, prezentovat úspěchy a konkrétní projekty v místě jejich uskutečnění, aby se lidé mohli s projekty přímo seznámit. Vše je doprovázeno plakátovými výstavami, které se uskutečňují na několika místech regionu v průběhu celého roku. Bylo konstatováno, že je v těchto aktivitách vhodné pokračovat, snažit se více spolupracovat s příjemci a realizátory projektů. Významnou částí propagace ROP SV jsou publikační aktivity zacílené především na širokou veřejnost. Prostřednictvím informačních center, Eurocenter, středisek Europedirect, podpořených projektů a dalších vhodných míst se snažíme tiskoviny rozšiřovat mezi širokou veřejnost. Důraz je třeba klást na vizuální přitažlivost tiskovin, čtivost a srozumitelnost informací. Častěji využívaným nástrojem, jak informovat širokou veřejnost o projektech ROP SV, je pořádání veřejných akcí (florbalový turnaj, kulturní odpoledne v Africkém muzeum Dr. Emila Holuba v Holicích, akce v zimních střediscích, soutěž o volné vstupenky do kina). Velice úspěšně byla hodnocena Hlavní informační akce roku 2013, kterou navštívilo 365 lidí. ŘO ROP SV vsadil na známé tváře regionu a regionálních médií ve spojení s možností osobního setkání s nimi, na závěr pak na žádané divadelní představení. Akce byla hodnocena kladně, o čemž svědčí i samotná hojná účast a zpětná vazba zúčastněných. Úspěšnou akcí bylo také Nábřeží sportu v Hradci Králové konané v září Akce byla hodnocena jako velice úspěšná, protože sportovního odpoledne se zúčastnil vysoký počet návštěvníků. Bylo by vhodné využívat více takových příležitostí. Osvědčilo se tedy spojení prezentace ROP SV a podpořených projektů s některou z lákavých aktivit (soutěž, slavnostní otevření projektu, drobná pozornost teplý čaj v zimních střediscích, událost, kde je očekávané větší

5 ~ 4 ~ množství lidí Nábřeží sportu). Nutné je všechny aktivity vzájemně provázat, využívat organizovaných událostí s větším počtem lidí, při které je vhodné prezentovat výsledky ROP SV. Vždy je důležité optimální nastavení finančních nákladů v porovnání s dosaženými výsledky. V podobných aktivitách bude ŘO ROP SV pokračovat i nadále. Pokud některé aktivity a nástroje nemají samy o sobě dostatečný informační potenciál, je vhodné je místně, časově a obsahově propojit s dalšími aktivitami. Zároveň bylo konstatováno, že je třeba zdůraznit potřebnost ověření účinnosti jednotlivých aktivit v závislosti na jejich povaze a době, ve které se očekávané přínosy dostaví nezávislým zpracovatelem přímo u cílových skupin jednotlivých aktivit. V opačném případě je možné skutečný přínos většiny aktivit pouze odhadovat, aniž by tyto odhady byly podloženy potřebnými fakty. Využití doporučení v praxi: Na základě výše uvedených doporučení ŘO ROP SV v roce 2014 využil těch akcí, které ŘO ROP SV v dokumentu vyhodnotil jako ty nejúspěšnější a kterých se zúčastní vysoký počet návštěvníků. Snahou ŘO ROP SV je všechny aktivity vzájemně provázat, pokračovat v komplexních kampaních a využívat organizovaných událostí s větším počtem lidí, při které je vhodné prezentovat výsledky ROP SV. ŘO ROP SV také více využívá nezávislého vyhodnocení uskutečněných aktivit, aby bylo možné ověřit jejich účinnost a případně budoucí aktivity upravit pro dosažení co nejvyšších účinků. Výstupy projektu jsou dostupné na Projekt 3: Hodnocení kvality interního auditu ROP Severovýchod Zpracování: externí. Časový rámec: říjen - prosinec Maximální finanční rozsah: Kč bez DPH. Skutečné výdaje: Kč vč. DPH. Zpracovatel: EURODAN, s.r.o. Cíl projektu: Cílem projektu bylo provedení externího hodnocení kvality Útvaru interního auditu, a to podle Mezinárodních standardů pro profesní praxi interního auditu, a doporučení vyplývajících z tohoto hodnocení ve formě navržených opatření. Hodnocení vycházelo ze Standardu 1312 Externí hodnocení, který stanovuje požadavek na provedení externího posouzení kvality interního auditu (tzv. Quality Assessment Review of the Internal Audit Function QAR), a z Doporučení pro praxi Externí posouzení.

6 ~ 5 ~ Externí hodnocení kvality mělo za cíl poskytnout: 1. vyjádření, zda je činnost IA v souladu s Definicí interního auditu, s Etickým kodexem a s Mezinárodními standardy pro profesní praxi IA; 2. vyjádření, zda IA přidává hodnotu a zdokonaluje procesy v organizaci; 3. návrh opatření pro zlepšení fungování interního auditu v rámci vnitřního kontrolního systému RR Severovýchod. Hlavní závěry: Na základě provedených hodnocení a testů externí hodnotitel zkonstatoval, že Útvar interního auditu RR SV postupuje ve všech významných aspektech v souladu s Mezinárodními standardy pro profesní praxi interního auditu, a že interní audit je na Úřadu RR SV vnímán celkově jako potřebný, svými výstupy poskytuje přiměřenou přidanou hodnotu činnostem RR SV a vedoucím pracovníkům podává zpětnou vazbu na vykonávané činnosti. Útvar interního auditu poskytuje ujištění a odborně prověřuje nedostatky řídicího a kontrolního systému s ohledem na možné projevy rizik. Zejména se zaměřuje na nastavení a dodržování požadavků na vnitřní kontrolní systém a přispívá k předcházení rizik souvisejících s činností Úřadu RR SV. Hodnotitel konstatuje, že z pohledu funkčnosti interního auditu jako složky vnitřního kontrolního systému veřejné správy je činnost Útvaru interního auditu srovnatelná s jinými orgány a organizacemi státní správy a územní samosprávy, které vykonávají svou řídicí a kontrolní činnost na úrovni dobré praxe. Externí hodnotitel pak vyhodnotil naplňování cílů následovně: 1. Posouzení souladu se Standardy pro profesní praxi interního auditu hodnotitel došel k závěru, že činnost Útvaru interního auditu RR SV je celkově v souladu s požadavky Mezinárodních standardů pro profesní praxi interního auditu Institutu interních auditorů. Navzdory dílčím výhradám konstatoval, že existuje přiměřená záruka, že interní audit přispívá k dosahování cílů RR SV tím, že přináší systematický metodický přístup k hodnocení a zlepšování účinnosti systému řízení rizik, řídicích a kontrolních procesů, řízení a správy RR SV. K zajištění hodnocení této oblasti hodnotitel využil vlastní vypracované metodologie vyplývající ze Standardů a doporučených postupů mezinárodního Institutu interních auditorů (IIA, Inc.), vydaných k hodnocení kvality činnosti interního auditu, a ze svých dosavadních zkušeností čerpajících ze zásad nejlepší praxe a dalších relevantních standardů. 2. Posouzení přidané hodnoty a efektivity interního auditu k závěrům o přidané hodnotě interního auditu hodnotitel využil strukturovaných rozhovorů s vybranými vedoucími pracovníky Úřadu RR SV, k vyjádření o efektivnosti pak obecný model vyzrálosti systémů s přihlédnutím k benchmarkingu srovnatelných organizací veřejné správy. S jejich přispěním externí hodnotitel učinil závěr, že interní audit je na Úřadu RR SV vnímán celkově jako potřebný, svými výstupy poskytuje přiměřenou přidanou hodnotu činnostem RR SV a vedoucím pracovníkům podává zpětnou vazbu na vykonávané činnosti. Hodnocením efektivity interního auditu hodnotitel došel k závěru, že pro interní audit jsou v převážné míře popsané odpovědnosti, standardizované zásady a postupy se zabudovanými řídícími a kontrolními mechanismy, i způsob jejich průběžného, pravidelného i externího vyhodnocování. 3. Navržená opatření pro zlepšení v rámci hodnocení souladu se standardy hodnotitel navrhl doporučení ke zlepšení a zefektivnění plánovacího procesu, uplatňování programu pro zabezpečení

7 ~ 6 ~ a zvyšování kvality výkonu interního auditu, vyhodnocování odbornosti a cílení plánů profesního rozvoje auditora na potřeby zvyšování odborné úrovně a k uplatňování doporučovaných přístupů k auditingu. Na základě posouzení přidané hodnoty a efektivity interního auditu externí hodnotitel doporučil věnovat pozornost rozsáhlosti obsahového zaměření a časové dotaci některých ujišťovacích zakázek, formulaci doporučení a využití kapacit interního auditu, včetně pravidelné aktualizaci vnitřních zásad a postupů, jejich dodržování a odpovídajícímu internímu dohledu, resp. prověrce kvality. Využití doporučení v praxi: Na základě externího hodnocení kvality interní auditor průběžně realizuje v souladu s Akčním plánem doporučení externího hodnotitele, přičemž některá z nich se projeví až v průběhu dalšího plánovacího a vyhodnocovacího období. Realizovaná doporučení směřují do systémových kroků, které budou uplatněny v rámci stávajících zdrojů poskytnutých internímu auditu. Náprava nedostatků, resp. skutečná realizace doporučení navržených externím hodnotitelem, přispěje ke zlepšení činnosti Útvaru interního auditu a zvýšení účinnosti a efektivnosti jeho činností. Výstupy projektu jsou dostupné na Projekt 4: Průzkum účinku reklamní kampaně Regionální rady regionu soudržnosti Severovýchod Zpracování: externí. Časový rámec: duben - květen Maximální finanční rozsah: Kč bez DPH. Skutečné výdaje: Kč s DPH. Zpracovatel: Univerzita Hradec Králové, Filozofická fakulta. Cíl projektu: Cílem tohoto projektu bylo ověřit přínos vybraných uskutečněných propagačních aktivit v rámci informační kampaně dle ročního Komunikačního plánu ROP SV 2014 a doložit, že jejich realizací dochází k dosažení cílů ročního Komunikačního plánu ROP SV, potažmo Komunikačního plánu ROP SV Hlavní závěry: Zpracovatel evaluace se zaměřil na průzkum účinku reklamní kampaně RR SV, která proběhla v dubnu 2014 na nádražích jedenácti měst prostřednictvím variaposterů nebo postercubů a ve třech krajských městech v multikinech CineStar prostřednictvím reklamního spotu. V krajských městech je od dubna 2014 kampaň realizována také prostřednictvím polepů vozů MHD. Výzkumný soubor představoval celkem 1355 respondentů (v prostorách nádraží bylo osloveno 842 respondentů, na zastávkách MHD 284 respondenti a v multikinech 229 respondentů). Odpovědi na stanovené evaluační otázky: 1/ Jaký byl ve třech výzkumných podsouborech na nádražích, v kinech a na zastávkách MHD podíl respondentů, kteří evidovali reklamní kampaň? Největší podíl respondentů, kteří zaregistrovali reklamní kampaň, byl zaznamenán u dotázaných diváků v multikinech. Jedná se o 61,1 % oslovených respondentů. U respondentů pohybujících se během reklamní

8 ~ 7 ~ kampaně na vlakových nádražích tento podíl činí 43,1 %. Nejmenší podíl, 20,8 %, je u dotázaných účastníků MHD. 2/ Jaký byl ve třech výzkumných podsouborech na nádražích, v kinech a na zastávkách MHD podíl respondentů, kteří správně identifikovali předmět reklamní kampaně? Z respondentů, kteří si všimli reklamní kampaně, správně identifikovalo její předmět (to, že se kampaň týkala evropských dotací z ROP SV) 45,2 % respondentů na nádražích, 35,6 % respondentů na zastávkách MHD, 34,3 % respondentů v multikinech. U respondentů na nádražích se tak jedná téměř o polovinu z těch, kteří zaznamenali instalované variapostery či postercuby. Pokud se srovná úspěšnost současné reklamní kampaně podle jednotlivých variant reklamy (nádraží, MHD, kina), pak kampaň byla nejúčinnější na nádražích, kde správně identifikoval předmět reklamní kampaně cca každý pátý oslovený respondent. V multikinech byly výsledky podobné, zde správně identifikoval předmět kampaně téměř každý pátý respondent. Jednoznačně nejméně úspěšná byla prozatím reklamní kampaň s polepy na vozech MHD, kde ji správně identifikoval pouze každý 13. oslovený respondent. Dvě pětiny ze všech respondentů (41,5 %), kteří si všimli reklamní kampaně na nádražích, na zastávkách městské hromadné dopravy či v multikinech, správně identifikovaly, že se reklamní kampaň týkala evropských dotací z ROP SV. 3/ Jaké poznatky skýtá komparace výsledků reklamní kampaně z října 2013 a reklamní kampaně zahájené v dubnu 2014? Více jak dvě pětiny respondentů (43,1 %) pohybujících se během měsíce dubna 2014 na sledovaných vlakových nádražích reklamní kampaň evidovaly, tj. tito respondenti si všimli instalovaných variaposterů či postercubů. Ve městech, ve kterých byly umístěny postercuby (buď společně s variapostery, či bez nich), kampaň evidoval větší počet dotázaných lidí. V porovnání s minulým průzkumem účinku reklamní kampaně v měsíci říjnu 2013 (tehdy 22,4 % evidujících respondentů) došlo téměř k dvojnásobnému navýšení podílu respondentů (tj. o 20,7 %), kteří si reklamy všimli. Zhruba každý pátý oslovený respondent z podsouboru respondentů oslovených na nádražích (164 z celkem 842 respondentů) správně identifikoval předmět reklamní kampaně. Což je v souhrnu výrazně lepší výsledek oproti minulé kampani (v říjnu 2013 to byl pouze každý desátý oslovený respondent). Přibližně každý šestý oslovený respondent z celého souboru (233 z celkem 1355 respondentů oslovených na nádražích, zastávkách MHD i v multikinech) správně identifikoval předmět reklamní kampaně. Což je v souhrnu opět výrazně lepší výsledek oproti minulé kampani v říjnu 2013, kdy se reklamní kampaň realizovala pouze na nádražích ČD. 4/ Byla na nádražích evidence reklamní kampaně a následná správná identifikace jejího předmětu závislá na frekvenci, s jakou se na nádražích respondenti pohybovali? Frekvence výskytu respondenta na nádraží měla výrazný vliv na to, zda respondent evidoval reklamní kampaň. Reklamní kampaň evidovala polovina těch respondentů (50,3 %), kteří se vyskytovali na nádraží několikrát týdně, a pouze třetina respondentů (33,6 %), kteří se vyskytovali na nádraží méně často.

9 ~ 8 ~ Frekvence výskytu respondenta na nádraží současně měla vliv na to, zda respondent správně identifikoval předmět reklamní kampaně. Reklamní kampaň správně identifikovala polovina těch respondentů (49,8 %), kteří se vyskytovali na nádraží několikrát týdně a zhruba třetina respondentů (36,1 %), kteří se vyskytovali na nádraží méně často. Reklamní kampaň řešitelský tým hodnotí jako zdařilou. Výsledky prokazují, že byla úspěšnější než v říjnu K posílení vlivu kampaně na obyvatele (evidence kampaně a správná identifikace jejího předmětu) přispěla inovace motivů a účelné rozmístění variaposterů, zařazení instalace postercubů v nádražních halách a vysílání spotu v multikinech. Polepy na vozech MHD k datu hodnocení neměly velký dopad na obyvatele měst. S kladným ohlasem se setkala doplňková reklamní akce, kdy tazatelé při dotazování věnovali respondentům drobné reklamní předměty ROP SV. Pro zvýšení dopadu kampaně, polepů autobusů, zpracovatel doporučil, aby na tyto vozy upozorňovali i další pořádané akce nebo reklamní aktivity. Využití doporučení v praxi: V návaznosti na prezentovaná zjištění, týkající se promítání spotu v multikinech, se ŘO ROP SV zaměřil na srozumitelnost promítané informace a zadal zpracovateli vytvoření spotu v souladu se zjištěním evaluace. Kampaň na vozech MHD bude pokračovat i v roce Její dopad byl sice ve srovnání s ostatními nástroji nižší, ale i tak se vzhledem k velkému množství osob, které se v krajských městech pohybují, jedná o významný prvek komunikačních aktivit. ŘO ROP SV bude nadále využívat pozitivně hodnocenou formu prezentace, tj. instalaci variaposterů či postercubů, na nádražích ČD. Výstupy projektu jsou dostupné na Ad-hoc evaluace Projekt 5: Zhodnocení záměru komunikačních aktivit ROP Severovýchod pro rok Zpracovatel: PETCON s.r.o. Časový rámec leden Skutečné výdaje: Kč s DPH. Cíl projektu: Analýza byla zaměřena na posouzení vizuální podoby chystané kampaně, vhodnosti zvolených komunikačních nástrojů, provázanosti komunikačních nástrojů, harmonogramu nasazení komunikačních nástrojů, dále navrhla další podpůrné aktivity, možnost využití guerilla marketingu a nových komunikačních nástrojů (Facebook, Youtube, apod.). 2 Tento projekt není zahrnut do EP Jelikož má povahu evaluace, byl zahrnut do Vyhodnocení EP 2014.

10 ~ 9 ~ Zpráva byla doplněna o obecná doporučení pro komunikaci fondů EU, průzkum povědomí české veřejnosti a o fondech EU a vhodnost zvolených použitých komunikačních nástrojů. Hlavní závěry: Obzvlášť kladně zpracovatel ohodnotil kreativitu, která se projevila především ve zvolených ilustracích v rámci vizuální podoby kampaní. Ilustrace jsou funkční a efektivní s jasnou spojitostí s ROP SV. Dále pak pozitivně hodnotil důraz na outdoorovou inzerci v místech s vysokou koncentrací osob a inzerci v kinosálech, kde funguje princip vynucené pozornosti. Prostor pro zlepšení zpracovatel spatřuje v kvalitnějším grafickém zpracování jednotlivých materiálů a jasnější definici komunikovaných informací. Celkově bylo konstatováno, že analyzované aktivity jsou kvalitně připraveny, jeví logickou návaznost a provázanost a tedy splňují veškeré předpoklady pro dosažení definovaného cíle při maximální efektivitě vynaložených prostředků. Využití doporučení v praxi: Na základě doporučení vzešlých z analýzy byla upravena vizuální podoba hlavních prvků chystané kampaně. Obecně byl kladen důraz zejména na jednoznačnější sdělení hlavní informace, na výraznější prosazení značky ROP SV, na lokální patriotismus (prezentace projektů spojených s místem realizace kampaně). Správnost nastaveného postupu byla následně ověřena v rámci Průzkumu účinku reklamní kampaně RR SV (viz Projekt 4) v dubnu až květnu 2014, který u vybraných nástrojů prokázal cca dvojnásobné zvýšení účinku na veřejnost ve srovnání se stejnou kampaní realizovanou na podzim Výstupy projektu jsou dostupné na Projekt 6: Zhodnocení nastavení struktury oprávněných žadatelů z ROP Severovýchod Zpracování: externí. Časový rámec: říjen - prosinec Maximální finanční rozsah: Kč bez DPH. Skutečné výdaje: Kč bez DPH. Zpracovatel: PricewaterhouseCoopers ČR. Cíl projektu: V návaznosti na požadavek senátora Vladimíra Drymla MMR-NOK doporučilo ŘO ROP SV provést tuto evaluaci, jejímž cílem bylo posoudit soulad stanoveného okruhu oprávněných žadatelů s legislativou ČR, EU a relevantními dokumenty MMR-NOK, a zároveň potvrdit, že stanovený okruh žadatelů je v souladu se zásadami rovnoprávnosti a nediskriminace dle uvedené legislativy v souladu se zacílením intervencí ROP SV.

11 ~ 10 ~ Hlavní závěry: Pro tuto evaluaci je zásadní odpověď na tuto stanovenou evaluační otázku: 1/ Je struktura oprávněných žadatelů, uvedená v Prováděcím dokumentu ROP SV, v souladu s legislativou EU, ČR a dalšími relevantními dokumenty MMR NOK? Při hodnocení legislativních předpisů upravujících podmínky vzniku a oprávněnosti potenciálních žadatelů zpracovatel neidentifikoval žádné žadatele, kteří by nebyli ukotveni a zároveň nebyli oprávněni na základě legislativních předpisů ČR a EU žádat o poskytnutí dotace v příslušných prioritních osách ROP SV. U posouzení nastavení okruhu žadatelů zpracovatel dospěl k závěru, že okruh žadatelů je napříč jednotlivými prioritními osami ROP SV v souladu s příslušnými metodickými dokumenty zpracovanými MMR-NOK a také vyváženě koncipovaný předně pokud jde o jejich celkový počet a strukturu, kde jsou v prioritních osách pravidelně zastoupen veřejný, soukromý a neziskový sektor. Na základě výše uvedeného a v kontextu výstupů uvedených ve zprávě se zpracovatel domnívá, že okruh žadatelů byl u ROP SV nastaven v souladu s legislativou ČR a EU. Současně zpracovatel konstatoval, že při zpracování jak Programového, tak Prováděcího dokumentu ROP SV byly reflektovány předmětné legislativní předpisy a metodické dokumenty MMR NOK. Tuto skutečnost lze potvrdit i v návaznosti na provedené změny těchto dokumentů, ke kterým docházelo v průběhu implementace ROP SV. Další závěry: Zpracovatel uvádí, že výčet potenciálních žadatelů se v Programovém / Prováděcím dokumentu ROP SV v zásadě shoduje s tím, že v Prováděcím dokumentu dochází k bližší specifikaci až do úrovně oblastí podpory (nikoli co se týče skupiny žadatelů). Při analýze obou dokumentů zpracovatel identifikoval nejednoznačné vymezení příjemců v prioritní ose 2 u poskytovatelů zdravotních a sociálních služeb v programovém dokumentu ROP SV. Jak zpracovatel uvádí, okruh potenciálních příjemců ROP SV je v tomto případě jednoznačně vymezen až Prováděcím dokumentem. Zpracovatel uvádí, že uvedený postup při zpracování ROP SV může působit bez explicitního písemného uvedení či odůvodnění (např. v Programovém a Prováděcím dokumentu nebo v zápisech z procesu přípravy a projednávání dokumentace ROP SV) zavádějícím dojmem, uváží-li se znění Programového dokumentu s určitou možností dvojího výkladu okruhu příjemců. Nicméně se dle názoru zpracovatele nejedná o diskriminaci. Za tu by zpracovatel považoval situaci, ve které by při hodnocení projektů docházelo k upřednostňování nebo potlačování poskytování dotace s ohledem na právní formu a vlastnictví bez předem daných hodnoticích parametrů. To se ale u ROP SV neprokázalo. Současně zpracovatel uvádí, že nenalezli dokumenty legislativní či metodické povahy, které by tento z jejich pohledu nejednoznačný postup výslovně zakazovaly. Využití doporučení v praxi: Evaluace byla využita pro argumentaci MMR-NOK ohledně správnosti nastavení struktury oprávněných žadatelů z ROP SV. Zpracovatel v návaznosti na výše uvedené doporučuje, že by bylo vhodné odlišnou míru specifikace obou dokumentů, co se týče výčtu oprávněných žadatelů, ve vztahu k této oblasti odůvodnit např. z pohledu odlišných podmínek v rámci přípravy a zpracování dokumentu a věnovat více pozornosti archivaci dokumentů pro budoucí účely. V případě, že by došlo k úpravě v Programovém či Prováděcím dokumentu, bude věnována pozornost odlišné míře specifikace informací v obou dokumentech. Archivace dokumentů je zajištěna spisovým řádem.

12 ~ 11 ~ Výstupy projektu jsou dostupné na Čerpání prostředků technické pomoci na evaluační projekty V rozpočtu projektu technické pomoci ROP SV bylo na uskutečnění evaluací v roce 2014 vyčleněno Kč (vč. DPH, včetně rezervy na ad-hoc projekty). Jelikož však v roce 2014 byla z prostředků technické pomoci určených na evaluace hrazena pouze evaluace Zhodnocení nastavení struktury oprávněných žadatelů z ROP SV ve výši Kč bez DPH ( Kč s DPH) a finančně objemný projekt Hodnocení přínosů realizovaných projektů v rámci Regionálního operačního programu NUTS II Severovýchod na region soudržnosti Severovýchod v maximálním finančním rozsahu Kč bez DPH byl přesunut do roku 2015, byla značná část prostředků nevyčerpána Rozvoj evaluační kapacity Rozvoj evaluační kapacity je uskutečňován především prostřednictvím získávání nových informací v rámci seminářů a školení. V této oblasti je rozvoj evaluační kapacity zajišťován zejména ze strany MMR NOK prostřednictvím projektu Systém vzděláváni zaměstnanců realizujících NSRR v období , který byl spuštěn v roce V rámci kterého jsou zaměstnanci implementační struktury NSRR vzděláváni také v oblasti evaluací. Pro rozvoj evaluační kapacity se zástupce evaluační jednotky ÚRR se ve dnech 30. a zúčastnil semináře, zaměřeného na metody kontrafaktuálních evaluací dopadu. Seminář organizovalo MMR-NOK ve spolupráci s Centre for Research on Impact Evaluation. K rozvoji evaluační kapacity evaluační jednotky ROP SV dochází také prostřednictvím sdílení zkušeností s realizací evaluací. Ve dnech 28. a se uskutečnilo setkání Pracovní skupiny pro evaluace regionálních operačních programů, zaměřené na evaluace dopadů/přínosů/efektů. V rámci tohoto setkání byly diskutovány možné přístupy k realizaci takto zaměřené evaluace a další související záležitosti (sběr dat, možnosti meziregionálního srovnání, apod.). Tato evaluace bude realizována v roce Výhled a stručný popis evaluačních aktivit v roce 2015 Je nutné zdůraznit, že rok 2015 je posledním rokem způsobilosti výdajů pro programovací období Jedná se tedy o poslední rok, ve kterém bude možné prostřednictvím evaluací vyhodnotit a základě opatření vzešlých z evaluací ovlivnit výkonnost programu, podpořit úspěšnost jeho uzavření, vyhodnotit jeho úspěchy či neúspěchy, apod. Z tohoto důvodu by plánované evaluace měly být zaměřeny na vyhodnocení příspěvku ROP SV k rozvoji regionu a v případě potřeby na podporu uzavírání současného programovacího období. Evaluace v roce 2015 budou uskutečněny ve formě zakázek malého rozsahu či interně. V roce 2015 bude nadále probíhat pravidelné vyhodnocování věcného a finančního pokroku v realizaci ROP SV. Evaluační plán ROP SV pro rok 2015 počítá rovněž s realizací ad-hoc evaluačních projektů. ŘO ROP SV se také zapojí do realizace NSRR v souladu s případnými požadavky MMR-NOK. ŘO ROP SV také poskytne součinnost MMR-NOK či řídícímu orgánu Integrovaného regionálního operačního programu na

13 ~ 12 ~ evaluacích pro období V průběhu roku 2015 bude ŘO ROP SV spolupracovat s MMR-NOK na pilotním ověření hodnocení kvality evaluačních výstupů (tzv. metaevaluace). 3. Kooperace subjektů evaluace Vzájemnou spolupráci evaluačních pracovišť a dalších subjektů lze rozdělit na tři skupiny: spolupráce s MMR NOK, spolupráce s evaluačními pracovišti ROP, spolupráce s dalšími subjekty (např. potenciální zpracovatelé). Koordinace evaluačních aktivit a rozvoj evaluační kapacity je zajišťován zejména ze strany MMR NOK. V roce 2014 proběhla dvě jednání Pracovní skupiny Evaluace NOK organizované evaluační jednotkou NSRR. V rámci jednání této pracovní skupiny byly projednány zejména připravované či realizované evaluace MMR NOK a jednotlivých řídících orgánů a aktualizace Evaluačního plánu NSRR Platformu pro spolupráci evaluačních pracovišť jednotlivých ROP a výměnu zkušeností představuje Pracovní skupina pro evaluace ROP, která se koná jednou až dvakrát ročně. Jednání v roce 2014 bylo zaměřeno na evaluace dopadů/přínosů/efektů. Institut pracovní skupiny pro evaluaci je využíván také na úrovni ŘO ROP SV. Gestor evaluací ROP SV v roce 2014 svolal setkání Pracovní skupiny pro evaluaci ROP SV, a to při příležitosti návrhu aktualizace EP ROP SV pro rok 2014 a diskuze evaluačních aktivit na rok Návrhy a opatření Součástí rozvoje evaluační kapacity by mělo být i nadále neustálé zkvalitňování práce a odborného vzdělávání pracovníků evaluačního pracoviště prostřednictvím účasti na školeních a výměny zkušeností s dalšími evaluačními pracovišti. Toto vzhledem k požadavkům na provádění evaluací v současném programovacím období platí i pro interní Pracovní skupinu pro evaluaci ROP SV, resp. pro její členy. Vzhledem k trvající potřebě provázanosti a spolupráce jednotlivých odborů Úřadu Regionální rady bude gestor evaluací pokračovat v získávání námětů na evaluační projekty od členů Pracovní skupiny pro evaluaci ROP SV s cílem zefektivnit procesy či odhalit případné problémy, což by přispělo k úspěšnému uzavření programu. Relevantní náměty by měly být i nadále získávány také od zástupců ostatních evaluačních pracovišť operačních programů a MMR NOK.

14 ~ 13 ~ 5. Závěr Na počátku programovacího období bylo úkolem evaluací zejména zlepšit kvalitu a účinnost poskytované pomoci včetně procesů implementace programu. Jelikož programovací období se chýlí ke konci, v této fázi programovacího období se pozornost ŘO ROP SV přesouvá k dočerpání alokace ROP SV, splnění věcných ukazatelů a úspěšnému uzavření ROP SV. Cílem evaluací bude tyto snahy podpořit. Vyhodnocení příspěvku ROP SV k rozvoji regionu bude předmětem evaluačních aktivit v roce 2015, nikoliv v roce 2014, jak bylo původně plánováno. Tento posun je jistě ku prospěchu, jelikož toto vyhodnocení by mělo vycházet z ukončených projektů. Uskutečnění evaluace v roce 2015 umožní do hodnocení zahrnout co možná nejvyšší počet ukončených projektů. Nerealizaci projektu Hodnocení přínosů realizovaných projektů v rámci ROP SV proto nelze považovat za neúspěch evaluačních aktivit. Evaluační aktivity ŘO ROP SV v roce 2014 byly zaměřeny spíše na hodnocení propagačních a komunikačních aktivit, které byly v gesci Odboru technické pomoci ROP SV. Vzhledem ke stanovenému předpokladu realizace evaluací v EP 2014 lze konstatovat, že EP 2014 byl beze zbytku splněn, jelikož byly realizovány všechny aktivity, a to v plánovaném rozsahu.

15 Pražská 320/ Hradec Králové tel.: