Evaluační studie závěrečná zpráva Monitorovací indikátory ROP Moravskoslezsko v roce 2008 22.1.2009 Úřad Regionální rady regionu soudržnosti Moravskoslezsko Odbor programování a metodiky
Obsah Použité zkratky... 2 1 Zadání... 3 1.1 Úvod... 3 1.2 Rozsah evaluace... 3 1.3 Cíle evaluační studie... 3 1.4 Evaluační otázky... 3 2 Realizace evaluační aktivity... 4 2.1 Monitorovací indikátory současný stav... 4 2.2 Vývoj v roce 2008... 4 2.3 Řešené problémy... 4 2.4 Monitorovací systém strukturálních fondů... 4 2.5 Personální zajištění a spolupráce... 5 3 Doporučení a závěr... 6 3.1 Zjištění a doporučení... 6 3.2 Závěr... 7 Použité zkratky NČI NOK OP ROP MS ŘO ÚRR MS OSMS PS PS JMS Národní číselník indikátorů Národní orgán pro koordinaci Operační program Regionální operační program regionu soudržnosti Moravskoslezsko Řídící orgán Úřad Regionální rady Moravskoslezsko Odbor správy monitorovacích systémů (Ministerstva pro místní rozvoj) Pracovní skupina Pracovní skupina jednotného monitorovacího systému
1 Zadání 1.1 Úvod Tato evaluační studie má analyzovat soustavu indikátorů Regionálního operačního programu regionu soudržnosti Moravskoslezsko (ROP MS). Její výsledky mají pomoci při strategickém řízení programu. 1.2 Rozsah evaluace Pro účely ROP se sledují indikátory všech typů, programové, projektové i kontextové. Poslední jmenované však ve sledovaném období, tj. v roce 2008, nedoznaly z metodického a technického hlediska žádných změn, proto je pozornost této studie soustředěna na indikátory programové a projektové. Časově se studie zaměřuje na události v roce 2008, resp. od schválení ROP MS dne 3. 12. 2007 do konce roku 2008. Z věcného hlediska se studie věnuje podobě indikátorové soustavy ROP MS, technickému řešení evidence indikátorů v monitorovacím systému a okrajově také činnostem při tvorbě finální podoby indikátorové soustavy uvnitř Úřadu Regionální rady Moravskoslezsko a spolupráci s ostatními subjekty. 1.3 Cíle evaluační studie Cílem evaluační studie bylo ve sledovaném období: zmapovat hlavní řešené problémy zhodnotit funkčnost indikátorové soustavy, z pohledu počtu indikátorů, jejich vypovídací schopnosti, dostupnosti dat a frekvenci jejich měření vyhodnotit technické řešení sledování indikátorů vyhodnotit formu spolupráce s Národním orgánem pro koordinaci (NOK) navrhnout doporučení pro strategické řízení programu 1.4 Evaluační otázky Záměrem studie je odpovědět na takto položené otázky: Je indikátorová soustava ROP MS úplná a proporčně vyvážená? Jsou monitorovací indikátory kvalitní z hlediska:»» logické spojitosti,»» spolehlivosti,»» dostupnosti dat,»» posouzení periodicity měření? Je technické řešení sledování indikátorů v informačním systému uživatelsky (jak pro žadatele, tak pro řídící orgán ROP MS) vyhovující a spolehlivé? Poskytují indikátory dostatek informací pro hodnocení výkonnosti programu vzhledem k nastaveným cílům? 3
2 Realizace evaluační aktivity 2.1 Monitorovací indikátory současný stav Regionální operační program regionu soudržnosti Moravskoslezsko je monitorován prostřednictvím 143 indikátorů (bez indikátorů kontextu). V minulém roce se ale počet indikátorů průběžně měnil v souvislosti s tím, jaké výzvy k předkládání žádostí o poskytnutí dotace byly vyhlašovány a jaké byly praktické zkušenosti s jejich naplňováním. Podle typu se tyto indikátory dělí na programové (jsou uvedeny v programovém dokumentu ROP MS, jejich počet -34- se nemění) a projektové 109, které mohou být kategorizovány z různých hledisek. Tab.1 Programové a projektové indikátory ROP MS podle typu, 31.12.2008 typ celkem výstup výsledek doplněk centrální* vedlejší** ROP MS celkem 143 21 77 45 65 78 * centrální indikátor = indikátor zařazený do Národního číselníku indikátorů a informačního systému MSC2007 ** vedlejší indikátor není zařazen do Národního číselníku indikátorů a v informačním systému MSC2007 2.2 Vývoj v roce 2008 Rok 2008 byl ve znamení intenzivních prací na tvorbě a vylaďování soustavy monitorovacích indikátorů ROP MS. Základními konstantami samozřejmě zůstával Regionální operační program s indikátory v něm obsaženými, dále obsahová specifikace indikátorů jednotlivých oblastí podpory v Prováděcím dokumentu ROP MS a v neposlední řadě také metodické a koordinační aktivity Ministerstva pro místní rozvoj. Při zpětném pohledu se právě posledně jmenované činnosti spojené s dokončováním společného Národního číselníku indikátorů (NČI) a vývojem společné metodiky pro technické sledování indikátorů v monitorovacím systému jeví jako páteřní po celý rok 2008. 2.3 Řešené problémy V roce 2008 se průběžně pracovalo na všech materiálech, kde se objevují indikátory, vyjma Regionálního operačního programu, který byl schválen a podepsán již v roce 2007. Indikátorová soustava se tedy zpřesňovala a vyvíjela zejména v následujících materiálech: 2.3.1 Prováděcí dokument V prováděcím dokumentu se jednalo o tvorbu indikátorů pro posouzení pokroku ve všech prioritních osách, oblastech podpory a dílčích oblastech podpory, a to výběrem z NČI, jakož i formulací vlastních indikátorů. V těsném sledu byl vytvořen grafický strom indikátorů obsahující mimo jiné také vyznačení vztahů mezi indikátory, tzv. nápočtu a agregace indikátorů. 2.3.2 Dokumentace pro žadatele a příjemce Tyto dokumenty obsahují popis typů indikátorů (rozlišení indikátorů na hlavní a doplňkové), jejich závaznosti, způsobu dokládání a frekvence jejich vykazování. Bližší popis jednotlivých indikátorů (tzv. výklad indikátorů) je pak zveřejňován spolu s vyhlášením výzev k předkládání žádostí o poskytnutí dotace, a to vždy pro indikátory k dané výzvě relevantní. 2.4 Monitorovací systém strukturálních fondů Z hlediska technického jsou indikátory a jejich hodnoty vkládány do monitorovacího systému a výstupy ze systému jsou poté jednotlivě i agregovaně sledovány a hodnoceny. V průběhu roku 2008 docházelo k technickým úpravám monitorovacího systému strukturálních fondů, a to zejména v prostředí elektronické žádosti BENEFIT7 (úroveň žadatele/příjemce) a informačního systému MONIT7+ (úroveň řídícího orgánu operačního programu). 4
2.5 Personální zajištění a spolupráce 2.5.1 Spolupráce uvnitř ÚRR Za řešení oblasti monitorování a indikátorů je zodpovědný odbor programování a metodiky, který při své činnosti spolupracuje s odborem marketingu a posílení absorpce a odborem implementace programu. 2.5.2 Spolupráce navenek ŘO Spolupráce ŘO ROP MS s externími subjekty v oblasti indikátorů probíhá zejména na úrovni Ministerstva pro místní rozvoj (NOK, OSMS) a pracovních skupin (PS Monitoring, PS Evaluace, PS JMS). Technické řešení v monitorovacích systémech je pak v gesci odboru správy monitorovacího systému při MMR (pro účely MSC2007) a Centra pro regionální rozvoj jako zadavatele a Tesco SW jako dodavatele (pro účely MONIT7 a BENEFIT7+). 5
3 Doporučení a závěr Z této evaluační studie vyplynuly následující odpovědi na evaluační otázky položené v zadání v kap. 1.4. 3.1 Otázka: Je indikátorová soustava Regionálního operačního programu regionu soudržnosti Moravskoslezsko úplná a proporčně vyvážená? Odpověď: Ano. Všechny prioritní osy a v nich obsažené oblasti a podoblasti podpory mohou být sledovány prostřednictvím dostatečného množství indikátorů. Každý projekt, který spadá mezi podporované aktivity v jakékoli oblasti, může být monitorován na základě plnění odpovídajícího indikátoru. Také řídící orgán má pro sledování pokroku v dosahování všech stanovených cílů dostatek indikátorů. 3.2 Otázka: Jsou monitorovací indikátory kvalitní z hlediska: logické spojitosti, spolehlivosti, dostupnosti dat, posouzení periodicity měření? Odpověď: Ano. Indikátory mají mezi sebou logické vazby na bázi načítání i agregace a zároveň projektové indikátory mají čitelnou návaznost na indikátory programové. Všechny indikátory jsou objektivně měřitelné a dostupné. Spolehlivost indikátorů je ověřována u žadatelů stanovenými postupy a vyžadovanými doklady. Periodicita zjišťování údajů se jeví jako dostatečně častá, ačkoli nelze dosud s určitostí posoudit frekvenci u dokončených projektů. 3.3 Otázka: Je technické řešení sledování indikátorů v elektronické žádosti BENEFIT7+ a v informačních systémech MONIT7 a MSC2007 (jak pro žadatele/příjemce, tak pro řídící orgán ROP MS) vyhovující a spolehlivé? Odpověď: Ano, částečně. Všechny indikátory jsou zachyceny v monitorovacím systému a lze s nimi pracovat pro průběžné monitorování programu. Pro uživatele z řad žadatelů a příjemců jsou indikátory popsány a připraveny ve fázi podávání žádosti. V monitorovacím systému v současné době nefunguje předkládání elektronických monitorovacích zpráv včetně zadávání indikátorů. Nefungující automatizace některých operací pro práci s indikátory (načítání, agregace apod.) také klade zvýšené nároky na zaměstnance ÚRR. Na řešení v současné době pracuje NOK ve spolupráci s jednotlivými OP, včasná automatizace těchto procesů je velmi žádoucí. 3.4 Otázka: Poskytují indikátory dostatek informací pro hodnocení výkonnosti programu vzhledem k nastaveným cílům? Odpověď: Nelze odpovědět. Přestože v uplynulém období byla zahájena realizace desítek projektů, pro některé oblasti podpory nebyly dosud vyhlášeny výzvy k předkládání projektů. Proto nelze v tuto chvíli posoudit, zda pro celý operační program poskytuje soubor indikátorů dostatek informací o výkonnosti. 3.1 Zjištění a doporučení Pro příští období vyplývají ze studie následující doporučení: Finalizovat úpravy monitorovacího systému. Optimální technické řešení by měl řídící orgán dohadovat v příslušných pracovních skupinách prostřednictvím Ministerstva pro místní rozvoj jako garanta společných řešení a postupů. Pokud nebude společné řešení odpovídat požadavkům ROP MS, bude pravděpodobně nutné investovat do individuálních řešení na míru. Vytvořit souhrnné pojednání o indikátorech, ve kterém naleznou žadatelé a příjemci veškeré informace o monitorovacích indikátorech, ať již ve formě samostatného metodického pokynu nebo kapitoly v příručce pro žadatele/příjemce. Tento materiál by měl obsahovat kompletní informace o indikátorech, ať už byly vyhlášeny v některé z výzev nebo zatím na vyhlášení čekají. Zhodnotit spolehlivost vykázaných indikátorů po ukončení projektů v době udržitelnosti. Na základě provedené studie by bylo vhodné provést evaluaci, a to v okamžiku, kdy bude dostatek ukončených projektů. Mezi podklady by měly figurovat výsledky kontrol u příjemců. Zhodnotit míru podrobnosti u indikátorů, zda je vyhovující, příliš nízká, nebo příliš vysoká. Hlavním kritériem je vypovídací schopnost pro strategické řízení programu, druhým kritériem by však mohlo být i využití pro publicitu a marketingové aktivity vůči veřejnosti (žádoucí spolupráce s odborem marketingu a posílení absorpce). 6
Nalézt klíčové indikátory (vedle těch programových, uvedených v operačním dokumentu), jejichž vývoj nejlépe odráží pokrok v realizaci programu. Těmto indikátorům pak věnovat zvláštní pozornost při strategickém řízení programu zejména při vyhlašování výzev (časové posuny, úpravy podporovaných aktivit apod.). 3.2 Závěr Největší část úkolu na vybudování funkční indikátorové soustavy má ROP MS zdárně za sebou. Podařilo se nastavit a propojit přes 140 indikátorů, přesně definovat jejich obsah, měrné jednotky a jejich další vlastnosti. V dalších etapách rozvoje monitorovací soustavy indikátorů je zapotřebí vedle drobných úprav indikátorů zejména doladit monitorování v informačních systémech, aby to bylo pro příjemce a žadatele uživatelsky příjemné a aby řídící orgán aby bez vynaložení větší námahy dostával důležité a včasné informace. Jen s pomocí kvalitních a spolehlivých dat získaných z monitorovacích indikátorů bude řídící orgán moci optimálně strategicky řídit operační program. 7