ZJEDNODUŠENÍ A ZKVALITNĚNÍ ADMINISTRACE OP LZZ

Transkript

1 ZJEDNODUŠENÍ A ZKVALITNĚNÍ ADMINISTRACE OP LZZ Část 1a Zkvalitnění procesu výběru projektů a práce s hodnotiteli Závěrečná zpráva 22. června 2012 PODPORUJEME VAŠI BUDOUCNOST

2 Obsah 1. Úvod Manažerské shrnutí... 4 I. Analytická část Analýza hodnocení vzorku projektů OP LZZ Shrnutí analýzy hodnocení grantových projektů Analýza hodnocení individuálních projektů Závěry analýzy reálného hodnocení projektů Závěry analýzy cvičného hodnocení projektů Zhodnocení rizik nastavení hodnotících kritérií OP LZZ Identifikace rizik hodnotících kritérií Shrnutí analýzy rizik Porovnání hodnotícího a výběrového procesu operačních programů financovaných z ESF Porovnání hodnotícího a výběrového procesu ESF operačních programů v ČR Komparace hodnotícího a výběrového procesu vybraných ESF operačních programů ze zemí EU II. Návrhová část Návrhy na úpravu hodnotícího a výběrového procesu pro současné programové období Výběrový proces Hodnotící proces Návrhy na nastavení hodnotícího výběrového procesu pro programové období Proč je změna nutná a žádoucí Způsoby snížení počtu projektů hodnocených externími hodnotiteli Návrh na úpravu hodnotícího a výběrového procesu Návrhy na změny ve způsobu věcného hodnocení III. Vzdělávací programy pro hodnotitele a výběrové komise Vzdělávací program pro hodnotitele Východiska pro zpracování vzdělávacího programu pro hodnotitele Struktura vzdělávacího programu pro hodnotitele Vyhodnocení realizace vzdělávání hodnotitelů Vzdělávací program pro výběrové komise Seznam zkratek Přílohy Národní vzdělávací fond,

3 1. Úvod Zakázka Zjednodušení a zkvalitnění administrace OP LZZ byla zpracována společností Accenture Central Europe, B.V., na základě zadání Ministerstva práce a sociálních věcí ČR, Odboru pro řízení pomoci z ESF. Část 1a - Zkvalitnění procesu výběru projektů a práce s hodnotiteli byla zpracována subdodavatelsky společností Národní vzdělávací fond, o.p.s. Úkol byl realizován od září 2011 do konce května Průběžně byly k jednotlivým výstupům zpracovávány připomínky ze strany zadavatele a tyto připomínky jsou reflektovány ve výstupech zakázky a v této závěrečné zprávě. Cílem zakázky bylo přispět ke zvýšení kvality a efektivity hodnotícího a výběrového procesu v globálních grantech oblasti podpory 1.1 Adaptabilita OP LZZ. Požadované výstupy zakázky byly následující: a. 1. Analýza systému školení hodnotitelů a zdůvodnění navrhovaných změn 2. Modulově uspořádaný program a obsah školení pro stávající i nové hodnotitele 3. Vzdělávací materiály pro školení hodnotitelů, včetně příkladů pro praktická cvičení a sady testových otázek 4. Realizace školení pro hodnotitele/školitele hodnotitelů počet běhů dle požadavků zadavatele b. c. 1. Návrh obsahu školení pro výběrové komise 2. Základní sada školících materiálů pro výběrové komise. 1. Zhodnocení současného systému hodnocení a výběru a návrh na úpravy pro další programové období Zakázka byla zpracována realizačním týmem NVF v následujícím složení: Ing. Jarmila Modrá vedoucí týmu PhDr. Lenka Fardová Mgr. Jana Hrnčířová Konstantinová Ing. Jana Váňová MUDr. Roman Vyhnánek Ing. Pavlína Maříková Jana Březinová Realizační tým by rád vyjádřil své poděkování za podporu a součinnost ze strany týmu zadavatele - Řídícího orgánu OP LZZ, jmenovitě pak Mgr. Ivě Sotolářové, která významnou měrou přispěla k realizaci zakázky. Národní vzdělávací fond, Strana 3 / 143

4 2. Manažerské shrnutí Část analytická V první etapě této zakázky byla zpracována analýza hodnocení vzorku grantových projektů z globálních grantů oblasti podpory 1.1 a 3.4. Následně byla tato analýza doplněna o analýzu hodnocení 22 individuálních projektů napříč oblastmi podpory. Shrnutí uvedené analýzy je obsahem kapitoly 3. Vzhledem k tomu, že nejvíce rozdílů v hodnocení se opakovalo u stejných kritérií napříč všemi hodnocenými projekty, bylo možné konstatovat, že nestejná hodnocení nejsou převážně zapříčiněna nízkou kvalitou hodnocení, ale spíše nejednoznačně nastaveným hodnotícím rámcem u některých, i klíčových hodnotících kritérií, jako jsou komplexní kritéria A1 (Smysl a cíle projektu) a E2 (Přehlednost, srozumitelnost a věcná správnost rozpočtu). Zároveň u některých kritérií dochází k záměně jejich obsahu s kritérii posuzujícímu jinou stránku zkoumané oblasti - E1 (Přiměřenost rozpočtu) a E2 (Přehlednost, srozumitelnost a věcná správnost rozpočtu). Z tohoto důvodu bylo v další etapě přistoupeno k analýze rizikovosti jednotlivých kritérií obecného hodnotícího rámce, která tvoří kapitolu 4. Analýza rizikovosti hodnotících kritérií tuto hypotézu potvrdila. V první etapě byla rovněž provedena analýza procesu hodnocení a výběru projektů financovaných z ESF ve všech operačních programech v České republice. Byly porovnány postupy OP LZZ, OP VK a OPPA. Hodnotící a výběrový proces ve všech třech operačních programech probíhá obdobně, mírné rozdíly lze nalézt v metodice věcného hodnocení (různé váhy skupin kritérií, použití slovních deskriptorů, formulace hodnotících výroků) použití hodnotitelů v různých pozicích (externí hodnotitel, arbitr, zpravodaj, hodnotitelská komise, programová partnerství) a také způsob projednávání a schvalování projektů k realizaci se mírně liší (veřejné projednávání, porada vedení, výběrová komise, zastupitelstvo hl.m. Prahy). Na analýzu výběrového a hodnotícího procesu v operačních programech ESF v ČR v druhé etapě navázala analýza a komparace výběrového procesu v dalších zemích EU. Pro tuto komparaci byly vybrány na jedné straně nám blízké nové členské země EU (Slovensko, Polsko), a na druhé straně země, které ESF využívají dlouhodobě (Belgie Vlámsko, Anglie, Skotsko a Rakousko). Zatímco v nových členských zemích jsou procesy velmi podobné těm, které jsou používány v ČR (hodnocení grantových projektů externími hodnotiteli), ve starých členských zemích většinou ve snaze o maximální zjednodušení, efektivitu a rychlost čerpání prostředků ESF, jsou projekty realizovány prostřednictvím uplatňování národních či regionálních programů a prostředky ESF jsou přidávány k rozpočtům organizací realizujících národní politiku. V některých zemích jsou ESF prostředky využívány výhradně prostřednictvím zadávání zakázek na služby a nikoliv přidělováním grantů, v jiných zemích jde o kombinaci obou přístupů. Systémové a inovativní projekty jsou někde financovány výhradně z národních zdrojů. Externí hodnotitelé jsou využíváni jen v některých zemích či ad hoc (kapitola 5). Národní vzdělávací fond, Strana 4 / 143

5 Návrhová část V další části zprávy jsou zpracována odděleně doporučení pro změny hodnotícího a výběrového procesu, které lze přijmout ještě v tomto programovacím období a doporučení, která bude možné využít v programovacím období (kapitoly 6 a 7). Již v první etapě práce byly doporučeny konkrétní formulační úpravy v dokumentaci pro výběr projektů, které vycházely ze studia dokumentace a řízených rozhovorů s členy výběrové komise a zástupci ŘO. V další etapě byla tato část rozšířena o konkrétní návrh rozšíření příručky pro hodnotitele, a to ve formě doplnění vymezení zdrojů a metodik pro hodnocení a popisu skutečností, za které má být slovní deskriptor snižován. Navíc byla zpracována doporučení pro systém práce hodnotitelů a hodnotících komisí, která by mohla přispět ke kvalitnějšímu posouzení projektových žádostí. Doporučení pro příští programovací období se týkají kvality a efektivity hodnotícího a výběrového procesu. V první řadě byl zpracován návrh na snížení počtu projektů hodnocených externími hodnotiteli, dále návrh na změnu kriteriálního rámce a metodiky hodnocení věcných kritérií, a také byly navrženy určité změny pro výběr projektů. Vzdělávací programy pro hodnotitele a výběrové komise V první etapě byl na základě dosavadního způsobu vzdělávání, na základě dotazníkového šetření a řízených rozhovorů zpracován sylabus vzdělávacího programu pro stávající a nové hodnotitele a pro členy výběrových komisí. Oba vzdělávací programy byly rozděleny do modulů obecného a specifického vzdělávání. Na základě připomínek zadavatele byly v druhé etapě zakázky zpracovány školící materiály pro vzdělávání hodnotitelů i členů výběrových komisí a následně byly realizovány čtyři běhy obecného vzdělávání pro hodnotitele. Po prvním, pilotním, běhu byl obsah školení upraven tak, aby lépe vyhovoval potřebám zúčastněných hodnotitelů. Součástí školení hodnotitelů bylo rovněž zpracování individuálního hodnocení referenčního projektu zúčastněnými hodnotiteli a poskytnutí individuální zpětné vazby ze strany lektorů s doporučeními, jak zkvalitnit hodnocení konkrétních hodnotitelů. Ze strany účastníků bylo školení hodnoceno převážně kladně a hodnotitelé hlavně oceňovali možnost diskuse a zpětně vazby i vstřícný přístup ze strany Řídícího orgánu. Na závěr je třeba upozornit na to, že v místech, kde je v závěrečné zprávě odkazováno na první etapu řešení zakázky, lze podrobné výstupy nalézt v Průběžné zprávě zakázky Zjednodušení a zkvalitnění administrace OP LZZ, Část 1a Zkvalitnění procesu výběru a práce s hodnotiteli, ze dne Národní vzdělávací fond, Strana 5 / 143

6 I. Analytická část 3. Analýza hodnocení vzorku projektů OP LZZ 3.1 Shrnutí analýzy hodnocení grantových projektů Analýza hodnocení grantových projektů byla provedena v první etapě řešení zakázky a její zpracování a výsledky jsou součástí Průběžné zprávy. V dalším textu je tedy uvedeno pouze shrnutí těchto zjištění. Na základě systematického výběru byl z databáze MONIT7+ vybrán reprezentativní vzorek 500 grantových projektů z oblastí podpory 1.1 a 3.4, a to celkem z 8 výzev k předkládání žádostí od roku V rámci jednotlivých oblastí podpory byly projekty rozděleny na 2 skupiny podle počtu zpracovaných hodnocení (2 a 3 hodnocení). V těchto skupinách byla provedena detailní analýza rozdílu hodnocení jako celku i rozdílů v hodnocení jednotlivých posuzovaných kritérií, měřeného počty stupňů rozdílu mezi vybranými deskriptory v konkrétních kritériích u jednotlivých hodnotitelů. Shoda a rozdíly v hodnocení byly měřeny maximálním rozdílem mezi názory krajních hodnotitelů rozdílem počtu stupňů mezi zvolenými deskriptory (počet stupňů rozdílu 0 4+, kdy 0 znamená shodně zvolené deskriptory, 1 jsou zvoleny sousedící deskriptory, 4 zvolen 1. a 5. deskriptor, resp. 2. a 6.). Na základě této analýzy bylo zjištěno, že mezi jednotlivými skupinami (oblastmi podpory s různým počtem hodnotitelů) existují určité rozdíly v hodnocení větší rozdíly byly samozřejmě zjištěny u skupin se třemi hodnoceními, největší rozdíly jsou však napříč skupinami zapříčiněny nastavením několika kritérií, se kterými se hodnotitelům pracuje obtížněji. Jako zásadní problémy se jeví definování kritérií, u kterých se posuzuje více skutečností a kde navíc dané kritérium nabízí širší škálu slovních deskriptorů. Hodnotitelům není zcela zřejmé, za jaké skutečnosti snižovat slovní deskriptory, a z tohoto důvodu se objevuje vyšší míra subjektivnosti v posouzení těchto komplexních kritérií. Zároveň při posuzování více skutečností jim různí hodnotitelé přikládají různou váhu při snižování deskriptorů. Souhrnně jsou hlavní rozdíly v hodnocení jednotlivých kritérií v jednotlivých oblastech podpory/výzvách vyjádřeny níže v tabulce. Zeleně jsou označena kritéria, kde je shoda hodnocení vyšší než 50%, naopak červeně jsou označena kritéria, kde dochází k největším neshodám a u více než 20% hodnocení je rozdíl vyšší než 2 stupně deskriptorů. Z uvedené tabulky vyplývá, že míra nesouladu je prakticky přímo úměrná počtu deskriptorů u daného kritéria. Tabulka 1: Shoda hodnocení hodnotitelů u jednotlivých kritérií A1 A2 A3 B1 B2 B3 B4 C1 C2 D1 D2 D3 E1 E2 F1 F2 F3 Počet deskriptorů OP hodnocení OP hodnocení OP 3.4 výzva 54 OP 3.4 výzva shoda hodnocení vyšší než 50%,. ve více než 20% hodnocení je rozdíl o dva a více deskriptorů Národní vzdělávací fond, Strana 6 / 143

7 Největší problémy byly identifikovány u dvou kritérií - A1 Zdůvodnění potřebnosti a E2 Přehlednost, srozumitelnost a věcná správnost rozpočtu. Identifikované příčiny velkých rozdílů u kritéria A1 jsou: i) široký předmět hodnocení hodnotí se projekt jako celek, více dílčích aspektů, kvalita příloh ii) absence předpisu pro přílohy - u příloh není předepsáno, jak mají být zpracovány, hlavně v případě doložení analýzy potřeb (zda se jedná o potřeby cílové skupiny, či jejích vzdělávacích potřeb, a další) a jak takovou analýzu posuzovat (velmi často obsahuje obecné, všeobecně známé informace a údaje, nikoliv přesvědčivé údaje ve vazbě na konkrétní cílovou skupinu, místo dopadu atd.) iii) projekty bez přínosu a smyslu (nelze je vyřadit na tomto jediném kritériu) např. projekty jsou napsány na objednávku formálně správně (splňují podmínky výzvy a projektového cyklu), avšak nejsou přínosné, ani smysluplné a v takovém případě se hodnotitelé často snaží snížit deskriptory i u ostatních kritérií tak, aby hodnocení dosáhlo nižší počet bodů než 65. iv) kritérium má pět slovních deskriptorů velký rozptyl a možnost výběru vzdálenějších slovních deskriptorů. U kritéria E2 byly identifikovány zčásti shodné a z části jiné příčiny rozdílných hodnocení než u A1: i) zaměňování s kritériem E1 (přiměřenost rozpočtu). V kritériu E2 se hodnotí zařazení nákladů do položek a kapitol rozpočtu (jejich správnost), členění nákladů do položek a skupin a míra jejich konkretizace, posouzení způsobilých výdajů, posouzení zařazení nákladů do přímých nákladů, nepřímých nákladů a do kapitoly křížové financování, nikoliv rozsah rozpočtu ve vztahu k projektovým aktivitám a výstupům to je obsahem kritéria E1. ii) široký předmět hodnocení hodnotí se několik faktorů (přehlednost, srozumitelnost a věcná správnost), dále se hodnotí % limity jednotlivých kapitol dle aktuální výzvy iii) kritérium má šest slovních deskriptorů opět velký rozptyl a možnost výběru vzdálenějších slovních deskriptorů. Jako problematická se rovněž jeví kritéria B3 Přínos projektu pro cílovou skupinu, B4 způsob zapojení cílové skupiny a C1 Kompetence žadatele, kde velké rozdíly byly identifikovány u 3 ze 4 sledovaných skupin. I u těchto kritérií se lze setkat s obdobnými příčinami rozdílu v hodnocení jako u prvních dvou výše jmenovaných kritérií a to je hodnocení více aspektů v rámci jednoho kritéria a široká škála deskriptorů. 3.2 Analýza hodnocení individuálních projektů Z databáze MONIT7+ bylo vybráno 22 individuálních projektů, které prošly hodnocením u 2 5 hodnotitelů. Do výběru nebyly zařazeny projekty, které neprošly věcným hodnocením či projektová žádost byla stažena žadatelem či vyřazena pro nezájem žadatele. Národní vzdělávací fond, Strana 7 / 143

8 Shoda a rozdíly v hodnocení byly měřeny maximálním rozdílem mezi názory hodnotitelů rozdílem mezi zvolenými deskriptory (počet stupňů rozdílu 0 4+, kdy 0 znamená shodně zvolené deskriptory, 1 jsou zvoleny sousedící deskriptory, 4 zvolen 1. a 5. deskriptor, resp. 2. a 6.). Hodnotitelé se u jednoho projektu shodli na stejném stupni hodnocení ve 20 %, v 54 % případů se názory jednoho či více hodnotitelů odlišovaly o jeden stupeň. Rozdíly o dva stupně byly zaznamenány ve 21 % případů a v 5,4 % případů byl rozdíl větší. Nejvyšší míra shody byla zaznamenána u kritérií A2, B2 a C2. Největší rozdíly byly u kritérií A1, B4 a E2, obdobně jako u posuzovaných grantových projektů. Přestože rozdíl více než 2 deskriptory se objevuje marginálně, rozptyl v hodnocení je poměrně velký. Tabulka 2: Celkový přehled shody a rozdílů hodnocení všech kritérií u individuálních projektů Rozdíl Celkem Celkem Podíl celkem 20,1% 53,7% 20,9% 3,5% 1,9% 100,0% 2 hodnotitelé hodnotitelé podíl 37,3% 39,2% 21,6% 0,0% 2,0% 100,0% 3 hodnotitelé hodnotitelé podíl 30,9% 50,7% 13,2% 3,7% 1,5% 100,0% 4 hodnotitelé hodnotitelé podíl 9,8% 60,8% 21,6% 7,8% 0,0% 100,0% 5 hodnotitelů hodnotitelů podíl 6,6% 59,6% 27,9% 2,9% 2,9% 100,0% Z uvedeného členění vyplývá, že s růstem počtu hodnotitelů roste počet vzdálenějších hodnocení, a tedy větší počet nezávislých hodnotitelů neznamená větší jistotu ve správnosti hodnocení, pokud jejich hodnocení nejsou vzájemně porovnána a korigována. Národní vzdělávací fond, Strana 8 / 143

9 V následující tabulce je uvedena míra shody u hodnocení jednotlivých kritérií bez ohledu na počet hodnocení každého z projektů. I z této tabulky vyplývá, že největší rozdíly se, stejně jako u grantových projektů, objevují u kritérií A1, B4 a E2. Tabulka 3: Shoda hodnocení jednotlivých kritérií v % (bez ohledu na počet hodnotitelů) A1 A2 A3 B1 B2 B3 B4 C1 C2 D1 D2 D3 E1 E2 F1 F2 F3 Průměr Shoda (100 %) 4,5% 31,8% 27,3% 22,7% 31,8% 13,6% 18,2% 9,1% 45,5% 9,1% 18,2% 18,2% 22,7% 13,6% 13,6% 27,3% 13,6% 20,1% Rozdíl o 1 stupeň 50,0% 68,2% 59,1% 50,0% 68,2% 68,2% 40,9% 54,5% 54,5% 50,0% 54,5% 50,0% 59,1% 22,7% 68,2% 40,9% 54,5% 53,7% Rozdíl o 2 stupně 27,3% 0,0% 9,1% 27,3% 0,0% 18,2% 18,2% 31,8% 0,0% 40,9% 27,3% 31,8% 13,6% 31,8% 18,2% 27,3% 31,8% 20,9% Rozdíl o 3 stupně 9,1% 0,0% 4,5% 0,0% 0,0% 0,0% 18,2% 4,5% 0,0% 0,0% 0,0% 0,0% 4,5% 13,6% 0,0% 4,5% 0,0% 3,5% Rozdíl o 4+ stupně 9,1% 0,0% 0,0% 0,0% 0,0% 0,0% 4,5% 0,0% 0,0% 0,0% 0,0% 0,0% 0,0% 18,2% 0,0% 0,0% 0,0% 1,9% Národní vzdělávací fond, Strana 9/143

10 Na základě požadavku zadavatele byla analýza hodnocení individuálních projektů ještě doplněna o pohled na úroveň hodnocení jednotlivými hodnotiteli a jejich případným systematickým zatížením při hodnocení individuálních projektů a grantových projektů. Na hodnocení vybraných 22 individuálních projektů se podílelo 34 hodnotitelů. Množství projektů hodnocených jednotlivými hodnotiteli bylo různé od 1 do 9 projektů, celkově bylo zpracováno 81 hodnocení. U všech hodnotitelů byla prozkoumána jejich odchylka od průměrného hodnocení jednotlivých projektů. Z níže uvedené tabulky vyplývá, že téměř 1/4 hodnocení vykazovala větší odchylku od průměrného hodnocení než 10 %. Na základě uvedeného vzorku není možné činit kvalifikované závěry o kvalitě hodnocení jednotlivých hodnotitelů. Zdá se však, že hodnotitelé, kteří jsou využíváni častěji, nevykazují zásadní problémy, přestože i u nich se objevují vysoké odchylky od průměrného hodnocení. Naopak nelze usuzovat, že hodnotitelé, kteří nevykazují významné odchylky a hodnotili pouze 1 nebo 2 projekty jsou kvalitnější než ostatní. Tabulka 4: Odchylka hodnocení hodnotitelů od průměru hodnocení jednotlivých projektů Hodnotitel Odchylka od průměru hodnocení v % 1-0,35 3,74-2,64 0,77 2,71-9,09-4,12 11,95 7,13 2-1,07-0,03 4,10 16,13 6,92 0,01 4,47 11,20 7,85 3 0,71-1,86 4 0,96 5,69 5 0,90 5,61 6-1,91 7-3,66-10,40 8 5,57-14,56-15,03 9-5,06 8, , ,45 14,53-9, ,89 2, , , , , , ,20 26, ,32-17, , ,08 2, , , ,96-0, ,33 0,18 Národní vzdělávací fond, Strana 10 / 143

11 26 12,68 1,45 15, ,90 8,56 7, ,10-5,90 10, ,56 0,89-10,80-17, ,03-0,76 3,62 3,56 6,90 2, ,76 4,39-6, , , ,11 U vybraných hodnotitelů, kteří hodnotili individuální projekty, byla navíc provedena analýza jejich hodnocení grantových projektů z výzvy 23 z oblasti podpory 1.1, Adaptabilita a konkurenceschopnost. Hodnotitel č. 2, který hodnotil 9 individuálních projektů, se podílel na hodnocení 11 grantových projektů z výzvy 23. Vzhledem k tomu, že grantové projekty jsou většinou hodnoceny pouze dvěma hodnotiteli, rozdíl od průměrného hodnocení není vypovídající, pokud se zároveň neanalyzuje hodnocení druhého hodnotitele. Ze zkoumaných 11 hodnocení se odchylka pohybovala nad 10 % pouze ve 3 případech, a to v takových případech, kdy druhým hodnotitelem byla stále stejná osoba, jejíž hodnocení se pohybuje extrémně vysoko. Odchylka hodnocení od průměrného hodnocení v % - hodnotitel č. 2 7,63 4,85 5,37 0,74-2,65-10,41-10,38-3,06-1,08-12,70-5,10 Hodnotitel č. 13 naopak hodnotil pouze 1 individuální projekt, a převážně hodnotí grantové projekty. V jeho případě jsme analyzovali 11 ze 17 hodnocení ve výzvě č. 23. I v jeho případě byla vyšší odchylka ve 3 případech. Enormní odchylka 30% byla způsobena nejen rozdílem v hodnocení, ale také celkově nízkým hodnocením projektu. Odchylka hodnocení od průměrného hodnocení v % - hodnotitel č. 13 0,74 6,68 4,55 6,61-8,31 0,11-8,26 12,67-4,06 30,29 13,79 Jako dalšího referenčního hodnotitele jsme zvolili hodnotitele č. 30, který hodnotitel 6 individuálních projektů, kdy výraznou odchylku zaznamenal pouze v jednom případě. V rámci výzvy 23 hodnotil 8 grantových projektů, a ve třech případech byla odchylka jeho hodnocení větší než 10%. Odchylka hodnocení od průměrného hodnocení v % - hodnotitel č. 30 8,36 8,13 5,92 16,93 5,44 6,84 13,06 12,23 Jako poslední hodnotitel, který má zkušenost s hodnocením individuálních projektů, byl vybrán hodnotitel č. 29. Hodnotil 4 individuální projekty, u nichž ve dvou případech byla odchylka jeho hodnocení vysoká. V rámci výzvy 23 hodnotil 8 grantových projektů a opět ve třech případech byla odchylka jeho hodnocení větší než 10%. Ve dvou případech byla vysoká odchylka v projektu se třemi hodnoceními, kde se první dvě hodnocení výrazně lišila, v prvním případě se třetí hodnotitel přiklonil k názoru hodnotitele č. 29, ve druhém případě ke druhému hodnotiteli. Odchylka hodnocení od průměrného hodnocení v % - hodnotitel č. 29 9,79-30,07-1,99-6,45 5,15-26,38-6,90-15,03 Národní vzdělávací fond, Strana 11 / 143

12 Pro porovnání ještě byla provedena analýza hodnocení dvou zkušených hodnotitelů, kteří hodnotí pouze grantové projekty. První hodnotitel (A) hodnotil ve výzvě č. 23 celkově 8 projektů. Ve třech případech byla zaznamenána výrazná odchylka, ve dvou z nich hodnotili projekt oba hodnotitelé ve shodě velmi nízko, přesto však mezi jejich hodnoceními byl výrazný rozdíl. Naopak ve třetím případě se názory výrazně lišily, přestože se jednalo o dva totožné hodnotitele, jak v předchozích případech. Odchylka hodnocení od průměrného hodnocení v % - hodnotitel A -1,54-9,47-1,47-57,40-5,84 6,26-37,07-57,59 Druhý hodnotitel (B) hodnotil ve výzvě č. 23 celkově 15 projektů, z nichž jsme analyzovali 8. I u tohoto hodnotitele se objevila vysoká odchylka u 3 projektů, z nichž 2 byly přehodnocovány třetím hodnotitelem. V obou případech hodnotitel B dal velmi nízké hodnocení a třetí hodnotitel se spíše blížil k názoru druhého hodnotitele. Odchylka hodnocení od průměrného hodnocení v % - hodnotitel B 3,67-5,78-6,52-10,46 16,90-2,23-25,10-1,18 V rámci uvedené analýzy se nepodařilo prokázat souvislost rozdílů v hodnocení grantových projektů mezi hodnotiteli, kteří hodnotí pouze grantové projekty a individuální i grantové projekty. Rozdílné výsledky se objevují u obou typů projektů (jak již bylo prokázáno dříve) a to nezávisle na typu hodnotitele. Obecně lze vypozorovat, že někteří hodnotitelé jsou přísnější, někteří pak mírnější a výše odchylek jejich hodnocení pak závisí na konkrétní volbě hodnotitelů pro daný projekt. Rozdíly jsou samozřejmě markantní u hodnocení grantových projektů, protože průměr hodnocení se počítá ze dvou hodnocení, zatímco u individuálních projektů se díky počtu hodnotitelů odchylka zplošťuje. 3.3 Závěry analýzy reálného hodnocení projektů Z analýzy hodnocení vzorku reálných projektů vyplynuly následující skutečnosti: 1. Hodnocení jednotlivých hodnotitelů jsou často diametrálně rozdílná díky různé kvalitě a preciznosti zpracování hodnotících posudků 2. Hodnocení jsou obecně zatížena systematickou chybou, která vzniká díky nejednoznačnosti posuzování složitěji uchopitelných kritérií (komplexní kritéria s mnoha stupni volnosti slovních deskriptorů) 3. Větší počet nezávislých hodnocení bez vzájemné zpětné vazby není přímo úměrný shodě v hodnocení, spíše naopak zahrnuje více subjektivních názorů a bez jejich vzájemného porovnání a snahy nalézt správné jednotné stanovisko, postrádá smysl zadávat další nezávislá hodnocení 4. Nebyla nalezena příčinná souvislost mezi rozdílnými hodnoceními grantových a individuálních projektů u jednotlivých hodnotitelů analyzovaná hodnocení hodnotitelů, hodnotících individuální i grantové projekty vykazovala obdobnou odchylku od hodnocení v obou případech (nelze považovat za reprezentativní vzorek). Ani v případě hodnotitelů, hodnotících pouze grantové projekty, se neprokázala vyšší shoda hodnocení. Národní vzdělávací fond, Strana 12 / 143

13 3.4 Závěry analýzy cvičného hodnocení projektů Analýza vychází z posudků, které byly zpracovávány posuzovateli NVF v rámci realizovaného obecného školení pro hodnotitele (informace o realizaci školení jsou podrobněji v kapitole 8 této zprávy). V rámci školení zpracovávali účastníci (hodnotitelé OP LZZ) cvičné individuální hodnocení projektové žádosti vybraného referenčního projektu. Každý z účastníků školení, který zpracoval hodnocení referenčního projektu, obdržel zpětnou vazbu s komentářem ke každému hodnocenému věcnému kritériu. Dále každý z těchto účastníků obdržel posudek svého výkonu s celkovým shrnutím a přidělenou známkou. Obsahem posudku byla předem stanovená následující kritéria: - soulad hodnocení s metodikou - kvalita a srozumitelnost hodnotícího komentáře - soulad hodnotícího komentáře a vybraného slovního deskriptoru - kontextové hodnocení - celkové hodnocení Každé z těchto kritérií bylo oznámkováno (od 1 do 4) a současně byl uveden hodnotící komentář k naplnění daného kritéria. Každý z účastníků měl rovněž možnost individuální konzultace svého hodnocení a posudku s lektory školení. Z analyzovaných posudků, které byly vypracovány na základě vyhodnoceného referenčního projektu, vyplynuly skutečnosti (nedostatky), uvedené níže v tabulce č. 5. Jedná se o výčet všech identifikovaných nedostatků zjištěných při posuzování provedeného hodnocení referenčního projektu účastníky školení (hodnotiteli). Mezi časté (opakující) se nedostatky v hodnoceních patří: - hodnocení věcného kritéria pouze částečně (hodnotitel nehodnotí všechny aspekty daného kritéria, např. v rámci kritéria A1 se soustředí pouze na jeden dílčí aspekt, a to potřebnost projektu, ale již neposuzuje další aspekty tohoto kritéria nebo v rámci kritéria D1 se zaměří pouze na zvolené aktivity projektu, ale již nehodnotí harmonogram a plánovanou délku projektu, nezbytnost (přiměřenost) všech aktivit, provázanost aktivit ve vazbě na vymezené cíle a výstupy, vazbu aktivit na rozpočet, navržený způsob realizace aktivit ad.), - ulpívání na jednom nedostatku, který má být předmětem hodnocení v rámci jednoho kritéria (ale hodnotitel jej neustále opakuje v dalších kritériích a snižuje za ně opakovaně slovní deskriptor, ačkoliv z hlediska pravidel projektového cyklu, jsou další kritéria věcně správná a v takovém případě hodnotitel žadatele poškozuje), - nezohlednění rizik / rizikových faktorů (a možných problému) v projektu nebo neupozornění na nedostatečná opatření, která by měla rizika eliminovat či jim předcházet (hodnotitel neidentifikuje možná rizika projektu, nebo si hodnotitel všimne možných rizikových faktorů, ale nedostatečně je okomentuje a nezohlednění je současně v rámci eliminačního kritéria D4). Tento nedostatek považujeme za velmi závažný. Mezi menší nedostatky patří záměna kritérií (hodnotitel zamění věcné kritérium za jiné, např. místo aby hodnotil věcné kritérium C1 hodnotí kritérium C2 a zde již nemusí uvádět komentář, nebo místo, aby hodnotil přiměřenost rozpočtu E1, hodnotí kritérium E2) a také snížení deskriptoru bez řádného zdůvodnění v komentáři nebo komentář zcela chybí, pokud je nepovinný (hodnotitel sníží slovní deskriptor, ale z komentáře není zřejmé za jaký nedostatek/nedostatky). Mezi ojedinělé nedostatky patří domýšlení si či uvádění domněnek bez jasné argumentace. Národní vzdělávací fond, Strana 13 / 143

14 Tabulka 5: Nedostatky cvičného hodnocení referenčního projektu Oblasti Dílčí nedostatky Ilustrativní příklad Nesoulad s metodikou - v rámci daného věcného kritéria byl vyhodnocen jiný předmět (předmět jiného kritéria) - komentář neobsahuje vše, co je předmětem hodnocení daného kritéria - záměna hodnotících kritérií Příklad hodnocení věcného kritéria Vazba na výzvu A2: Cíle projektu jsou v souladu s oblastí podpory. Nelze ale přesně posoudit, zda budou díky projektovým aktivitám skutečně naplněny, tudíž se jeví jako nerelevantní a ne zcela realistické. Hodnotitel nehodnotil kritérium A2 z věcné stránky, ale částečně kritérium A3. Příklad hodnocení věcného kritéria Vazba na výzvu A2: Projekt je zaměřen na školení. Z osmi "klíčových aktivit" se pouze 2 týkají vzdělávání, přičemž pouze v KA 4 se opravdu jedná o zvýšení znalostí cílové skupiny, ovšem v naprosto minimální míře. Pro každého účastníka projektu je určeno pouze následující: 1) Modul Lektorského minima - 2 (!) hodiny; 2) Modul Legislativy - 3 hodiny; 3) Seminář Znalostních standardů finančních služeb - 8,5 hodiny, přičemž tento seminář není zaměřen na získání nových znalostí, ale pouze informuje, jaké znalosti a dovednosti jsou v Evropě očekávány od finančních poradců a zprostředkovatelů.přímo vzdělávání se týkají pouze tyto náklady: , , , , (jen 2 ks), (jen 2 ks), , , , , , , (teoreticky), , Celkem Kč. Komentář k tomuto kritériu není zcela relevantní, odpovídá jinému kritériu, spíše D1. Příklad hodnocení věcného kritéria Aktivity a harmonogram projektu D1: Navržené aktivity nepovedou k dosažení vytyčených cílů, neodpovídají potřebám CS a nemají tedy ani celospolečenský přínos. Aktivity jsou sice logicky popsány, ale je-li hlavním cílem projektu (i výzvy) profesní vzdělávání CS, tak pouhých 13,5 hodiny na naplnění tohoto cíle nestačí. Nedostatečný komentář, chybí podrobné a konkrétní důvody pro konstatování o nevyhovující náplni jednotlivých KA projektu. Současně nedošlo k posouzení harmonogramu a plánované délky projektu, nezbytnosti a potřebnosti všech aktivit pro tento charakter projektu, provázanosti KA na plánované výstupy a vazbu na rozpočet, navržený způsob realizace (metody práce s CS) ad. aspekty tohoto kritéria. Nejčastějším nedostatkem u kritéria Zdůvodnění potřebnosti projektu A1 je, že hodnotitelé se zaměřují na potřebnost a potřeby CS, nikoliv na další aspekty Národní vzdělávací fond, Strana 14 / 143

15 věcného kritéria, a to na smysl a přínos projektu, inovativnost ad. U kritéria Zkušenosti žadatele C2 hodnotitelé hodnotí jen zkušenosti v práci s CS a ve věcně odborné tematické oblasti, ale opomíjí posoudit zkušenosti s řízením a realizací projektů obdobného charakteru. Nesoulad s metodikou V rámci kritéria F1 šíře a adekvátnost výběru monitorovacích indikátorů hodnotitel uvedl do komentáře: U MI Počet úspěšných absolventů kurzů celkem - hodnota 710 osob, chybí odůvodnění tohoto počtu. Jak se žadatel dostal k této hodnotě? Dále není v projektu specifikováno, jak budou hodnoceny závěrečné testy účastníků kurzů a jaká kritéria musí splnit, aby mohly být hodnoty započítány do MI. Postrádám i informaci jaké potvrzení (certifikát) účastníci za úspěšné absolvování získají (to se týká i případné certifikace lektorů) Hodnotitel však v komentáři zohlednil kritérium F2 nikoliv F1 výběr monitorovacích ukazatelů ve vazbě na charakter aktivit, vybrané cílové skupiny, výstupy projektu. V rámci kritéria C1 měl hodnotitel vyhodnotit velikost a složení realizačního týmu, velikost úvazků, náplň práce ad. aspekty věcného kritéria. Hodnotitel však vyhodnotil, a to ještě pouze částečně kritérium C2 zkušenosti žadatele, viz komentář: Žadatel je profesní organizací, která sdružuje fyzické osoby - poskytovatele finančních služeb a je specializovanou vzdělávací institucí pro oblast finančních služeb a má 5 let zkušeností v této oblasti. Mezi další nejčastější příklady záměny kritérií,kromě - šíře a adekvátnost MI (F1) X reálnost hodnot MI (F2, kompetence žadatele (C1) X zkušenosti žadatele (C2) patří ještě přiměřenost rozpočtu (E1) X věcná spránost, přehlednost a srozumitelnost rozpočtu (E2). V ojedinělých případech dochází k záměně také u: - zdůvodnění potřebnosti (A1) X vazba na výzvu (A2) - vazba na výzvu (A2) X cíle projektu (A3). - příliš stručný a obecný komentář Příklad komentáře kritéria Způsob zapojení a oslovení cílové skupiny B4: Zapojení cílové skupiny je standardní. Nedostatky v komentářích - příliš detailní komentář nebo ulpívání na vybraných detailech - opisování informací Příklad hodnocení kritéria Vazba na cíle výzvy A2: Cílem výzvy č. 23 je zvýšit odborné znalosti, Národní vzdělávací fond, Strana 15 / 143

16 z projektové žádosti (nejedná se o hodnotící informace v komentáři) dovednosti a kompetence zaměstnanců a zaměstnavatelů. Žadatel uvádí, že je projekt je zaměřen na školení o tom, co je v Evropě považováno za znalostní standard kvalifikovaného finančního poradce a zprostředkovatele, dále žadatel uvádí, že... - nezohlednění rizik/rizikových faktorů v rámci kritéria D4 Příklad: - z projektu vyplývá, že žadatel nemá zkušenosti s řízením projektů obdobného charakteru, ale v projektové žádosti se objevuje nehomogenní velká cílová skupina z celé ČR a rozsáhlé množství klíčových aktivit =hodnotitel na tento rizikový faktor neupozornil - z projektu je zjevné, že se jedná o velké množství a rozsah KA, o velkou cílovou skupinu, ale plánovaná délka realizace projektu je krátká a hrozí, že nedojde k uskutečnění všech KA a tím i splnění deklarovaných cílů a výstupů =hodnotitel na tento rizikový faktor neupozornil Nesoulad slovního deskriptoru a komentáře - nesoulad jako takový (+/-) - snížený deskriptor není řádně zdůvodněn Příklad hodnocení věcného kritéria Kompetence žadatele C1 udělen velmi snížený slovní deskriptor (malé kompetence) doplněný komentářem hodnotitele: Realizační tým odpovídá realizaci aktivit, jedná se o celkem 7 pozic realizačního týmu. Úvazky a jejich výše odpovídá obsahu projektu. Složení týmu zaručuje naplnění cílů projektu, žadatel má zkušenost s podobnou realizací projektu, členové realizačního týmu jsou zaměstnanci žadatele, lze předpokládat, že svoji činnost, kterou budou vykonávat v rámci projektu, vykonávají i ve svém stávajícím zaměstnání, což zaručuje dosažení cílů projektu. Při posouzení pracovních úvazků a výše mezd lze konstatovat, že mzdy odpovídají reálným mzdám a úvazky jsou v pořádku. Komentář je pozitivní a bez uvedení jakýchkoli výhrad, přesto je hodnocení sníženo. Zvolený deskriptor by měl odpovídat komentáři. V případě tohoto projektu lze vytýkat nedostatečný popis aktivit odborných pozic a nejasnou kalkulaci jejich úvazků a dále nejasné vymezení kompetencí a činností mezi RT a dodavatelem. Subjektivnost / domýšlení si - uvádění domněnek bez jasného podložení argumenty Příklad hodnocení věcného kritéria D2: Školení nebylo vyvoláno potřebou cílové skupiny školených ale potřebou žadatele školit a slaďovat standardy v dané oblasti. Je málo pravděpodobné, že by po skončení projektu byli poradci ochotni se účastnit placeného vzdělávání. Není zřejmé, proč se hodnotitel domnívá, že poradci nebudou ochotni za vzdělávání platit, tento komentář není relevantní. Hodnotitel má posoudit to, co je uvedeno v projektové žádosti, nikoli uvádět své ničím nepodložené domněnky. Případně každou takovou Národní vzdělávací fond, Strana 16 / 143

17 pochybnost by měl řádně podložit. Nepodložené hodnocení - snížení slovního deskriptoru bez uvedení důvodů u nepovinně komentovaných kritérií Např. věcné kritérium Způsob zapojení cílové skupiny B4, hodnotitel vybral následující slovní deskriptor intenzivní a neadekvátní zapojení CS avšak neuvedl zdůvodnění snížení slovního deskriptoru v komentáři. Nicméně z projektu vyplývá, že CS byla oslovena dotazníkovým šetřením. Současně je nastíněn způsob práce s CS, didaktické formy a styly výuky (přednášky, workshopy), včetně zjišťování zpětné vazby účastníkům. Absence vnitřního kontextu - hodnocení jednotlivých kritérií mezi sebou nekoresponduje Příklad: Žadatel uvedl v rámci komentáře kritéria A1, že nejsou dostatečně, konkrétně a přesvědčivě identifikovány potřeby cílové skupiny. V rámci hodnocení kritéria B3 však uvedl, že je projekt vysoce přínosný, protože aktivity jsou vhodně zvolené a reagují na potřeby cílové skupiny (což v rámci A1 popřel). Přísnost a opakované snížení slovního deskriptoru - pokud je předmětem stejný / obdobný věcný předmět (ve vazbě, v kontextu s jiným kritériem), dochází k opakovanému snižování slovního deskriptoru Příklad: hodnotitel snížil slovní deskriptor v rámci kritéria A1 za to, že nejsou dostatečně zohledněny (identifikovány) potřeby cílové skupiny, a tím i potřebnost projektu. Dále za tento nedostatek snížil deskriptor také v rámci kritéria A3, B2, B3, D1. Nedostatky v závěrečném hodnocení - chybí celkové zhodnocení - absence jasných doporučení pro žadatele / VK - kopírování jednotlivých hodnotících komentářů - opisování informací z projektové žádosti - komentář je nepřehledný a nestrukturovaný - absence rizikových faktorů - nevyváženost informací (slabě vs. slabé stránky) Příklad: Silnou stránkou projektu je jeho inovativnost a provázání cílů, KA a výstupů a potřeb CS. Slabou stránkou je nejasnost práce s CS, její velikost kontra předpokládaná nízká účast na akcích viz. plánovaná velikost monitorovacích indikátorů Národní vzdělávací fond, Strana 17 / 143

18 4. Zhodnocení rizik nastavení hodnotících kritérií OP LZZ 4.1 Identifikace rizik hodnotících kritérií Na základě diskuse uvnitř realizačního týmu byla provedena analýza a zhodnocení rizikovosti jednotlivých hodnotících kritérií, a to především s ohledem na odhalení hlavních rizikových faktorů snižujících objektivnost a transparentnost hodnocení a naopak zvyšujících chybovost a míru subjektivity při práci hodnotitelů. Jednotlivá hodnotící kritéria byla posouzena na základě tří rizik prostřednictvím pětistupňové škály (1-5; hodnota 1 = nejnižší riziko): 1) Vymezení kritéria Riziko je zaměřeno na srozumitelnost, přesnost a jasnost vymezení předmětu hodnotícího kritéria. Zohledněna je rovněž jednoznačnost interpretace předmětu hodnocení. Riziko je navázáno na nepochopení toho, co je předmětem hodnocení daného kritéria. Rizika byla stanovena s ohledem na: - míru konkrétnosti a srozumitelnosti popisu hodnotícího kritéria - překryv s jinými hodnotícími kritérii - kvalitu uvedeného ilustrativního příkladu 2) Obsah kritéria Riziko je zaměřeno na předmět obsahu hodnocení kritéria. Posuzuje se míra obecnosti kritéria a šíře záběru věcného vymezení kritéria. Riziko je vázáno na možnost nedodržování metodiky hodnocení. Rizika byla stanovena s ohledem na: - míru uchopitelnosti předmětu kritéria - vazbu na konkrétní reference pro hodnocení a závislost na odborných znalostech hodnotitele - šíři zaměření hodnotícího kritéria (zaměření na jeden nebo více aspektů projektu) 3) Hodnocení kritéria Riziko je zaměřeno na nastavení hodnotící škály. Posuzuje se složitost a objektivita při výběru slovních deskriptorů. Riziko je navázáno na možnost subjektivní interpretace a následné nejednotnosti při výběru slovních deskriptorů. Rizika byla stanovena s ohledem na: - soulad formulace slovních deskriptorů s předmětem hodnocení kritéria - jednoznačnost znění slovních deskriptorů - počet stupňů škály slovních deskriptorů Všechna tři identifikovaná dílčí rizika zvyšují riziko netransparentního, metodicky nesprávného a subjektivního hodnocení a následnou nemožnost objektivního srovnání kvality projektů mezi sebou. Národní vzdělávací fond, Strana 18 / 143

19 Tabulka 6: Definovaná rizika a škála pro jejich posouzení Vymezení kritéria Obsah kritéria Hodnocení kritéria Pregnantní a zcela Jednoznačné kritérium Jednoznačné hodnocení srozumitelné vymezení kritéria Kritérium je úzce vymezeno. Nastavení hodnotící škály je Popis zajišťuje jednoznačnou Naplnění kritéria je zcela v úzké provázanosti na interpretaci kritéria. navázáno na objektivní ukazatele předmět hodnocení kritéria. (např. cena, indikátor) Hodnotící deskriptory jsou pregnantně formulovány a jednoznačně Srozumitelné vymezení kritéria Popis zajišťuje srozumitelnou interpretaci kritéria, pro subjektivní interpretaci je ponechán jen marginální prostor. Nejednoznačné vymezení kritéria Popis kritéria je srozumitelný, ale není zcela přesný a ponechává prostor pro vlastní interpretaci. Nejasné vymezení kritéria Popis kritéria není zcela srozumitelný a ani přesný, je ponechán velký prostor pro vlastní interpretaci. Nesrozumitelné vymezení kritéria Popis kritéria je nesrozumitelný, prostor je zcela ponechán pro vlastní interpretaci Konkrétní kritérium Kritérium je zaměřeno na ohraničený konkrétní aspekt projektu. Vyhodnocení kritéria je zhledem k jeho předmětu téměř jednoznačné. Pro hodnocení je relevantní konkrétní reference. Obecné kritérium Kritérium je široce zaměřeno nebo zahrnuje více aspektů projektu. Hodnocení kritéria je závislé na expertním posouzení, konkrétní reference lze využít velmi okrajově. Vágní kritérium Kritérium je široce zaměřeno nebo zahrnuje více aspektů projektu Hodnocení je zcela závislé na expertním posouzení, hodnotitel nemá k dispozici konkrétní a jednoznačnou referenci pro vyhodnocení kritéria. Neurčité kritérium Obsah kritéria je uveden velmi neurčitě. Hodnotitel nemá objektivní měřítko pro hodnocení kritéria. Hodnocení je intuitivní a subjektivní. interpretovatelné. Objektivní hodnocení Nastavení hodnotící škály jasnou má vazbu na předmět hodnocení kritéria. Hodnotící deskriptory jsou formulovány srozumitelně a je malý prostor pro subjektivní interpretaci. Subjektivní hodnocení Nastavení hodnotící škály má vazbu na předmět hodnocení kritéria. Hodnotící deskriptory obsahují nejednoznačné a subjektivně interpretované hodnotící výroky. Neobjektivní hodnocení Nastavení hodnotící škály má pouze částečnou vazbu na předmět kritéria. Hodnotící deskriptory obsahují nejednoznačné hodnotící výroky a jsou subjektivně interpretovatelné. Zcela neobjektivní hodnocení Nastavení hodnotící škály má nejasnou vazbu na předmět kritéria. Hodnotící deskriptory obsahují nejednoznačné a naprosto subjektivně interpretované hodnotící výroky. Míra rizika 1-2 představuje přijatelnou míru rizika, hodnota 3 ukazuje na vyšší míru subjektivity hodnocení. Míra rizika 4-5 již znamenají nežádoucí stav, kdy objektivnost hodnocení zcela ustupuje intuitivnímu a subjektivnímu uchopení předmětu hodnocení kritéria a jeho zcela subjektivnímu zhodnocení. Národní vzdělávací fond, Strana 19 / 143

20 Tabulka 7: Katalog rizik hodnotících kritérií OP LZZ Vymezení kritéria Obsah kritéria Hodnocení kritéria - vymezení kritéria není jasně ohraničené, - kritérium zaměřené na více aspektů popis není zcela přesný a pro subjektivní - nevyvážený popis mezi aspektem výklad předmětu kritéria je ponechán zdůvodnění potřebnosti velký prostor - není uveden ilustrativní příklad pro hodnocení kritéria A1 Zdůvodnění potřebnosti projektu a inovativností - reference lze využít jen okrajově, nejsou vymezeny požadavky na jejich kvalitu (např. co má obsahovat analýza potřebnosti, je relevantní uvést pouze existenci analýzy nebo je nutné specifikovat i její výstupy?, apod.) - hodnocení je velmi intuitivní a zcela závislé na odborném posouzení hodnotitele Národní vzdělávací fond, Strana 20 / hodnotící škála má vazbu na předmět kritéria - znění slovních deskriptorů je subjektivně posuzovatelné - nejsou stanoveny požadavky na udělení nejvyššího slovního deskriptoru - není uvedeno, jakým způsobem snižovat hodnocení - není uveden způsob hodnocení inovativnosti - široká hodnotící škála (5 stupňů) míra rizika kritérium je srozumitelně, ale ne zcela jednoznačně vymezeno a ponechává - kritérium zaměřené na více aspektů - nevyváženost mezi názvem kritéria prostor pro subjektivní interpretaci a jeho obsahem (dle názvu akcent na (dvoustupňové posouzení kritéria - soulad s cíli, obsahem kritéria je A2 soulad s cíli výzvy a oblastí podpory ale i širší soulad s podmínkami výzvy) Vazba na cíle výzvy a soulad s podmínkami výzvy, tzn. má - reference lze využít jen okrajově, (oblasti podpory OP LZZ) širší pojetí než jen ve vztahu k cílům, nejsou vymezeny požadavky na jejich částečný překryv s kritériem B1) kvalitu - není uveden ilustrativní příklad pro hodnocení kritéria - hodnotící škála má vazbu na předmět kritéria - znění slovních deskriptorů je subjektivně posuzovatelné - nejsou stanoveny požadavky na udělení nejvyššího slovního deskriptoru - není uvedeno, jakým způsobem snižovat hodnocení - 3 stupňová hodnotící škála (může svádět ke středovému hodnocení) míra rizika znění slovních deskriptorů počítá jen A3 Zhodnocení cílů projektu s (ne)jasně vymezenými - vymezení kritéria je srozumitelné, ale ne zcela přesné a ponechává výraznější prostor pro subjektivní výklad předmětu kritéria (zejména v souvislosti s neřešením případu metodicky - kritérium se zaměřuje na jeden aspekt - popis obsahu kritéria je nepřehledný a roztříštěný - reference lze využít jen okrajově, a (ne)relevantními cíli a není ošetřena možnost, když je problém s vymezením pouze některých cílů projektu

21 nesprávně nastavených cílů, kdy za cíle jsou vydávány výstupy nebo aktivity, jak k cílům dojít; nebo pokud jen některé z cílů jsou nastaveny správně, jsou relevantní a jiné nejsou) - není uveden ilustrativní příklad pro hodnocení kritéria nejsou jasně vymezeny požadavky na jejich kvalitu - znění slovních deskriptorů je proto velmi subjektivně posuzovatelné - není uvedeno, jakým způsobem snižovat hodnocen (např. i jak postupovat při metodicky chybně nastavených cílech) míra rizika vymezení kritéria srozumitelné, ale ne - kritérium se zaměřuje na více aspektů zcela přesně ohraničené, pro subjektivní (relevantnost CS, kvalitativní výklad předmětu kritéria je ponechán a kvantitativní vymezení CS) dílčí prostor (např. míra - nevyváženost mezi názvem kritéria a jasnosti vymezení CS; nejistota, na co klade kritérium akcent), při posuzování jeho obsahem (dle názvu akcent na jasnost vymezení CS, kritérium ale způsobilosti cílové skupiny a územního řeší i zásadní další zásadní aspekt, B1 dopadu přesah do kritéria A2 oprávněnost CS) Jasné vymezení cílové - ilustrativní příklad je zaměřen jinak, než - reference lze využít jen okrajově, skupiny metodika kritéria (vede k duplicitám nejsou jasně vymezeny požadavky na s kritérii B2, B3, B4 a C2) jejich kvalitu a způsobuje nejasnosti, co je předmětem kritéria - hodnotící škála má pouze částečnou vazbu na předmět kritéria (hodnotí kvalitu vymezení CS a nikoli relevantnost CS) - znění slovních deskriptorů je proto subjektivně posuzovatelné - pouze 3 stupňová škála slovních deskriptorů (vzhledem k zaměření kritéria by byla vhodnější 4 stupňová) - znění slovních deskriptorů je vztaženo pouze k části předmětu hodnocení kritéria - jsou stanoveny požadavky na max. hodnocení kritéria, ale ilustrativní příklad je nevhodně zvolen (není vztažen výlučně k tomuto kritériu) míra rizika Národní vzdělávací fond, Strana 21 / 143

22 B2 Přiměřenost cílové skupiny - vymezení oblasti hodnocení kritéria není zcela jasný (předmětem hodnocení má být přiměřenost CS posuzovaná z různých aspektů, zároveň jsou ale zahrnuty i předchozí zkušenosti žadatele s prací s CS, zaručení přijetí pozvání ke vstupu do projektu od CS, kontrolu oprávněnosti CS v geografickém smyslu), zřetelně se duplikuje s jinými hodnotícími kritérii (B1, B4, C1, D1, F1 a F3) a ponechává velký prostor pro subjektivní výklad předmětu kritéria - ilustrativní příklad není vhodně zvolený, jeho role je pro správné pochopení předmětu spíše záporná, částečně obsahuje, co je předmětem hodnocení jiných kritérií - obsah kritéria je neurčitý až zmatečný - hodnotitel nemá jasné objektivní měřítko pro posouzení kritéria - hodnocení je zcela závislé na subjektivním posouzení - nastavení hodnotící škály má nejasnou vazbu na předmět kritéria (předmětem hodnocení kritéria je přiměřenost CS, deskriptory jsou vztaženy k potřebám CS), v kombinaci s faktem, že jde o nepovinně komentované kritérium, je vysoké riziko neobjektivního i metodicky nesprávného hodnocení - nejsou stanoveny požadavky na udělení nejvyššího slovního deskriptoru - není uvedeno, jakým způsobem snižovat hodnocení - pouze 3 stupňová škála slovních deskriptorů (vzhledem k zaměření kritéria by byla vhodnější 4 stupňová) míra rizika vymezení kritéria není zcela jasně - kritérium je zaměřeno na dva ne zcela ohraničené (přesah do kritéria A1 - hodnocení potřebnosti) - je ponechán prostor pro subjektivní jasně ohraničené aspekt projektu - při hodnocení převažuje subjektivní posouzení B3 interpretaci - pro hodnocení jsou částečně Přínos projektu pro cílovou skupinu - ilustrativní příklad uvádí alespoň obecně požadavky pro udělení max. bodového dohledatelné relevantní reference hodnocení, obsahově odpovídá zaměření kritéria, ale není ve vztahu k němu vyčerpávající - nastavení hodnotící škály má vazbu na pouze na část předmětu hodnocení kritéria (přiměřenost jako taková) - 6 stupňová hodnotící škála je příliš široká - odstupňování jednotlivých deskriptorů je příliš jemné (např. rozdíl mezi vysoký a značný nebo malý a velmi malý ) a výrazně subjektivně interpretovatelné - není uvedeno, jakým způsobem snižovat hodnocení míra rizika Národní vzdělávací fond, Strana 22 / 143

23 B4 Způsob zapojení cílové skupiny - popis vymezení kritéria není zcela srozumitelný a ani přesný, je ponechán velký prostor pro vlastní interpretaci - kritérium má jasné přesahy až duplicity s jinými hodnotícími kritérii (např. text k zaručení vstupu CS do projektu je uveden i u kritéria B2, popis odkazuje i na zkušenosti žadatele s prací s CS - opět uvedeno i u kritéria B2 a zároveň představuje duplicitu s C2) - ilustrativní příklad není vyčerpávající, nepostihuje celou šíři předmětu hodnocení kritéria - obsah hodnocení kritéria je široce a nejasně ohraničen, patrné jsou přesahy až duplicity s jinými kritérii a zároveň není jasně uvedeno, které faktory při hodnocení kritéria pouze vzít v úvahu a upozornit na ně a za které snižovat hodnocení - popis obsahu kritéria je nejasně strukturovaný a nepřehledný - reference lze využít jen okrajově, nejsou jasně vymezeny požadavky na jejich kvalitu - hodnocení je závislé na subjektivním expertním posouzení - nastavení hodnotící škály má vazbu na předmět hodnocení, ale je obtížně uchopitelné a subjektivně interpretovatelné - 5 stupňová škála slovních deskriptorů (lichý počet může svádět ke středovému hodnocení) - není uvedeno, jakým způsobem snižovat hodnocení (pouze odkaz na přiměřené snížení bodů) míra rizika vymezení kritéria je nejasně ohraničeno - kritérium se zaměřuje na více aspektů (kromě explicitně uvedené kompetence (kompetence a přiměřenost obsahuje i hodnocení přiměřenosti realizačního týmu) realizačního týmu) - kritérium má úzkou vazbu na kritérium - kritérium je nutné hodnotit v těsném kontextu s kritérii E1 a B2, přičemž E1 a částečně se překrývá s kritérii B2 z popisu nevyplývá, na které a B4 nedostatky jen upozornit a za které - ve vymezení kritéria není zohledněn snižovat hodnocení kritéria C1 aspekt role dodavatele v projektu a jeho - popis obsahu kritéria je nejasně Kompetence žadatele vliv na nastavení realizačního týmu strukturovaný a nepřehledný - první část ilustrativního příkladu uvádí nereálnou modelovou situaci a bez - reference lze využít jen okrajově, nejsou jasně vymezeny požadavky vazby na zohlednění v hodnocení na jejich kvalitu kritéria - hodnocení je závislé na subjektivním - popis vymezení kritéria není zcela expertním posouzení srozumitelný a ani přesný, je ponechán velký prostor pro vlastní interpretaci - nastavení hodnotící škály se váže pouze k jednomu z posuzovaných aspektů (kompetenci žadatele) - 6 stupňová hodnotící škála je příliš široká - odstupňování jednotlivých deskriptorů je příliš jemné (např. rozdíl mezi vysoký a značný nebo malý a velmi malý ) a výrazně subjektivně interpretovatelné - nejsou stanoveny požadavky na udělení nejvyššího slovního deskriptoru - není uvedeno, jakým způsobem snižovat hodnocení míra rizika Národní vzdělávací fond, Strana 23 / 143

24 C2 Zkušenosti žadatele a členů týmu - popis kritéria je srozumitelný, ale není zcela přesný a ponechává prostor pro vlastní interpretaci - kritérium se částečně překrývá s kritérii B2 a B4 (zkušenosti s prací s CS) - ve vymezení kritéria není zohledněn aspekt role dodavatele v projektu a jeho vliv především na odbornou stránku projektu - ilustrativní příklad je uveden, alespoň v obecné rovině obsahuje informace kritéria pro udělení nejvyššího hodnocení - kritérium je zaměřeno na ohraničený konkrétní aspekt projektu, který však zahrnuje dvě roviny (zkušenosti s realizací projektů a zkušenosti v odborně tematické oblasti projektu) a není stanoveno, jakým způsobem zohlednit případnou nevyváženost obou rovin v hodnocení - kritérium je nutno hodnotit v těsném kontextu s kritérii B2 a není uvedeno, na které nedostatky pouze upozornit a které promítnout do snížení hodnocení kritéria - pro hodnocení jsou částečně dohledatelné relevantní reference - nastavení hodnotící škály má vazbu na předmět hodnocení kritéria - 3 stupňová hodnotící škála v kombinaci s ne zcela jasnou metodikou hodnocení kritéria může vést k preferenci středového hodnocení, zároveň ale snižuje riziko subjektivního hodnocení - není zcela propracováno, jakým způsobem snižovat hodnocení míra rizika C3 Partneři - vymezení kritéria zajišťuje jednoznačnou interpretaci předmětu hodnocení - ilustrativní příklad je podrobný a vhodně zvolený kritérium nemá bodovou váhu - kritérium je zaměřeno na ohraničený konkrétní aspekt projektu - vyhodnocení kritéria je zhledem k jeho předmětu téměř jednoznačné - pro hodnocení jsou dohledatelné relevantní reference míra rizika Národní vzdělávací fond, Strana 24 / 143

25 D1 Volba a popis klíčových aktivit a harmonogram projektu - vymezení kritéria je široké a ne zcela jasně ohraničené a srozumitelné - vymezení kritéria ponechává prostor pro vlastní interpretaci (zejm. v oblasti kontextového hodnocení kritéria a na co klást při hodnocení důraz) - ilustrativní příklad je uveden, alespoň v obecné rovině obsahuje informace kritéria pro udělení nejvyššího hodnocení - kritérium je primárně zaměřeno na dva aspekty projektu, které spolu úzce souvisejí (rozsah a výstupy projektu a řízení času v projektu), nicméně jejich souhrnné hodnocení je velmi náročné a obtížně uchopitelné - není stanoveno, jakým způsobem zohlednit případnou nevyváženost obou rovin v hodnocení - není jasně stanoveno, jakým způsobem vyhodnotit celospolečenský přínos projektu - kritérium se posuzuje kontextově a není jasně stanoveno, na které nedostatky pouze upozornit a které zohlednit v přiřazení slovního deskriptoru - při hodnocení obou rovin kritéria výrazně převažuje míra expertního posouzení nad využitelnosti konkrétních referencí - nastavení hodnotící škály má vazbu na předmět hodnocení kritéria, resp. je obecně nastaveno, že nevylučuje žádnou z rovin hodnocení kritéria - volba slovního deskriptoru je subjektivně interpretovatelná - kritéria pro udělení maximálního hodnocení jsou stanovena - není uvedeno, jakým způsobem snižovat hodnocení - hodnocení kritéria je subjektivní míra rizika Národní vzdělávací fond, Strana 25 / 143

26 D2 Předpoklady pro udržitelnost projektu po skončení financování - vymezení kritéria je ohraničené a srozumitelné, pro subjektivní výklad předmětu kritéria je ponechán jen malý prostor (především v oblasti finanční udržitelnosti) - ve vymezení kritéria nejsou postihnuty všechny relevantní aspekty udržitelnosti v rámci OP LZZ (např. udržitelnost investičních řešení realizovaných v rámci křížového financování, institucionální udržitelnost atd.) - ilustrativní příklad nepopisuje optimální modelovou situaci (kladen důraz na finanční udržitelnost, která nemá u většiny projektů OP LZZ primární důležitost) - popis obsahu kritéria je nejasně strukturovaný a nepřehledný - některé věci jsou v kritériu popsány dvakrát, pouze jinými slovy - z popisu není jasné, na jaký aspekt udržitelnost klást důraz - při hodnocení kritéria převažuje míra expertního posouzení nad využitelnosti konkrétních referencí - nastavení hodnotící škály má vazbu na předmět hodnocení kritéria - hodnotící deskriptory jsou formulovány srozumitelně a je malý prostor pro subjektivní interpretaci - 4 stupňová hodnotící škála se jeví jako optimální pro posouzení kritéria - není uvedeno, jakým způsobem snižovat hodnocení (pouze odkaz na přiměřené snížení bodů) míra rizika popis kritéria je srozumitelný, ale není - popis obsahu kritéria je nejasně zcela přesný a ponechává prostor strukturovaný a nepřehledný pro vlastní interpretaci - reference lze využít jen okrajově, - ve vymezení kritéria není řešeno nejsou jasně vymezeny požadavky D3 metodicky nesprávné vymezení rizik (častá chyba v projektových žádostech), naopak u neinvestičních projektů nelze na jejich kvalitu - hodnocení je závislé na subjektivním expertním posouzení Kvalita řízení rizika příliš předpokládat stanovení nákladnosti protirizikových opatření - ilustrativní příklad je z hlediska zásad projektového řízení nevhodně nastaven (u žádného projektu nelze předpokládat identifikaci všech vnějších a vnitřních rizikových faktorů) - nastavení hodnotící škály má vazbu na předmět hodnocení kritéria - 5 stupňová hodnotící škála v kombinaci s ne zcela jasnou metodikou hodnocení kritéria může vést k preferenci středového hodnocení, zároveň ale snižuje riziko subjektivního hodnocení - odstupňování slovních deskriptorů je subjektivně posuzovatelné (např. rozdíl mezi zvlášť vysokou a vysokou nebo špatnou a velice špatnou kvalitou řízení rizika) - není uvedeno, jakým způsobem snižovat hodnocení míra rizika Národní vzdělávací fond, Strana 26 / 143

27 D4 Rizikovost projektu E1 Přiměřenost rozpočtu projektu jeho obsahové náplni a rozsahu - popis zajišťuje srozumitelnou interpretaci kritéria, pro subjektivní interpretaci je ponechán jen marginální prostor (možná záměna s předmětem kritéria D3) - uvedené ilustrativní příklady jsou vhodně zvoleny - kritérium je zaměřeno na ohraničený konkrétní aspekt projektu - při hodnocení má velkou váhu subjektivní názor hodnotitele kritérium nemá bodovou váhu míra rizika popis zajišťuje srozumitelnou - kritérium je zaměřeno na ohraničený interpretaci kritéria, pro subjektivní konkrétní aspekt projektu interpretaci je ponechán jen marginální - vyhodnocení kritéria je vzhledem prostor (možná částečná záměna k jeho předmětu téměř jednoznačné s předmětem hodnocení kritéria E2) - pro hodnocení jsou dohledatelné - není uveden ilustrativní příklad pro relevantní reference hodnocení kritéria značným - nastavení hodnotící škály má vazbu na předmět hodnocení kritéria - hodnotící deskriptory obsahují nejednoznačné výroky s možností subjektivní interpretace (není stanovena hranice mezi mírným a nad/pod-hodnocením rozpočtu - nejsou stanoveny požadavky na udělení nejvyššího slovního deskriptoru - nejsou stanovena kritéria pro volbu konkrétního deskriptoru míra rizika Národní vzdělávací fond, Strana 27 / 143

28 E2 Přehlednost, srozumitelnost a věcná správnost rozpočtu - kritérium není zcela jasně ohraničené (možná částečná záměna s předmětem hodnocení kritéria E1) - popis kritéria je srozumitelný, ale není zcela přesný a ponechává prostor pro vlastní interpretaci - ilustrativní příklad je uveden, ale je velmi stručný obecný a i když je vztažen k požadavkům pro maximální ohodnocení kritéria, neobsahuje např. aspekt uznatelnosti nákladů - kritérium zahrnuje několik rovin (přehlednost, srozumitelnost a věcnou správnost rozpočtu) - při hodnocení převažuje subjektivní názor - hodnotitel nemá k dispozici konkrétní a jednoznačnou referenci pro vyhodnocení kritéria - nastavení hodnotící škály má vazbu na předmět hodnocení kritéria, resp. je obecně nastaveno, že nevylučuje žádnou z rovin hodnocení kritéria - 6 stupňová hodnotící škála je příliš široká - odstupňování jednotlivých deskriptorů je příliš jemné (např. rozdíl mezi vysoký a značný nebo malý a velmi malý ) a výrazně subjektivně interpretovatelné - kritéria pro udělení maximálního hodnocení jsou obecně stanovena - není uvedeno, jakým způsobem snižovat hodnocení míra rizika F1 Šíře a adekvátnost výběru monitorovacích ukazatelů - popis kritéria je srozumitelný, ale není zcela přesný a ponechává prostor pro subjektivní interpretaci (hrozí prolínání s předmětem hodnocení kritéria F2 - úzká souvztažnost mezi metodicky správně nastavenou hodnotou MI a popisu, jak žadatel k hodnotám MI dospěl) - není uveden ilustrativní příklad pro hodnocení kritéria - kritérium je zaměřeno na ohraničený konkrétní aspekt projektu, který však zahrnuje dvě odlišné roviny (volba relevantních indikátorů a metodická správnost nastavení indikátorů) - vyhodnocení kritéria je vzhledem k jeho předmětu téměř jednoznačné (přesto jsou v textu zavádějící informace - hodnocení přiměřenosti MI vzhledem k cílům a náplni projektu a dále hodnocení kvality MI ve vazbě na KA, rozpočet, CS atd.) - pro hodnocení jsou k dispozici relevantní reference - nastavení hodnotící škály má vazbu na předmět hodnocení kritéria, resp. je obecně nastaveno, že nevylučuje žádnou z rovin hodnocení kritéria - 4 stupňová hodnotící škála nepostihuje všechny reálné varianty (např. volba relevantních indikátorů, ale jejich metodicky nesprávné nastavení) - volba slovního deskriptoru je subjektivně interpretovatelná - kritéria pro udělení maximálního hodnocení jsou obecně stanovena - není uvedeno, jakým způsobem snižovat hodnocení míra rizika Národní vzdělávací fond, Strana 28 / 143

29 F2 Reálnost dosažení plánovaných hodnot - vymezení předmětu kritéria není zcela srozumitelné ani přesné a ponechává prostor pro subjektivní interpretaci (matoucí je především zařazení textu zaměřeného na metodiku posuzování inovativních produktů - věcně spadá pod kritérium F1; a dále první odstavec, kde se bez jasného odlišení mísí předmět hodnocení kritéria F1 a F2) - ilustrativní příklad je zaměřen pouze na jednu z rovin hodnocení kritéria (reálnost MI ve vazbě na výstupy projektu a další informace v textu žádosti), nepostihuje hodnocení reálnosti nastavených hodnot ve vztahu k projektu jako celku - kritérium je zaměřeno na ohraničený konkrétní aspekt projektu, který však zahrnuje dvě odlišné roviny (reálnost dosažení nastavených hodnot a opora pro nastavené hodnoty v textu žádosti) - v popisu obsahu kritéria není řešen přesah do kritéria B2 (reálnost velikosti CS vs. přiměřenost velikosti CS) a jeho promítnutí do hodnocení - popis obsahu kritéria je nejasně strukturovaný a nepřehledný - pro hodnocení jsou k dispozici relevantní reference, ale zároveň vstupuje míra subjektivního posouzení (posouzení reálnosti obecně) - nastavení hodnotící škály má vazbu pouze na jednu z rovin hodnocení kritéria (reálnost dosažení nastavených hodnot MI), rovina opory pro hodnoty MI v žádosti není zohledněna - volba slovního deskriptoru je proto subjektivně interpretovatelná - kritéria pro udělení maximálního hodnocení nejsou korektně nastavena (viz nedostatek v ilustrativním příkladu) - není uvedeno, jakým způsobem snižovat hodnocení míra rizika vymezení předmětu kritéria není - kritérium je popsáno velmi vágně srozumitelné ani přesné a ponechává - posuzování výstupů projektu je velký prostor pro subjektivní vztaženo k rozpočtu jako celku; interpretaci přitom do zhodnocení poměru F3 - nejasné je především vyrovnání se cena/výkon vstupují i další Přiměřenost výsledků s přiznaným přesahem do kritéria E1 proměnné (charakter cílové skupiny, vzhledem k požadovaným (tak, jak je kritérium vymezeno, by mělo konkrétní vymezení nástrojů podpory prostředkům mít název spíše Přiměřenost rozpočtu apod.) projektu jeho výstupům ) - není uveden ilustrativní příklad pro hodnocení kritéria - nastavení hodnotící škály má vazbu na předmět hodnocení kritéria, resp. je obecně nastaveno, že nevylučuje žádnou z rovin hodnocení kritéria - volba slovního deskriptoru je subjektivně interpretovatelná - kritéria pro udělení maximálního hodnocení nejsou stanovena - není uvedeno, jakým způsobem snižovat hodnocení míra rizika Národní vzdělávací fond, Strana 29 / 143

30 G Horizontální témata - popis kritéria není zcela srozumitelný a ani přesný, je ponechán velký prostor pro vlastní interpretaci - kritérium se odvolává na posuzování rozporu s horizontálními tématy, ale není uvedeno, v čem rozpor může spočívat - není uveden ilustrativní příklad pro hodnocení kritéria - obsah kritéria je uveden velmi neurčitě - není k dispozici objektivní měřítko pro hodnocení kritéria - kritérium se odvolává na příručku D3 Horizontální témata, ale už není jasně uvedeno, jak s ní pro potřeby hodnocení pracovat, na co klást důraz, aby nešlo pouze o formální posouzení kritéria - hodnocení je intuitivní a subjektivní kritérium nemá bodovou váhu míra rizika Národní vzdělávací fond, Strana 30 / 143

31 Graf 1: Rozložení hodnotících kritérií OP LZZ dle míry rizik 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Vymezení kritéria Obsah kritéria Hodnocení kritéria Míra rizika 5 Míra rizika 4 Míra rizika 3 Míra rizika 2 Míra rizika Shrnutí analýzy rizik Vymezení kritéria Vymezení předmětu kritéria je pouze u cca jedné třetiny hodnotících kritérií nastaveno uspokojivě, resp. je ponechán jen malý prostor pro subjektivní pochopení, co je předmětem hodnocení kritéria. Riziko nepochopení předmětu kritéria zvyšuje jeho nejasné ohraničení, přesahy až duplicity s jinými hodnotícími kritérii. Velmi rozdílná kvalita je u doprovodných ilustrativních příkladů. Většina ilustrativních příkladů není optimálně zvolena, popis je velmi obecný nebo obsahuje nepříliš reálné modelové situace, v některých případech se obsah ilustrativního příkladu zcela neváže k předmětu hodnocení daného kritéria (kritéria B1- Jasné vymezení cílové skupiny, B2 - Přiměřenost cílové skupiny) nebo je vztažen k požadavkům pro udělení maximálního hodnocení, ale neobsahuje vyjádření ke všem aspektům, na které je kritérium zaměřeno (kritéria B4 Způsob zapojení cílové skupiny a F2 - Reálnost dosažení plánovaných hodnot). U několika kritérií není ilustrativní příklad vůbec uveden (např. ve skupině kritérií A Smysl a cíle projektu není uveden ani u jednoho z kritérií). Obsah kritéria Zpracování z hlediska srozumitelnosti a přehlednosti popisu jednotlivých hodnotících kritérií má velmi rozdílnou úroveň. Některá kritéria jsou dobře strukturována a jejich popis je konkrétně popsán (např. C3 - Partneři, F1 - Šíře a adekvátnost výběru monitorovacích indikátorů, F2 - Reálnost dosažení plánovaných hodnot), u jiných kritérií je popis velmi nepřehledný nebo příliš obecný nebo nesourodý a nevyplývá z něj, na co se má hodnotitel při posuzování kritéria zaměřit (např. A1 Zdůvodnění potřebnosti projektu, B2 - Přiměřenost cílové skupiny, G Horizontální témata). Dalším faktorem, který má vliv na způsob uchopení kritéria, je šíře jeho zaměření. Pokud je kritérium obsahově zaměřeno na více aspektů, které navíc mohou mít v projektové žádosti různou kvalitu zpracování, pak při absenci jasné metodiky postupuje hodnotitel intuitivně a jeho hodnotící soud je značně subjektivní. Národní vzdělávací fond, Strana 31 / 143

32 Hodnocení kritéria Metodika nastavení hodnotících deskriptorů a způsob jejich výběru představuje z hlediska rizikovosti nejslabší článek při realizaci věcného hodnocení. Vysoká rizikovost je způsobena především těmito faktory: - absence metodiky pro přidělování konkrétních deskriptorů, tj. za jaké nedostatky a v jaké míře snižovat slovní deskriptor; u některých kritérií nejsou stanoveny ani požadavky pro udělení nejvyššího hodnocení - nutnost přiřazení jednoho slovního deskriptoru při hodnocení více aspektů (týká se obsahově široce zaměřených hodnotících kritérií) - příliš úzká (3 stupně) nebo naopak příliš široká (5-6 stupňů) škála slovních deskriptorů - velká role subjektivního uchopení definice slovních deskriptorů (např. subjektivní vnímání váhy pojmů vysoký vs. značný, malý vs. velice malý, zcela adekvátní vs. adekvátní, špatná vs. velice špatná, nízká vs. velmi nízká ) - nesoulad předmětu kritéria s definicí slovních deskriptorů (kritérium B2 - Přiměřenost cílové skupiny, částečně kritérium B1 Jasné vymezení cílové skupiny), popř. slovní deskriptory nepokrývají celkovou šíři předmětu kritéria (kritéria C1 Kompetence žadatele a F2 - Reálnost dosažení plánovaných hodnot) Graf 2: Souhrnný přehled rizikovosti jednotlivých kritérií OP LZZ 5,0 4,5 4,0 3,5 3,0 2,5 2,0 1,5 1,0 0,5 0,0 A1 A2 A3 B1 B2 B3 B4 C1 C2 C3 D1 D2 D3 D4 E1 E2 F1 F2 F3 G Legenda: Vodorovná osa: Svislá osa: A1 Zdůvodnění potřebnosti projektu Míra rizika 1,0 5,0 A2 Vazba na cíle výzvy (oblasti podpory OP LZZ) A3 Zhodnocení cílů projektu Stupnice míry rizika B1 Jasné vymezení cílové skupiny..1.. Míra rizika 1 B2 Přiměřenost cílové skupiny..2.. Míra rizika 2 B3 Přínos projektu pro cílovou skupinu..3.. Míra rizika 3 B4 Způsob zapojení cílové skupiny..4. Míra rizika 4 C1 Kompetence žadatele 5.. Míra rizika 5 Národní vzdělávací fond, Strana 32 / 143

33 C2 Zkušenosti žadatele a členů týmu C3 Partneři D1 Volba a popis klíčových aktivit a harmonogram projektu D2 Předpoklady pro udržitelnost projektu po skončení financování OP LZZ D3 Kvalita řízení rizik D4 Rizikovost projektu E1 Přiměřenost rozpočtu projektu jeho obsahové náplni a rozsahu E2 Přehlednost, srozumitelnost a věcná správnost rozpočtu F1 Šíře a adekvátnost výběru monitorovacích indikátorů F2 Reálnost kvantitativních hodnot monitorovacích indikátorů F3 Přiměřenost výsledků vzhledem k požadovaným prostředkům G Horizontální témata Celkově nejrizikovější jsou ta kritéria, jejichž předmět hodnocení je široce zaměřen, není zcela jasně ohraničen a má přesahy do jiných hodnotících kritérií nebo se v některých aspektech s nimi dokonce překrývá. Rizikovost těchto kritérií pak umocňuje subjektivně uchopitelné nastavení hodnotící škály slovních deskriptorů. Národní vzdělávací fond, Strana 33 / 143

34 5. Porovnání hodnotícího a výběrového procesu operačních programů financovaných z ESF 5.1 Porovnání hodnotícího a výběrového procesu ESF operačních programů v ČR Porovnání hodnotícího a výběrového procesu mezi operačními programy, financovanými z ESF v České republice v období , bylo provedeno v první etapě řešení zakázky, a týkalo se všech tří ESF operačních programů OPPA, OP VK a OP LZZ. V rámci porovnání byly posouzeny následující faktory: 1. Kdo je hodnotitel/externí poradce 2. Jak jsou získáváni externí hodnotitelé 3. Podmínky, které musí externí hodnotitel splňovat 4. Výběr externích hodnotitelů 5. Smluvní vztah s externím hodnotitelem 6. Zpětná vazba a rating hodnotitele 7. Následná práce s hodnotiteli 8. Systém přiřazování projektů hodnotitelům 9. Proces hodnocení 10. Délka provádění hodnocení / počet projektů na jednoho hodnotitele 11. Monitorovací a informační systémy 12. Metodologie hodnocení - typy hodnotících kritérií 13. Přehled kritérií věcného hodnocení Z porovnání jednotlivých operačních programů (OP LZZ, OPPA a OP VK), podmínek, postupů, procesů a použité metodologie uplatňující se při věcném hodnocení projektů vyplývá, že: - nejširší spektrum osob, které se podílejí na procesu hodnocení projektů má OP VK. Vedle individuálních hodnotitelů se na hodnocení a výběru některých typů projektů podílí: arbitr (zpravodaj), zpravodaj grémia, grémium zpravodajů, zpravodaj výběrové komise, zpravodaj individuálního projektu národního, výběrová komise, expertní skupina; - proces získávání uchazečů o pozici hodnotitelů je ve všech programech shodný, tj. prostřednictvím internetových stránek toho kterého Řídícího orgánu. Rovněž výběr externích hodnotitelů probíhá totožně prostřednictvím absolvování úvodních školení a úspěšného složení testu. U programu OP LZZ se navíc požaduje praktické vyhodnocení cvičného projektu (vybraná kritéria); - některé z požadavků a podmínek na pozici hodnotitele jsou ve všech programech totožné (znalost českého jazyka, minimálně středoškolské vzdělání), pět let praxe v oboru blízkém zaměření hodnocených projektů jsou uvedeny pro OP LZZ a OP VK. V programu OPPA byla tato podmínka zpřísněna na 7 let. V případě hodnocení projektů prioritní osy 2, oblasti podpory 2.2 a prioritní osy 4 OP VK je požadováno vysokoškolské vzdělání. - každý z operačních programů používá jiný informační systém. OP VK využívá vlastní informační systém Hodnotitelský modul (IS HOMO), OP LZZ využívá IS MONIT7+. V OPPA je hodnocení prováděno do samostatných formulářů, které se posléze vytisknou a podepíší; Národní vzdělávací fond, Strana 34 / 143

35 - systém přiřazování projektů nelze ovlivnit u programů OP LZZ a OP VK. K přiřazování projektů dochází prostřednictvím IS; - samotný proces hodnocení projektů probíhá u všech programů podobně, přičemž v OP VK se podílí na hodnocení projektů širší spektrum osob (více viz výše); - délka provádění hodnocení se u jednotlivých operačních programů liší, a to i podle počtu projektů, které v daném období hodnotitel hodnotí. Také se liší délka vykazování času, stráveném na jednom hodnocení; - metodologie hodnocení je u každého z operačních programů mírně odlišná. Zatímco u OP VK je nejméně kritérií (ale jednotlivá kritéria mají široký obsah předmětu hodnocení), u OP LZZ a OPPA jsou kritéria téměř shodná (co do počtu i obsahu, jakoby jeden OP čerpal z metodiky druhého OP a jen některá z věcných kritérií byla mírně upravena). V OP LZZ se nepřidělují ke kritériu dosažené body, ale slovní deskriptor (za kterým se skrývá bodové ohodnocení). U OPPA se vyjadřuje souhlas či nesouhlas hodnotícím výrokem (více viz kapitola 7.4 část Doporučení k hodnotící stupnici). Příručka pro hodnotitele OP VK je rozpracována detailněji, než příručky ostatních programů, kromě konkrétních ilustrativních příkladů obsahu / předmětu hodnocení kritéria, popisuje, kdy lze udělit maximální počet bodů a naopak za co se body snižují; - pouze v OPPA se hodnotí bodově i horizontální témata, u ostatních OP je tato oblast vylučovacím kritériem (pokud nejsou posuzovány jako specifická kritéria výzvy). V OPPA nejsou specifická kritéria. - nejpropracovanější systém práce s hodnotiteli má OP LZZ. Evaluace hodnotitelů (zpětná vazba a hodnocení práce hodnotitelů) probíhá ve všech programech a hodnotitelé získávají zpětnou vazbu ke svým provedeným hodnocením. V OP LZZ funguje pro vyhodnocování hodnotitelů tzv. rating. Jsou zde stanovena transparentní a objektivní kritéria, podle kterých je práce hodnotitelů vyhodnocována. V OP VK je poskytována zpětná vazba i žádost o korekci hodnocení prostřednictvím systému HOMO. Hodnotitelský systém HOMO v OP VK Na základě požadavku zadavatele byl následně prozkoumán elektronický hodnotící systém HOMO, využívaný při hodnocení žádostí o finanční podporu v OP VK. Jeho využití bylo konzultováno rovněž s hodnotiteli OP VK. Hodnotící systém umožňuje kromě elektronického zpracování hodnocení jednotlivých žádostí o financování také kompletní evidenci aktuálních stavů hodnocení a smluvních vztahů a umožňuje komunikaci v rámci přidělování, zpřesňování a přebírání hodnocení. Systém HOMO čerpá informace o žádostech ze systému MONIT7+ a naopak hodnotící formulář ze systému HOMO je transponován do záznamu projektu v systému MONIT7+. Tento hodnotící systém je složen z následujících modulů: 1. Smlouvy (k přijetí, nepřijaté, lhůta vypršela, k odeslání, skartované, platné, dočerpané, nedočerpané, k proplacení). 2. Přednabídky k hodnocení (k přijetí, odmítnuté, odebrané, přijaté) 3. Nabídky k hodnocení (k přijetí, odmítnuté, odebrané, přijaté) 4. Hodnocení (rozpracovaná, ke schválení, schválená, vrácená k doplnění, zneplatněná, zmeškaná, reportovaná 5. Zprávy hodnotitele (odpovědět zpravodaji, zodpovězené) Národní vzdělávací fond, Strana 35 / 143

36 6. Výkazy práce (k odeslání, doručené, předané k proplacení). Modul hodnocení zahrnuje hodnotící tabulku, která je prakticky totožná s hodnotící tabulkou, využívanou v systému MONIT7+ v rámci hodnocení žádostí o financování z OP LZZ. Dotázaní hodnotitelé nevidí velký rozdíl ve využití této hodnotící tabulky oproti systému MONIT7+ s výjimkou časové odezvy, která je v systému HOMO většinou kratší. Hodnotitelé však oceňují způsob předvýběru žádostí k hodnocení, kdy mají možnost nahlédnout do identifikace projektu (včetně stručného popisu projektu) a snáze mohou zjistit možný střet zájmů. Nabídky k hodnocení jsou generovány automaticky dle zaměření uvedeného v osobním nastavení hodnotitele. Upozornění o přednabídce je hodnotiteli odesláno em i SMS. Odpověď je očekávána do dvou pracovních dnů, jinak je projekt automaticky nabídnut jinému hodnotiteli. Hodnocení musí být zpracováno do 10 pracovních dnů od akceptace nabídky. Projektový manažer zkontroluje úplnost zaslaného hodnocení a po schválení pokračuje hodnotitel tiskem, podpisem a odesláním hodnotící tabulky zadavateli. V případě nedostatků hodnotitel hodnocení doplní dle upozornění projektového manažera do 2 pracovních dnů. Každá akce, včetně schválení hodnotící tabulky projektovým manažerem je komunikována em a SMS zprávou pro hodnotitele. Na začátku kalendářního měsíce se generuje výkaz práce, který hodnotitel pošle podepsaný zadavateli hodnocení. Hodnotitelé mají možnost v části Osobní nastavení zvolit maximální počet současně hodnocených projektů a rovněž určit termíny, kdy hodnotit nemohou. Na základě změn provedených v centrální databázi hodnotitelů zaručuje systém HOMO aktualizace nejpozději za 3 hodiny. Národní vzdělávací fond, Strana 36 / 143

37 5.2 Komparace hodnotícího a výběrového procesu vybraných ESF operačních programů ze zemí EU V rámci komparace hodnotícího a výběrové procesu v dalších zeních EU byly vybrány 2 zástupci nových členských zemí Slovensko a Polsko a 4 operační programy zástupců starých členských zemí EU Anglie, Skotsko, Belgie Vlámsko a Rakousko. Nové členské země (Polsko a Slovensko) byly zvoleny z důvodů obdobné výchozí pozice, obdobných problémů, obdobného rozsahu finančních prostředků, obdobných přístupů. Starší členské země (Velká Británie - Anglie a Gibraltar a Skotsko, Rakousko, Belgie) byly vybrány pro jejich dlouhodobou zkušenost, poučení se z vlastních chyb, kvůli uplatňování maximálního zjednodušení při zachování transparentnosti. Tyto země využívají diametrálně odlišné postupy a mohou sloužit jako zdroj inspirace pro řízení ESF operačních programů v ČR. Naproti tomu nebyly použity příklady Německa a Francie, protože zde je uplatňována velká samostatnost zemí / regionů a v jednotlivých zemích / regionech jsou využívány rozličné postupy. Zatímco v nových členských zemích jsou procesy, včetně výběru a práce s hodnotiteli, velmi podobné těm, které jsou používány v ČR (hodnocení grantových projektů externími hodnotiteli), ve starých členských zemích většinou ve snaze o maximální zjednodušení, rychlost a efektivitu čerpání prostředků ESF jsou projekty realizovány prostřednictvím uplatňování národních či regionálních programů podpory a prostředky ESF jsou přidávány k rozpočtům organizací realizujících národní/regionální politiku. V některých zemích jsou ESF prostředky využívány výhradně prostřednictvím zadávání služeb a nikoliv přidělováním grantů, v jiných zemích jde o kombinaci obou přístupů. Systémové a inovativní projekty jsou v některých zemích financovány výhradně z národních zdrojů. Externí hodnotitelé jsou využíváni jen někde či ad hoc a v popisu procedur práci s nimi není věnována velká pozornost. Při porovnání kriteriálních rámců lze vysledovat, že hlavní důraz je kladen na potřebnost obsahu i nezbytnost vložení finančních prostředků, realizovatelnost včetně partnerství, na horizontální témata, často i na inovativnost. Většina zemí má nastaven proces diskuse o projektech s možností změny doporučení (viz naše výběrové komise), někde probíhá diskuse mezi hodnotiteli již ve fázi hodnocení. Dále ve většině starých členských zemí existuje též odvolací proces proti rozhodnutí o nepřidělení grantových prostředků a v oprávněných případech je možno dosáhnout změny v posouzení projektu. Národní vzdělávací fond, Strana 37 / 143

38 Tabulka 8: Komparace postupů souvisejících s hodnocením projektů ESF ve vybraných zemích v programovém období Slovensko - OP ZaSI Operační program Zamestnanosť a sociálna inklúzia je zaměřen na podporu růstu zaměstnanosti zejména snižováním strukturální nezaměstnanosti v odlehlých regionech a to podporou vytváření nových pracovních míst a adaptability pracovníků. Shrnutí programu Program se skládá z 5 priorit. 1) Podpora růstu zaměstnanosti - motivace a příprava k výkonu k samostatné výdělečné činnosti, podpora podnikání a vzniku nových pracovních míst prostřednictvím na míru šitých kurzů. 2) Podpora sociální inkluze - rovné příležitosti se zvláštním zřetelem na romskou komunitu. 3) Podpora růstu zaměstnanosti, sociální inkluze a budování kapacit v regionu Bratislava - podpora všech lidských zdrojů a podniků s cílem zvýšit zaměstnanost založenou na znalostech, rovné příležitosti, zlepšení kvality veřejné správy. 4) Budování kapacit a zvyšování kvality veřejné správy - na základě zlepšení procesního řízení organizace. Zlepšení kvality lidských zdrojů ve veřejné správě, nevládních organizacích, působících v oblasti sociální politiky a zaměstnanosti, zavedení systémů řízení kvality. 5) Podpora technické pomoci - příprava, programování, administrace, monitoring, hodnocení, informování a kontrola. Je financován z prostředků Evropského sociálního fondu a státního rozpočtu. Alokace programu: 8,82 mld., je 85 % z EU, 15 % ze státního rozpočtu Slovenské republiky. Informace lze získat: Kdo je hodnotitel? Hodnotitel musí být občanem SR. Musí být objektivní, čestný, diskrétní a zásadový. Musí znát programové dokumenty operační program a programový manuál OP ZaSI. Musí mít zkušenosti a vědomosti z oblasti programování a/nebo implementace projektů a zkušenosti v oblasti strukturálních fondů získané ve veřejném, soukromém nebo neziskovém sektoru. Národní vzdělávací fond, Strana 38 / 143

39 Podmínky, které musí externí hodnotitel splňovat Získávání externích hodnotitelů (posuzovatelů, expertů, externích hodnotitelů, expertních poradců) Výběr hodnotitelů Systém přiřazování projektů hodnotitelům Požadavky na hodnotitele: Bezúhonnost a způsobilost k právním úkonům Středoškolské nebo vysokoškolské vzdělání (SŠ, VŠ) Minimálně 2 roky praxe se strukturálními fondy Minimálně 2 roky praxe v jedné z vyjmenovaných odborných oblastí (RLZ, trh práce, vzdělávání zaměstnanců, řízení společností, tvorba analýz pracovního prostředí apod.) Nestrannost a nezávislost na žadatelích Schopnost pracovat v týmu a pod časovým stresem Zkušenost s hodnocením Externí hodnotitelé jsou získáváni otevřenými výzvami k podávání žádostí o pozici externího hodnotitele (doručené Sociální implementační agentuře - SIA). Jejich výběr je prováděn na základě informací, uvedených v životopisu a je svěřen pěti členné komisi, jmenované generálním ředitelem SIA. Komise o akceptaci externího hodnotitele hlasuje. Po ukončení hlasování je sestaven short-list, ze kterého jsou hodnotitelé konkrétních projektů vybíráni. Hodnotitelé jsou vybíráni buď losováním z databáze (short-listu) externích hodnotitelů, nebo ze seznamu interních hodnotitelů ŘO, případně mohou být nominováni institucí z oblasti veřejné správy, která je věcně příslušná pro problematiku dané výzvy. Projekt hodnotí 2 vybraní hodnotitelé, fyzicky přítomní v prostorách ŘO. Pověření zaměstnanci prověřují na základě dostupných informací hodnotitele a členy výběrové komise, zda nejsou ve střetu zájmů. Kromě podpisu čestného prohlášení o nestrannosti a mlčenlivosti musí projít školením a podepsat převzetí jmenovacího dekretu. Hodnotitel je povinen: absolvovat školení k hodnocení žádostí podepsat čestné prohlášení o nestrannosti a zachování mlčenlivosti. minimálně 1 den před hodnocením podepsat dohodu o provedení práce a podepsat převzetí jmenovacího dekretu Žádosti jsou hodnotitelům přidělované na základě losování z obálky za účasti min. 3 zástupců ŘO a všech přítomných hodnotitelů. Žádosti o finanční podporu předává hodnotiteli zaměstnanec ŘO postupně tak, aby každý hodnotitel hodnotil současně vždy pouze 1 žádost. Hodnocení probíhá ve vyhrazené místnosti a čase. Národní vzdělávací fond, Strana 39 / 143

40 Proces hodnocení Hodnotitelé vpisují hodnocení do hodnotících archů. Jednu žádost hodnotí zpravidla dva hodnotitelé nezávisle na sobě, ve stejné místnosti a čase. Nesmí si mezi sebou vyměňovat poznatky z hodnocení s výjimkou přípravy společného odborného hodnotícího posudku. Pokud hodnotí jednu žádost více hodnotitelů, musí se rovněž shodnout na vypracování společného odborného posudku. Posudek vypracují za účasti zaměstnance ŘO. Posudek obsahuje minimálně celkové bodové hodnocení jednotlivých hodnotitelů, celkové stanovisko = zda žádost vyhověla nebo nevyhověla (po zapracování doporučených změn), průměrný počet bodů od obou hodnotitelů. Metodologie hodnocení Kontrola a vyhlášení výsledků Pokud se hodnotitelé neshodnou na obsahu Společného odborného hodnotícího posudku, jsou na jednání Výběrové komise předložena pouze jednotlivá hodnocení hodnotitelů a o finální verzi rozhodují členové Výběrové komise hlasováním. Kritéria jsou stanovena v každé výzvě. Ke každému kritériu jsou uváděny pomocné otázky. Jejich účelem je objasnit hodnotiteli, na které skutečnosti by se měl zaměřit. Pomocné otázky však nejsou pro hodnotitele závazné. Věcným hodnocením projde žádost, která splní procento bodů (je předem dáno v každé výzvě a pohybuje se mezi 60-70%). Splnění tohoto požadavku se posuzuje jako průměr bodového hodnocení obou hodnotitelů. Tzn., že jeden hodnotitel může dát 45% a druhý 70% a žádost postoupí. Bodování jednotlivých kritérií jsou vždy uvedena v každé konkrétní výzvě. Součet musí dát vždy 100%. Kritéria: Vhodnost a účelnost projektu 25-50% Způsob realizace projektu 10-25% Rozpočet a efektivita nákladů 10-25% Administrativa, odborná a technická kapacita žadatele 10-25% Udržitelnost projektu 10-25% Pověřený zaměstnanec ŘO prověřuje kvalitu práce hodnotitelů zkontrolováním hodnotícího archu od každého interního hodnotitele a od každého externího hodnotitele. Prověřuje: Vyplnění zdůvodnění hodnocení každého kritéria a každé skupiny kritérií, správnost vyplnění výsledného bodového hodnocení k váze každého kritéria, kompletnost vyplnění všech buněk v hodnotícím archu, akceptace doporučení pro odborného hodnotitele připravené ŘO po formálním hodnocení. Hodnotitel se doporučením řídit nemusí, ale v případě neakceptace musí toto odůvodnit. V případě snižování rozpočtu rovněž odůvodnění. Národní vzdělávací fond, Strana 40 / 143

41 Polsko - OP KL Shrnutí programu Kdo je hodnotitel? Operační program Lidský kapitál (Kapitał Ludzki) je zaměřen na efektivní řízení lidských zdrojů a jejich rozvoje. Soustředí na následující oblasti: Zaměstnanost, vzdělávání, sociální integrace, rozvoje adaptivní schopnosti pracovníků a podniků, jakož i otázky spojené s výstavbou účinné a efektivní veřejné správy na všech úrovních a zavedení řádné správy věcí veřejných. Hlavním cílem programu je zvýšení zaměstnanosti a sociální soudržnosti a dosažení tohoto cíle přispívá k realizaci šesti strategických cílů, které zahrnují: Zvyšování úrovně ekonomické aktivity a zaměstnatelnosti nezaměstnaných a ekonomicky neaktivních Snížení sociálního vyloučení Zvýšení přizpůsobivosti pracovníků a podniků na změny v ekonomice Šíření veřejného vzdělávání na všech stupních vzdělávacího procesu a zároveň zvýšit kvalitu vzdělávacích služeb a jejich silnější propojení s potřebami znalostní ekonomiky Zvyšování kapacity veřejné správy v rozvojových politikách, poskytování vysoce kvalitních služeb a posílení mechanismů partnerství Zvýšení územní soudržnosti. Program se skládá z 10 priorit jak na centrální, tak i regionální úrovni. Jsou určeny především na podporu efektivnosti institucionálních struktur a systémů a dále pro regionální složku, kde jsou určeny především na podporu jednotlivců a skupin. Ústředními tématy jsou podpora zaměstnanosti a sociální integrace, rozvoj lidských zdrojů a adaptačního potenciálu podniků, zlepšení zdravotního stavu pracovníků, vysoké kvality vzdělání, vysokoškolského vzdělávání a vědy a řádné správy věcí veřejných. Je financován z prostředků Evropského sociálního fondu a státního rozpočtu. Alokace programu: 1,5 mld., je 85 % z EU, k tomu veřejné zdroje 9,7 mld. činí 15 %. Informace lze získat: Zákon ze dne 6. prosince 2006 o zásadách rozvojové politiky zavádí instituci expert (hodnotitel). To umožní zapojit do procesu posuzování žádostí o financování i jiné osoby než zaměstnanců vybírající instituce. Cílem účasti odborníků na ověřování návrhu, je spolehlivé a nestranné hodnocení žádostí o grant osobami s odbornými znalostmi a dovednostmi v konkrétních oblastech zahrnutých do operačního programu. Národní vzdělávací fond, Strana 41 / 143

42 Podmínky, které musí externí hodnotitel splňovat Získávání externích hodnotitelů (posuzovatelů, expertů, externích hodnotitelů, expertních poradců) Výběr hodnotitelů Systém přiřazování projektů hodnotitelům Proces hodnocení Požadavky na hodnotitele: Musí jít o osobu zletilou Plně způsobilou k právním úkonům Bezúhonnou S vyšším vzděláním (SŠ, VŠ) Minimálně 2 roky praxe s operačními programy ESF Nebyla dříve vyškrtnuta z databáze expertů Registrace hodnotitele probíhá v databázi hodnotitelů (Baza expertów). Uchazeč musí relevantně vyplnit dotazník, který obsahuje identifikační údaje, nejvyšší dosažené vzdělání, obor specializace, praxi, zkušenosti v oblastech hodnocení. Ustanovení Čl. 31 odst. 9 zákona o zásadách rozvojové politiky stanovuje rozsah informací, které mají být zahrnuty do databáze hodnotitelů, která obsahuje jméno odborníka v oblasti operačního programu, která se specializuje na odborné a experty. Kompetence při vytváření databáze odborníků mohou být delegovány na zprostředkující subjekty. Hodnotitelé se vybírají z databáze a dále při zasedání výběrové komise losováním, prováděným vedoucím výběrové komise KOP (komisja oceny projektów) na zasedání KOP za přítomnosti min. 3 členů KOP. V případě projektů v opatřeních 6.3, 7.3 a 9.5 OP KL, jejichž hodnota činí max. 50 tis. zl. je možno ohodnotit pouze 1 hodnotitelem. Databáze hodnotitelů (Baza expertów) je zveřejněna na stránkách institucí zapojených do provádění konkrétních operačních programů. Projekt hodnotí 2 hodnotitelé, kteří se vybírají losováním, prováděným vedoucím výběrové komise KOP (komisja oceny projektów) na zasedání KOP za přítomnosti min. 3 členů KOP. V případě projektů v opatřeních 6.3, 7.3 a 9.5 OP KL, jejichž hodnota činí max. 50 tis. zl. je možno ohodnotit pouze 1 hodnotitelem. Hodnotitel může: Snížit rozpočet až o 25%, pokud je v rozporu s výdaji doporučenými pro OP KL nebo pokud podle jeho názoru neodpovídají reálným cenám. Snížit rozpočet, pokud projekt nesplnil některé kritérium věcného nebo horizontálního hodnocení. Zvýšit rozpočet až o 5% pokud je přesvědčen, že to povede k vyššímu stupni dosažení cílů projektu. Navrhnout věcné změny v projektu. Národní vzdělávací fond, Strana 42 / 143

43 Metodologie hodnocení Kontrola a vyhlášení výsledků Hodnocení zaznamenávají do Karty věcného hodnocení, které na závěr odevzdávají k formálnímu vyhodnocení vedoucímu KOP. Navíc se zkoumá, zda se příliš neliší v hodnocení. Pokud ano, rozhodne vedoucí KOP (může uznat pozitivní hodnocení, nebo vzít průměr bodů za obecná kritéria od obou hodnotitelů). Vedoucí KOP své rozhodnutí rovněž vyznačí na Kartě hodnocení projektu. Projektu, který obdržel ve věcném hodnocení 60 bodů od každého z hodnotitelů, může být udělena prémie až 40 bodů ve výši a za podmínek definovaných v Operačním manuálu (je to součet vah bodů, připsaných každému strategickému (specifickému) kritériu, které projekt splnil. Projekt tedy může získat maximálně 140 bodů. V případech, kdy se hodnotitelé liší o méně než 30 bodů, vezme se střední hodnota všech bodů, tzn. jak za obecná kritéria, tak za specifická. V případě, že se liší o 30+ bodů, jde projekt buď k 3. hodnocení nebo si místo něj můžou vyžádat expertní posudek. Hodnocení 3. hodnotitelem - bere se střední hodnota z hodnocení arbitra a hodnocení toho ze dvou předchozích hodnotitelů, které je mu bodově bližší. Vedoucí KOP protokol o hodnocení projektu uzavírá. Vyhlašovatel písemně informuje žadatele o konečných výsledcích výběru projektů, na webových stránkách je rovněž k nahlédnutí zpráva o výběru - pořadí žadatelů. Národní vzdělávací fond, Strana 43 / 143

44 Anglie - OP V Britském království je v programovém období realizováno celkem 6 ESF Operačních programů. Jedná se o Operační programy pro Anglii a Gibraltar, Severní Irsko, dva programy pro Wales (Východní a Západní) a dva programy pro Skotsko (Highlands/ostrovy a Lowlands/Uplands). Jako celek se všechny ESF OP zaměřují na odstraňování překážek pro vstup na trh práce a zdokonalování dovedností pracovní síly. Tento oddíl se zaměřuje na Operační program pro Anglii a Gibraltar, který má vypracovány opatření pro dva Cíle, tj. pro Cíl Konvergence (Cornvall a ostrovy Scilly) a Cíl Regionální Konkurenceschopnost a Zaměstnanost, který zahrnuje všechny ty regiony, nezahrnuté v Cíli Konvergence. OP ESF Anglie a Gibraltar zahrnuje šest priorit: Shrnutí programu Cíl Regionální Konkurenceschopnost a Zaměstnanost Celá Anglie a Gibraltar (vyjma Cornwalu a ostrovů Scilly) Cíl Konvergence (Cornwall a ostrovy Scilly) Rozšíření pracovních příležitostí Priorita 1:Zvýšení pracovních příležitostí (1,794 mil z ESF) Priorita 4: Odstraňování bariér zaměstnanosti (75 mil z ESF) Zkušená pracovní síla Priorita 2: Rozvoj vzdělané a adaptabilní pracovní síly (984 mil z ESF) Priorita 5: Zvýšení dovedností a znalostí pracovní síly na lokální úrovni (118 mil z ESF) Technická asistence Priorita 3: Technická asistence (116 mil z ESF) Priorita 6: Technická asistence (4 mil z ESF) Technická pomoc je určena na řízení, monitorování, evaluace, informační a kontrolní aktivity spojené s činnostmi Operačního programu. Prostředky ESF jsou v rámci OP Anglie a Gibraltar distribuovány prostřednictvím kofinancujících organizací (Co-financing Organisations CFO). Národní vzdělávací fond, Strana 44 / 143

45 CFO jsou veřejné instituce, které alokují prostředky ESF a státního rozpočtu na oblasti zaměstnanosti a zvyšování dovedností tak, aby prostředky ESF byly doplňkem k provádění národních programů. Klíčové CFO na národní úrovni jsou: 1. Department for Work and Pensions (Ministerstvo práce a penzí), které se zabývá oblastmi souvisejícími s podporou zaměstnanosti rodin v potížích (200 mil ), dobrovolnickými pracovními místy v tzv. Programu práce pro lidi na dávkách při pracovní neschopnosti a sociálních dávkách (66 mil ) 2. Skills Funding Agency (Agentura pro rozvoj odborných dovedností), zaměřuje se na mladé lidi, kteří postrádají dostatečné vzdělání, na vzdělávání při zaměstnání (154 mil ), podporou odborných dovedností pro nezaměstnané (98 mil. ), programem Next Step (47 mil ), poskytuje granty malým komunitním skupinám (12 mil ), na podporu odborných dovedností pro nadbytečné pracovníky (100 mil ), na podporu řemesel (181 mil ) 3. National Offender Management Service (Národní úřad pro pachatele trestných činů), který se zaměřuje na zaměstnanost a odborné dovednosti vězňů a propuštěných vězňů (89 mil ). Kromě těchto tří národních CFO, existují další CFO, které působí na regionální či lokální úrovni. V případě OP Anglie a Gibraltar to jsou následující organizace: Central Bedfordshire and Bedfordshire Borough Council vyhlašuje tendry zaměřené na zvýšení uplatnitelnosti na trhu práce. Žádosti o projekt lze předkládat prostřednictvím webové aplikace přímo na stránkách rady. Více informací o projektech a činnosti Central Bedfordshire and Bedfordshire Borough Council je možné vyhledat na: Národní vzdělávací fond, Strana 45 / 143

46 East Midlands Local Authority Consortium Lincolnshire County Council jako součást East Midlands Local Authority Consortium vyhlásila tendrově nová výběrová řízení v oblasti ESF. Realizace zakázek byla zahájena v dubnu 2012 a bude ukončena v dubnu Zakázky se zaměřují: 1/ na mladé lidi od 19 do 24 let, kteří jsou zdravotně znevýhodnění a/nebo mají problémy se studiem a existuje riziko, že by opustili vzdělávací systém; 2/ na mladé lidi od 16 do 19 let, kterým poskytuje podporu při získávání odborných dovedností a zajišťuje jim školení tak, aby byli motivování k udržení si pracovního místa, popř. k dalšímu profesnímu růstu. Více informací o projektech a činnosti Central Midlands Local Authority Consortium je možné vyhledat na: East of England Development Agency podporuje zaměstnanost a mobilitu pracovní síly, sociální inkluzi a boj s chudobou a investuje do vzdělávání, získávání odborných dovedností a do celoživotního učení. Více informací o projektech a činnosti East of England Development Agency je možné vyhledat na: London Councils Více informací o projektech a činnosti London Councils je možné vyhledat na: London Development Agency Greater London Authority Více informací o projektech a činnosti Greater London Authority je možné vyhledat na: Národní vzdělávací fond, Strana 46 / 143

47 Luton Borough Council vyhlašuje výběrová řízení zaměřená na vzdělávání a podporuje projekty podporující odborné dovednosti a zaměstnanost. Finanční alokace pro tzv. první finanční periodu ( ) byla v hodnotě 1,250,000. Luton obdržel další dodatečnou částku ve výši 778,000 a v první finanční periodě využil částku ve výši 2,028,000. Alokace pro druhou finanční periodu ( ) je 1,835,746. Dosud bylo vyhlášeno 5 kol výzev na celkem 15 projektů, které jsou nyní realizovány. Více informací o projektech a činnosti Luton Borough Council je možné vyhledat na: Alokace ESF programu pro Anglii a Gibraltar je 6,049 milionů, kde 3,090 milionů tvoří finanční prostředky ESF a milionů tvoří prostředky státního rozpočtu. Informace lze získat: nebo také Jak je uvedeno výše, prostředky OP Anglie a Gibraltar jsou distribuovány prostřednictvím CFO. Na ně je rovněž přenesena odpovědnost za výběr projektů. Řídící orgán nastavil výběrová kritéria pro výběr CFOs a ESF divize Ministerstva práce a penzí ve spolupráci s úřadem vlády provedly hodnocení nabídek. Výběrová kritéria byla schvalována Řídícím výborem programu a mezi hlavní patřily následující: Proces hodnocení Kompetence (ukotvené legislativou) k zajišťování alespoň jedné oblasti popsané v operačním programu Být veřejnou institucí (dostává více než 50% finančních prostředků z centrální nebo místní vlády) Disponovat dostatečnými finančními prostředky ke kofinancování, které by byly dodány k prostředkům ESF finanční plán je rozdělen do dvou období a Realizovat aktivity kofinancované z ESF prostřednictvím smluvních dodavatelů poskytovatelů služeb, kteří budou dále vybráni ve veřejném výběrovém řízení (competitive tender). Kromě výše zmíněného každý žadatel o pozici CFO musí ve své žádosti doložit a popsat, že disponuje dostatečnou kapacitou na zajištění těchto oblastí: Propojování financování dostupnost, příslušná výše a zdroje pro kombinaci ESF a národních zdrojů (nemůže se jednat o spolufinancování prostřednictvím naturálního plnění (in-kind)) Národní vzdělávací fond, Strana 47 / 143

48 Lidské zdroje doložení a popsání počtu, odborných kompetencí, znalostí a schopností týmu tak, aby byli jeho členové schopni zajistit veškeré činnosti požadované po CFO Účetní systém musí umožňovat oddělené účetnictví pro finanční zdroje ESF a dodávané národní finanční prostředky Audit popis zajištění auditu Řízení informací popis systému, který bude shromažďovat data od příjemců dotace, validovat je, třídit a poskytovat Řídícímu orgánu Evaluace plnění plánu CFO pro využití prostředků ESF musí být pravidelně kvantitativně i kvalitativně vyhodnocováno. Řízení smluvních vztahů a monitorování popis toho, jak budou dodavatelé služeb řízeni. Musí být zachován charakter plnění dodávky. Bude popsáno, jak bude řešena situace, pokud kvalita nebo rozsah dodávky neodpovídá smlouvě. Kvalita všechny relevantní úkony budou podrobeny inspekci OFSTED (Office for Standards in Education, Children s Services and Skills), musí být popsáno, jak bude zajištěno dosahování standardů kvality Publicita - CFO musí splnit požadavky Nařízení ke strukturálním fondům a ESF Veřejná podpora musí být k dispozici systém, který monitoruje veřejnou podporu Průřezová témata popis zajištění implementace a mainstreamingu témat jako rovné příležitosti a generová rovnost a udržitelný rozvoj. Uzavírání smluv s dodavateli služeb Výběr dodavatelů může proběhnout buď jako veřejná zakázka (competitive tendering) nebo jako výběr grantových projektů. Grant však může být využit pouze v případě financování dodavatelů paušální platbou (flat rates) kalkulovanou v jednotkových nákladech. Pokud je dodavatel vybrán prostřednictvím vyhlášení veřejné zakázky, musí CFO kontrolovat kvalitu dodávky v souladu s uzavřenou smlouvou, kde musí být jasně uvedena cena. Výběr dodavatelů Zákon o veřejných zakázkách umožňuje celkem 4 metody výběru dodavatele: Otevřenou proceduru (open procedure) Uzavřenou proceduru (restricted procedure) Proceduru vyjednávání (negotiated procedure) Soutěžní dialog (competitive dialogue). Národní vzdělávací fond, Strana 48 / 143

49 U otevřené procedury musí CFO přizvat do výběrového řízení každého, kdo odpověděl na inzerování/uveřejnění výběrového řízení. To zpravidla vede k velkému množství nabídek, z nichž některé mohou být nevhodné. Při této metodě tedy hrozí riziko nákladnosti aneefektivity, proto je doporučována jen v případech, kde se předpokládá nízký zájem. Uzavřená procedura obnáší vyzvání potenciálních dodavatelů ze strany CFO a následné vyplnění tzv. předkvalifikačního dotazníku (Pre Qualification Questionnaire - PQQ). CFO vyhodnocuje všechny PQQ a k dalšímu dopracování úplných nabídek osloví nejméně 5 dodavatelů. Jedná se o dvoukolový výběr. Dopracování nabídky prostřednictvím oslovení k dopracování ( Invitation to the Tender) již musí obsahovat popis konkrétních aktivit, výstupů a předpokládaných dosažených výsledků. Cílem této uzavřené procedury je zajištění dodavatelů na jednotlivé balíky oblastí, kteří vykazují nejlepší předpoklady a kvalifikaci pro úspěšnou realizaci. Úspěšný účastník výběrového řízení je vyrozuměn písemně (Intention to award letter). Zde je zároveň podána informace o možnosti odvolání neúspěšných uchazečů. CFO uzavírá zpravidla rámcovou smlouvu, která může být uzavřena maximálně na 4 roky. Tento proces se uskutečňuje prostřednictvím e-veřejných zakázek (e-procurrement process). Neúspěšným uchazečům je poskytována prostřednictvím dopisu (Award Decision Notice) zpětná vazba tak, aby bylo zřejmé, kde byla slabá místa v jejich nabídce. Procedura vyjednávání musí být předem dohodnuta a odsouhlasena Řídícím orgánem. Pokud je využívána, žádosti o platby, které jsou zasílány ESF divizi, musí představovat pouze výdaje, které vznikly poskytovateli dotace. Kdo je hodnotitel? Směrnice o veřejných zakázkách umožňuje tzv. soutěžní dialog a to zejména v případě obzvláště komplexních zakázek, kde se předpokládá, že použití otevřené i uzavřené procedury neumožní vyhodnocení nabídek. CFO musí upozornit Řídící orgán o použití této metody s předstihem. PQQ jsou hodnoceny formálním panelem vytvořeným z pracovníků CFO, zástupců místní samosprávy a pracovníků dalších CFO (viz výčet CFO v prvním části popisu), a dále nezávislým pozorovatelem. Hodnotí se zejména schopnost organizace, která PQQ podává, zajistit realizaci ESF programu a to prostřednictvím popisu zajištění procedur, finančním zdravím organizace, kapacitou pro zajištění a realizaci navrhovaných opatření v oblasti zaměstnanosti nebo vzdělávání. Nabídky do výběrových řízení jsou otevírány za přítomnosti dvou osob, které kontrolují formální náležitosti a zaznamenávají je (počet kopií, termíny, podpisy apod.). V případě elektronického podání (e-procurrement) nabídku a její formální náležitosti kontroluje jedna osoba, která má přístupová práva do systému. Pro obsahové hodnocení jsou ad hoc najímáni specialisté a odborníci na danou oblast a rovněž ekonomové. Národní vzdělávací fond, Strana 49 / 143

50 Kontrola a vyhlášení výsledků Každé CFO uveřejňuje na svých webových stránkách seznam projektů a realizátorů projektů (včetně subdodavatelů nebo projektových partnerů), přidělenou částku a stav projektu. Tato informace je generována na úroveň Řídícího orgánu a je čtvrtletně aktualizována. Národní vzdělávací fond, Strana 50 / 143

51 Skotsko - OP Operační program ESF Skotsko (ESF Lowlands and Uplands Scotland Programme) má stanoveny následující priority: PRIORITA ALOKACE Priorita 1: Vstup do zaměstnanosti Priorita 2: Růst prostřednictvím zaměstnanosti Priorita 3: Zvýšení přístupu k celoživotnímu zaměstnání Priorita 5: Strategické dovednosti Shrnutí programu Priorita 1 se zaměřuje na podporu neaktivních a nezaměstnaných lidí všech věkových kategorií při vstupu na trh práce. Důraz je kladen na odstraňování bariér a pozornost je soustředěna na ty nejkomplikovanější případy, například na lidi s kombinovaným zdravotním omezením. Priorita 2 podporuje rozvoj dovedností pracovní síly tak, aby byla udržena její zaměstnatelnost, produktivita, adaptabilita, inklusivní chování a povzbuzeny předpoklady k podnikání. Priorita 3 se zaměřuje na celoživotní vzdělávání s důrazem na lidi, kteří mají špatnou zkušenost z počátečního vzdělávání. Priorita 5 agreguje nevyčerpané prostředky z priorit 1, 2 a 3 a hlavním cílem je propojení potřeb a příležitostí na místní úrovni prostřednictvím naplňování místních strategií. Řídícím orgánem Programu ESF Skotsko je Ministerstvo průmyslu a celoživotního vzdělávání. Výkonem řízení programu je pověřena společnost ESEP Ltd., která řídí rovněž program ERDF. Alokace programu je 598 milionů. Další informace o programu je možné získat: Národní vzdělávací fond, Strana 51 / 143

52 Ve Skotsku je ESF operační program realizován prostřednictvím projektů, které musí být konzistentní s cíli programu a musí přispět k naplnění záměrů programu. Tyto projekty jsou vybírány soutěží nabídek pro jednotlivé priority nebo prostřednictvím vyjednaných dohod se strategickými orgány pro implementaci (Strategic Delivery Bodies). V obou případech je důraz kladen na transparentnost a partnerský souhlas. Z důvodu zajištění soutěže a alokování dostatečného množství prostředků, je předkládání nabídek vyžadováno pod každou prioritou a obvykle odpovídá interval předkládání jednomu roku. Podmínky pro předložení projektu: Proces hodnocení - žádost mohou předložit pouze organizace, které působí ve veřejném sektoru, místní samosprávy, organizace vyššího a dalšího vzdělávání, dobrovolnického sektoru nebo podobného charakteru. Nicméně každá organizace, která chce získat podporu z ESF OP, musí být registrována (za registraci organizací a kontrolu jejich vhodnosti odpovídá Zprostředkující subjekt); - žádost je schvalována dvoukolově 1. fáze předložení žádosti ve stručné formě popisu projektového záměru (2 stránky). Jasně slabé projekty jsou vyřazeny již v této fázi, předkladatelé ostatních žádostí jsou požádáni o dopracování plné žádosti; 2. fáze plná žádost prostřednictvím on-line systému. - žádosti jsou posuzovány z hlediska technické způsobilosti (prověřuje Zprostředkující subjekt). Tam, kde je informace neúplná nebo nejasná, tam se Zprostředkující subjekt dožaduje doplnění tak, aby mohla být žádost komplexně posouzena. - po tomto hodnocení následuje politické odsouhlasení záměru ze strany Skotské vlády a poradních skupin, které sestavuje Řídící orgán. Poradní skupiny jsou vytvořeny z odborníků, kteří působí v rámci partnerství financovaných ze SF, odborníků, kteří mají zkušenosti s přípravou a realizací projektů a dále úředníci skotské vlády, kteří dohlížejí na to, že projekty naplňují cíle Skotské vlády. - programový monitorovací výbor posuzuje návrhy a doporučení - jménem ministerstva je schváleno přidělení grantů. Národní vzdělávací fond, Strana 52 / 143

53 Schéma vyhodnocení projektů při soutěži projektů: Návrhy projektů Poradní skupina Návrhy projektů Zprostředkující subjekt Poradní skupina Programový monitorovací výbor Ministr Návrhy projektů Poradní skupina V případě dohod se strategickými orgány pro implementaci (Strategic Delivery Bodies) platí obdobná procedura. - dohody jsou hodnoceny Zprostředkujícím subjektem z pohledu technické přijatelnosti a vhodnosti zaměření - výsledné dohody jsou předmětem politického schvalování prostřednictvím Poradní skupiny a následně programovacím monitorovacím výborem, který dává doporučení k financování jednotlivých částí / komponent dohod. Pokud není některá z aktivit doporučena k financování, žadatel může monitorovacímu výboru navrhnout jinou, alternativní aktivitu. - následuje formální schválení a přidělení grantu jménem ministerstva. Schéma vyhodnocení projektů v případě dohod: Dohoda výstupu o Zprostředkující subjekt Speciální poradní skupina Monitorovací výbor Ministr Národní vzdělávací fond, Strana 53 / 143

54 Hodnotící kritéria OP ESF Skotsko Hodnotící kritéria: Odůvodnění rozhodnutí 4.1 Strategický soulad (vysoký) 4.2 Zdůvodnění potřebnosti (vysoká) 4.3 Potřeba grantu (vysoká) 4.4 Struktura a řízení (vysoká) 4.5 Partnerství (střední) 4.6 Horizontální témata (střední) Rovné příležitosti Environmentální udržitelnost Sociální inkluze 4.7 Inovativnost a přidaná hodnota Skóre (0-5) (0-2) (0-2) (0-2) Komentáře Národní vzdělávací fond, Strana 54 / 143

55 Priorita 5: Transnacionalita 5% Priorita 4: Inovace 5% Rovné příležitosti Belgie Vlámsko- OP Vlámský operační program Evropský sociální fond Flandry se zaměřuje na celkem 5 priorit. Supervizi nad realizací programu má Monitorovací výbor (Flemish Monitoring Committee), který je složen ze zástupců sociálních partnerů, neziskového sektoru, zástupců státních institucí. Vzájemné nastavení priorit je nejlépe zřetelné z níže naznačeného schématu: Priorita 1: Aktivizace talentů 61% Priorita 2: Nabídnutí šancí na trhu práce 15% Priorita 3: Řízení firem a organizací s důrazem na lidský faktor 10% Shrnutí programu Priorita 6: Technická asistence 4% Priorita 1 se zaměřuje na aktivizaci talentů a jejich dlouhodobou integraci do trhu práce. Není přitom rozhodující, zda se jedná o absolventa, nezaměstnaného, zaměstnaného nebo sebezaměstnaného člověka. Aktivity podporované v této prioritě mají charakter zejména školení (např. on the job training), poradenství, coaching a jsou využívány nástroje APZ pro integraci na trh práce. Důležité jsou obě formy vzdělání formální i neformální, včetně uznávání neformálního vzdělávání. Priorita 2 se zaměřuje na podporu sociální inkluze znevýhodněných skupin a na nabídnutí individuálních řešení jejich situace. Mezi tyto skupiny patří především zdravotně znevýhodnění, příslušníci minorit, starší lidé (50+), nízkokvalifikovaní, dlouhodobě nezaměstnaní, ale také lidé, kteří potřebují speciální asistenci nebo lidé pracující na chráněných pracovních místech. Priorita 3 se zaměřuje na vztah klimatu ve firmách a společnosti s důrazem na aspekt dlouhodobé integrace a sociální inkluze prostřednictvím schémat využívaných ve firmách. Pozornost je věnována rovněž slaďování rodinného a pracovního života. Priorita 4 je chápána průřezově a zaměřuje se na složku inovativnosti a zahrnuje rovněž sociální inovaci a její včlenění na vlámský trh práce. Průřezově je rovněž chápána Priorita 5, která podporuje neregionální a nadnárodní prvek při realizaci projektů ESF. Všechny tyto priority mají přispívat k udržitelné zaměstnanosti a stimulaci podnikatelství a jsou komplementární s cíli vlámského vládního investičního plánu pro zaměstnanost. Národní vzdělávací fond, Strana 55 / 143

56 Vlámská agentura pro ESF (ESF Agentschap Vlaanderen) zajišťuje principy spolupráce a partnerství při realizaci projektů ESF. Spolupracuje s Vlámskými službami zaměstnanosti (VDAB), Úřadem pro odborné vzdělávání (Service for Vocational Training) a Agenturou pro vyhodnocování grantů pro oblast práce a sociální ekonomiky (Subsidieagentschap Werk en Sociale Economie), Radou pro sociální ekonomiku (Social Economic Council for Flanders), Agenturou pro podporu podnikatelských dovedností a Ministerstvem práce a sociální ekonomiky. Celkový rozpočet ESF OP Flandry je 1,111 mil, z této částky je 468,8 mil příspěvkem ESF. Další informace lze získat na: Kdo je hodnotitel? Monitorovací výbor má pod sebou 4 komise: 1/ Jedná se o Horizontální komisi, která je složená ze zástupců rezortů, sociálních partnerů a ředitelů úřadů práce 2/ Tematickou komisi, která nastavuje a definuje konkrétní priority pro jednotlivé výzvy. Stejná, tedy Tematická komise vybírá hodnotitele projektů a přebírá odpovědnost za rozhodnutí o schválení projektu v případě rozdílných názorů hodnotitelů. Složení Tematické komise se mění v návaznosti na předmět výzvy (vždy jsou osloveni příslušní tvůrci politik). Tematické komisi předsedá člen Řídícího orgánu. 3/ Evaluační komise provádí externí evaluace a definuje specifická témata, stanovuje pracovní programy pro evaluátory. V této komisi jsou zastoupeni členové monitorovacího výboru a Evropské komise, předsedá ji zástupce Ministerstva práce a sociální ekonomiky. 4/ Odvolací komise, je složená z pracovníků, kteří nebyli součástí předchozího výběrového procesu, a předsedá ji zástupce Řídícího orgánu. Je vyslyšena strana, která se odvolává i která hodnotila (předkladatel projektu a Vlámská agentura pro ESF) a jsou posouzeny zprávy a dokumenty vypovídající o učiněném rozhodnutí. Odvolací komise je odpovědná za konečné rozhodnutí. Proces hodnocení Výzva k předložení projektu je vyhlašována minimálně na 8 týdnů, zpravidla je však termín pro předložení žádosti o projekt stanoven ve lhůtě 12 týdnů. Přímo ve výzvě je vymezen způsob hodnocení a hodnotící kritéria, přičemž Vlámská agentura pro ESF je vždy jedním z hodnotících orgánů/míst. Vypracovaná žádost o projekt je zasílána prostřednictvím elektronického systému a zároveň musí být doručena i ve dvou tištěných a podepsaných verzích. Žádost o projekt je zaslána třem různým hodnotitelům, kteří jsou vybráni k hodnocení projektů a připravují tři nezávislé posudky. Jména hodnotitelů obdrží Vlámská agentura pro ESF od jiných hodnotících orgánů a umožní jim přístup k elektronické žádosti v databázi. Vlámská agentura pro ESF na začátku hodnocení organizuje schůzku hodnotitelů, kde jsou podrobněji vysvětlována hodnotící kritéria, procedury a je poskytnuto vysvětlení k jednotným formulářům. To zaručuje, že všechna tři hodnocení jsou vypracována v intencích shodných hodnotících kritérií, instrukcí k hodnocení, bodování atp. Posudky od všech tří hodnotitelů jsou shromážděny ve Vlámské agentuře pro ESF, kde manažer programu vypracuje na jejich základě rozhodnutí o (ne)schválení projektu. Vlámská agentura pro ESF dále organizuje Národní vzdělávací fond, Strana 56 / 143

57 Hodnotící kritéria Kontrola a vyhlášení výsledků setkání hodnotitelů (Evaluators Meeting EM), kteří návrh projektu a návrh rozhodnutí společně diskutují. Pokud je dosaženo konsensu, je vypracována zpráva, která je předložena ke schválení Tematické komisi. Ta kontroluje správnost procedury a nastavení a použití hodnotících kritérií. Pokud hodnotitelé ke konsensu nedospějí, rozhoduje o schválení či zamítnutí žádosti o projekt právě Tematická komise. Návazně jsou žadatelé informováni o výsledku, a pokud nedojde k odvolání je připravena smlouva (připravuje Vlámská agentura pro ESF) a je zaslána ke schválení a k podpisu žadateli/příjemci projektu. Následně je smlouva o projektu podepsána Řídícím orgánem a projekt může být zahájen. Celý hodnotící proces trvá nejdéle 3 měsíce. Při hodnocení projektů jsou sledována následující tři základní kritéria: 1/ relevance projektu 2/ proveditelnost projektu 3/ zajištění řízení projektu Každé z kritérií je ohodnoceno prostřednictvím sady hodnotících otázek a jejich součet vede k souhrnu bodů v hodnotě 100. V rámci každé výzvy je stanoven minimální počet bodů, které pro přijetí projektu musí žádost dosáhnout v každém kritériu. Většinou je tato proporce stanovena jako 70/60/60. Jestliže žádost o projekt dosáhne v některém z kritérií menší než stanovenou hodnotu, projekt není doporučen ke schválení. To však může být změněno v rámci EM, kde je o návrhu projektu hlouběji diskutováno, a jsou posuzovány jednotlivé argumenty. Těm je v této fázi přikládána větší hodnota než bodovému hodnocení a proto se může stát, že i projekt, který měl menší bodový limit dokonce ve dvou kritériích, může být schválen. Celý proces je zaznamenáván a je ukládán v elektronickém systému. Národní vzdělávací fond, Strana 57 / 143

58 Rakousko - OP Operační program Zaměstnanost Rakousko (BESCHÄFTIGUNG ÖSTERREICH) je zaměřen na zvýšení zaměstnanosti prostřednictvím zvýšení kvalifikace zaměstnanců, zvýšením adaptability zaměstnanců i podniků, podporou sociálního začlenění např. pomoc lidem při návratu do zaměstnání/znovuzačlenění do pracovního života. Program se skládá z 6 priorit: 1. Zvýšení adaptability pracovníků a podniků - více využít potenciálu starších lidí ("aktivní a produktivní stárnutí"). Specifickými cíli jsou zlepšení personálního plánování a personálního rozvoje v podnicích, stejně tak jako stabilizace a zlepšení situace starších nebo méně kvalifikovaných zaměstnanců a zaměstnanců znovu se vracejících do zaměstnání. Shrnutí programu 2. Boj proti nezaměstnanosti. Cílem je trvalé začlenění skupin dotčených nezaměstnaností do trhu práce (starší lidé, méně kvalifikovaní, imigranti a ženy). 3. Sociální začleňování - zajištění pracovních míst pro lidi se zdravotním postižením a vytvoření rovných příležitostí v nejširším slova smyslu. Dalším cílem je integrace osob, ohrožených vyloučením z trhu práce do stabilního zaměstnaneckého poměru. 4. Celoživotní vzdělávání- zlepšení přístupu ke vzdělávání na všech stupních, zvyšování kvality vzdělávání, možnosti účasti na celoživotním vzdělávání pro znevýhodněné dospělé a pomoc při dokončení studia pro studující, kteří zároveň pečují o dítě. Specifické cíle: zlepšení znalosti německého jazyka dětí imigrantů, pružnost programů vzdělávání a zavádění standardů kvality ve vzdělávání dospělých. 5. Územní úmluvy - lepší koordinace na regionální a lokální úrovni, příprava integrované strategie. Alokace programu je , z čehož činí částka prostředky ESF a částka jsou národní prostředky. Informace lze získat na: nebo Administrace ESF je v Rakousku jiná, než v České republice. Hlavní rozdíl spočívá především v tom, že Řídící orgán není odpovědný za výběr projektů. Příslušné finanční alokace jsou převedeny přímo na Zprostředkující subjekty, jako například AMS veřejné služby zaměstnanosti nebo Národní vzdělávací fond, Strana 58 / 143

59 Proces hodnocení Ministerstvo školství. Zprostředkující orgány pak odpovídají za výběr projektů přímo a proces výběru se pak odvíjí od typu projektů. Jedním příkladem projektů jsou klasické vzdělávací kurzy pro nezaměstnané, kdy je využíván standardní systém veřejných zakázek. Jiné typy projektů, například financování opatření pro zvýšení kvalifikace zaměstnaných lidí jsou nastaveny vnitřními předpisy. Zaměstnavatelé/podniky se mohou ucházet o projekt průběžně a kontrolováno je pouze splnění nastavených kritérií/indikátorů. Co není v Rakousku pro ESF typické, a co naopak známe z ČR, je vyhlašování výzev (call for proposals) a následný výběr projektů v globálních grantech. ESF bylo od samého počátku v Rakousku nastaveno tak, aby byly prostředky ESF 100% přidány k národním schématům (strategickým cílům politiky na národní úrovni) a nemusel být nastavován specifický systém ESF procedur. Tento přístup umožňuje rychlé a efektivní využití prostředků ESF. Národní vzdělávací fond, Strana 59 / 143

60 II. Návrhová část 6. Návrhy na úpravu hodnotícího a výběrového procesu pro současné programové období V současném programovém období již nebude navrhováno přistoupit k radikálním změnám hodnotícího a výběrového procesu, nebudou navrhovány úpravy hodnotícího rámce a jeho jednotlivých kritérií ani zásahy do elektronického systému hodnocení. Dále jsou navrženy takové změny, které jsou vedeny snahou o vyšší efektivitu a správnost hodnotícího a výběrového procesu, a které se nezvyšují komplikovanost systému. 6.1 Výběrový proces Návrhy na drobnější úpravy pro práci výběrových komisí byly prezentovány v průběžné zprávě formou doporučení změn v metodických materiálech (šlo spíše o dodržení konzistentnosti materiálů a přesnou specifikaci postupů než změny), z nich některé již byly zahrnuty do aktualizované podoby příručky pro hodnocení a výběr, jednacího řádu a statutu výběrové komise a standardizovaných výstupů z výběrové komise. Rovněž byla doporučena úprava vzdělávacího programu pro výběrové komise s vyšším důrazem na objasnění práv a povinností výběrové komise a jejích členů. Pro zkvalitnění informací pro rozhodování výběrových komisí je níže uveden návrh, jak pracovat s informacemi o již realizovaných projektech i pro porovnání žádostí o financování v aktuální výzvě. Pro výběr žádostí z výzvy č. 76 připravil Řídící orgán tabulku, nazvanou absorpční kapacita, která přehledně ukazuje, které okresy budou v případě realizace pokryty jednotlivými projekty. Tato informace je jistě důležitá z hlediska posouzení toho, zda se v některých regionech nerealizuje příliš mnoho projektů ve stejné oblasti podpory oproti jiným regionům. Pro kvalifikovaný výběr mezi kvalitně zpracovanými projekty však je třeba prozkoumat další informace z aktuální i předešlých výzev (pokud se výběrová komise nedrží striktně pořadí dle přidělených bodů z individuálního věcného hodnocení): 1. informace o tom, jakou cílovou skupinu projekt zahrnuje v daném regionu (umožní posoudit, zda potřeba nabízených služeb pro cílovou skupinu je vhodně pokryta) 2. zda se navrhované projekty nesoustředí většinově na omezený okruh účastníků a zda pokrytí požadavků výzvy vzhledem k cílovým skupinám je vyvážené (v případě nevyváženosti pak realizovat pouze skutečně potřebné množství projektů pro danou cílovou skupinu) 3. jaké projekty již realizoval a realizuje předkladatel žádosti z minulých výzev v dané oblasti podpory a jaká je přidaná hodnota nově navrhovaného projektu (zda žadatel pouze nerecykluje již realizované aktivity pro totožnou cílovou skupinu). Národní vzdělávací fond, Strana 60 / 143

61 Požadované informace by bylo možné zpracovat opět tabulkovou formou (viz níže tabulka 9), ale je třeba si uvědomit, že zpracování navrhované informace je poměrně náročné na přípravu před zasedáním výběrové komise. Ke zvážení dáváme návrh, aby v případě kladného posouzení žádosti hodnotitel předal vyhlašovateli následující informaci: Projekt cílová skupina (typ, velikost) region realizované aktivity pro cílovou skupinu z předchozích projektů. Takovou informaci může nejlépe připravit hodnotitel, protože se podrobně seznamuje se žádostí i s potřebností projektu pro cílovou skupinu v rámci věcného hodnocení. Hodnotitel je rovněž schopen nejsnáze dohledat, zda žadatel uvedl informace o jím realizovaných projektech pro danou cílovou skupinu. Vyhlašovatel by pak uvedené informace o projektech ověřil v systému MONIT (problém třídění dle typu cílové skupiny). Další opatření, které by pomohlo výběrové komisi zlepšit její práci, by byla relevantní informace o předkladatelích, se kterými byly nedobré zkušenosti z realizace projektů. Byl by vytvářen red list příjemců, kteří porušili závažně pravidla pro řízení projektů ESF (hlavně při porušení rozpočtové kázně; podrobnější pravidla by musela být zpracována a zveřejněna pro informaci předkladatelů). Před zapsáním příjemce na red list by byla dotčená organizace informována o důvodech zařazení na red list a měla by možnost se k výtkám vyjádřit. Red list by mohl být odstupňován od mírně rizikového až po nepřijatelného žadatele/příjemce (ten by se měl současně objevit na black listu nejen MPSV, ale i MMR). Při porovnávání obdobných projektů pro obdobnou cílovou skupinu by byla dávána přednost příjemcům nerizikovým či s nižším rizikem pro realizaci. V případě zavedení takového opatření však je třeba brát v úvahu zatížení poskytovatelů dohadovacími řízeními s problematickými příjemci, dotčenými zařazením na red či black list. Rovněž by bylo třeba zpracovat podmínky výmazu z red listu (nejlépe realizace bezproblémového projektu). Takové opatření by se nevztahovalo na příjemce zařazené na black list. Pro případ, kdy by mohlo dojít k vyloučení kvalitně zpracovaných projektů, se navrhuje možnost, aby výběrová komise mohla nahlédnout do cca dalších 20 projektů, které přesahují finanční limit dané výzvy Mimo výše uvedených nástrojů pro zkvalitnění práce výběrové komise je třeba vzít v úvahu i složení výběrové komise. Je vhodné, aby ve výběrové komisi měli odpovídající zastoupení odborníci z praxe z těch regionů, ve kterých se v rámci dané výzvy předkládá větší množství projektových žádostí. Toto však je možné pouze v případě, kdy výběrová komise je sestavována až na základě znalosti skutečně předložených žádostí. Výběrové komisi by měla být poskytnuta možnost dávat zpětnou vazbu o hodnotitelích v případě, kdy jsou s jejich prací hrubě nespokojeni a při jednání výběrové komise musí korigovat naprosto špatně postavené hodnocení. Takováto negativní informace by měla být zabudována do systému ratingu hodnotitelů (např. počet stížností výběrových komisí). Národní vzdělávací fond, Strana 61 / 143

62 Tabulka 9: Absorpční kapacita výzvy XX Projekt Žadatel Cílová skupina Region Projekty žadatele pro cílovou Termín realizace Region typ velikost NUTS II okres skupinu od do NUTS II okres Míra rizikovosti žadatele Národní vzdělávací fond, Strana 62 / 143

63 6.2 Hodnotící proces Část návrhů na úpravy hodnotícího procesu a práce s hodnotiteli byla uvedena v průběžné zprávě, hlavně formou doporučení spolupráce a komunikace s hodnotiteli. Valná část níže uvedených doporučení směřuje ke zpřesnění pracovních postupů hodnotitelů (hlavně zaměřené na posuzování problematických hodnotících kritérií) a k zintenzivnění práce s hodnotiteli (vzdělávání, poskytování zpětné vazby). 1. Na základě analýzy vzorku hodnocení i zkušeností ze školení hodnotitelů a z příkladu jiných operačních programů (OP VK) vyplývá, že hodnotitelé potřebují pro zvýšení kvality své práce zpětnou vazbu. Zároveň však bylo ověřeno, že i přes poskytnutí zpětné vazby se mnohdy rozdílné názory hodnotitelů nesblíží. Ani zajištění 3. hodnotícího posudku neznamená vždy správnější a kvalitnější posouzení projektu. Z tohoto důvodu navrhujeme následující úpravu hodnotícího procesu: i) pro grantové projekty: 2 externí hodnotitelé provedou zhodnocení projektu do hodnotící tabulky v systému MONIT7+ - v případě, kdy 2 externí hodnotitelé zpracují podstatně odlišná hodnocení (rozdíl více než 20 bodů), nastupuje svoji roli arbitr tedy 3. hodnotitel, který zpracovává výsledný posudek, a to na základě předchozích dvou hodnocení - arbitr se zaměřuje na kritéria, u kterých se hodnotitelé liší o 2 a více stupňů slovních deskriptorů a zdůvodní volbu jednoho, druhého či svého vlastního deskriptoru. U kritérií, kde je rozdíl nižší než 2 stupně slovních deskriptorů, vybere jedno z již zpracovaných hodnocení - zásadně by se konečné hodnocení arbitra mělo nacházet v intervalu mezi oběma předchozími hodnoceními - hodnocení arbitra se pak stává výsledným hodnocením projektu. i) pro individuální projekty: plné hodnocení projektu zpracují všichni členové hodnotící komise, svá hodnocení na zasedání hodnotící komise prodiskutují a na základě konsenzu zpracují jediné společně výsledné hodnocení. Rozdílem oproti současnému stavu je to, že všichni členové hodnotící komise přicházejí na jednání s podrobnou znalostí projektu, včetně vlastního posouzení. Nehodnotí se shoda nebo rozdíly mezi jednotlivými hodnoceními, ale formuluje se shoda na jediném hodnocení, založená na kvalifikované a znalostí projektu podložené argumentaci členů hodnotící komise. 2. Vyhlašovatelé výzev budou poskytovat důslednou zpětnou vazbu nejen o výsledcích hodnotícího a výběrového procesu, ale též o důvodech snížení ratingu hodnotitele, tak aby se hodnotitel mohl poučit o svých nevhodných přístupech. 3. Řídící orgán uspořádá alespoň 1x ročně řadu seminářů pro hodnotitele, zaměřených na informace o novinkách v systému hodnocení a umožní výměnu zkušeností hodnotitelů formou diskuse. Výběr tématu k diskusi proběhne na ESF fóru. Nabídku témat připraví ŘO na základě identifikace nejproblémovějších oblastí hodnocení. Národní vzdělávací fond, Strana 63 / 143

64 Hodnocení individuálních projektů bude věnován specifický seminář, na který budou zváni pouze hodnotitelé s vysokým ratingem a se zkušeností s hodnocením individuálních projektů. Zároveň bude připraven a realizován vzdělávací seminář pro arbitry, kteří budou vybíráni ze skupiny hodnotitelů s nejvyšším ratingem. Vzdělávání bude zaměřeno nejen na vylepšení jejich hodnotitelských kvalit, ale hlavně na to, jak správně posuzovat 2 odlišná hodnocení a tvořit na jejich základě výsledné hodnocení. 4. Vzhledem k tomu, že příručka pro hodnotitele neřeší, jak tvořit komentář k vybranému slovnímu deskriptoru, ani to za jaké prohřešky snižovat slovní deskriptor, další návrh je zaměřen na snížení nedostatků věcného hodnocení. Tabulka 10: Návrhy opatření/řešení pro snížení nedostatků, identifikovaných v rámci závěrů analýzy hodnocení projektu OMEGA Identifikované nedostatky v hodnocení referenčního projektu Nesoulad s metodikou: - v rámci daného věcného kritéria byl vyhodnocen jiný předmět (předmět jiného kritéria) - komentář neobsahuje vše, co je předmětem hodnocení daného kritéria - záměna hodnotících kritérií Nedostatky v komentářích: - příliš stručný a obecný komentář - příliš detailní komentář nebo ulpívání na detailech - opisování informací z projektové žádosti (nejedná se o hodnotící informace v komentáři) - nezohlednění rizik/rizikových faktorů v rámci kritéria D4 Nesoulad slovního deskriptoru a komentáře: - nesoulad jako takový (+/-) - snížený deskriptor není řádně zdůvodněn Subjektivnost / domýšlení si: - uvádění domněnek bez jasného podložení argumenty Nepodložené hodnocení: - snížení slovního deskriptoru bez uvedení důvodů u nepovinně komentovaných kritérií Absence vnitřního kontextu: - hodnocení jednotlivých kritérií mezi sebou nekoresponduje Přísnost a opakované snížení slovního deskriptoru: - pokud je předmětem stejný / obdobný věcný předmět (ve vazbě, v kontextu s jiným kritériem), dochází k opakovanému snižování slovního deskriptoru Nedostatky v závěrečném hodnocení: - kopírování jednotlivých hodnotících komentářů Reálná navrhovaná opatření ještě pro toto období Příručka pro hodnotitele: - zpřehlednit jednotlivé aspekty hodnocení daného kritéria, např. strukturovat, označit tučně - upozornit na záměnu v kritériích - doplnit požadavky a náležitosti komentáře (jaké informace má komentář obsahovat) - doplnit informace ke každému hodnotícímu kritériu za jaké nedostatky snižovat slovní deskriptor Specifická školení: - upozorňovat na nedostatky v hodnoceních v rámci školení pro hodnotitele ESF fórum: - upozorňovat na nedostatky v hodnoceních prostřednictví m fóra Zpětná vazba hodnotiteli: - upozorňovat na nedostatky v hodnoceních prostřednictvím zpětné vazby hodnotiteli Národní vzdělávací fond, Strana 64 / 143

65 - opisování informací z projektové žádosti - chybí celkové zhodnocení - komentář je nepřehledný a nestrukturovaný - absence rizikových faktorů - nevyváženost informací (silné vs. slabé stránky) - absence jasných doporučení pro žadatele / VK Jedním z výše uvedených navrhovaných opatření je doplnění Příručky pro hodnotitele. taková doplnění navrhujeme: - strukturovat jednotlivé aspekty daného kritéria, např. v odrážkách uvést, co je předmětem hodnocení daného kritéria (např. ve sloupci 2 v níže uvedené navrhované verzi kapitoly) tak, aby bylo kritérium při hodnocení vzato v potaz celé a současně nedocházelo k záměně s jiným kritériem - zpřehlednit (např. zvýraznit) jednotlivé aspekty každého kritéria (aby v textu nezapadly a nebyly opomenuty) - doplnit sloupec Zdroje hodnocení - k dohledání a získání informací pro hodnocení (nejen s odkazem na jednotlivé části projektové žádosti, ale i na metodické příručky a dokumenty) - doplnit sloupec Hodnocení a Komentář - sloupec obsahuje informace (příklady), za co by měl být snížen slovní deskriptor v každém věcném kritériu nebo naopak nesnižován (tak, aby nedocházelo k opakovanému snižování slovního deskriptoru) a co klíčového podstatného by měl obsahovat komentář. - Kromě uvedené úpravy a zpřehlednění navrhujeme na základě diskuse na závěrečném semináři rozšířit kombinovaná kritéria o kritérium A1 a B3. Vzhledem k tomu, že se jedná o komplexní kritéria, právo na eliminaci by mělo být v případě A1 vázáno na dílčí aspekty potřebnosti, hlavních přínosů, přidané hodnoty (v žádném případě ne na inovativnost). V případě B3 pak by se eliminace vztahovala k dílčímu aspektu vymezení zlepšení situace CS díky účasti v projektu. Tímto způsobem by bylo možné vyloučit nesmyslné a zbytečné projekty projekty pro projekty, aniž by se hodnotitelé museli uchylovat ke snižování zástupných deskriptorů. Eliminace by samozřejmě musela být řádně zdůvodněna. Mezi V níže uvedeném návrhu na rozšíření příručky tato navrhovaná změna není zabudována, neboť se zde pracuje s textem aktuálně platné příručky a sloupec popisu kritéria není upravován. Zahrnutí do příručky je na rozhodnutí ŘO, zda takový zásah ještě realizovat v současném období. Národní vzdělávací fond, Strana 65 / 143

66 Tabulka 11: Dílčí návrh na úpravu stávající verze Příručky pro hodnotitele, verze 1.3 A A1 Smysl a cíle projektu Zdůvodnění potřebnosti projektu Dílčí aspekty: - zdůvodnění realizace projektu (potřebnost projektu) - hlavní přínosy a smysl projektu - inovativnost projektu - myšlenka projektu - přidaná hodnota projektu Skupina Smysl a cíle projektu patří mezi jednu z nejdůležitějších oblastí pro hodnocení projektu. V rámci této skupiny kritérií by si měl hodnotitel odpovědět na otázky typu: Co projekt přinese? Proč by měl být spolufinancován ze zdrojů ESF? Jak naplňuje cíle pomoci? Toto kritérium patří mezi klíčová kritéria. Vysvětluje, proč by měl být projekt realizován, proč vznikl a kde jsou jeho hlavní přínosy, z čeho vychází (analýzy, zkušenosti, mapování potřeb, vyjádření jiných organizací města atd.). Hodnotitel by zde měl srovnat předchozí (resp. současný) stav se stavem budoucím po realizaci žadatelova projektu, aby bylo možno posoudit efektivnost a přínos projektu (pokud tak učiní sám žadatel, pak hodnotitel toto posoudí). Je potřeba zhodnotit z pohledu trhu práce a současně z pohledu potřeby naplnit cíle je projekt pro splnění cíle výzvy a pro situaci na trhu práce (v dané lokalitě) skutečně potřebný? Je potřebný pro uvedenou cílovou skupinu? Nejedná se pouze o obecné proklamace, že je třeba působit v dané oblasti a že vlastně cokoliv co se udělá je potřeba? Toto kritérium je kritériem komplexním, v rámci něho by měl hodnotitel vyjádřit míru přesvědčení, že projekt je potřebný. Hodnocení je prováděno pomocí pětistupňové škály s těmito slovními deskriptory: velice přesvědčivé přesvědčivé průměrně přesvědčivé málo přesvědčivé nepřesvědčivé Hodnotitel by se měl k potřebnosti projektu znovu vrátit Zdroje a metodika pro hodnocení Projektová žádost / přílohy*, pokud jsou k dispozici: - Stručný obsah projektu - Zdůvodnění potřebnosti projektu - Inovativnost projektu - Příloha Analýza potřebnosti projektu - Příloha Analýza potřeb cílové skupiny - Příloha Vyjádření třetí strany (zainteresovan ých subjektů, např. profesních sdružení, sociálních partnerů) - je ale třeba posuzovat obezřetně (může být jen účelové!) *pozn. přihlížet k přílohám, pokud jsou vymezeny výzvou jako Hodnocení a komentář Ke snížení slovního deskriptoru dojde, pokud není popsáno, jakým způsobem byly zjištěny potřeby cílové skupiny nebo se jedná o obecné (všeobecně) známé informace, údaje a ničím nepodložené konstatování. Ke snížení dojde dle rozsahu konkrétních chybějících údajů nebo nedostatečně vysvětlených částí a na tuto skutečnost bude upozorněno v komentáři. Ke snížení deskriptoru musí dojít také pokud projekt není potřebný, potřebnost a přínos jsou jen deklarovány nebo jde o tzv. projekt pro projekt, tj. provozní a běžné organizační aktivity žadatele či projekt zařizovacího a vybavovacího charakteru. Ke snížení deskriptoru by nemělo docházet: - u principu inovativnosti (pokud je hodnocen jako specifické kritérium, pokud má jít o projekty inovativního charakteru) - ba naopak projekt inovativního charakteru by měl být Národní vzdělávací fond, Strana 66 / 143

67 po přečtení celé žádosti a slovně své hodnocení okomentovat. V komentáři by se měl zaměřit i na to, zda je projekt inovativní, zda má myšlenku apod. Princip inovativnosti znamená podporu vytváření a prosazování nových nástrojů v oblastech rozvoje lidských zdrojů podporovaných z ESF. Prostřednictvím tohoto principu je v OP LZZ podporován vývoj a využití inovací, které představují nové, netradiční přístupy a řešení využitelná v projektech zaměřených zejména na osoby ohrožené sociálním vyloučením či na osoby ze společnosti a trhu práce již vyloučené. Financování inovací je opodstatněné především pokud lze předpokládat možnost jejich následného šíření a prosazování do široké praxe (tzv. mainstreaming). Pro více informací o principu inovativnosti doporučujeme pracovat také s metodikou D1 Příručka pro žadatele, kde je princip inovativnosti podrobněji popsán. povinné nebo pokud jsou k projektové žádosti doloženy. Metodika: - Výzva k předkládání žádostí - D1 Příručka pro žadatele (vysvětlení principu inovativnosti v OP LZZ) deskriptorem zvýhodněn (pokud není hodnoceno kritérium inovativnosti jako specifické kritérium). V komentáři by se mělo objevit, zda projekt obsahuje inovativní prvky, které jsou pro úspěšnou realizaci významné nebo pro jeho realizaci nemají zásadní charakter. - za přínos projektu (hodnocen u kritéria B3) A2 Vazba na cíle výzvy (oblasti podpory OP LZZ) Dílčí aspekty: - soulad projektu s výzvou (přijatelnost projektu) a se specifickými kritérii výzvy - soulad projektu Kritérium hodnotí, zda a nakolik je projekt v souladu s vyhlašovanou výzvou popř. s širším kontextem dané oblasti podpory OP LZZ. Projekt musí splňovat podmínky dané výzvy a naplňovat cíle OP LZZ. Hodnotitel posuzuje, do jaké míry projekt s tématem souvisí nebo jak jej doplňuje. Jedná se o kritérium kombinované. Tudíž je třeba se nejprve vypořádat se skutečností, zda zde existuje vazba na cíle výzvy (oblasti podpory OP LZZ) a pokud ano, jak těsná. Pokud projekt nemá vazbu na cíle samotné výzvy, je třeba toto zdůvodnit, konkretizovat přesně, kde dochází k rozporu s výzvou (aktivity, cílová skupina, místo dopadu apod.), aby výběrová komise mohla kvalifikovaně rozhodnout o vyloučení projektu. Těsnost vazby je třeba zachytit v rámci níže uvedené třístupňové škály. Hodnocení je prováděno pomocí třístupňové škály s těmito Projektová žádost / přílohy, pokud jsou k dispozici: - Stručný obsah projektu - Zdůvodnění potřebnosti projektu - Charakteristika hlavních cílů projektu Metodika: - Výzva k předkládání žádostí - Prováděcí dokument OP LZZ K udělení nejnižšího slovního deskriptoru dojde, pokud projekt není v souladu s pravidly a podmínkami výzvy (nesplňuje přijatelnost žadatele/partnera, klíčových aktivit, cílů, cílové skupiny, regionální vymezení projektu ad.). V případě podezření na nesoulad s výzvou, je nutné uvést komentář do kritéria D4. Ke snížení deskriptoru dojde, pokud projekt není v souladu se záměry stanovenými v oblasti podpory (výzvy) nebo nemá potenciál přispět k naplňování cílů výzvy (oblasti podpory OP LZZ). Národní vzdělávací fond, Strana 67 / 143

68 A3 s danou oblastí podpory - míra v souladu s výzvou - naplňování cílů pomoci OP LZZ Zhodnocení cílů projektu Dílčí aspekty: - konkrétní cíle - jasné vymezení cílů (i metodicky správné) slovními deskriptory: velice těsná vazba těsná vazba přijatelná vazba Poznámka: To, že jsou v projektové žádosti uvedeny obecné cíle výzvy, ještě neznamená, že projekt je s nimi v souladu. Všechny žádosti, které prošly do věcného hodnocení, jsou zřejmě z formální stránky v souladu s výzvou, je ale třeba hlubšího zamyšlení souladu s věcnou stránkou výzvy. V rámci tohoto kritéria by měl hodnotitel posoudit, zda popsané cíle projektu jsou jasně vymezené a relevantní. Posuzují se cíle samotného projektu, nikoliv vazba na cíle výzvy (která je hodnocená v rámci kritéria A2). Kritérium ukazuje, jak si předkladatel projektu stanovil cíle, zdali jsou realistické, zda odpovídají vymezeným potřebám a problémům (viz kritérium A1) a jsou s nimi v souladu, zda jsou dostatečně popsané, zda je možné (vzhledem k časovému harmonogramu, obsazení realizačního týmu) jich dosáhnout. Žadatel si může v rámci projektu stanovit více cílů různé závažnosti. Jasné stanovení cíle projektu reflektuje schopnost žadatele přesně definovat záměr projektu, vypovídá o celkové orientaci žadatele v dané problematice. Hodnocení je prováděno pomocí čtyřstupňové škály s těmito slovními deskriptory: cíle jsou jasně vymezené a relevantní cíle nejsou zcela jasně vymezené a jsou relevantní cíle jsou jasně vymezené, ale nejsou relevantní cíle jsou nejasně vymezené a nejsou relevantní Při posouzení cílů projektu může být vhodnou pomůckou metoda SMART využívaná při hodnocení kvality projektových cílů. Cíle Projektová žádost/přílohy: - Charakteristika hlavních cílů projektu - Stručný obsah projektu - Harmonogram realizace - Hodnoty indikátorů - Vazba aktivit projektu na potřeby cílové skupiny - Příloha Analýza potřebnosti projektu - Příloha Analýza potřeb cílové skupiny Metodika: - Výzva k předkládání žádostí Komentář musí obsahovat konkrétní informaci o tom, v čem není projekt v souladu s výzvou. (v případě snížení slovního deskriptoru je třeba specifikovat nedostatek). Ke snížení slovního deskriptoru dojde, pokud nejsou cíle: - konkrétní, jednoznačně vymezené (tj. musí být zřejmé, čeho chce žadatel dosáhnout), identifikované (např. jsou zaměňovány aktivitami nebo přínosy) nebo jsou rozporuplné, relevantní (tj. ve vazbě na popsané aktivity projektu nebo neodpovídají vymezeným potřebám), objektivně měřitelné (kvantitativní), časově ohraničené. Pokud jsou cíle nerealistické (nedosažitelné), je nutné kromě snížení deskriptoru, uvést v komentáři proč a v čem. Žadatelem vymezené cíle je potřeba posoudit nikoliv konstatovat jejich existenci (popis) a deklarování v projektové žádosti. Nežádoucí je také cíle do komentáře opisovat. Národní vzdělávací fond, Strana 68 / 143

69 - relevantnost cílů (v souladu s potřebami, ve vazbě na aktivity) - realistické cíle projektu by měly být S (Specific = konkrétní) M (Measurable = měřitelné), A (Achievable = dosažitelné), T (Time-bounded = časově ohraničené). Tuto metodu doporučujeme využít přiměřeně k celkovému kontextu a charakteru projektu. Příklad nejasného komentáře: hodnotitel uvede cíl je velmi nekonkrétní, ale chybí, v čem je cíl nekonkrétní. - kvantitativní a kvalitativní cíle Cíle projektu musí být dohledatelné přestože se objeví v jiné než k tomu určené části žádosti, jsou považovány za popsané. Cíl projektu by měl být specifičtější, úžeji zaměřen než cíl celé výzvy, mělo by být jasné, že žadatel ví, PROČ chce dělat zrovna toto (že stanovený projektový záměr skutečně povede ke stanovenému kvantifikovanému cíli, který svým způsobem přispěje ke splnění obecného cíle daného výzvou). B B1 Cílová skupina Jasné vymezení cílové skupiny Skupina kritérií Cílová skupina obsahuje čtyři kritéria a hodnotitel by se měl zaměřit na tyto otázky: Je cílová skupina jasně vymezená? Odpovídá zvolená skupina realitě a vychází z analýzy? Je projekt pro zvolenou cílovou skupinu přínosný? Je práce s cílovou skupinou (její zapojení) adekvátní jejímu charakteru? Toto kritérium je kombinované. Tudíž je třeba se nejprve vypořádat se skutečností, zda projekt bude mít dopad na cílové skupiny na území vymezeném ve výzvě a pokud ano, tak jaký. Pokud projekt nemá takový dopad, je třeba toto zdůvodnit, aby výběrová komise mohla kvalifikovaně rozhodnout o vyloučení projektu. V rámci tohoto kritéria by měl hodnotitel posoudit, zda popsaná cílová skupina je dobře vymezená, zda její specifikace je konkrétní a zda je z projektu jasné, pro koho je určen. Cílovou skupinou jsou míněni jednotlivci příp. organizace, pro které je projekt určen (tedy ti, kteří budou těžit z výstupů projektu). Projekt musí jasně popsat, Zdroje a metodika pro hodnocení Projektová žádost/přílohy: - Popis a způsob zapojení cílové skupiny - Stručný obsah projektu - Hodnoty indikátorů - Klíčové aktivity - Příloha Analýza potřeb Hodnocení a komentář Ke snížení slovního deskriptoru dojde, pokud chybí charakteristika (popis) cílové skupiny (tj., nebude jasně a konkrétně vymezeno o koho jde: např. muži/ženy, věk, vlastnosti, potřeby/omezení, lokalita, sociální vrstva, popis pracovní pozice ad. relevantní ve vazbě na vymezení zvolené CS - chybějící nebo nedostatečné schopnosti, vlastnosti) nebo pokud popis CS nebude Národní vzdělávací fond, Strana 69 / 143

70 Dílčí aspekty: pro kterou cílovou skupinu je jeho projekt určen. cílové skupiny odpovídat vymezení CS. - oprávněnost CS - kvantifikace CS - konkrétní popis /charakteristika CS - dopad projektu na CS Popis cílové skupiny by měl být širší než pouze vyjmenování CS daných výzvou. Projektové aktivity by měly být cílené a mělo by být jasné, že žadatel ví, s kým přesně bude v projektu pracovat, na koho působit a proč. Dále musí být jasné, že žadatel si je vědom toho, jaké problémy jím vybraná cílová skupina (v daném regionu působení) má, a že jeho projekt bude tyto problémy skutečně přímo řešit. Popis by měl obsahovat jasné vymezení konkrétních pozic, ne obecné označení cílové skupiny pracovníci v přímé péči apod., dále také rozčlenění cílové skupiny, specifikaci a konkretizaci cílové skupiny (popis cílové skupiny, prostředí, pracovní pozice v organizaci, popis problémů cílové skupiny a jejich zhodnocení). Hodnocení je prováděno pomocí třístupňové škály s těmito slovními deskriptory: jasně vymezená ne zcela jasně vymezená špatně vymezená Metodika: - Výzva k předkládání žádostí Pokud nebude jasně stanovena velikost CS nebo nebude v souladu s uvedenými MI, je nutné na tento rozpor upozornit v komentáři. Pokud hodnotitel zjistí, že žadatel/partner nemá zkušenosti v práci s CS nebo je popis v projektové žádosti nepřesvědčivý, zohlední tuto skutečnost v komentáři, ale nebude za ni v rámci tohoto kritéria snížen slovní deskriptor. Příklad: Maximum získá projekt, který jasně a logicky popisuje, jakým způsobem byly cílové skupiny identifikovány, například vlastním průzkumem nebo z podkladů úřadu práce. Z projektu musí být jasná velikost cílové skupiny a velikost cílové skupiny musí odpovídat kapacitním možnostem žadatele případně i jeho partnerů. V projektu by mělo být uvedeno, zda žadatel s cílovou skupinou již pracoval nebo s ní bude pracovat poprvé. Skutečnost, že žadatel s touto cílovou skupinou ještě nepracoval, by však neměla být sama o sobě důvodem ke snížení bodového ohodnocení; žadatel mohl dosud pracovat úspěšně s obdobnými skupinami. Vždy je třeba vycházet z konkrétního projektu. Národní vzdělávací fond, Strana 70 / 143

71 B2 Přiměřenost cílové skupiny Dílčí aspekty: Přiměřenost CS vzhledem k: - její velikosti, sociální struktuře a potřebám - potřebnosti, cílům a rozpočtu - ke kapacitám žadatele Přiměřenost cílové skupiny je v tomto kritériu chápána jako statisticko-sociální přiměřenost. Cílová skupina by měla být přiměřená nejen z hlediska její velikosti, sociální struktury, ale měla by vycházet i z analýzy potřeb, pokud je součástí žádosti. Přiměřenost je třeba posuzovat/poměřovat zejména k potřebnosti, cílům a rozpočtu projektu. Dále je třeba brát v potaz velikost dané skupiny na vymezeném území (stát/kraj/obec) a reálnost jejího zapojení do projektu uvedenou v žádosti. Kritérium dále hodnotí, zda je velikost cílové skupiny přiměřená ke kapacitním možnostem žadatele nebo jeho partnerů. Hodnotí znalost problémů cílové skupiny a dostatečné zkušenosti s prací s cílovou skupinou, zapojení partnerů do práce s cílovou skupinou. Z projektu by mělo také vyplývat, zda a jaké má žadatel na cílovou skupinu kontakty, zda s touto cílovou skupinou již pracoval a je-li zaručeno, že cílová skupina přijme jeho pozvání k účasti v projektu. K návrhu projektu může být připojeno i stanovisko zástupců cílové skupiny Dále je potřeba zkontrolovat, kde je to relevantní, zda projekt není zaměřen na cílové skupiny osob na území hl. města Prahy ( místo realizace projektu ale může být v Praze). V případě pracovníků je rozhodující místo zaměstnání. Hodnocení je prováděno pomocí třístupňové škály s těmito slovními deskriptory: vychází z potřeb cílové skupiny částečně vychází z potřeb cílové skupiny nevychází z potřeb cílové skupiny Projektová žádost/přílohy: - Popis a způsob zapojení cílové skupiny - Hodnoty indikátorů - Dopady a místa realizace - Příloha Analýza potřeb cílové skupiny Metodika: - Výzva k předkládání žádostí Pokud výběr cílové skupiny není zcela odpovídající potřebám realizace projektu a její velikost není v projektu konkrétně a dostatečně (přesvědčivě) zdůvodněna a opodstatněna a neodpovídá finančním možnostem rozpočtu, musí dojít k adekvátnímu snížení slovního deskriptoru. Ke snížení slovního deskriptoru dojde také, pokud velikost CS neodpovídá kapacitním možnostem žadatele a příp. partnera. Pokud existuje dílčí pochybnost o některém aspektu, je na to nutné v komentáři upozornit (v čem a proč). Pokud hodnotitel zjistí, že žadatel/partner nemá zkušenosti v práci s CS nebo je popis v projektové žádosti nepřesvědčivý, zohlední tuto skutečnost v komentáři, ale nebude za ni v rámci tohoto kritéria snížen slovní deskriptor. Příklad: Pokud velikost cílové skupiny nekoresponduje s kapacitními možnostmi žadatele a případně i partnerů nebo není z projektu Národní vzdělávací fond, Strana 71 / 143

72 B3 Přínos projektu pro cílovou skupinu Dílčí aspekty: - vymezení potřeb a problémů - existence vazby mezi aktivitami projektu a přínosem pro CS - vymezení zlepšení CS díky účasti v projektu - reálnost přínosů zřejmé, jakým způsobem byla cílová skupina vybrána, nebo žadatel a partneři nemají dostatečné zkušenosti s prací s cílovou skupinou, sníží hodnotitel přiměřeným způsobem hodnocení. Jde o velmi důležité kritérium, jež vyjadřuje dopad na cílovou skupinu. Je odlišné od kritéria A1 Zdůvodnění potřebnosti záměru, v rámci kterého by žadatel měl popsat problém na vyšší úrovni abstrakce. V tomto kritériu se věnuje hmatatelným a kvantifikovatelným přínosům. Žadatel by měl prokázat a kvalitativně popsat vazbu mezi potřebností projektu a přínosem pro cílovou skupinu (popř. cílové skupiny). Z žádosti musí být patrné, že žadatel ví (např. z analýzy potřeb, nikoliv pouze obecně ve společnosti šířené informace), jaké potřeby (problémy, bariéry apod.) cílová skupina má, a že daný projekt k řešení těchto problémů skutečně přispívá a jak. Projekt musí konkrétně uvést, jak se zlepší postavení cílové skupiny po ukončení projektu. Hodnotitel posoudí, zda je přínos projektu pro cílovou skupinu skutečný, nikoliv pouze deklarovaný žadatelem. Hodnocení je prováděno pomocí šestistupňové škály s těmito slovními deskriptory: vysoký značný střední malý velice malý žádný Projektová žádost/přílohy: - Vazba aktivit projektu na potřeby cílové skupiny - Stručný obsah projektu - Zdůvodnění potřebnosti projektu - Příloha Analýza potřeb cílové skupiny Ke snížení slovního deskriptoru dojde, pokud očekávaný přínos projektu: - není zdůvodněn a/nebo není reálný, - není přesvědčivě popsán a/nebo jsou uváděny jen proklamativní fráze a/nebo jeho dosažení se nejeví příliš reálné, - je popsán obecně a/nebo jen částečně a/nebo existují pochybnosti o jeho dosažení v deklarované míře, - existují pochybnosti/ výhrady (v čem) k některému aspektu (jakému). Ke snížení slovního deskriptoru dojde také pokud, není zřejmé, zda a skutečně dojde ke změně postavení CS (nejen) na trhu (ale podle charakteru CS i ve společnosti). Příklad: Maximální počet bodů získá projekt, ve kterém je jasně popsána vazba mezi aktivitami projektu a jejich dopady na cílovou skupinu, proč a jakým způsobem problémy cílové skupiny řeší. Projekt musí jasně a konkrétně vyjádřit očekávaný přínos projektu pro cílovou Národní vzdělávací fond, Strana 72 / 143

73 B4 Způsob zapojení cílové skupiny Věcný obsah kritéria: - způsob oslovení CS/získávání a výběr CS do projektu (kontakty na CS) - kritéria výběru CS do projektu - způsob práce s CS skupinu. Pokud není z projektu jasné, jak projekt cílovou skupinu ovlivní nebo je konstatováno obecně, že například navrhované školení povede ke zvýšení zaměstnanosti cílové skupiny, sníží hodnotitel přiměřeným způsobem hodnocení. V rámci tohoto kritéria by mělo být posouzeno, zda způsob práce s cílovou skupinou v průběhu celého projektu odpovídá charakteru této skupiny a je dostatečně intenzivní. Hodnotí se také, jak bude získávána cílová skupina pro účast v projektu, jak budou vybírání (a např. motivováni) účastníci atd. Kritérium hodnotí způsob získávání a výběru zástupců cílových skupin pro účast v projektu, způsob kampaně (např. v médiích) vedoucí k upoutání pozornosti cílové skupiny a způsob práce s cílovou skupinou. Pokud projekt jasně nepopisuje způsob získání a výběru cílové skupiny, například obsahuje pouze obecné konstatování, že budou osloveni nezaměstnaní v daném regionu nebo není z projektu jasné, jakým způsobem bude prováděn výběr účastníků projektu nebo není zajištěna dostatečná informovanost o projektu u cílových skupin, případně návrh není příliš reálný, sníží hodnotitel přiměřeným způsobem hodnocení. Z projektu by mělo také vyplývat, zda a jaké má žadatel na cílovou skupinu kontakty, zda s touto cílovou skupinou již pracoval a je-li zaručeno, že cílová skupina přijme jeho pozvání k účasti v projektu. K návrhu projektu může být připojeno i stanovisko zástupců cílové skupiny. EH zhodnotí, jakým způsobem se cílová skupina podílí na projektu a zda je zvolený způsob zapojení vhodný pro konkrétní cílovou skupinu. Kritérium zhodnotí způsoby oslovení a výběru cílové skupiny (a jejich efekt), jejich motivování k účasti na projektu zajištění naplnění stanoveného počtu zapojených osob, pokud může existovat riziko, že cílová skupina nebude sama aktivně tento typ projektu vyhledávat, pak by mělo být ošetřeno, i jak se bude Projektová žádost/přílohy: - Popis a způsob zapojení cílové skupiny - Publicita - Popis možných rizik ohrožující realizaci projektu - Příloha Analýza potřeb cílové skupiny Ke snížení slovního deskriptoru dojde pokud navržený způsob oslovení/zapojení CS do projektu a/nebo způsob práce s CS: - není adekvátní (formy/techniky oslovení a způsob práce s CS neodpovídá jejímu charakteru) - je popsán nebo je odpovídající, ale není dostatečný (v čem) a/nebo vykazuje nedostatky (např. ve způsobu výběru nebo v práci s CS) či existuje pochybnost, zda bude dostatečně motivující (v čem) Ke snížení slovního deskriptoru dojde také pokud, nejsou jasně a konkrétně stanovena kritéria pro výběr CS do projektu nebo pokud nebude jasné, jak se dozví oprávněná CS o možnosti zapojení se do projektu. V komentáři by mělo být uvedeno, zda má žadatel kontakty na CS, zda je zaručeno, že se CS účastní aktivit projektu nebo zda již s CS pracuje/pracoval. V případě velkého snížení slovního deskriptoru by měl hodnotitel Národní vzdělávací fond, Strana 73 / 143

74 postupovat při velkém počtu předčasně odcházejících osob. Dále také, zda budou účastníci zapojeni přímo, aktivně. Hodnocení je prováděno pomocí pětistupňové škály s těmito slovními deskriptory: intenzivní a adekvátní zapojení dílčí a adekvátní zapojení intenzivní a neadekvátní zapojení dílčí a neadekvátní zapojení nedostatečné zapojení do komentáře uvést doporučení či relevantní návrhy (poté je uvést žadateli také do závěrečného hodnocení). Příklad: Maximální hodnocení obdrží projekt, který jasně popisuje, jakým způsobem budou cílové skupiny kontaktovány a zda tento způsob je reálný. Například není příliš reálné, že si zájemci o rekvalifikaci z řad Romů nebo starší lidé najdou informaci o projektu na internetu. Z projektu musí být zřejmé, jak bude prováděn výběr účastníků cílové skupiny, například podle délky nezaměstnanosti. Projekt musí popsat, jakým způsobem (metodou) se bude s cílovou skupinou pracovat, aby se do projektu zapojila. Způsob propagace nebo náboru musí být adekvátní k cílové skupině. Musí být zajištěna informovanost přiměřeného počtu potenciálních účastníků projektu odpovídajícím způsobem. Národní vzdělávací fond, Strana 74 / 143

75 C C1 Žadatel Kompetence žadatele Dílčí aspekty: - složení a velikost realizačního týmu - velikost úvazků a popis rolí - poměr velikosti týmu (úvazků) k charakteru (rozsahu aktivit a velikosti CS) projektu - přihlédnout k požadovaným jednotkovým (mzdovým/platový m) nákladům Přestože skupina kritérií zaměřená na žadatele má relativně malou váhu, ve skutečnosti tomu tak není, neboť v rámci celého souboru kritérií lze vysledovat určitou závislost mezi kvalitou žadatele a kvalitou celého projektu. Skupina obsahuje 2 kritéria zaměřená na kompetenci žadatele a jeho zkušenosti. Třetí kritérium má specifický charakter. Kompetence žadatele by měla být hodnocena zejména z hlediska složení realizačního týmu a jeho administrativní kapacity. Hodnotitel by měl posoudit, zda žadatel (a členové jeho týmu) jsou zárukou pro naplnění cílů projektu. Jedná se o důležité kritérium z hlediska hodnocení, neboť nekompetentní žadatel se stává rizikovým faktorem úspěšnosti dosažení cílů projektu. Hodnotí se zde konkrétní personální zabezpečení navrhovaného projektu popis realizačního týmu, popis úvazků a pracovních rolí. Velikost týmu musí odpovídat velikosti cílové skupiny obsluhované projektem a rozsahu plánovaných aktivit. Rovněž je třeba posuzovat vazbu na rozpočet projektu. Jsou-li hodnotiteli známy skutečnosti, které by mohly vést k problémům při realizaci projektu, hodnotitel tyto skutečnosti uvede společně se zdrojem, ze kterého čerpá. EH zhodnotí složení a velikost realizačního týmu, administrativní kapacita výše úvazků jednotlivých pozic, finanční náročnost, popis pracovních náplní (tak aby se zabránilo duplicitě činností, nad/podhodnocení personálního složení týmu ) ve vztahu k cíli resp. k plánovaným aktivitám atd. případně uvést konkrétní návrh krácení úvazků. Hodnocení je prováděno pomocí šestistupňové škály s těmito slovními deskriptory: velice dobrá značná střední Zdroje a metodika pro hodnocení Projektová žádost/přílohy: - Realizační tým - Partner projektu - Popis možných rizik ohrožující realizaci projektu - Klíčové aktivity - Rozpočet projektu - Výběrová řízení Hodnocení a komentář Nezaměňovat s kritériem C2! Ke snížení slovního deskriptoru dojde pokud hodnotitel: - navrhuje snížení členů realizačního týmu, kteří nejsou pro realizaci projektu nezbytní (nebo mají duplicitní náplň práce či vzhledem k objemu nákupu služeb, které budou zajištěny dodavatelsky) nebo pokud - navrhuje snížení pracovních úvazků (neboť neodpovídají popisu náplně práce) nebo jsou nadsazené Nebo naopak, pokud se jeví realizační tým poddimenzovaný z hlediska vyšších požadavků na intenzitu práce s cílovou skupinou nebo pokud není z popisu jasné kdo a v jakém rozsahu bude s CS pracovat (podle charakteru CS). V komentáři by mělo být upozorněno, pokud se v náplni práce objevují aktivity, které svým charakterem spadají do nepřímých nákladů a není Národní vzdělávací fond, Strana 75 / 143

76 C2 Zkušenosti žadatele a členů týmu Dílčí aspekty: - zkušenosti s odbornou problematickou, kterou projekt řeší - zkušenosti v práci s cílovou skupinou - zkušenost s řízením, realizací a administrací projektů malá velmi malá zcela nedostatečná Příklad: Není například příliš reálné, aby žadatel s malým projektovým týmem a nízkými úvazky proškolil všechny nezaměstnané ženy v regionu. Pozice asistenta finančního manažera projektu je zbytečná, asistent dle náplně jeho činnosti dubluje práci finančního manažera. Navrhuji zrušení této pozice. Úvazek 1,0 manažera projektu je vzhledem k pracovní náplni nadhodnocený, navrhuji krácení na 0,5 úvazku. Jde o další podstatné kritérium, neboť rovněž souvisí s celkovou rizikovostí projektu. Kritérium by mělo reálně zhodnotit personální složení týmu žadatele s ohledem na již realizované projekty a kontextově zhodnotit význam zapojení externích členů týmu (např. i v podobě partnerství) s ohledem na jejich potřebnost pro realizaci projektu, zkušenosti a předchozí spolupráci. V žádném případě nelze v rámci tohoto kritéria diskriminovat žadatele, kteří sice sami nemají zkušenosti s realizací projektů, ale členové týmu, příp. partneři ano. Při posuzování schopnosti žadatele úspěšně administrovat projekt nás zajímá především: odborná zkušenost (znalost konkrétní řešené problematiky) a zkušenosti s řízením projektů (znalosti projektového řízení, praktické zkušenosti s realizovanými projekty odpovídajícího rozsahu). Není nutné, aby se jednalo pouze o zkušenosti s projekty OP LZZ (potažmo ESF), ale je možné hodnotit zkušenosti s administrací jiných dotačních projektů, projektů soukromých dárců, komerčních projektů apod. Mělo by se tedy hodnotit, zda má žadatel zajištěný odborný tým se zkušenostmi (vlastní pracovníci, partner/ři, externisté, nákup Projektová žádost/přílohy: - Stručná charakteristika organizace a zkušenosti v oblasti zaměření projektu - Realizační tým - Partner projektu - Popis možných rizik ohrožující realizaci projektu - Relevantní přílohy (např. profesní životopisy členů realizačního týmu) tento fakt žadatelem popsán (že budou tyto činnosti hrazeny z nepřímých nákladů). V takovém případě, lze rovněž navrhnout zkrácení pracovního úvazku. Max. slovní deskriptor nelze udělit pokud: - žadatel/partner nebo alespoň členové realizačního týmu nemají předchozí zkušenosti související s předmětem projektu, a to v rovině odborné (věcně zaměřené, v práci s CS ad.) i technické, - uvedené informace o zkušenostech nevyplývají z celkové úrovně kvality projektu (ověřit si předchozí zkušenosti žadatele, např. o podpořených projektech). - pokud žadatel/partner nebo členové realizačního týmu nemají zkušenosti z projektového managementu (realizace, řízení, administrace projektu) Národní vzdělávací fond, Strana 76 / 143

77 obdobného charakteru (ESF i jiných dotačních titulů) - personální složení a zkušenosti členů týmu (i externí zapojení s přehlednutím jejich potřebnosti a zohlednění předchozí spolupráce) služby)? Měly by se také zohlednit již realizované projekty, zkušenosti s řízením projektů, s cílovou skupinou Hodnotitel by měl vycházet z informací, které doložil žadatel v žádosti a přílohách, neměl by domýšlet informace za žadatele, ale současně informace je možné ověřovat! Například je možné vycházet i z informací o již podpořených projektech, které jsou dostupné na webových stánkách: Hodnocení je prováděno pomocí třístupňové škály s těmito slovními deskriptory: vyhovující zcela cílům projektu vyhovující dílčím způsobem cílům projektu nevyhovující cílům projektu U posuzování tohoto kritéria může existovat nebezpečí prolínání s předcházejícím kritériem C1 Kompetence žadatele. Kritérium C1 se zaměřuje na celkovou kompetentnost včetně početního složení týmů atd., zatímco kritérium C2 Zkušenosti žadatele a členů týmu se zaměřuje na minulé zkušenosti. Pokud se některý z těchto aspektů jeví jako rizikový a mohl by ohrozit zdárnou realizaci projektu, měl by být tento rizikový faktor zohledněn také v komentáři kritéria D4. Příklad: Maximální hodnocení obdrží projekt, ze kterého bude patrno, že žadatel, členové týmu nebo partner má zkušenosti s realizací obdobných projektů, případně je z projektu zřejmé, že zkušenosti nemají vazbu na realizovaný projekt nebo projekt dává jasné předpoklady pro úspěšnou realizaci i bez předchozích zkušeností žadatele. Hledisko by nemělo být chápáno jako diskriminační vůči subjektům, které nemají žádné nebo mají menší zkušenosti s obdobnými projekty. Pokud žadatel nebude mít žádné nebo malé zkušenosti a zároveň bude z projektu patrno, že si žadatel s realizací neví příliš rady, sníží hodnotitel přiměřeným způsobem hodnocení. Národní vzdělávací fond, Strana 77 / 143

78 C3 Partneři Dílčí aspekty: - naplnění znaků partnerství (eliminace umělých partnerství) - přínos partnerství pro projekt (příp. přidaná hodnota) - jasné role partnera v projektu - způsob zapojení partnera - partner vs. skrytý dodavatel Toto kritérium má povahu komentovaného kritéria. Cílem hodnocení dle tohoto kritéria je určit, zda se jedná o oprávněné partnerství v OP LZZ, tzn. zda splňuje znaky projektového partnerství vymezené v Příručce pro žadatele (a současně zda splňuje podmínky stanovené příslušnou výzvou, pokud jsou v ní stanoveny), a dále ohodnotit kvalitu projektového partnerství. V případě, že se nejedná o oprávněné partnerství, ale o partnerství, v rámci kterého dochází k obcházení pravidel pro zadávání zakázek v projektech OP LZZ (partner je v roli dodavatele služeb nebo zboží a dojde tak k nehospodárnému a neúčelnému využití přidělených prostředků), hodnotitel v povinném komentáři doporučí výběrové komisi takový projekt vyloučit a uvede pro to jasné zdůvodnění. Naplňování principu partnerství je prioritou EU na všech úrovních, včetně projektové, a to zejména s ohledem na možnost zvolit komplexnější řešení problémů cílových skupin, využít zdrojů a kapacit partnerů včetně jejich dovedností a znalostí o situaci cílových skupin, zvýšit rozsah a dopad projektu a v neposlední řadě zajistit větší udržitelnost podpořených aktivit. Kritérium tedy hodnotí, nakolik je partnerství v daném projektu přínosem pro realizaci jeho aktivit a dosažení stanovených cílů. To bude hodnoceno na základě několika znaků: - Vztah mezi partnery je založen na spolupráci všech partnerů při přípravě a realizaci projektu včetně jeho monitoringu a vyhodnocování. V projektové žádosti by tak mj. měla být zřejmá komunikace mezi partnery o záměru projektu a jeho společném rozpracování. Projektová žádost/přílohy: - Realizační tým - Partner projektu (Způsob zapojení partnerů do realizace projektu a Stručná charakteristika organizace /partnera/ a zkušenosti v oblasti zaměření projektu) - Udržitelnost aktivit projektu po skončení podpory z OP LZZ - Přílohy (např. rozdělení rozpočtu dle nákladů žadatele a partnera/partnerů) Metodika: - Výzva k předkládání žádostí - D1 Příručka pro žadatele (vysvětlení principu partnerství v projektech OP LZZ) Pokud nejsou některé z níže uvedených aspektů v projektu splněny, měl by o nich komentář informovat či na ně upozornit, zejména pokud jde o: - nenaplnění znaků partnerství dle pravidel OP LZZ, - není zjevný přínos partnerství pro projekt, - nejsou jasné role a zapojení partnera (společná příprava projektu, na jakých aktivitách se bude partner podílet, komunikace mezi žadatelem a partnerem, způsob řízení projektu, kvalita projektového partnerství, rozhodovací pravomoci ad.), - podezření na skrytého dodavatele (v čem). Toto podezření je rovněž nutné uvést do komentáře kritéria D4. - Existují rozhodovací mechanismy, které umožní každému z partnerů podílet se na rozhodování o projektu, a to již ve fázi jeho přípravy. Společné rozhodování partnerů (ne jen spolupráce nebo konzultace) odlišuje projektové partnerství od dodavatelsko- Národní vzdělávací fond, Strana 78 / 143

79 odběratelského vztahu. - Účast partnerů je opodstatněná a nezastupitelná - existuje funkční nezastupitelnost partnerů vzhledem k výstupům. V žádosti musí být jasně uvedeno, jakou přidanou hodnotu přináší partner do projektu a proč by projekt byl nerealizovatelný, nebo obtížně realizovatelný, pokud by partner do projektu nebyl zapojen. Nezastupitelnost může být dvojí: a) partner je nezastupitelný, jestliže by jeho neúčastí nebyly dosaženy hodnoty monitorovacích ukazatelů (např. jsou-li partnerem dva podniky, které si nechávají proškolit zaměstnance, jsou oba nezastupitelné vzhledem k výstupům, neboť každý přispívá určitým počtem podpořených osob), b) partner je nezastupitelný, jestliže v rámci projektu plní podstatnou funkci, kterou nemůže vykonávat žádný z ostatních partnerů (vč. příjemce) a která nemůže být opomenuta bez rizika nesplnění cílů a monitorovacích ukazatelů projektu. Vzhledem k tomu, že kritérium je eliminační, hodnotitel zohlední kvalitu a přidanou hodnotu partnerství v rámci hodnotících kritérií C1 a C2. Příklad: Vhodný partner přináší unikátní znalosti a dovednosti žadateli a dává předpoklad úspěšné budoucí spolupráce po skončení projektu OP LZZ. Pokud to umožňuje výzva, partner může být jiné právní formy, velikosti, místa apod. Žadatelé by se neměli uměle snažit pokrýt celé spektrum různých partnerů s cílem zdánlivě naplnit principy OP LZZ. Podobně při stejné kvalitě žádosti vyšší počet partnerů není z principu lepší než nižší počet partnerů (ostatně vyšší počet partnerů zvyšuje nároky na rozpočet a na koordinaci aktivit). Zcela nepřijatelným partnerem je dodavatel standardního zboží a služeb, které je možné koupit běžně na trhu (např. školení běžných IT kursů, ekonomických, marketingových apod. dovedností, účetnictví, audit, právní poradenství, výpočetní Národní vzdělávací fond, Strana 79 / 143

80 technika, kancelářské potřeby a vybavení). Tyto služby by měly být v zájmu nákladové efektivnosti a transparentnosti poptávány na trhu. Zjištění takového typu partnerství by mělo vést k vyloučení projektu pro porušení pravidel o výběru dodavatelů z OP LZZ. Zvláštní pozornost je potřeba věnovat hodnocení kvality a přidané hodnoty partnerství u projektů v oblasti podpory 5.1 Mezinárodní spolupráce, kde je partnerství s alespoň jedním partnerem ze zemí EU povinnou součástí projektu. Mezinárodní partnerství je v těchto projektech klíčovým prvkem odlišujícím tyto projekty od projektů v jiných oblastech podpory, Mezinárodní partner je partnerem bez finančního příspěvku. Jeho role a přidaná hodnota pro projekt musí být jasně popsána a zdůvodněna a musí být naplněny všechny výše uvedené principy partnerství. Pozn. Územní samosprávné celky a organizační složky státu mohou být partnerem ale pouze BEZ FINANČNÍHO PŘÍSPĚVKU 1 Z žádosti není možné vždy jasně určit, zda se jedná opravdu o partnera s finančním příspěvkem. V hodnocení je potřeba na to upozornit, ale nesnižovat za to body. 1 S výjimkou ÚP ČR v prioritní ose 2 a v oblasti podpory 1.1 Národní vzdělávací fond, Strana 80 / 143

81 D D1 Projektové řízení, udržitelnost a rizikovost projektu Volba a popis klíčových aktivit a harmonogram projektu Dílčí aspekty. - adekvátnost aktivit k zaměření projektu - adekvátnost aktivit a fází projektu ve vztahu k potřebám CS - vazba aktivit na cíle - navržený způsob realizace (metody, techniky, formy) - logické propojení klíčových aktivit - reálnost Tato skupina kritérií se snaží postihnout kvalitu projektového řízení v rámci celého projektu s tím, že se hodnotí i předpoklady pro udržitelnost projektu po skončení financování v rámci výzvy. Snaží se zodpovědět otázku, zda když bude projekt financován, bude jeho realizace organizačně zvládnutelná. Klíčovým kritériem je i rizikovost projektu a samotná kvalita managementu rizika. Celková významnost těchto kritérií je značná. Nejdůležitější kritérium v rámci této skupiny je zaměřeno na volbu a popis klíčových aktivit projektu včetně reálného harmonogramu. V rámci této skupiny je třeba posuzovat nejen samotnou adekvátnost klíčových aktivit k náplni projektu, ale i ve vztahu ke společenskému přínosu projektu. Je nutné zhodnotit, zda jsou aktivity pro projekt nezbytné a sledují cíl/cíle projektu. Kritérium hodnotí navržený způsob realizace projektu, resp. zda klíčové aktivity a fáze projektu, jejich plánování a metody realizace jsou odpovídající vzhledem k potřebám cílových skupin a možnostem žadatele a jeho partnerů (realizačního týmu). Zároveň hodnotí, zda lze navrhovanými aktivitami dosáhnout vytčených cílů projektu. Aktivity musí být jasně strukturovány, a musí na sebe logicky navazovat či se vzájemně překrývat také z časového hlediska. Každý projekt je časově omezen, a je nezbytné posoudit, zda doba realizace odpovídá vytčeným cílům a aktivitám, zda jsou jednotlivé aktivity vhodně načasovány, tak aby bylo možné je zrealizovat a dokončit. Zda v závěru projektu počítá harmonogram s vyšší administrativní náročností ukončení projektu apod. Aktivity by měly být vyváženy, tedy realizací všech aktivit by mělo být dosaženo cílů projektu. V seznamu aktivit by neměly žádné podstatné aktivity chybět; stejně tak by zde neměly být zbytečné aktivity bez významného přínosu naplnění cíle projektu. Je třeba Zdroje a metodika pro hodnocení Projektová žádost/přílohy: - Klíčové aktivity - Harmonogram realizace - Zdůvodnění potřebnosti projektu - Charakteristika hlavních cílů projektu - Popis a způsob zapojení cílové skupiny - Popis možných rizik ohrožující realizaci projektu - Hodnoty indikátorů - Příloha Analýza potřebnosti projektu - Příloha Analýza potřeb cílové skupiny Hodnocení a komentář Ke snížení slovního deskriptoru dojde pokud: - klíčové aktivity nejsou logicky provázány, časová dotace aktivit je neodpovídající, - navržený harmonogram vykazuje nedostatky v provázanosti fází, dílčích činností (doprovodných aktivit) a/nebo v provázanosti klíčových aktivit, - jsou identifikovány významné nedostatky v provázanosti a časové dotaci aktivit, - navržený harmonogram neumožní zdárnou plynulou realizaci projektu. Ke snížení dojde také pokud klíčové aktivity: - nejsou navrženy zcela adekvátně cílům projektu a/nebo nejsou konkrétně popsány, nelze dobře posoudit jejich návaznost na položky rozpočtu a výstupy projektu, - z popisu aktivit existuje pochybnost Národní vzdělávací fond, Strana 81 / 143

82 harmonogramu a délky projektu - celospolečenský přínos projektu v kontextu výzvy mít na paměti, že některé aktivity jsou povinné z podstaty projektu OP LZZ, především vykonávání administrativních činností a povinné publicity. Hodnotitel zde posuzuje realizaci projektu v kontextu ostatních částí žádosti (cíle, výsledky a výstupy, rozpočet). V případě doprovodných aktivit je potřeba zhodnotit vazbu na cíl projektu, potřebnost, efektivnost, smysluplnost: např. supervize, teambuilding, tvorba DVD/publikace, vytvoření knihovny, poradenství pro cílovou skupinu, konference Jsou klíčové aktivity skutečně řešením projektu pro cílovou skupinu, nebo se jedná o financování běžných aktivit žadatele? Hodnotitel také hodnotí přiměřenost časové dotace na jednotlivé klíčové aktivity v harmonogramu realizace projektu případně uvede konkrétní krácení časové dotace klíčových aktivit v harmonogramu (to se také musí promítnout i do návrhu krácení rozpočtu). Příklad: u aktivity č. 2 navrhuji krácení o jeden měsíc + zdůvodnění Hodnocení je prováděno pomocí čtyřstupňové škály s těmito slovními deskriptory: zcela adekvátní k náplni projektu adekvátní k náplni projektu částečně nevyhovující náplni projektu nevyhovující náplni projektu Příklad: Maximální hodnocení obdrží projekt, který jasně a konkrétně popisuje plánované aktivity s logickou vazbou na harmonogram a jednotlivá stádia realizace projektu. Způsob plánování a realizace o některých aspektech realizace (v čem), např. v návaznosti na položky rozpočtu, výstupy, cíle, - popis aktivit je obecný, nekonkrétní (v čem), - jsou navrženy částečně nedostatečným způsobem (v čem), a/nebo netransparentně, - klíčové aktivity nebo jejich popis nekoresponduje s náplní projektu. V komentáři by se měla objevit informace o tom, zda jsou všechny popsané aktivity, potřebné, efektivní a smysluplné, příp. doporučit jejich vypuštění a navržení krácení délky projektu. V případě, že hodnotitel zjistí nějaké rizikové faktory (např. krátkou časovou dotaci na některé z klíčových aktivit nebo celý projekt), které by mohly ohrozit zdárnou realizaci projektu, uvede tuto skutečnost do komentáře kritéria D4. Národní vzdělávací fond, Strana 82 / 143

83 musí odpovídat možnostem žadatele a jeho partnerů (již hodnoceným kritériem C1 Kompetence žadatele ). Plánované aktivity musí být relevantní záměru (cílům, výsledků a výstupům) projektu. Z popisu aktivit je zřejmé, že jsou uskutečnitelné, navazují na sebe, nevylučují se navzájem a jsou časově zvládnutelné. Aktivity mohou být logicky uspořádány do jednotlivých stádií nebo etap (hlavně u déle trvajících projektů), pokud je to vhodné. Pokud je popis aktivit příliš obecný, není z něj jasné, co a jak chce žadatel realizovat, například navrhuje školení, ze kterého není patrno, co má být jeho obsahem, jak dlouho má trvat, pro kolik účastníků je určeno, kde se bude konat, jaké materiály účastníci obdrží nebo není realizace příliš reálná (například žadatel plánuje realizovat pět školení ve velmi krátké době bez odpovídajícího technického a lektorského zabezpečení), projekt nepřináší nic nového ani nenavazuje na stávající postupy nebo řešení, sníží hodnotitel přiměřeným způsobem hodnocení. D2 Předpoklady pro udržitelnost projektu po skončení financování OP LZZ Pro hodnocení logiky projektu, tj. zda klíčové aktivity vedou ke splnění cíle a k výstupům projektu, je možné použít metodu tzv. logického rámce. Popis metody naleznete na U investovaných prostředků je vhodné znát, jaké budou další efekty investice, tedy jak bude s výsledky nakládáno po skončení financování OP LZZ. V této části je třeba zhodnotit alespoň předpoklady pro udržitelnost projektu v kontextu celé žádosti projektu ze záměru projektu musí být hodnotiteli zřejmé, zda projekt a jeho výsledky se uplatní v další činnosti žadatele případně jiné organizace či instituce a mají potenciál pokračovat i po skončení financování, či nikoliv. Účelem financování projektů z ESF (OP LZZ) je nastartování smysluplných aktivit s perspektivou jejich pokračování. Může Projektová žádost/přílohy: - Udržitelnost aktivit projektu po skončení podpory z OP LZZ Metodika: -D2 Příručka pro příjemce (popis udržitelnosti) Ke snížení slovního deskriptoru dojde pokud: - není plánováno pokračování a/nebo jak budou aktivity pokračovat, příp. z jakých zdrojů, - aktivity/projekt nemají potenciál pro udržitelnost aktivit/výstupů/ produktů, (do komentáře uvede hodnotitel v čem a proč projekt nebo jeho aktivity nemají potenciál pokračovat), - nejsou uvedeny konkrétní zdroje pro další pokračování Národní vzdělávací fond, Strana 83 / 143

84 Dílčí aspekty: - pokračování činností po skončení projektu (zda a jak) - nastartování smysluplných aktivit s perspektivou jejich pokračování - zdroje financování po skončení projektu - prokázání udržitelnosti se jednat např. o vyškolení pracovníků, kteří budou svoje poznatky dále uplatňovat; posílení kapacit organizace, která bude schopna efektivněji nakládat s lidským kapitálem, nebo jen na určitý vývoj či přenos (a ověření) inovativního řešení atp. Tyto aktivity by v ideálním případě měly svou udržitelnost prokázat generováním finančních zdrojů, resp. měly by být samofinancovatelné. Kritérium hodnotí, zda budou činnosti projektu pokračovat i po ukončení financování z OP LZZ, zda se žadatel zamyslel nad tím, jaké jsou další zdroje financování, zda budou tyto činnosti v budoucnu soběstačné. Obecně by měl projekt usilovat o soběstačnost, neboť OP LZZ poskytuje pouze financování časově omezené. Hodnotitel také hodnotí, jakým způsobem žadatel plánuje šířit výstupy projektu a zda je toto šíření pouze formální, či je efektivní a využitelné i pro ostatní organizace. Hodnocení je prováděno pomocí čtyřstupňové škály s těmito slovními deskriptory: vysoké přiměřené malé žádné Příklad: Maximální hodnocení obdrží projekt, který vhodným způsobem popíše, jakým způsobem bude pokračovat jeho realizace financovaná z jiných zdrojů, pokud je to pro danou aktivitu možné, nebo jeho výsledky jsou opakovatelné. Projekt musí mít jasně definované zdroje financování po ukončení podpory z OP LZZ; musí být zřejmé, že tyto zdroje jsou reálné a dosažitelné pro tento projekt. (finanční/personální/institucionální) - není jasné, jak bude naloženo s investicemi projektu (jak bude sloužit zrekonstruovaná a/nebo zařízená učebna, kdo bude spravovat a/nebo z čeho bude podporován webový portál), - pokud není popsán způsob dalšího využití a šíření výstupů / produktů projektu, - pokud je popis zajištění udržitelnosti jen deklarovaný nebo není reálný. Pokud se jedná o projekt, jehož aktivity a výstupy lze diseminovat nebo mají multiplikační efekt, tj. lze je využít v jiném regionu či organizaci, měl by komentář tyto poznatky obsahovat, současně je lze vyzdvihnout v závěrečném hodnocení. Národní vzdělávací fond, Strana 84 / 143

85 Pokud je z projektu zřejmé, že nemá další zdroje, spoléhá se pouze na prostředky OP LZZ, není u něj předpoklad dalšího pokračování, výsledky jsou úzce zaměřené na žadatele bez možnosti jejich opakování, sníží hodnotitel přiměřeným způsobem hodnocení. D3 Kvalita řízení rizika Dílčí aspekty: - identifikované rizikové faktory (potenciální problémy) - významnost rizik (malá, střední, vysoká) - opatření na snížení/eliminaci rizik - kvalita řízení rizik Stejně tak hodnotitel sníží hodnocení slohového cvičení plného ne zcela reálných a důvěryhodných slibů. Jedná se o relativně významné kritérium zaměřené na zhodnocení kvality managementu rizika, neboť sebelepší projekt, ve kterém nebude na rizika brán zřetel, může skončit fiaskem. V rámci tohoto kritéria by hodnotitel měl posoudit, zda jsou identifikovány klíčové rizikové faktory (potenciální problémy při realizaci a fungování projektu) a jaká je jejich významnost. Dále, zda jsou v rámci projektu popsána opatření na snížení rizika, jaká je jejich nákladnost z hlediska celkové finanční náročnosti projektu atd. Žadatel by měl vzhledem k rozsahu projektu srozumitelně identifikovat/popsat rizika, zhodnotit závažnost a pravděpodobnost výskytu rizika a popsat způsob, jak takovému riziku předcházet, resp. jej eliminovat. Popis by měl odpovídat údajům z projektu (zejména vazba na rozpočet, lidské zdroje a klíčové aktivity s harmonogramem). Hodnocení je prováděno pomocí pětistupňové škály s těmito slovními deskriptory: zvláště vysoká vysoká průměrná špatná velice špatná Projektová žádost/přílohy: - Popis možných rizik ohrožující realizaci projektu Ke snížení slovního deskriptoru dojde pokud: - nejsou identifikována hlavní rizika vztahující se k projektu, včetně uvedení pravděpodobnosti výskytu a míry dopadu, - pokud opatření, jimiž mají být rizika/rizikové faktory eliminovány, řešeny nebo má být rizikům předcházeno, nejsou dostatečná a adekvátní, což by mohlo ohrozit zdárnou realizaci projektu. Pokud hodnotitel při posouzení projektové žádosti identifikuje další rizika a/nebo žadatelem popsaná rizika budou tak závažná a opatření k jejich řešení nedostatečná (obecná, vágní), měl by komentář tyto údaje obsahovat. Současně by měly být zohledněny v závěrečném komentáři. Příklad: Maximální hodnocení obdrží projekt, ze kterého je zřejmé, že žadatel se zamyslel nad skutečností, že projekt bude končit Národní vzdělávací fond, Strana 85 / 143

86 za několik let od podání žádosti a že v této době může dojít (dojde) k výskytu určitých rizikových situací. Žadatel identifikoval všechny vnější a vnitřní faktory rizika a plánuje opatření na řešení výskytu nejpravděpodobnějších a nejzávažnějších faktorů rizika. D4 Rizikovost projektu Dílčí aspekty: - reálná míra rizikovosti projektu neodstraněná vhodným řízením projektu - doporučení /nedoporučení projektu k realizaci - další identifikovaná rizika/ rizikové faktory Pokud je z žádosti zřejmé, že je v této části např. přepsána pasáž z učebnic a příruček o projektovém řízení bez valné vazby k předkládanému projektu, sníží hodnotitel přiměřeným způsobem hodnocení. V rámci předchozího kritéria D3 byla posuzována pouze kvalita řízení rizika. Jelikož kritérium D3 není eliminační, tedy projekt nevyřazuje, ale pouze snižuje počet dosažených bodů, nemělo by se stát, aby vysoce rizikový projekt skutečně podpořen byl. V případě vysoké rizikovost projektu by neměl být financován, neboť pravděpodobnost jeho úspěšné realizace je velmi nízká. V rámci tohoto komentovaného kritéria by měl hodnotitel posoudit, zda projekt je či není rizikový, příp. je vysoce rizikový. Své stanovisko by měl vysvětlit v komentáři s tím, že případně nedoporučuje projekt k realizaci vzhledem k jeho vysoké rizikovosti. Posuzuje se reálná míra rizikovosti, a adekvátnost a relevance zavedených opatření. V případě opomenutí patrného rizika je třeba toto riziko uvést. Zde je důležité si uvědomit, že mohou existovat např. málo rizikové projekty se špatným řízením rizika (takže málo rizikové). Zde se neposuzuje kvalita řízení rizika, ale právě reálná míra rizikovosti neodstraněná vhodným řízením rizika. Proto vždy musí posuzovat toto kritérium ve vazbě na kritérium D3. Rizikovost projektu může vyplývat jak z vnitřních předpokladů žadatele (nedostatečná zkušenost s rozsáhlými projekty, nedostatečná kapacita realizačního týmu nebo partnerů, nekvalitně sestavený rozpočet rizika na straně řešené problematiky Projektová žádost/přílohy: - popis možných rizik ohrožující realizaci projektu - kontext projektové žádosti Komentář by měl obsahovat: - zda a do jaké míry (konkrétně v čem) je/není projekt rizikový, - stanovisko s vysvětlením zda je/ není projekt doporučován k realizaci vzhledem k jeho rizikovosti - další identifikovaná rizika (např. žadatel nepočítá s uskutečněním VŘ, ačkoliv mu tato povinnost vyplývá z rozpočtu nebo diskriminační výběr CS, nedostatečná délka realizace projektu s ohledem na rozsah klíčových aktivit, reálné nenaplnění MI, nesoulad s výzvou, nesoulad s veřejnou podporou, nedodržení znaků partnerství ad.) Národní vzdělávací fond, Strana 86 / 143

87 samé, logistická a komunikační náročnost řízení projektu, fluktuace týmu, schopnost zpracovat výsledky), ale i z vnějších faktorů (špatně zvolená cílová skupina, regionální specifika rizika na straně dodavatelů, ekonomické okolnosti, poptávka, nedostatek cílové skupiny). Rizikovost projektu může souviset i s jinými skutečnostmi, které jsou hodnotiteli známy (v rámci tzv. kontextového hodnocení), a na které může výběrovou komisi upozornit v rámci tohoto eliminačního kritéria. Příklady: Zvolený realizační tým je značně podhodnocen vzhledem ke stanoveným aktivitám. Pokud si žadatel neuvědomuje, jaká rizika mohou v době realizace projektu nastat, vzniká riziko, že realizaci podhodnotil a je ohrožena podstata projektu, jeho kvalita a hodnotné naplnění cílů. Z popisu projektové žádosti nevyplývá zájem cílové skupiny o zapojení do projektu - hrozí zde riziko nezapojení cílové skupiny do projektu (aktivity), nenaplnění indikátorů, žadatel si tohoto rizika není vědom a nemá připraveno žádné opatření. Národní vzdělávací fond, Strana 87 / 143

88 E E1 Rozpočet projektu Přiměřenost rozpočtu projektu jeho obsahové náplni a rozsahu Dílčí aspekty: - obvyklé ceny v místě a čase - přiměřenost rozpočtu s ohledem na realizační tým a výše úvazků - přiměřenost rozpočtu na velikost a charakter cílové skupiny - vazba položek rozpočtu na popis klíčových aktivit V rámci skupiny Rozpočet projektu by měl hodnotitel posoudit, zda je podle jeho názoru rozpočet projektu přiměřený vzhledem k celkovému záměru, zda je přehledný a srozumitelný a zda je věcně správný. Velmi významné kritérium se zaměřuje na celkovou přiměřenost rozpočtu projektu jeho obsahové náplni a rozsahu, tj. dílčím aktivitám a předpokládaným výstupům projektu. Hodnotitel by měl posoudit, zda dosažení předpokládaných cílů není příliš nákladné, či naopak, zda rozpočet není podhodnocen, což by při realizaci mohlo vést k ohrožení kvality celého projektu. Při hodnocení je nezbytné zejména posoudit vztah mezi cílovou skupinou, klíčovými aktivitami a výstupy projektu ve vazbě na jednotlivé rozpočtové položky. Přiměřenost je třeba zkoumat jak u jednotlivých položek projektu, resp. skupin, tak rozpočtu jako celku, aby se nestalo, že se posuzují pouze marginální položky z rozpočtu a závažnější zůstanou stranou pozornosti. Nejsou jednotlivé položky nadsazené (tj. odpovídají cenám v místě obvyklým)? Jsou veškeré uvedené náklady nezbytné pro realizaci projektu apod.? Obvyklou se rozumí cena, která by byla dosažena při prodejích stejného, popřípadě obdobného majetku nebo při poskytování stejné nebo obdobné služby v obvyklém obchodním styku v tuzemsku ke dni ocenění. Pro porovnání položek zařazených do osobních nákladů s obvyklou výší v daném oboru, čase a místě lze využít Informační systém o průměrném výdělku (ISPV), který je dostupný na adrese Pokud vyhlašovatel stanovil v dané výzvě limity mzdových výdajů případně obvyklé ceny pro nákup zboží a služeb, porovnávají se položky v rozpočtu s těmito limity. Mělo by se posoudit zdůvodnění jednotlivých položek v rozpočtu vzhledem ke klíčovým aktivitám, zda nákup PC, mobilů, techniky apod. koresponduje s velikostí realizačního týmu, potřebou cílové Zdroje a metodika pro hodnocení Projektová žádost/přílohy: - Rozpočet projektu - Klíčové aktivity - (Další informace) - Přílohy projektu (např. Zdůvodnění položek rozpočtu, Podrobný rozpočet projektu s komentářem apod.) Metodika: - Výzva k předkládání žádostí (specifikace % limitů pro kapitoly rozpočtu) - Přílohy výzvy k předkládání žádostí (Obvyklé mzdy / platy v OP LZZ a Obvyklé ceny zařízení a vybavení v OP LZZ) - D5 Metodika způsobilých výdajů - Materiály ze specifického školení hodnotitelů Hodnocení a komentář Ke snížení slovního deskriptoru dojde, pokud: - rozpočet je nadhodnocen/ podhodnocen o více než 10 %, - nejsou dodrženy doporučené limity na mzdy/platy, služby, zboží a zároveň nejsou tyto jednotky adekvátně zdůvodněny (proč došlo k jejich navýšení) - položky nákladů nejsou nezbytné a efektivní nebo není zdůvodněna jejich potřebnost (zjevná nadbytečnost) - položky rozpočtu nemají vazbu na některou z klíčových aktivit - dochází ke krácení osobních nákladů, kdy jsou identifikovány nadhodnocené úvazky nebo nadbytečné (duplicitní) pozice v realizačním týmu - dochází krácení rozpočtu ve vazbě na doporučené krácení délky projektu (měsíční náklady) V případě krácení rozpočtu by měl komentář obsahovat konkrétní položky, včetně vyčíslení krácení a zdůvodnění krácení (příp. navržení jednotkové ceny po zkrácení). Dále je vhodné uvést celkovou částku Národní vzdělávací fond, Strana 88 / 143

89 - nezbytnost, potřebnost, efektivnost nákladů skupiny, aktivitami atd. Je výše rozpočtu přiměřená vzhledem k výstupům projektu? Komentář by měl obsahovat návrh krácení veškerých položek, které jsou duplicitní, nad stanovené limity, neodůvodněné, spadají do nepřímých nákladů + zdůvodnění tohoto krácení. Doporučujeme použít vzorovou tabulku 2 krácení (nebo alespoň postupovat obdobným způsobem při vyčíslování krácení) a zkopírovat tyto informace i do Závěrečného hodnocení H. Hodnocení je prováděno pomocí čtyřstupňové škály s těmito slovními deskriptory: rozpočet je zcela přiměřený rozpočet je mírně nadhodnocen či podhodnocen rozpočet je velmi nadhodnocen či podhodnocen zcela nepřiměřený Hodnotitel by měl svoje hodnocení komentovat, minimálně z toho hlediska, zda rozpočet shledává nadhodnocený či podhodnocený a proč. Pokud hodnotitel shledá rozpočet nadhodnocen, musí navrhnout zkrácení rozpočtu, včetně přesné kvantifikace a uvést, kterých položek rozpočtu se týká včetně uvedení zdroje, ze kterého hodnotitel vychází pro stanovení krácených sazeb např. přehled služeb nějaké firmy, tabulky platů atd. Dále by měl popsat dopady takového zkrácení zejména ve vztahu k cíli projektu a klíčovým aktivitám. Pokud hodnotitel shledá rozpočet podhodnocený, kromě zdůvodnění by měl tento aspekt současně promítnout i do eliminačního kritéria D4 Rizikovost. navrženého krácení rozpočtu. Pokud se v rozpočtu objevují nezpůsobilé výdaje, hodnotitel na to v komentáři upozorní, včetně navržení odstranění těchto položek z rozpočtu, ale slovní deskriptor nesnižuje (sníží jej u dalšího kritéria E2). 2 Vzorovou tabulku naleznete na konci kapitoly 10 této příručky Národní vzdělávací fond, Strana 89 / 143

90 E2 Přehlednost, srozumitelnost a věcná správnost rozpočtu Dílčí aspekty: - přehlednost a jasnost členění (do kapitol, položek, skupin) - srozumitelnost - věcná správnost rozpočtu (zařazení nákladů do kapitol, přímých/nepřímých nákladů a křížového financování) - způsobilost výdajů I finanční řízení projektu je nezbytným předpokladem pro úspěšnou realizaci. V tomto kritériu by se mělo posoudit, zda je rozpočet přehledný a srozumitelný a zda je věcně správný zda jsou dílčí položky rozpočtu zařazeny do správných kategorií atd. Přehledností lze rozumět jasnost členění nákladů do položek a skupin a míru jejich konkretizace. Srozumitelností lze rozumět, že kromě přehlednosti lze obsahově pochopit a souhlasit s jednotlivými položkami a jejich seskupováním do logických celků. Věcnou správností je míněn zejména soulad se způsobilými výdaji, které je možné z projektu hradit. Hodnotí se zdůvodnění položek v rozpočtu, jasná vazba na aktivity (srozumitelnost), rozklíčování jednotlivých položek. Kontrolují se jednotlivé limity výzvy (Příloha výzvy - zařízení a vybavení, osobní náklady realizačního týmu) a limitů rozpočtových kapitol (Metodika způsobilých výdajů), správné zařazení jednotlivých položek položky související s cílovou skupinou (cestovné, stravné, ubytování,...)jsou zařazeny v kapitole přímá podpora, v rozpočtu jen přímé náklady, nepřímé náklady vymezovat (př. poplatky za vedení účtu, agenda účetní, personální, publicita, kancelářské potřeby, cestovné, stravné, ubytování realizačního týmu atd.) viz Metodika způsobilých výdajů. Hodnocení je prováděno pomocí šestistupňové škály s těmito slovními deskriptory: vysoká značná střední malá velice malá zcela nedostatečná Metodika: - D5 Metodika způsobilých výdajů - Výzva k předkládání žádostí (konkretizace limitů pro nákup služeb, pro nepřímé náklady a pro křížové financování) Ke snížení slovního deskriptoru dojde pokud: - se v rozpočtu projektu nacházejí nezpůsobilé výdaje (nelze hradit z projektu) - rozpočet projektu není věcně správný: např. nesprávné zařazení nákladů do kapitol rozpočtu (položek), včetně nesprávně uvedených nepřímých nákladů v přímých nákladech nebo nesprávně zařazených nákladů na křížové financování a další - rozpočet není srozumitelný (obsahuje agregované, seskupené položky nebo není zřejmý účel výdaje položky) - nejsou dodrženy % limity kapitol (stanovené ve výzvě). Komentář by měl obsahovat zhodnocení: věcné správnosti, srozumitelnosti a přehlednosti rozpočtu. Dílčí aspekty tohoto věcného kritéria hodnocení nezaměňovat s předmětem aspektů, které mají být hodnoceny v rámci kritéria E1. Národní vzdělávací fond, Strana 90 / 143

91 F F1 Výsledky a výstupy Šíře a adekvátnost výběru monitorovacích indikátorů Dílčí aspekty: - vhodnost monitorovacích indikátorů - počet monitorovacích indikátorů (věcná náplň) - vazba MI ke zvolené cílové skupině, aktivitám, Příklad: Maximální hodnocení obdrží projekt, kde jsou položky detailně popsány, jsou srozumitelné a uvedeny ve správných (relevantních) kategoriích rozpočtu. Klíčová skupina kritérií v podstatě hodnotí reálnost postupů při naplňování výsledků/výstupů. Hodnotitel se v rámci této skupiny zaměřuje na hodnocení výběru monitorovacích indikátorů, věrohodnost jejich hodnot a celkovou přiměřenost vzhledem k požadovaným prostředkům. V rámci tohoto kritéria by měl hodnotitel zvážit, zda žadatel zvolil vhodné monitorovací indikátory, a to jak z hlediska jejich počtu, tak věcné náplně. Není cílem, aby žadatelé zvolili všechny indikátory, když se pro jejich projekt nehodí. Hodnotí se tedy jejich přiměřenost vzhledem k cílům a náplni projektu. Toto kritérium posuzuje kvalitu navržených monitorovacích indikátorů. Při hodnocení monitorovacích indikátorů je třeba brát v úvahu jejich vazbu na jiné části žádosti (klíčové aktivity, rozpočet, cílovou skupinu atd.) a jejich výběr by toto měl odrážet. Hodnotí se, zda žadatel zvolil vhodný indikátor, zda jsou hodnoty indikátorů správně nastaveny, zda je popis zvolených MI v souladu s Metodikou monitorovacích indikátorů. Zhodnocení probíhá z hlediska počtu i věcné náplně. Toto kritérium posuzuje kvalitu navržených monitorovacích indikátorů. Při hodnocení monitorovacích indikátorů je třeba brát v úvahu jejich vazbu na jiné části žádosti (klíčové aktivity, rozpočet, cílovou skupinu atd.) a jejich výběr by toto měl odrážet. Hodnocení je prováděno pomocí čtyřstupňové škály s těmito slovními deskriptory: zcela přiměřená zčásti přiměřená Zdroje a metodika pro hodnocení Projektová žádost/přílohy: - Hodnoty indikátorů Metodika: - Výzva k předkládání žádostí - D8 Metodika monitorovacích indikátorů Hodnocení a komentář Ke snížení slovního deskriptoru dojde pokud: - chybí některý z MI předepsaných výzvou (pokud je pro projekt relevantní). Současně je potřeba tento nedostatek uvést do komentáře. - nebyl žadatelem vybrán dostatečný počet MI ve vazbě na zaměření projektu (aktivity, cílové skupiny, výstupy), - některý z MI je nastaven nejednoznačně, z popisu projektu nelze posoudit, jaké výstupy/ výsledky mají být sledovány (produkty, jejich počet). Národní vzdělávací fond, Strana 91 / 143

92 F2 výstupům ad. ve vazbě na náplň projektu (nebo výzvu) Reálnost dosažení plánovaných hodnot monitorovacích indikátorů Dílčí aspekty: - věrohodnost kvantitativních hodnot MI - jasnost, konkrétnost a reálnost výstupů a výsledků (kvantifikace hodnot CS, výstupů) - reálnost MI (jejich dosažení) zčásti nepřiměřená nepřiměřená Za zcela přiměřené lze považovat vhodně zvolené indikátory v dostatečném počtu. Toto kritérium lze považovat za nejvýznamnější v rámci této skupiny. Hodnotitel by měl posoudit, zda kvantitativní hodnoty zvolených monitorovacích ukazatelů jsou věrohodné. Vhodně zvolené monitorovací ukazatele nejsou zárukou, že předpokládané hodnoty budou dosaženy a právě víra v reálnost plánovaných kvantitativních hodnot je obsahem tohoto kritéria. Mělo by být jednoznačně popsáno, jak žadatel k MI dospěl (není rozpor mezi textem žádosti a hodnotami indikátorů + jejich popisem v kapitole č. 14 žádosti, příp. v přílohách. Posuzuje se také, zda lze indikátory (jejich hodnoty) jednoznačně přiřadit k výstupům jednotlivých aktivit a reálnost a věrohodnost plánovaných hodnot. Hodnocení je prováděno pomocí čtyřstupňové škály s těmito slovními deskriptory: vysoká střední nízká velmi nízká Příklad: Maximální hodnocení obdrží projekt, ze kterého je jasné, co je výsledkem a výstupem projektu. Může to být například počet osob, které získají zaměstnání, kvalifikaci, pracovní zkušenost nebo kvalitnější vzdělávání, ale i konkrétní popis publikace (počet výtisků, přibližný rozsah apod.), vytvoření webové stránky nebo databáze s obecně využitelnými údaji, které lze aplikovat v jiném místě nebo u jiné cílové skupiny (například kurikula vytvořená Projektová žádost/přílohy: - Hodnoty indikátorů - Popis a způsob zapojení cílové skupiny - (Další informace) Metodika: - D8 Metodika monitorovacích indikátorů Ke snížení slovního deskriptoru dojde, pokud hodnota navržených indikátorů: - není přiměřená navrženým aktivitám, cílové skupině a reálnost jejich naplnění je malá, - je přiměřená navrženým aktivitám a cílové skupině, jeví se jako reálná, avšak byly shledány chyby v jejich počtu (součtu), - reálnost dosažení plánovaných hodnot není přesvědčivá nebo dosahuje nedostatky (v komentáři uvést v čem) a je nutná úprava hodnot MI, - hodnoty jsou nastaveny nejednoznačně, nepřiměřeně, nevhodně a/nebo nereálně nebo z popisu projektu nelze hodnotu stanovit - hodnoty se jeví jako nízké či nepřiměřené (zejména pokud jde o počet úspěšných absolventů ve vazbě na počet zapojených osob) - nejsou metodicky nastaveny správně - není jasné (srozumitelné), jak žadatel k hodnotám dospěl - nejsou uvedeny reálně (velmi nadhodnocené, nerealistické). Národní vzdělávací fond, Strana 92 / 143

93 v rámci projektu budou k dispozici i jiným vzdělávacím střediskům, která je mohou využít při rekvalifikaci stejné nebo obdobné cílové skupiny). Pokud jsou výstupy nebo výsledky formulovány nejasně a nekonkrétně, není zřejmé, co je vlastně výstupem nebo výstupy neodpovídají plně nebo částečně navrhovaným aktivitám, sníží hodnotitel přiměřeným způsobem hodnocení. Při posuzování monitorovacího indikátoru Počet vytvořených/inovativních produktů je třeba zvážit naplnění principu inovativnosti, kdy vytvořený produkt má být jeho výstupem. Inovativní produkt v tomto smyslu pak představuje nástroj, kterým je poskytována podpora cílovým skupinám a současně představuje nové, netradiční přístupy a řešení využitelná v projektech zaměřených zejména na osoby ohrožené sociálním vyloučením či na osoby ze společnosti a trhu práce již vyloučené, např. vzdělávací program, kurz, metodika, e-learningový produkt, webový portál, rekvalifikační modul, integrační postupy, vzdělávací pomůcka, nástroj politik zaměstnanosti, sociálního začleňování a RLZ apod. V případě, že deklarovaný počet vytvořených/inovativních produktů dle externího hodnotitele neodpovídá tomuto chápání produktů, sníží odpovídajícím způsobem hodnocení tohoto kritéria. Navíc je možné na tuto skutečnost upozornit výběrovou komisi, která může podmínit případnou podporu žadateli úpravou monitorovacích indikátorů. Pro více informací o principu inovativnosti doporučujeme pracovat také s publikací D1 Příručka pro žadatele a D8 Metodika monitorovacích indikátorů, kde je princip inovativnosti a jeho návaznost na indikátory podrobněji popsán. Národní vzdělávací fond, Strana 93 / 143

94 F3 G Přiměřenost výsledků vzhledem k požadovaným prostředkům Dílčí aspekty: - přiměřenost poměru cena/výkon (výsledků a výstupů ve vazbě na požadované prostředky) Rozpor s horizontálními tématy Přestože toto kritérium se částečně překrývá s kritériem E1, je vhodné, aby jej hodnotitel posoudil v kontextu této skupiny kritérií. V rámci (tohoto) kritéria F3 Přiměřenost výsledků vzhledem k požadovaným prostředkům hodnotitel posuzuje, zda výsledky projektu jsou přiměřené vzhledem k požadovaným prostředkům, tzn., zda poměr cena/výkon je přiměřený. Kritérium E1 Přiměřenost rozpočtu projektu jeho obsahové náplni a rozsahu je komplexnější, dívá se na rozpočet jako na celek. Kritérium má úmyslně relativně menší váhu (i když je bezesporu velmi významné) právě z toho důvodu, že zde existuje těsná vazba mezi kritériem E1. Při hodnocení je vhodné mít na paměti, že prostředky OP LZZ pochází z národních zdrojů i zdrojů evropských zemí, které musely být vytvořeny daňovými poplatníky, kteří očekávají hospodárné nakládání s jejich zdroji. Hodnocení je prováděno pomocí čtyřstupňové škály s těmito slovními deskriptory: zcela přiměřená mírně nadhodnocená či podhodnocená velmi nadhodnocená či podhodnocená zcela nepřiměřená Kritérium vztahující se k horizontálním tématům reaguje na politiky EU, tzn., že všechny projekty jej musí respektovat. Tato oblast žádostí se v programovém období vyznačovala vysokou mírou zbytečné tvořivosti. Žadatelé ani hodnotitelé v podstatě nevěděli, jak s horizontálními tématy pracovat. Jedná se o kritérium, ve kterém hodnotitel svým komentářem posuzuje, zda projekt není v rozporu s horizontálními tématy. V rámci OP LZZ může být podpořen pouze projekt, jenž je z hlediska horizontálních témat pozitivní či neutrální. Nelze Projektová žádost/přílohy: - Hodnoty indikátorů - Rozpočet projektu Projektová žádost/přílohy: - Horizontální témata - Popis a způsob zapojení cílové skupiny Metodika: Komentář by měl obsahovat výrok k celkovým požadovaným nákladům projektu ve vazbě na plánované výstupy, výsledky a cíle projektu zda a do jaké míry jsou/nejsou přiměřené (odpovídající), efektivně vynaložené. Komentář by mě obsahovat zhodnocení: - zda jsou v projektu aktivity či opatření na podporu rovných příležitostí, - a jakým způsobem jsou/budou prostřednictvím navrhovaných aktivit rovné příležitosti naplňovány (složení realizačního týmu, kritéria pro výběr cílové skupiny, Národní vzdělávací fond, Strana 94 / 143

95 podpořit projekty, které by na horizontální témata měly negativní vliv. Jedná se o kritérium eliminační. Pokud je projekt v rozporu s těmito principy a cíli, je třeba, aby hodnotitel popsal tuto skutečnost do hodnotící tabulky. Na základě toho pak výběrová komise může posoudit případné vyřazení projektu. Za účelem kvalifikovaného rozhodnutí je pro hodnotitele nezbytné pracovat také s publikací Horizontální témata (Příloha D3 OM OP LZZ), kde jsou podrobně popsány principy a cíle obou horizontálních témat (rovných příležitostí a udržitelného rozvoje), a také dotazník s nápovědou, podle které žadatel postupuje při vyplňování žádosti o finanční podporu. - D3 Horizontální témata doprovodná opatření ad.), - vztah projektu k udržitelnému rozvoji, zejména jeho pilířům, - zda projekt obsahuje návrhy vedoucí k omezování vlivů na životní prostředí (podle charakteru projektu), - zda a jak projekt vede k povědomí o udržitelném rozvoji, k uvážlivému využívání přírodních zdrojů (podle charakteru projektu), - přínos projektu k posilování sociálního (tradic, hodnot) a ekonomického (hospodárného) pilíře udržitelnosti. - Komentář by měl obsahovat dopad na horizontální témata (pozitivní, neutrální, negativní v čem). V případě, že dojde k podezření na negativní dopad projektu na některé z uvedených horizontálních kritérií, je nutné tento fakt zohlednit rovněž v kritériu D4 a v závěrečném komentáři. H Slovní komentář hodnotitele k celému projektu. Zde by měl vyjádřit své stanovisko k libovolnému z kritérií, které považuje za důležité a rovněž zhodnotit celkový dojem z projektu a příp. vyzdvihnout body k diskusi pro výběrovou komisi. Rovněž by se zde měly objevit skutečnosti, které nebylo možné postihnout v rámci hodnocení projektu, ale hodnotitel je považuje za významné. Závěrečné hodnocení však musí korespondovat s dílčími hodnoceními jednotlivých kritérií. V komentáři musí hodnotitel shromáždit veškeré zásadní Projektová žádost/přílohy: - celá projektová žádost - všechny relevantní přílohy Závěrečný komentář by měl být: - přehledný a strukturovaný - měl by postihovat zásadní a podstatné informace (pro žadatele/výběrovou komisi), zejména pokud jde o zdůvodnění potřebnosti projektu, nastavení cílů projektu, cílová skupina, Národní vzdělávací fond, Strana 95 / 143

96 Závěrečné zhodnocení - celkové zhodnocení projektu (o jak vysoce kvalitní projekt se jedná) - silné stránky - slabé stránky - upozornění na rizika, problémy - vyhodnocení specifických kritérií výzvy - vyjádření k rozpočtu - doporučení pro žadatele připomínky a označit silné a slabé stránky projektu. Komentář musí rovněž obsahovat veškeré další informace, které by dle názoru hodnotitele měla výběrová komise mít předtím, než učiní závěrečné rozhodnutí o výběru projektu. Tato část bude předána žadateli, je proto vhodné ji psát jasným a srozumitelným jazykem, a zároveň uvést relevantní informace pro výběrovou komisi a administrátory. Smyslem je podat doporučení pro další hodnocení projektu, které nemohly být uvedeny v jiných částech žádosti, jakož i shrnout silné a slabé stránky, které by v dílčích komentářích mohly být přehlédnuty. Na základě komentářů v této části by si žadatel měl udělat představu o možnostech zdokonalení žádosti, aniž by mu to ovšem dávalo jasný návod, který když dodrží, žádost garantovaně uspěje. Věnujte prosím této části obzvláštní péči a čas. Pokyny a doporučení: Nekopírovat text z předchozích kritérií bez jakékoliv úpravy v případě použití citace dílčích kritérií v rozumné míře je nutné upravit celkový formát závěrečného komentáře Neuvádět odkazy na předchozí kritéria. Nepopisovat či neopisovat obsah projektu. Závěrečné hodnocení je jedinou zprávou, kterou má žadatel k dispozici v případě neschválení projektu (a na základě které často opětovně předkládá přepracovaný projekt) tzn. uvést a konkretizovat všechny zásadní připomínky k projektu. Závěrečné hodnocení musí být pro žadatele srozumitelné a bez chyb! Jednoznačně popsat kladné a záporné stránky projektu (tak, aby bylo žadateli hodnocení projektu jasné i bez hodnocení dílčích kritérií). Současně rozdělení do silných a slabých stránek slouží ke kontrole (více a zásadní silné stránky doporučeno k podpoře a naopak). kompetence a kapacita žadatele, klíčové aktivity, monitorovací ukazatele, projektový cyklus, - měl by obsahovat souhrnné zhodnocení silných stránek projektu, - slabých stránek projektu, - vyjádření k rozpočtu projektu (přiměřenost, návrh krácení identifikace položky a vyčíslení), - příp. návrhy na vyřazení projektových aktivit, krácení délky projektu, - obsahovat rizika/rizikové faktory, které by mohly ovlivnit zdárnou realizaci projektu, - další informace, pokud nebyly promítnuty do jednotlivých hodnotících kritérií (a jsou důležité, např. k výběrovým řízením, publicitě, veřejné podpoře) - souhrnné vyhodnocení specifických kritérií - příp. doporučení pro žadatele - závěrečné DOPORUČENÍ či NEDOPORUČENÍ projektu k financování. Národní vzdělávací fond, Strana 96 / 143

97 Uvést zásadní/významné skutečnosti, na základě kterých je projekt hodnotitelem doporučen či nedoporučen k podpoře a získal příslušný počet bodů za obecná kritéria. Pokud bude projekt navržen k vyřazení, ale přesto považuje hodnotitel projektový záměr za dobrý, je možné navrhnout projekt k dopracování uvést konkrétní body, které budou zpětnou vazbou pro žadatele pro případné přepracování projektu do další výzvy. Informace jsou důležité také pro výběrovou komisi, (ve výstupní sestavě M30 pro VK pouze jednotlivá závěrečná hodnocení). V případě navrhovaného krácení rozpočtu prosíme zkopírovat informace z kritéria E1! Vyvarovat se formulací žadatel upřesní, žadatel rozklíčuje atd. Během výběrového procesu nemůžeme chtít po žadateli žádné upřesňující informace. Buď hodnotitel navrhne zcela konkrétní úpravu, kterou se pak bude zabývat výběrová komise, nebo nechá daný bod bez připomínek. CH Specifická kritéria - podle výzvy Konkrétní definice, popis a způsob hodnocení jsou stanoveny vyhlašovatelem výzvy (ZS/ŘO). Hodnotitel s ním bude před samotným procesem hodnocení seznámen. Tato kritéria reflektují specifickou potřebu vyplývající z dané výzvy a umožňují vyhlašovateli přesně nasměrovat podpořené projekty cílům výzvy. Tato kritéria mohou například umožnit zohlednit cíle politik a strategií. Mezi specifickými požadavky by se neměla objevit kritéria zvýhodňující skupiny předkladatelů (např. důraz na předchozí akreditaci kurzu u MŠMT, členství v zájmovém sdružení podnikatelů apod.). Kritérium specifické požadavky může souviset se specifickými přílohami, které jsou na jeho základě požadovány ve výzvě, a jsou proto také předmětem hodnocení tohoto kritéria. Projektová žádost/přílohy: - celá projektová žádost - všechny relevantní přílohy Podle požadavků výzvy. Národní vzdělávací fond, Strana 97 / 143

98 Kromě návrhů na zefektivnění současného systému hodnocení projektů navrhujeme další 2 dílčí opatření ke snížení počtu hodnocených projektů či omezení jejich plného hodnocení. 1. Snížit počet zbytečně přehodnocovaných projektů lze v případě, kdy je u obou hodnotitelů odlišný závěrečný výrok a doporučení k financování projektu (ano x ne) a zároveň rozdíl mezi oběma hodnoceními je 10, a neprovádí se 3. Hodnocení. Výsledné bodové hodnocení je pak průměrem obou zpracovaných hodnocení. 2. V případě, kdy jsou využívány jednotkové náklady a paušální částky v rozpočtu, usnadňuje se hodnocení v kriteriích E1 a F3 následujícím způsobem: Jednotkové ceny E1 u pevně stanovených jednotek poskytovatelem (závazně ve výzvě) nehodnotí se přiměřenost rozpočtu, pokud rozpočet obsahuje pouze jednotkové ceny E1 u stanovených žadatelem v dílčích částech rozpočtu musí být hodnocena kalkulace jednotky i rozpočet jako celek F3 přiměřenost výsledků vzhledem k požadovaným prostředkům nehodnotí se, pouze komentuje. Paušální částky Hodnotí se vazba na F2 reálnost kvantitativních hodnot MI V případě paušálních částek v nepřímých nákladech nehodnotí se, pouze se kontroluje dodržení limitu V případě paušálních částek, zahrnutých do přímých nákladů (např. ve vazbě na poskytnutou službu pro X osob) se paušální částka nehodnotí (hodnoceno v kalkulaci jednotkové ceny), pouze probíhá formální kontrola výpočtu. Podrobně se jednotkovým nákladům a paušálním platbám věnuje část projektu 1b v 7. kapitole zprávy za tuto část zakázky. Národní vzdělávací fond, Strana 98 / 143

99 7. Návrhy na nastavení hodnotícího výběrového procesu pro programové období Proč je změna nutná a žádoucí Řídící orgán OP LZZ v současném programovém období vyvinul úsilí o úpravu hodnotícího a výběrového procesu tak, aby probíhal rychleji, efektivněji a věcně správně. Některé změny v nastavení hodnotícího a výběrového procesu přinesly zlepšení (podrobnější popisy v příručce pro hodnotitele, zpětná vazba hodnotitelům), jiné naopak proces částečně zkomplikovaly (přidělování projektů losováním, bez možnosti náhledu na obsah projektu a původně též bez identifikace partnerů projektu). Další rozvoj systému nutně neznamená jeho další detailní precizaci, ale provedení takových změn, případně i zjednodušení, které odstraní nefungující či špatně fungující části hodnotícího a výběrového procesu a nahradí je lépe fungujícími. Jako základní problém celého systému se jeví těžkopádná a finančně náročná práce při hodnocení věcné kvality projektů. Jádrem problému je přetrvávající rozdílné subjektivní hodnocení jednotlivými hodnotiteli (výběr rozdílných deskriptorů u jednotlivých kritérií, hlavně těch komplexních, nedůsledné posuzování smyslu a rizik proveditelnosti projektu), které zvyšuje nároky na třetí hodnocení mnoha grantových projektů a ještě dalších (4-5) hodnocení u individuálních projektů. Mnohdy ani další nezávislá hodnocení nezvyšují kvalitu posouzení, pouze dávají prostor pro výběr podobných hodnocení (to neznamená, že správnějších). Proto se naše návrhy zaměřují na zefektivnění procesu věcného hodnocení, úpravu hodnotících kritérií a deskriptorů, na zkvalitnění popisů v příručce pro hodnocení, na systematickou práci s hodnotiteli, včetně zpětné vazby, ale také na změnu procesu hodnocení u systémových projektů a v neposlední řadě na zjednodušení a snížení počtu projektů, které musí procházet hodnocením externích hodnotitelů. Naše návrhy vycházejí z analýzy vzorku dosavadních hodnocení OP LZZ, metodických podkladů a příruček Řídícího orgánu, zpětné vazby ze školení hodnotitelů a z příkladů hodnotícího a výběrového procesu v jiných ESF operačních programech v ČR i v dalších zemích EU. 7.2 Způsoby snížení počtu projektů hodnocených externími hodnotiteli Snížení počtu projektů hodnocených externími hodnotiteli je možné ovlivnit na dvou úrovních: na vstupu, a to prostřednictvím dosažení snížení absolutního počtu předkládaných žádostí anebo systémově, a to změnou ve způsobu implementace jednotlivých typů projektů. Snížení počtu hodnocených projektů na základě absolutního snížení počtu předkládaných žádostí lze dosáhnout lepším zacílením výzev. Jednak prostřednictvím stanovením omezení z hlediska předkladatelů, cílových skupin, typů aktivit apod., aby se předešlo situaci, kdy předkladatelé, kteří neuspěli ve výzvě v jedné oblasti podpory, nemohli lehce svoji žádost překlopit do jiné oblasti podpory. Takové žádosti většinou vykazují nízkou kvalitu a jejich nové hodnocení často vede k jejich nedoporučení (při bližším studiu hodnotitel pozná, že se jedná o upravenou žádost, která nemá skutečné zacílení na danou oblast podpory). A dále prostřednictvím stanovení minimálních standardů, vycházejících ze specifických požadavků v dané oblasti podpory (např. z hlediska jednotlivých nástrojů intervence), které musí předkládaný projekt splňovat. Zároveň je možno ve výzvě stanovit objem finančních prostředků na konkrétní oblasti aktivit. De facto se jedná o vyhlášení několika částečných výzev v jedné výzvě a projekty, které se přihlásí Národní vzdělávací fond, Strana 99 / 143

100 k různým oblastem aktivit, jsou pak porovnávány separátně. Při převisu /nedostatku projektů v jednotlivých oblastech aktivit pak o případné realokaci či nevyčerpání prostředků v rámci výzvy rozhoduje výběrová komise. Vyšší účinnosti v dosažení snížení počtu hodnocených projektů lze dosáhnout změnou ve způsobu implementace jednotlivých typů projektů. Projekty lze rozdělit do několika skupin (viz Strategická evaluace OP LZZ, DHV, NVF, 2012), u kterých je možno nastavit různý způsob implementace a také různý způsob hodnocení a výběru: Základní členění projektů je možné z hlediska jejich obsahového zaměření, na: - systémové (jejich předmětem je změna v systému určité veřejné služby, tj. ve struktuře a funkcích systému, bez přímého bezprostředního dopadu na konkrétní příslušníky cílové skupiny) - aplikační (jejich předmětem jsou výstupy, tj. produkty a služby, z nichž mají přímý užitek konkrétní příslušníci cílové skupiny) Aplikační projekty lze dále členit na: - mainstreamové (vzájemně podobné projekty s přednastavenými cíli, s nízkou specifičností problému i řešení, stejnorodými aktivitami a výstupy a s předem kalkulovanými náklady, jedná se více méně o projekty typové, šablonovité). - specificky zaměřené (projekty vzájemně málo podobné, reagující na specifika problému, potřeb cílových skupin i samotného žadatele, s rozmanitými aktivitami a výstupy, s jedinečně formulovanými cíli a hodnotami výstupů a výsledků). Specificky zaměřené projekty se dále člení na: - inovativní (vysoce inovativní až unikátní, přesto s potenciálem šíření jejich výstupů). - ostatní (projekty, které jsou jedinečné pro realizovaný subjekt, avšak využívající již existující postupy). Kromě hlediska obsahového zaměření je možné projekty členit ještě z hlediska územního dopadu na projekty národní, regionální a lokální (komunitní). Protože projekty výše uvedených typů jsou různě komplexní, specifické, rozsáhlé a náročné na řízení, nároky na komplexnost popisu projektové žádosti by měly být různé a rovněž by mělo i při jejich hodnocení být postupováno adekvátně nárokům, které jsou na tyto různé typy projektů kladeny. 1. Aplikační projekty ii) Z hlediska hodnocení se jako nejjednodušší a s nejmenšími nároky na odborné posouzení jeví projekty mainstreamové, zpravidla lokální či regionální dimenze. Nabízí se zde možnost projekty popsat formou šablony pro konkrétní cílovou skupinu, případně i region (tento typ používá pro základní a střední školy OP VK), a z této šablony bude žadatel vybírat z nabídky možných aktivit. Aktivity budou oceněny jednotkovým způsobem. Z takto nadefinovaného popisu projektu je zřejmé, že bude posuzována pouze oprávněnost žadatele, formální Národní vzdělávací fond, Strana 100 / 143

101 správnost vyplnění šablony a dodržení limitů a nebude kladen nárok na odborné posuzování externími hodnotiteli z hlediska potřebnosti a smyslu (Žadatel osloví přesně identifikovanou cílovou skupinu, vykoná aktivity a dostane proplacené jednotkové náklady za odvedené služby pro příslušníky cílové skupiny). Většina současných vzdělávacích projektů neinovativního typu by mohla být zařazena do takového schématu a to bez odborného posuzování obsahu. Jako alternativa mainstreamových grantových projektů se nabízí vytvoření mainstreamových národních/regionálních programů podpory (tak, jak bylo umožněno v rámci RIPů krajských poboček Úřadu práce ČR), kde by subjekty veřejné správy poptávaly služby pro konkrétní cílové skupiny, a současní předkladatelé grantových projektů by soutěžili o veřejné zakázky v poptávaných službách. Za výběr dodavatele by byl zodpovědný realizátor národního/regionálního programu podpory. Takový postup je běžný v několika zemích EU (např. Velká Británie - Anglie, Rakousko). Vzhledem k problémům s veřejnými zakázkami v ČR a jejich vnímání neziskovými organizacemi i podnikatelskými subjekty však musí být dobře připraveno prostředí pro masivnější realizaci takového přístupu, včetně vysvětlující kampaně pro neziskový sektor. Takový přístup by kromě snížení počtu hodnocených projektů měl za následek i zjednodušení implementace projektů kontrola dodávek služeb místo podrobného monitorování mnoha drobných projektů. iii) U specificky zaměřených ostatních aplikačních projektů bude i nadále trvat potřeba odborného posuzování, obdobného současnému způsobu hodnocení, se zřetelem na potřebnost projektu pro danou cílovou skupinu, ekonomickou výhodnost a kvalifikované řízení projektu. iv) U specificky zaměřených inovativních projektů by pak měl být navíc posuzován smysl, možný dopad a diseminační potenciál inovace dalším odborníkem z dané odborné oblasti (a to bez vazby na konkrétní projektový cyklus). 2. Systémové projekty Zásadně se nesníží počet hodnotitelských posuzování systémových projektů, spíše by se měl změnit způsob jejich generování/plánování, způsob jejich posuzování i pečlivý výběr hodnotitelů. Dále je třeba věnovat pozornost kriteriálnímu rámci, který by měl být pro systémové projekty odlišný od projektů aplikačních. Daleko větší důraz by měl být kladen na kritéria posuzující potřebnost projektu a jeho možný dopad, méně pak již popisu cílové skupiny, protože projekty systémového charakteru by měly odpovídat na jasně definované problémy cílové skupiny, případně celé populace. Tyto analýzy by měly přecházet generování projektu a bez jejich existence by neměl projekt ani vzniknout. Vzhledem k tomu, že systémové projekty zpracovávají předem známé subjekty veřejné správy, měla by být spíše věnována pozornost jejich včasné přípravě a rovněž subjektu, který bude stvrzovat výběr projektového záměru k realizaci. Toto však je pojednáno v následující kapitole. Národní vzdělávací fond, Strana 101 / 143

102 7.3 Návrh na úpravu hodnotícího a výběrového procesu Pro příští programovací období navrhujeme přesunout zodpovědnost za hodnocení a výběr projektů na odborné subjekty (Zprostředkující subjekty) a z pozice Řídícího orgánu provádět pouze metodickou, poradenskou, schvalovací a kontrolní činnost. Administrace hodnocení, výběru i realizace jednotlivých projektů není ve většině starých členských zemí zodpovědností Řídícího orgánu a bylo by vhodné se vrátit i k praxi, která v ČR byla využívána již ve Phare. Realizaci programů Phare dle schváleného plánu, včetně výběru projektů, prováděly realizační agentury a metodickou a kontrolní roli prováděla Evropská komise prostřednictvím Delegace EK v Praze. V okamžiku vstupu do EU Česká republika prostřednictvím Řídících orgánů převzala zodpovědnost za realizaci programů, a proto by role Řídícího orgánu měla být vrácena do pozice řídící a kontrolní, nikoliv výkonné. Subjekty, zodpovědné za realizaci politiky ve své oblasti (Zprostředkující subjekty a zároveň Příjemci podpory) by ESF využívaly k realizaci této politiky prostřednictvím vlastních programů podpory (s možným využitím realizačních agentur). Programy podpory by byly realizovány formou aplikačních projektů, a to buď grantovými projekty či veřejnými zakázkami. V roli Příjemce by pak tyto subjekty vystupovaly u systémových projektů. Pro jednotlivé, výše uvedené typy projektů by měl být hodnotící a výběrový proces specifikován dle atributů jednotlivých typů. Proces hodnocení a výběru pro jednotlivé typy projektů 1. Aplikační mainstreamové projekty i) Základem pro zjednodušené hodnocení mainstreamových projektů je vytvoření typových šablon pro jednotlivé typy služeb pro cílové skupiny programy podpory. ii) Pro hodnocení oprávněnosti požadavku na podporu by byl vytvořen jednoduchý check-list, ve kterém by pracovníci ZS/realizační agentury zkontrolovali oprávněnost a formální správnost požadavku (nehodnotila by se potřebnost ta by byla zaručena formou šablony, ani žadatelova schopnost projektového řízení). iii) Pro určitý časový úsek a danou finanční alokaci by byla výzva k předkládání žádostí otevřena a hodnocena průběžně, až do vyčerpání alokace stejně jako je tomu např. u národních programů podpory v oblasti bydlení, zateplování apod. Neprobíhala by soutěž v uzavřených výzvách a projekty by nebyly vybírány výběrovou komisí, jejich schvalování by probíhalo regionálním či národním subjektem pouze na základě posouzení oprávněnosti žádosti až do vyčerpání alokace či identifikace potřebnosti změny v nastavení programu podpory. Před vyhlášením programu podpory by alokace bylo vhodné nastavit regionálně na základě provedené analýzy potřeb. 2. Aplikační projekty specifické, ostatní i inovativní i) Základem pro věcné hodnocení specifických projektů by měla být projektová žádost, obdobného tvaru jako je využívána v rámci OP LZZ. Základním rámcem pro posouzení kvality projektů zůstane soubor upravených věcných kritérií (inovovaná příručka pro hodnotitele). ii) Výzvy pro specifické projekty asi bude vhodné zachovat spíše v časově uzavřené formě a výběr projektů by měl, stejně jako v současné době, probíhat formou soutěže kvality projektových Národní vzdělávací fond, Strana 102 / 143

103 žádostí, protože by se mělo jednat o jedinečné návrhy ať již z hlediska využití žadatelem či s potenciálem šíření nového produktu, postupu. iii) Věcné hodnocení budou i nadále provádět externí hodnotitelé, zásadně by se však měly změnit požadavky na jejich odbornost a zkušenost a práce s nimi. iv) Výběr hodnotitelů pro konkrétní oblasti podpory by měl být prováděn na základě jejich prokázané odbornosti v dané oblasti, nikoliv na jejich zájmu o hodnocení dané oblasti. Registrace do databáze by měla proběhnout na základě předložené zkrácené formy životopisu (zaměřené hlavně na prokázanou odbornost a zkušenost v poptávané oblasti). Počet vybraných oblastí by neměl být omezován administrativně, ale prokázanou či neprokázanou odborností a zkušeností. Jako doplňkové kritérium by mělo být využito ratingu hodnotitelů, kteří již hodnotili v OP LZZ. Neměla by však být uzavřena možnost vstupu nových expertů do databáze, ani by stávající hodnotitelé neměli být upřednostňováni před kvalifikovanými novými hodnotiteli. v) Hodnotitelé by měli i nadále procházet školením, na začátku programu včetně seznámení s obsahem a implementační strukturou nového programu, v dalších fázích pak s novinkami v procesu hodnocení a poskytováním prostoru pro diskusi a zpětnou vazbu (viz návrh na toto programovací období kapitola 6). vi) Pokud budou jako první krok přijaty změny v hodnocení, navrhované v bodě 1 kapitoly 6 (zavedení arbitrážního 3. hodnocení pro grantové projekty zde míněno pro specifické projekty), bylo by vhodné zavést funkci zpravodaje, který by na výběrové komisi prezentoval sjednocené výsledky hodnocení projektů a jeho zdůvodnění. Zpravodajem by byl jeden z hodnotitelů, v případě použití arbitra by tímto zpravodajem byl arbitr. Prozatím tuto funkci zastávají pracovníci poskytovatele, kteří však o hodnocení mají pouze částečné či hodnotitelem zprostředkované informace a navíc většinou mají pouze teoretické odborné znalosti v dané oblasti. vii) Zvážit, zda funkci zpravodajů využívat pro všechny hodnocené projekty či jen pro ty, u kterých byla shoda nalezena až po konzultaci dvou hodnotitelů či po využití arbitra. viii) U projektů velkého rozsahu by bylo vhodné i nadále využívat institutu hodnotících komisí s modifikací fungování, která byla navržena již v kapitole 6 (vytvoření odborného posudku všemi členy hodnotící komise a vypracování jediného společného hodnocení). ix) V procesu práce výběrové komise není nutné nastavovat změny, vyjma možného využití zpravodajů projektů. x) U inovačních projektů, které mají ambici vytvořit inovaci využitelnou i v jiných organizacích či při poskytování obdobných služeb, je navrhováno zavést povinné odborné posouzení inovací, vzešlých z projektu na konci jeho realizační fáze. Na základě posouzení kvality a obecnější využitelnosti inovace (produktu) by příjemci mohli využít opce, která by byla vázána na diseminaci výsledků projektu po skončení realizační fáze projektu. V případě, kdy inovační potenciál výsledků projektu by nebyl dostatečný, diseminační fáze projektu by se nerealizovala a opčně přidělené prostředky by byly využity pro jiné projekty. Národní vzdělávací fond, Strana 103 / 143

104 3. Systémové projekty i) Proces přípravy, hodnocení a výběru systémových projektů k realizaci by měl doznat zásadní změnu. Pokud se ČR rozhodne i v dalším programovém období využívat prostředky ESF na systémové projekty (není tomu tak ve všech členských zemích EU), pak by měla být věnována patřičná pozornost již samotné přípravě projektových záměrů. ii) Projektové záměry v závazné struktuře (zjednodušené oproti úplné projektové žádosti) by byly předkládány žadatelem subjektem veřejné správy k formálnímu posouzení a posouzení přijatelnosti Řídícímu orgánu. Projektový záměr by musel být podložen kvalifikovanou analýzou potřebnosti takového projektu a obsahovat rámcový rozpočet projektu. iii) Na základě kladného posouzení přijatelnosti by byly Řídícím orgánem vyžádány alespoň 3 odborné posudky projektového záměru (ve vazbě na analýzu potřebnosti). iv) Výběr záměru systémového projektu k dalšímu rozpracování by probíhal Monitorovacím výborem operačního programu a to na základě odborných posudků. Členové Monitorovacího výboru by obdrželi popis projektového záměru i odborné posudky v předstihu a s upozorněním, že budou na zasedání projekty diskutovat a schvalovat k realizaci. Jako zpravodaj projektu by na Monitorovací výbor mohl být přizván žadatel i odborní posuzovatelé. Tím by bylo dosaženo partnerského posouzení zásadních projektů a to v souladu s principy fungování strukturálních fondů EU a realizace systémových projektů by průběžně napomáhala zkvalitnění veřejné politiky v oblasti zaměstnanosti a sociální integrace. v) V případě, kdy pro danou oblast politiky existuje kolektivní orgán na národní úrovni (např. Rada vlády pro národnostní menšiny nebo Vládní výbor pro zdravotně postižené, Rada vlády pro konkurenceschopnost a informační společnost), bude tento projektový záměr před předložením Monitorovacímu výboru projednán a doporučen tímto tělesem, které potvrdí, že projektový záměr je v souladu s národní strategií a politikou v dané oblasti. V takovém případě pak Monitorovací výbor projektový záměr pouze bere na vědomí. vi) Na základě rozhodnutí Monitorovacího výboru by byl projektový záměr rozpracován do podoby projektové žádosti, která by pak byla posuzována z hlediska projektového cyklu a realizovatelnosti projektu. Zde je na zvážení, zda využít odborné posuzovatele opětovně, či zda v této fázi by posouzení bylo prováděno pracovníky Řídícího orgánu. Přikláníme se k názoru, že odborní posuzovatelé by měli přinejmenším posoudit konzistentnost projektové žádosti se schváleným projektovým záměrem. vii) Projektová žádost i kriteriální rámec pro systémové projekty by musely zaznamenat určité změny. Kritéria současného hodnotícího rámce skupiny A a B by se posunula do fáze hodnocení projektového záměru. Ve druhé fázi již by byla kontrolována pouze konzistentnost projektové žádosti se schváleným záměrem a další kritéria by se soustředila na realizovatelnost/rizikovost projektu. Stejně tak informace o cílové skupině a její velikosti by již neměla být posuzována ve druhé fázi, to by bylo opět zpracováno již v posouzení projektového záměru a jeho vazby na analýzu potřeb cílové skupiny. viii) K realizaci by byl projekt uvolněn na základě rozhodnutí Řídícího orgánu po uzavření posouzení konzistentnosti projektové žádosti se schváleným projektovým záměrem a naplněním pravidel kvalitně zpracovaného projektového cyklu v projektové žádosti. Národní vzdělávací fond, Strana 104 / 143

105 ix) Informace o zahájení/důvodech nezahájení systémového projektu by byla předkládána Monitorovacímu výboru, stejně tak by na základě průběžné evaluace projektu mohl být projekt zastaven v případě nekorektního vývoje projektu (zastavení prací, odchýlení se od původního záměru bez dostatečného podložení a schválení, atd.). Pro všechny navrhované změny bude nutné přizpůsobit softwarovou podporu (modifikace projektových žádostí na šablony, projektové záměry, hodnotitelské rozhraní přizpůsobit kriteriálnímu rámci jednotlivých typů projektů a připravit uživatelsky přátelské formuláře žádostí i hodnotících tabulek včetně grafické úpravy a možnosti formátování textu). 7.4 Návrhy na změny ve způsobu věcného hodnocení Obecně by se mělo hodnocení projektů posunout od posuzování kvality popisu projektového cyklu k hodnocení obsahové kvality nabízených výstupů a výsledků projektu a reálnosti jejich dosažení. Ze zkušeností ze současného programového období je jasné, že hodnocením projdou úspěšně profesionálně zpracované žádosti o financování a to mnohdy bez ohledu na přidanou hodnotu navrhovaného projektu. Základní východiska Při zpracování návrhů úprav hodnotících kritérií pro období jsme vycházeli ze tří hlavních zdrojů: a) analýzy rizik hodnotících kritérií OP LZZ b) obsahové analýzy hodnotících kritérií OP LZZ c) analýzy vzorku hodnocení 500 projektů OP LZZ Tyto zdroje byly dále doplněny o výstupy z řízených rozhovorů s věcnými hodnotiteli OP LZZ a o výstupy z dotazníkového šetření mezi hodnotiteli OP LZZ (realizováno na podzim 2011) a výstupy ze zpětnovazebních dotazníků ze školení vybraného vzorku hodnotitelů (realizovaných v dubnu a květnu 2012). Hlavní nedostatky v nastavení systému věcného hodnocení v OP LZZ Z výše uvedených analýz vyplynulo, že při posuzování většiny hodnotících kritérií nelze postupovat na základě objektivních ukazatelů, ale je uplatňováno převažující subjektivní hodnocení. Důvodem je především nejednoznačné až nejasné vymezení hodnotících kritérií, kdy předmět hodnocení není jasně ohraničen a dochází k přesahům, popř. i duplicitám s jinými hodnotícími kritérii, a to buď v rámci stejné skupiny hodnotících kritérií, nebo i napříč různými skupinami hodnotících kritérií. Negativní roli hraje rovněž široké zaměření obsahu některých hodnotících kritérií, kdy v rámci jednoho hodnotícího výroku je třeba postihnout více aspektů projektu, které mohou vykazovat různou kvalitativní úroveň a které navíc spolu ne vždy úzce souvisejí. Závažný nedostatek pak představuje i systém slovních deskriptorů, který není vázán na doprovodnou metodiku vymezující kritéria pro udělování jednotlivých slovních deskriptorů, resp. tato metodika Národní vzdělávací fond, Strana 105 / 143

106 není zpracována. U některých kritérií nejsou ani nastaveny požadavky pro udělení maximálního hodnocení. Premisa, kdy důvod pro udělení konkrétního slovního deskriptoru je obsažen už v jeho formulaci, se v praxi ukázal jako disfunkční. A to z již výše uvedených důvodů nejednoznačných formulací slovních deskriptorů nebo jejich nesouladu s předmětem hodnocení kritéria. Do hodnocení se tak vnáší prvek intuitivního a posléze i značně subjektivního uchopení hodnocení. Celkově lze shrnout, že ze stávající metodiky hodnotících kritérií není zcela jasné, co se má hodnotit, ani jak se má hodnotit. Za problematické lze také označit rozložení procentuálních vah průřezových témat ve věcném hodnocení. Na hodnocení věcné podstaty a přínosu projektu a jeho vazby na naplňování cílů oblasti podpory připadá jen cca 25 %. Naopak zhruba 65 % je přiřazeno oblasti zajištění realizace projektu, kde je navíc kladen důraz na hodnocení formálního a technického zpracování projektů. Zbylých 10 % pokrývá hodnocení hospodárnosti a efektivnosti projektu. V praxi tak dochází k nežádoucímu stavu, kdy jsou metodikou zvýhodňovány projektové žádosti připravené zkušenými žadateli, kteří sice umí projekt napsat, ale jeho reálný přínos bývá malý, resp. stávající metodika je nastavena tak, že pokud je projekt kvalitně řemeslně zpracován, ale jeho přínosy jsou velmi malé, pak hodnotitel postupující v souladu s metodikou nemá prakticky jinou možnost, než takový projekt doporučit k podpoře. Jak vyplynulo z dotazníkového šetření i z řízených rozhovorů, je tento stav negativně vnímán věcnými hodnotiteli, kteří se snaží projekty bez obsahu nebo psané na oko znevýhodnit jinak, většinou prostřednictvím umělého přehodnocování projektu (zejm. v nepovinně komentovaných kritériích je prostor pro umělou manipulaci s výsledným bodovým hodnocením projektu; využíváno je také složených kritérií, kdy je kladen negativní akcent na vybraný aspekt kritéria). Tento stav je rovněž nežádoucí, protože dochází k deformaci celého systému metodiky hodnocení. Do verze 1.3 Příručky pro hodnotitele byl včleněn nástroj tzv. kontextového hodnocení, jehož smyslem je posun od mechanického hodnocení dle nastaveného kriteriálního rámce ke skutečně expertnímu posouzení projektové žádosti. Hodnotitel má do svého posudku vnést vlastní knowhow, odborné znalosti a zkušenosti s praxe, znalosti regionálních specifik apod. V Příručce pro hodnotitele však není již jasně uvedeno, jak procesně toto kontextové hodnocení zakomponovat do vlastního hodnocení jednotlivých kritérií, jakou mu přikládat váhu, tzn., do jaké míry může kontextové hodnocení ovlivnit výběr slovního deskriptoru apod., a dále do jaké míry může hodnocení kontextu ovlivnit výsledné hodnocení projektu jako celku. Aplikaci tzv. kontextového hodnocení v praxi zatím nelze hodnotit, resp. neexistují relevantní data. K dispozici je pouze zpětná vazba ze školení hodnotitelů (duben - květen 2012), na kterých bylo tzv. kontextové hodnocení zařazeno jako jedno z probíraných témat. Z reakcí hodnotitelů vyplývá problém s nejednoznačným uchopením tzv. kontextového hodnocení jako celku a lze očekávat rozdílné způsoby jeho aplikace v praxi. Úroveň zpracování tzv. kontextového hodnocení přitom bude mít vliv na rating hodnotitele. Bez uplatnění tzv. kontextového hodnocení by hodnotitel neměl dosáhnout na nejlepší hodnocení v rámci subkritéria 1. Hodnocení projektu v rámci ratingové známky vztažené ke kvalitě hodnocení. S tím souvisí riziko uplatňování vlastního know-how za každou cenu a zaměňování tzv. kontextového hodnocení za nepodložené hodnotící soudy, resp. za prosté domýšlení si. Národní vzdělávací fond, Strana 106 / 143

107 Tabulka 12: Zhodnocení stávajících hodnotících kritérií OP LZZ a návrhy na realizaci změn v období Skupina kritérií A Smysl a cíle projektu Anotace významu této skupiny kritérií z Příručky pro hodnotitele: Skupina Smysl a cíle projektu patří mezi jednu z nejdůležitějších oblastí pro hodnocení projektu. V rámci této skupiny kritérií by si měl hodnotitel odpovědět na otázky typu: Co projekt přinese? Proč by měl být spolufinancován ze zdrojů ESF? Jak naplňuje cíle pomoci? A1 Zdůvodnění potřebnosti projektu Váha kritéria Předmět hodnocení Zjištěné nedostatky Návrh řešení 8 % Jedná se o komplexní kritérium, které zahrnuje několik rovin: 1) potřebnost projektu 2) přínosy projektu 3) inovativnost projektu Kritérium zahrnuje 3 rozdílné aspekty, které je nutné hodnotit naráz. Kritérium bylo prvotně nastaveno na posouzení zdůvodnění potřebnosti projektu a zmíněn byl i aspekt inovativnosti. V rámci revizí Příručky pro hodnotitele byl přidán aspekt přínosů projektu, který do té doby v metodice chyběl. Prostým zasazením komponenty přínosů projektu do stávajícího rámce kritéria A1 došlo k deformaci posuzování kritéria jako celku, a to i ve vztahu k nastavené škále slovních deskriptorů, které jsou nastaveny ve vztahu k potřebnosti, resp. zdůvodnění potřebnosti. Celkově není jasné, na co klást při hodnocení kritéria důraz a jakým způsobem zohledňovat zapojení všech komponent kritéria. Problém je i nastavení slovních deskriptorů, které odkazují na přesvědčivost zdůvodnění potřebnosti (tzn. na kvalitu popisu zdůvodnění potřebnosti), a nikoli na potřebnost jako takovou. Navrhujeme kritérium zúžit na posuzování přínosů projektu. Tento aspekt může zohledňovat i míru inovativnosti projektu (inovativnost však není chápána jako samostatná komponenta). Určující pro posouzení přínosů projektu by měl být popis stávající situace v projektem řešené oblasti a popis, čeho chce projekt dosáhnout. Povinnou přílohou projektové žádosti by měla být vstupní analýza, u které by měly být nastaveny základní parametry pro její zpracování (zpracování vzorové struktury vstupní analýzy však nedoporučujeme). Zhodnocení přínosů projektu představuje klíčové kritérium, proto doporučujeme kritériu přiřadit nejvyšší % váhu. Národní vzdělávací fond, Strana 107 / 143

108 A2 Vazba na cíle výzvy (oblasti podpory OP LZZ) Váha kritéria Předmět hodnocení Zjištěné nedostatky Návrh řešení 4 % Kritérium hodnotí míru těsnosti projektu ve vztahu k výzvě, popř. dané oblasti podpory. Kritérium slouží jako pojistka pro projekty, které jsou hraniční z hlediska přijatelnosti, a vyhlašovatel výzvy nebyl v rámci hodnocení přijatelnosti schopen posoudit, zda projekt tato kritéria splňuje či ne. V metodice není vůbec popsáno, jak při posuzování míry těsnosti postupovat, na základě jakých atributů těsnost určit (shoda cílů projektu s cíli výzvy?, míra shody klíčových aktivit s aktivitami vymezenými ve výzvě?, vazba na specifické cíle výzvy?, reflexe specifik výzvy?). Jako problematické se jeví i využití kritéria jako pojistky pro posouzení projektů, které jsou z hlediska přijatelnosti na hraně. Pouze z textu Příručky pro hodnotitele není jasné, na základě čeho by měl hodnotitel vynést rozhodující soud. V praxi pak v mnoha sporných případech hodnotitel samostatně nedokáže rozhodnout, zda projekt je či není v souladu s výzvou ani po podrobném přečtení projektové žádosti a kontextovém posouzení projektu, a problematický projekt konzultuje s vyhlašovatelem výzvy. Národní vzdělávací fond, Strana 108 / 143 Navrhujeme opustit původní koncept kombinovaného kritéria a posuzování míry těsnosti vazby primárně ve vztahu ke splnění kritérií přijatelnosti. Doporučujeme kritérium hodnotit z pohledu potřebnosti projektu v kontextu celkové strategie zaměření výzvy, popř. oblasti podpory. Kritéria A1 a A2 by měla být hodnocena kontextově. U projektu, který slibuje jen velmi malý přínos, nelze očekávat vysokou potřebnost a těsnou vazbu na strategii zaměření výzvy a naopak. A3 Zhodnocení cílů projektu Váha kritéria Předmět hodnocení Zjištěné nedostatky Návrh řešení 8 % Kritérium hodnotí jednak kvalitu vymezení cílů projektu. Hodnotí se, zda odpovídají vymezeným potřebám a problémům (vazba na kritérium A1), zda jsou realistické (vazba na kritérium D1 a F2), zda jsou v souladu s definovanými aktivitami (vazba na kritérium D1). Hlavní problém při posuzování kritéria je založen již v problematickém zvládnutí nastavení cílů projektu ze strany žadatele. Ve většině projektů jsou cíle metodicky nesprávně nastaveny (např. místo cílů jsou uvedeny aktivity, cíle nejsou konkrétní ani měřitelné apod.). Pokud nejsou cíle jasně definovány, je problematické vyhodnocení kritéria tak, jak požaduje metodika. Dalším problémem je metodické vymezení kritéria. Posuzování probíhá především kontextově, ve vazbě na jiná kritéria, tzn. že předmět hodnocení je z jiného pohledu obsažen i v jiných kritériích a zde se posouzení duplikuje. Vyhodnocení kritéria je nesnadné rovněž z hlediska přiřazování slovních deskriptorů, které nepostihují všechny reálné varianty (nepočítá se s kombinací, kdy některé z cílů nejsou relevantní a jiné ano, resp. některé z cílů nejsou jasně vymezené a jiné ano). Na základě uvedených problémů při posuzování kritéria navrhujeme hodnocení cílů projektu v rámci samostatného kritéria vypustit. Navrhujeme zařadit kritérium zaměřené na vnitřní logiku či konzistentnost projektu, které by bylo nazíráno šířeji než jen skrze cíle projektu. Vnitřní logiku projektu navrhujeme posuzovat po linii: záměr a cíle projektu - obsah klíčových aktivit - výstupy klíčových aktivit - výstupy a výsledky projektu (tzn. monitorovací indikátory).

109 Skupina kritérií B Cílová skupina Anotace významu této skupiny kritérií z Příručky pro hodnotitele: Skupina kritérií Cílová skupina obsahuje čtyři kritéria a hodnotitel by se měl zaměřit na tyto otázky: Je cílová skupina jasně vymezená? Odpovídá zvolená skupina realitě a vychází z analýzy? Je projekt pro zvolenou cílovou skupinu přínosný? Je práce s cílovou skupinou (její zapojení) adekvátní jejímu charakteru? B1 Jasné vymezení cílové skupiny Váha kritéria Předmět hodnocení Zjištěné nedostatky Návrh řešení 3 % Kritérium hodnotí dopad projektu na cílové skupiny na území vymezeném ve výzvě. Kritérium dále hodnotí kvalitu popisu cílové skupiny. Kritérium současně hodnotí, zda jsou vymezeny problémy cílové skupiny a zda je projekt bude řešit. Předmět kritéria je nejasně ohraničen. Cílová skupina se hodnotí jak z hlediska její oprávněnosti, ale vztažené pouze k území dopadu projektu. V rámci kritéria je tedy řešen jeden z aspektů přijatelnosti projektu. Obdobně jako v kritériu A2 zde jde o pojistku pro vyhlašovatele výzvy. Primárně bylo těžiště kritéria nastaveno na hodnocení kvality vymezení cílové skupiny. Z textu Příručky pro hodnotitele však není zcela jasné, na základě jakých kritérií hodnocení provést. V rámci revizí Příručky pro hodnotitele bylo posouzení vymezení cílové skupiny rozšířeno o další rozměr, a to o zhodnocení vymezení problémů cílové skupiny a rovněž, zda projekt bude tyto vymezené problémy cílové skupiny řešit. Tím však dochází k duplicitě s kritériem B3. Naprosto matoucí je znění ilustrativního příkladu, který do kritéria vnáší posuzování způsobu identifikace cílové skupiny, přiměřenost velikosti cílové skupiny vzhledem ke kapacitním možnostem žadatele a zkušenosti žadatele s prací s cílovou skupinou, tj. odkazuje na kritéria B2, B3, B4 a C2. Nastavení slovních deskriptorů je předmětně vztaženo pouze k aspektu, jak jasně je vymezena cílová skupina. Celkově není z popisu jasné, co přesně je třeba v kritériu hodnotit, které nedostatky zohlednit v přidělení příslušného slovního deskriptoru a na které pouze upozornit v komentáři. Navrhujeme opustit původní koncept kombinovaného kritéria a posouzení oprávněnosti cílové skupiny z hlediska území dopadu rozhodnout v rámci hodnocení splnění kritérií přijatelnosti. Předmět kritéria navrhujeme zúžit na posouzení vymezení cílové skupiny (kvantitativní a kvalitativní vymezení cílové skupiny, včetně identifikace problémů cílové skupiny). Národní vzdělávací fond, Strana 109 / 143

110 B2 Přiměřenost cílové skupiny Váha kritéria Předmět hodnocení Zjištěné nedostatky Návrh řešení 4,5 % Kritérium hodnotí několik ne zcela souvisejících aspektů týkající se cílové skupiny. Hodnotí se přiměřenost cílové skupiny z hlediska její velikosti, sociální struktury i potřeb. Dále se hodnotí přiměřenost cílové skupiny z hlediska její velikosti na daném území a reálnost jejího zapojení do projektu. Kritérium hodnotí přiměřenost velikosti cílové skupiny vzhledem ke kapacitním možnostem žadatele. Dále hodnotí znalost problémů cílové skupiny a dostatečné zkušenosti s prací s cílovou skupinou, a zda z projektu vyplývá zájem cílové skupiny o účast v projektu. Hodnotící kritérium je nastaveno značně nesrozumitelně, zahrnuje několik spolu nesouvisejících aspektů. Dílčí části předmětu kritéria jsou obsaženy a hodnoceny v jiných hodnotících kritériích (znalost / vymezení problémů cílové skupiny - kritérium B1, přiměřenost velikosti cílové skupiny - kritérium F2, reálnost zapojení cílové skupiny do projektu - kritérium B4, přiměřenost cílové skupiny vzhledem ke kapacitním možnostem žadatele - kritérium C1, zkušenosti s prací s cílovou skupinou - kritérium C2, B1 a B4). Ve formulaci ilustrativního příkladu dochází k rozporu s textem ilustrativního příkladu u kritéria B1 ve způsobu posuzování zkušeností žadatele s prací s cílovou skupinou: Kritérium B1: Skutečnost, že žadatel s touto cílovou skupinou ještě nepracoval byvšak neměla být sama o sobě důvodem ke snížení bodového ohodnocení, žadatel mohl dosud pracovat úspěšně s obdobnými skupinami. Kritérium B2: nebo žadatel a partneři nemají dostatečné zkušenosti s prací s cílovou skupinou, sníží hodnotitel přiměřeným způsobem hodnocení. Nastavení škály slovních deskriptorů není v souladu s předmětem kritéria, neboť hodnotí, do jaké míry přiměřenost cílové skupiny vychází z potřeb cílové skupiny. Národní vzdělávací fond, Strana 110 / 143 Vzhledem k tomu, že dílčí části kritéria jsou obsaženy v jiných hodnotících kritériích, doporučujeme toho kritérium vypustit. B3 Přínos projektu pro cílovou skupinu Váha kritéria Předmět hodnocení Zjištěné nedostatky Návrh řešení 4,5 % Kritérium hodnotí kvalitativní popis Není zcela jasné, na co se při hodnocení kritéria soustředit. vazby mezi potřebností projektu Při hodnocení celkového přínosu nebo vazby mezi a přínosem projektu pro cílovou potřebností a přínosem dochází k částečnému překryvu skupinu. s kritériem A1. Kritérium dále hodnotí faktický přínos projektu pro cílovou skupinu. Znění slovních deskriptorů je navázáno jen na zhodnocení samotného přínosu pro cílovou skupinu. Při výběru slovních deskriptorů je problematické využití nabízené škály Vzhledem k tomu, že nelze dost dobře oddělit přínos projektu jako celku a přínos projektu pro cílovou skupinu, doporučujeme hodnocení přínosu projektu pro cílovou skupinu zahrnout do hodnocení kritéria A1.

111 (šestistupňová jemně odstínovaná škála bez jasného kvalitativního měřítka a se subjektivně interpretovatelnými hodnotícími soudy). B4 Způsob zapojení cílové skupiny Váha kritéria Předmět hodnocení Zjištěné nedostatky Návrh řešení 3 % Kritérium hodnotí způsob zapojení Hodnotící kritérium je nastaveno značně nesrozumitelně, cílové skupiny v rámci několika rovin: 1) způsob oslovení cílové skupiny 2) způsob získávání a výběru cílové skupiny do projektu 3) způsob práce (a jeho adekvátnost) s cílovou skupinou v průběhu celého projektu Kritérium dále hodnotí, zda má žadatel na cílovou skupinu kontakty, zda má zahrnuje několik spolu nesouvisejících aspektů. Některé jeho dílčí části jsou obsaženy v hodnocení jiných kritérií (posuzování zkušeností s prací s cílovou skupinou duplicita s kritérii B1, B2 a C2, zaručení zájmu cílové skupiny vstoupit do projektu duplicita s kritériem B2). V rámci revize Příručky pro hodnotitele byl obsah hodnocení kritéria doplněn o posouzení, zda je ošetřeno riziko zapojení účastníků do projektu a předčasné odcházení z projektu. Tím přibývá v hodnocení kritéria další rozměr, který však není dostatečné zkušenosti s prací s cílovou metodicky jasně ošetřen a kritérium se dostává skupinou a zda z projektu vyplývá zájem do částečného překryvu s kritériem D3. cílové skupiny o účast v projektu. Skupina kritérií C Žadatel Doporučujeme zúžit předmět hodnocení kritéria pouze na posouzení způsobu práce s cílovou skupinou, a to před zahájením i v průběhu projektu. Ostatní aspekty kritéria doporučujeme vypustit a hodnotit v rámci jiných kritérií. Anotace významu této skupiny kritérií z Příručky pro hodnotitele: Přestože skupina kritérií zaměřená na žadatele má relativně malou váhu, ve skutečnosti tomu tak není, neboť v rámci celého souboru kritérií lze vysledovat určitou závislost mezi kvalitou žadatele a kvalitou celého projektu. Skupina obsahuje 2 kritéria zaměřená na kompetenci žadatele a jeho zkušenosti. Třetí kritérium má specifický charakter. C1 Kompetence žadatele Váha kritéria Předmět hodnocení Zjištěné nedostatky Návrh řešení 6 % Kritérium hodnotí personální zabezpečení projektu, a to z hlediska složení realizačního týmu z hlediska vymezení pracovních pozic, nastavené výše úvazků, popis pracovních náplní, finanční náročnost. Předmět hodnocení kritéria není zcela jasně vymezen a ohraničen. Hovoří se o personálním zabezpečení projektu, ale jen ve vztahu pouze k realizačnímu týmu. Role dodavatele v projektu není vůbec zohledněna. Na druhou stranu se v kritériu hodnotí finanční náročnost, resp. přiměřenost nákladů na realizační tým, čímž dochází k přesahu do kritéria E1. V kritériu jsou uvedeny dva ilustrativní příklady, přičemž Doporučujeme kritérium zúžit na posouzení kapacity realizačního týmu, a to ve vztahu k velikosti cílové skupiny, věcné náplně projektu a objemu činností zajišťovaných dodavatelsky. Doporučujeme z hodnocení kritéria vyřadit posouzení realizačního týmu Národní vzdělávací fond, Strana 111 / 143

112 první z nich obsahuje nereálnou modelovou situaci a pro lepší pochopení předmětu kritéria nemá žádný význam. Druhý ilustrativní příklad se pak zaměřuje pouze na jeden aspekt hodnocení kritéria. Z metodiky jasně nevyplývá, co je hlavním předmětem hodnocení kritéria a které aspekty zohlednit pouze kontextově. Zhodnocení samotného přínosu pro cílovou skupinu je problematické využití nabízené škály slovních deskriptorů (šestistupňová jemně odstínovaná škála se subjektivně interpretovatelnými hodnotícími soudy). Národní vzdělávací fond, Strana 112 / 143 z hlediska finanční náročnosti. C2 Zkušenosti žadatele a členů týmu Váha kritéria Předmět hodnocení Zjištěné nedostatky Návrh řešení 4 % Kritérium hodnotí, zda má žadatel nebo členové realizačního týmu předchozí zkušenosti s realizací projektů. Předchozí zkušenosti jsou posuzovány v rámci dvou rovin: 1) zkušenosti s realizací projektů 2) odborná zkušenost Kritérium zahrnuje dva odlišné aspekty, přičemž metodika neřeší, jakým způsobem zohledňovat jejich váhu při celkovém hodnocení kritéria. Metodika rovněž neřeší, na základě jakých kritérií přistupovat ke kvalitativnímu posuzování předchozích zkušeností (je např. uvedeno, že není nutné, aby měl žadatel předchozí zkušenosti s projekty ESF, ale je možné hodnotit zkušenosti s administrací jiných dotačních projektů, projektů soukromých dárců, komerčních projektů apod. ; není již uvedeno, jaká má být těmto zkušenostem přikládána váha; dále tyto odlišné typy projektů kladou jiné nároky na řízení a administraci projektu, proto jejich využití jako reference je problematické). Doporučujeme znění kritéria zpřesnit a posuzování zkušeností vztáhnout např. ke kvalitativně vymezenému referenčnímu projektu (jasně definovaná obsahová příbuznost s předkládaným projektem a nejlépe procentuálně vymezený srovnatelný finanční objem). C3 Partneři Váha kritéria Předmět hodnocení Zjištěné nedostatky Návrh řešení nebodované kritérium Kritérium hodnotí, zda jsou při zapojení partnera nebo partnerů do projektu splněny všechny znaky oprávněného partnerství. Předmět hodnocení kritéria je podrobně specifikován. Kritérium je ale postaveno jako eliminační, tj. jeho cílem není hodnocení kvality a přidané hodnoty partnerství v rámci projektu, ale pouze vyloučení projektů, které nevykazují povinné atributy oprávněného partnerství. Doporučujeme ujasnit, zda má být kritérium postaveno jako eliminační nebo zda jeho cílem má být i hodnocení kvality navrženého partnerství. V prvním případě lze na rozpor s principem partnerství upozornit v závěrečném komentáři.

113 Skupina kritérií D Projektové řízení, udržitelnost a rizikovost projektu Kvalitu partnerství pak doporučujeme posuzovat v rámci ostatních relevantních kritérií a dále u těch výzev, které ve kterých hraje zásadní roli, a to formou specifického kritéria. Nedoporučujeme partnerství posuzovat v rámci samostatného hodnotícího kritéria. Anotace významu této skupiny kritérií z Příručky pro hodnotitele: Tato skupina kritérií se snaží postihnout kvalitu projektového řízení v rámci celého projektu s tím, že se hodnotí i předpoklady pro udržitelnost projektu po skončení financování v rámci výzvy. Snaží se zodpovědět otázku, zda když bude projekt financován, bude jeho realizace organizačně zvládnutelná. Klíčovým kritériem je i rizikovost projektu a samotná kvalita managementu rizika. Celková významnost těchto kritérií je značná. D1 Volba a popis klíčových aktivit a harmonogram projektu Váha kritéria Předmět hodnocení Zjištěné nedostatky Návrh řešení 12 % Kritérium hodnotí způsob realizace Kritérium je nastaveno široce a není jasně ohraničené. projektu kontextově k nastaveným V metodice není konkrétně uvedeno, jak se vypořádat cílům projektu, potřebám cílové skupiny s kontextovým hodnocením kritéria, které nedostatky a možnostem realizačního týmu. zohlednit v bodovém hodnocení a na které pouze upozornit Kritérium dále hodnotí navrženou v hodnotícím komentáři. obsahovou kompozici klíčových aktivit Značně problematické je posuzování harmonogramu projektu, jejich logickou provázanost a projektu, resp. přiměřenosti délky trvání jednotlivých aktivit. přiměřenost nastaveného časového Zpracování detailního harmonogramu v projektové žádosti harmonogramu. nemá velkou vypovídací hodnotu, protože bývá nastaven Do hodnocení má být rovněž zohledněn velmi orientačně (změny harmonogramu jsou pak celospolečenský přínos projektu. nejčastějšími změnami realizovanými v průběhu projektu). Z kritéria není jasné, jakým způsobem má být posuzován a vyhodnocen celospolečenský přínos projektu. v rámci kritéria C1. Vzhledem Předmět kritéria doporučujeme zúžit na posouzení kvality, nezbytnosti a logické provázanosti klíčových aktivit. Posouzení nastavení klíčových aktivit v kontextu s cíli projektu navrhujeme řešit v rámci nově navrženého kritéria D2. Posouzení kontextu s personálním zajištěním projektu navrhujeme řešit k problematickému posuzování detailního nastavení harmonogramu navrhujeme zjištěné nedostatky typu příliš krátká doba realizace projektu, absence časových rezerv řešit v rámci posouzení rizikovosti projektu. Národní vzdělávací fond, Strana 113 / 143

114 Národní vzdělávací fond, Strana 114 / 143 Navrhujeme, aby celospolečenský přínos projektu byl řešen v rámci posouzení nově navrženého kritéria A1. D2 Předpoklady pro udržitelnost projektu po skončení financování OP LZZ Váha kritéria Předmět hodnocení Zjištěné nedostatky Návrh řešení 3 % Kritérium hodnotí, zda je v projektu potenciál pro pokračování jeho aktivit i po skončení finanční podpory. Způsob hodnocení kritéria je nastaven nesrozumitelně. V textu hodnocení kritéria i ilustrativním příkladu se např. několikrát hovoří o finanční udržitelnosti projektu, ale způsob jejího posouzení není jasně řešen. Metodika naopak neřeší jiné aspekty udržitelnosti, které jsou pro projekty OP LZZ příznačnější (např. institucionální udržitelnost, zejm. u projektů realizovaných v partnerství, řešení udržitelnosti v projektu realizovaných investic z křížového financování apod.). Udržitelnost projektu je třeba posuzovat v rámci samostatného kritéria. Doporučujeme zpřesnit metodiku hodnocení kritéria a zaměřit ji tak, aby se více vztahovala na projekty, jejichž hlavním smyslem je investice do rozvoje lidských zdrojů. Rovněž doporučujeme zvýšení bodové váhy kritéria. D3 Kvalita řízení rizik Váha kritéria Předmět hodnocení Zjištěné nedostatky Návrh řešení 5 % Kritérium hodnotí kvalitu řízení rizik jako celku, identifikaci rizikových faktorů projektu a stanovení protirizikových opatření. Způsob hodnocení kritéria není nastaven srozumitelně a navíc vykazuje metodické nedostatky z hlediska řízení rizik v rámci projektového řízení. Např. se uvádí, že žadatel by měl popsat způsob, jak takovému riziku předcházet, resp. jej eliminovat. Eliminace, tedy vyloučení rizika je však pouze jednou z několika možných reakcí na zjištěná rizika (mezi další odezvy na rizika patří např. zmírnění, přesunutí, sdílení nebo akceptace rizika). Dále pak v ilustrativním příkladu je udělení maximálního hodnocení vázáno na situaci, kdy žadatel identifikoval všechny vnější a vnitřní faktory rizika a plánuje opatření na řešení výskytu nejpravděpodobnějších a nejzávažnějších faktorů rizika. Z hlediska projektového řízení však nelze u žádného projektu zpracovat vyčerpávající katalog možných rizik. Rizika se navíc v průběhu projektu mění (některá vznikají, jiná zanikají). Celkově je hodnocení kritéria značně problematické, neboť na jedné straně není v drtivé většině řízení rizik správně Hodnocení kvality řízení rizik nedoporučujeme řešit v rámci samostatného kritéria a navrhujeme ho přesunout do hodnocení rizikovosti projektu jako celku.

115 zpracováno (není provedeno posouzení rizik, zaměňují se rizika za jejich dopady, používají se univerzální rizika aplikovatelná na většinu projektů obdobného typu) a na druhé straně ani metodika pro jeho posuzování není nastavena korektně. D4 Rizikovost projektu Váha kritéria Předmět hodnocení Zjištěné nedostatky Návrh řešení nebodované kritérium Kritérium hodnotí reálnou míru rizikovosti projektu, tzn., hodnocení se opírá o expertní úsudek hodnotitele. Ve způsobu hodnocení kritéria nejsou stanoveny jasně požadavky na obsahovou náplň hodnotícího komentáře, je pouze uvedeno, co se má při hodnocení kritéria zohlednit. Reálně tak hrozí značná nevyrovnanost úrovně zpracování hodnotících komentářů. Způsob hodnocení kritéria v zásadě navrhujeme ponechat i nadále tak, jak je nyní nastaven. Jako součást rizikovosti projektu navrhujeme včlenit zohlednit i kvalitu řízení rizik nastavenou žadatelem. Kritériu doporučujeme přiřadit bodovou váhu, aby posouzení rizikovosti projektu mohlo být vztaženo k objektivním referencím. Dále doporučujeme stanovit požadavky na strukturu a obsah hodnotícího komentáře. Skupina kritérií E Rozpočet projektu Anotace významu této skupiny kritérií z Příručky pro hodnotitele: V rámci skupiny Rozpočet projektu by měl hodnotitel posoudit, zda je podle jeho názoru rozpočet projektu přiměřený vzhledem k celkovému záměru, zda je přehledný a srozumitelný a zda je věcně správný. E1 Přiměřenost rozpočtu jeho obsahové náplni a rozsahu Váha kritéria Předmět hodnocení Zjištěné nedostatky Návrh řešení 10,5 % Kritérium primárně hodnotí celkovou Při hodnocení kritéria dochází k přesahům do dalších kritérií Doporučujeme předmět hodnocení přiměřenost rozpočtu projektu jeho (přiměřenost nákladů na realizační tým - kritérium C1; kritéria zúžit na posouzení obsahové náplni a rozsahu, tj. dílčím přiměřenost rozpočtu projektu vzhledem k jeho výstupům - přiměřenosti jednotkových cen aktivitám a předpokládaným výstupům kritérium F3; posouzení zdůvodnění položek rozpočtu rozpočtu i rozpočtu jako celku. projektu. vzhledem ke klíčovým aktivitám - kritérium E2) a není Při hodnocení přiměřenosti nelze Národní vzdělávací fond, Strana 115 / 143

116 Dalšími aspekty hodnocení kritéria je posouzení nezbytnosti položek zařazených do rozpočtu a zdůvodnění jednotlivých položek v rozpočtu vzhledem ke klíčovým aktivitám. metodicky ošetřeno, jak tyto aspekty zohlednit při hodnocení kritéria. vypustit vazbu na zdůvodnění položek v textové části žádosti, pak ale musí být jasně vymezena hranice mezi kritérii E1 a E2. E2 Přehlednost, srozumitelnost a věcná správnost rozpočtu Váha kritéria Předmět hodnocení Zjištěné nedostatky Návrh řešení 4,5 % Kritérium hodnotí přehlednost, srozumitelnost, a věcnou správnost rozpočtu. Způsob hodnocení kritéria je nastaven nesrozumitelně, není jasně stanoveno, co je myšleno pojmy přehlednost, srozumitelnost a věcná správnost. Např. věcná správnost je na jednom místě vztažena k tomu, zda jsou dílčí položky rozpočtu zařazeny do správných kategorií atd., jinde pak je uvedeno, že věcnou správností je míněn zejména soulad se způsobilými výdaji, které je možné z projektu hradit. V rámci kritéria posuzované dodržení limitů pro jednotlivé skupiny výdajů se posuzuje již v rámci hodnocení přijatelnosti (kritérium č. 9). Kritérium E2 není nastaveno eliminačně, na nedodržení procentuálních limitů lze pouze upozornit, resp. snížit hodnocení. Tak ale dochází k nerovné soutěži. Posuzování kvality zpracování rozpočtu je na místě posuzovat v rámci samostatného kritéria. Je však třeba zpřesnit metodiku kritéria tak, aby byla srozumitelná. Z hodnocení kritéria doporučujeme vypustit posuzování dodržení limitů pro jednotlivé skupiny výdajů, neboť to je již předmětem hodnocení přijatelnosti. Skupina kritérií F Výsledky a výstupy Anotace významu této skupiny kritérií z Příručky pro hodnotitele: Klíčová skupina kritérií v podstatě hodnotí reálnost postupů při naplňování výsledků/výstupů. Hodnotitel se v rámci této skupiny zaměřuje na hodnocení výběru monitorovacích indikátorů, věrohodnost jejich hodnot a celkovou přiměřenost vzhledem k požadovaným prostředkům. F1 Šíře a adekvátnost výběru monitorovacích indikátorů Váha kritéria Předmět hodnocení Zjištěné nedostatky Návrh řešení 7 % Kritérium hodnotí, zda jsou Kritérium je nastaveno zřetelně (patří mezi nejméně riziková Doporučujeme i nadále zachování monitorovací indikátory zvoleny kritéria vůbec). kritéria při nastavení jednoznačně vhodně, a to jak z hlediska jejich počtu Přesto jsou v textu některé zavádějící informace, interpretovatelné metodiky (zda jsou vybrány všechny pro projekt relevantní indikátory), tak věcné náplně např. hodnocení přiměřenosti MI vzhledem k cílům a náplni projektu a dále hodnocení kvality MI ve vazbě hodnocení kritéria a úpravě hodnotící stupnice. Národní vzdělávací fond, Strana 116 / 143

117 (zda jsou indikátory nastaveny metodicky správně). na KA, rozpočet, CS atd. Kritérium bylo prvotně nastaveno nepříliš jasně. Nebylo čitelné, jakým způsobem uchopit hodnocení kvality monitorovacích ukazatelů. V rámci revize Příručky pro hodnotitele bylo doplněno hodnocení metodické správnosti nastavení monitorovacích ukazatelů. Tomu už ale neodpovídá stupnice slovních deskriptorů (zcela přiměřená - zčásti přiměřená - zčásti nepřiměřená - nepřiměřená), která akcentuje kvantitativní komponentu kritéria a hodnocení kvality, tj. soulad se metodikou, svým zněním neobsáhne. F2 Reálnost kvantitativních hodnot monitorovacích indikátorů Váha kritéria Předmět hodnocení Zjištěné nedostatky Návrh řešení 8 % Kritérium hodnotí, zda jsou kvantitativní hodnoty monitorovacích indikátorů nastaveny reálně a věrohodně. Kritérium není metodicky nastaveno příliš zřetelně. Matoucí je v rámci revize Příručky pro příjemce doplněný text zaměřený na posuzování inovativních produktů (odkazuje tedy na posouzení souladu s metodikou, což je předmětem hodnocení kritéria F1). V popisu obsahu kritéria není řešen přesah do kritéria B2 (reálnost velikosti CS vs. přiměřenost velikosti CS) a jeho promítnutí do hodnocení. Jako nevhodný se jeví zvolený ilustrativní příklad, který odkazuje na posouzení jasného formulování výstupů projektu a neřeší vůbec aspekt reálného nastavení těchto hodnot, který by měl být těžištěm hodnocení tohoto kritéria. Národní vzdělávací fond, Strana 117 / 143 Doporučujeme i nadále zachování kritéria při nastavení jednoznačně interpretovatelné metodiky hodnocení kritéria. F3 Přiměřenost výsledků vzhledem k požadovaným prostředkům Váha kritéria Předmět hodnocení Zjištěné nedostatky Návrh řešení 5 % Kritérium hodnotí přiměřenost poměru Hodnocení přiměřenosti výsledků cena/výkon, tzn., zda výstupy projektu jsou přiměřené vynaloženým finančním prostředkům. vzhledem k požadovaným Kritérium je popsáno značně nejasně a nevyplývá z něj, co konkrétně má hodnotitel posuzovat a o jaké kvalitativní ukazatele se při hodnocení opírat. Nevyjasněný zůstává i přiznaný překryv s kritériem E1 (u tohoto kritéria je tendence volit stejný slovní deskriptor jako v kritériu E1, jak ukazuje analýza vzorku projektů). prostředkům může mít v rámci hodnocení své opodstatnění, ale musí být zcela jasné, jakým způsobem kritérium uchopit, aby ve výsledku nebylo kontraproduktivní (hrozba kladného hodnocení projektů

118 s nadsazenými výstupy anebo podhodnoceným rozpočtem, tzn. rozpor s kritériem F2). V případě nemožnosti nastavení objektivní metodiky posuzování kritéria doporučujeme jeho vypuštění. G Rozpor s horizontálními tématy G Rozpor s horizontálními tématy Váha kritéria Předmět hodnocení Zjištěné nedostatky Návrh řešení nebodované kritérium Kritérium hodnotí, zda projekt je či není v rozporu s horizontálními tématy. Kritérium je vymezeno negativně jako eliminační a hodnotí pouze soulad či nesoulad s principy horizontálních témat. Takto nastavené hodnocení nepřináší žádnou přidanou hodnotu ze strany hodnotitele. Pokud by předmětem posuzování horizontálních témat mělo být pouhé rozhodnutí, zda projekt je či není s nimi v rozporu, pak navrhujeme kritérium vypustit a posoudit v rámci hodnocení přijatelnosti. Hodnocení horizontálních témat v rámci věcného hodnocení by mělo smysl, pokud by bylo koncipováno alespoň jako kombinované a posuzoval by se vliv projektu na naplňování těchto témat, tzn. projekty s negativním vlivem, neutrálním vlivem, pozitivním vlivem či projekty přímo zaměřené na vymezená horizontální témata. Pak by ale musela být i zpřesněna metodika a jasně vymezeny charakteristiky negativního, neutrálního a pozitivního vlivu a přímého zaměření projektu na horizontální témata. Národní vzdělávací fond, Strana 118 / 143

119 Zjednodušený návrh kriteriálního rámce pro aplikační specifické projekty Na základě výše uvedené analýzy stávajícího kriteriálního rámce pro projekty OP LZZ, navrhujeme jednodušší variantu, která by nicméně měla postihnout všechny zásadní aspekty pro výběr kvalitních projektových žádostí: přínos projektu - protože jde z hlediska posuzování kvality projektového záměru o klíčová kritéria, navrhujeme, aby byla výrazně zvýšena váha těchto kritérií navrhujeme eliminovat křížové posuzování vnitřní logiky v rámci jednotlivých kritérií a doporučujeme zařadit samostatné kritérium, v jehož rámci by se posuzovala konzistentnost a vnitřní logika projektu navrhujeme opustit koncept kombinovaných, resp. eliminačních kritérií, jako pojistky pro identifikaci projektů, které nebyly vyfiltrovány v rámci posuzování přijatelnosti navrhujeme vypustit ta kritéria, která jsou z velké části posuzována v rámci jiných kritérií navrhujeme předmět každého kritéria zacílit na jasně ohraničenou oblast Tyto návrhy jsou promítnuty do níže uvedeného příkladu zjednodušeného kriteriálního rámce. Váhy jednotlivých kritérií jsou vyjádřeny pouze ilustrativně na barevně odstupňované škále. Pro návrh konkrétních procentuálních vah jednotlivých kritérií by bylo nutné provést detailní analýzu, která přesahuje možnosti této zakázky. Tabulka 13: Příklad návrhu zjednodušeného kriteriálního rámce pro aplikační specifické projekty A1 Přínos projektu Název kritéria A2 Potřebnost projektu/vazba na cíle výzvy (oblasti podpory) B1 Vymezení cílové skupiny B2 Způsob zapojení cílové skupiny C1 Kapacita realizačního týmu C2 Zkušenosti žadatele a členů týmu D1 Způsob realizace projektu Zaměření kritéria Posouzení celkového přínosu projektu. /Pozn. bude zahrnovat i zhodnocení přínosu projektu pro cílovou skupinu; jako součást přínosu projektu může být posouzena i inovativnost projektu/ Posouzení potřebnosti projektu v kontextu celkové strategie zaměření výzvy, popř. oblasti podpory. Posouzení vymezení cílové skupiny z hlediska kvantitativního a kvalitativního, včetně identifikace problémů cílové skupiny. Posouzení způsobu práce s cílovou skupinou před zahájením i v průběhu projektu. Posouzení kapacity realizačního týmu, a to ve vztahu k velikosti cílové skupiny, věcné náplni projektu a objemu činností zajišťovaných dodavatelsky Posouzení předchozích zkušenosti žadatele nebo členů realizačního týmu s realizací obdobných projektů (tematicky i obdobného finančního objemu). Posouzení kvality, nezbytnosti a logické provázanosti klíčových aktivit a řízení projektu. Typ kritéria Váha kritéria Národní vzdělávací fond, Strana 119 / 143 K K H H H H H

120 D2 Konzistentnost projektu D3 Rizikovost projektu E1 Přiměřenost rozpočtu E2 Kvalita zpracování rozpočtu F1 Nastavení monitorovacích indikátorů F2 Adekvátnost monitorovacích indikátorů F3 Udržitelnost projektu G Vazba na horizontální témata Legenda H = hodnotící kritérium K = kombinované kritérium Hodnotící škála nejnižší váha Posouzení vnitřní konzistentnosti projektu (vazby mezi záměrem a cíli projektu - obsahem klíčových aktivit - výstupy klíčových aktivit - výstupy a výsledky projektu). Posouzení reálné míry rizikovosti projektu. Posouzení přiměřenosti (hospodárnosti) jednotkových cen rozpočtu i rozpočtu jako celku. Posuzování kvality zpracování rozpočtu, a to především z hlediska zřetelnosti vazeb rozpočtu na klíčové aktivity projektu. Posouzení volby adekvátního počtu monitorovacích ukazatelů a metodické správnosti nastavení jejich cílových hodnot. Posouzení reálnosti nastavení cílových hodnot monitorovacích indikátorů. Posouzení udržitelnosti projektu. Posouzení vztahu projektu k naplňování horizontálních témat. nejvyšší váha H K H H H H H K Specifická kritéria Specifická kritéria jsou nástrojem, který umožňuje v hodnocení zohlednit zaměření jednotlivých výzev, resp. těch aspektů, na které klade výzva důraz. Uplatnění specifických kritérií je smysluplné především u programů se širokým spektrem záběru, jako je právě OP LZZ. Hlavní výhodou specifických kritérií je, že nejsou stanovena centrálně a nejsou rigidní. Specifická kritéria nastavují vyhlašovatelé výzev, tedy subjekty, které jsou věcnými gestory jednotlivých intervencí operačního programu, a v rámci implementační struktury nejlépe rozumí věcné oblasti, na kterou je daná výzva zaměřena. Na druhou stranu tato výhoda vždy a priori neznamená optimální nastavení specifických kritérií, resp. metodiky jejich hodnocení. 3 Další výhodou specifických kritérií pak je skutečnost, že mohou sloužit jako pružný nástroj reakce na změny socioekonomické situace nebo dalších aktuálních problémů ve společnosti, jejichž řešení může operační program ovlivnit. 3 Viz např. RegioPartner, s.r.o., ZÁVĚREČNÁ ZPRÁVA - Roční operační vyhodnocení OP LZZ 2009, Praha 2010 Národní vzdělávací fond, Strana 120 / 143

121 Doporučujeme, aby byla specifická kritéria jako doplňkový nástroj pro věcné hodnocení zachována i pro další programové období. Rovněž doporučujeme několik hlavních obecných zásad pro jejich nastavení, aby mohlo být v maximální míře využito jejich potenciálu: úzká vazba na zaměření cílů výzvy a oblasti podpory úzká vazba na aktuální problémy ve společnosti, věcně související se zaměřením výzvy jednoznačně definovaný předmět specifického kritéria / specifických kritérií vyvarování se překryvu s předmětem hodnocení některého z obecných kritérií (specifická kritéria nicméně mohou obecná kritéria vhodně doplňovat) jednoznačná a precizně zpracovaná doprovodná metodika pro hodnocení specifického kritéria / specifických kritérií (definice předmětu kritéria, vysvětlení významu kritéria v kontextu dané výzvy, doprovodná metodika pro přiřazování konkrétní bodové hodnoty či slovního deskriptoru, ilustrativní příklad, požadavky na náležitosti hodnotícího komentáře z hlediska struktury a obsahu)jako příklad může sloužit specifické kritérium č. 1 - Tvorba nových pracovních míst a podpora umístění na volná pracovní místa ve výzvě 91 pro globální grant oblasti podpory 2.1. Zjednodušený návrh kriteriálního rámce pro systémové projekty V předchozí kapitole byla naznačena procedura výběru systémových projektů. Expertní posouzení kvality systémových projektů by do výběrového procesu vstupovalo ve dvou fázích. V první fázi bude alespoň třem věcným hodnotitelům (expertům na danou oblast) předložen k posouzení projektový záměr. Hodnotitelé by postupovali při svém hodnocení v souladu s kriteriálním rámcem, zaměřeným na posouzení potřebnosti a přínosu projektu. Tabulka 14: Příklad zjednodušeného kriteriálního rámce pro expertní posouzení projektového záměru systémových projektů S1a Název kritéria Potřebnost projektu S1b Vazba na rozvojové strategie a politiky S1c Vymezení cílové skupiny S1d Přínos projektu Zaměření kritéria Posouzení zdůvodnění potřebnosti projektu, popsaného v projektovém záměru, resp. kvality doložené analýzy problému (vstupní analýza, věcná analýza, strategická analýza apod.) Vazba na strategie a politiky v dané věcné oblasti (např. politika zaměstnanosti, politika boje s chudobou) na předmětné úrovni (národní, regionální) Posouzení kvantitativního a kvalitativního vymezení cílové skupiny, včetně identifikace problémů cílové skupiny Posouzení celkového přínosu projektu z hlediska změny systému poskytování dané služby a přínosu pro cílovou skupinu. Typ kritéria H H H H Váha kritéria Národní vzdělávací fond, Strana 121 / 143

122 Ve druhé fázi by již byl posuzován kompletně popsaný projekt ve specifické projektové žádosti, ve které již by nebyla posuzována potřebnost projektu, ale konzistentnost jeho obsahu se schváleným projektovým záměrem a kvalita zpracování projektového cyklu. Tabulka 15: Příklad zjednodušeného kriteriálního rámce pro expertní posouzení systémových projektů S2a Název kritéria Soulad s projektovým záměrem S2b Způsob realizace projektu S2c Rozpočet projektu S2d Rizikovost projektu S2e Kvalita monitorovacích indikátorů S2f Udržitelnost projektu Zaměření kritéria Posouzení věcného souladu se schváleným projektovým záměrem (pokud by se projekt věcně odchyloval od schváleného projektového záměru, projekt by se dále neposuzoval a inovovaný projektový záměr by znovu musel projít úvodní schvalovací procedurou) Posouzení kvality, nezbytnosti a logické provázanosti klíčových aktivit, způsobu řízení projektu, včetně nastavení nástrojů průběžné vnitřní evaluace Posouzení hospodárnosti rozpočtu (posouzení kalkulace veřejné zakázky) Posouzení reálné míry rizikovosti projektu Kvalitativní posouzení výstupů projektu (vždy se bude jednat o ukazatele nově vytvořených nebo inovovaných produktů) Posouzení udržitelnosti projektu (zabezpečení realizace vytvořeného opatření, nástroje) Typ kritéria E H H H H H Váha kritéria Legenda H = hodnotící kritérium E = eliminační kritérium Hodnotící škála nejnižší váha nejvyšší váha Národní vzdělávací fond, Strana 122 / 143

123 Doporučení k hodnotící stupnici Komparace systémů hodnocení ve stávajících programech ESF v ČR V programech spolufinancovaných z ESF se v současné době využívají 2 systémy pro vyjádření hodnotícího soudu v jednotlivých hodnotících kritériích, resp. jejich kombinace. OP VK využívá systému bodové stupnice o rozdílných intervalech dle váhy jednotlivých kritérií, resp. subkritérií. Tento systém byl prvotně označen jako vysoce rizikový, protože k bodovým škálám nebyla zpracována podrobná doprovodná metodika 4, a byl jednou z příčin pro vysoké procento arbitrážních hodnocení. V poslední revizi Příručky pro věcné hodnocení a výběr projektů OP VK (verze 8) je již alespoň stručná metodika pro udělování bodových hodnot obsažena. Jediným nebodovaným kritériem je vylučovací kritérium Horizontální témata. Vztah projektu k horizontálním tématům je zhodnocen v komentáři (nepřidělují se body ani se nevybírá slovní deskriptor). V OP VK jsou všechna kritéria povinně komentovaná. OPPA využívá systém standardizovaných slovních deskriptorů (stupnice Ano - Spíše ano - Spíše ne - Ne ), které jsou vztaženy k předdefinovanému výroku kritéria. Tento systém má oproti OP LZZ tu výhodu, že nedochází k nesouladu mezi zaměřením kritéria a definicí slovních deskriptorů. Vybraný slovní deskriptor se automaticky převádí na číselnou hodnotu (tzn. odpovídající počet bodů), která je hodnotiteli viditelná. Příručka pro expertní posouzení neobsahuje podrobně rozpracovanou doprovodnou metodiku pro výběr konkrétního slovního deskriptoru, a tudíž do hodnocení kritérií vstupuje v menší či větší míře subjektivní prvek. U všech hodnotících kritérií musí být k vybranému slovnímu deskriptoru přiřazen odpovídající hodnotící komentář. OP LZZ oba tyto systémy kombinuje. Při posuzování obecných kritérií jsou přiřazovány slovní deskriptory, u některých kritérií je hodnotící komentář povinný (kritéria A1, A2, A3, B1, B3, C1, D1, E1, F2) u některých není (kritéria B2, B4, C2, D2, D3, E2, F1, F3). Tři kritéria (C3, D4 a G), která jsou nastavena jako eliminační, mají povahu pouze komentovaných kritérií, tj. nemají žádnou bodovou váhu a jejich hodnocení se nepromítne do výsledného bodového výsledku projektové žádosti. OP LZZ pracuje ještě s tzv. kombinovanými kritérii, která mají bodovou váhu, tzn., že jsou hodnocena prostřednictvím slovních deskriptorů, jsou povinně komentovaná, ale zároveň slouží jako vylučovací (kritéria A2, B1). Při posuzování specifických kritérií OP LZZ používá bodovou stupnici o různých intervalech (záleží na konkrétní výzvě). Metodika hodnotících kritérií obsahuje rozpracovanou metodiku pro přiřazování konkrétních číselných hodnot. 4 Evaluace a optimalizace nastavení systému hodnocení projektů operačních programů v programovém období (PROJEKT NOK), s. 32 Národní vzdělávací fond, Strana 123 / 143

124 Z výše uvedené zjednodušené komparace vyplývá, že na projekty zaměřené na rozvoj lidských zdrojů lze aplikovat oba přístupy. Výhody a nevýhody každého ze systémů jsou shrnuty v následující tabulce. Tabulka 16: Výhody a nevýhody systémů hodnocení Systém hodnocení Výhody Nevýhody Stupnice slovních deskriptorů - možnost využití standardizované škály pro všechna kritéria (viz např. viz metodika pro expertní hodnocení OPPA, který pracuje se škálou Ano, Spíše ano, Spíše ne, Ne ) - postačující jen několikastupňová hodnotící škála i u kritérií s velkou významností a vysokou procentní vahou Bodová stupnice Check-list - jednoduché a jasné vyjádření pomocí číselné hodnoty - využití u složených kritérií (každé z komponent kritéria lze vyčlenit vlastní bodový podinterval (viz např.metodika pro věcné hodnocení OP VK) - bodová váha kritéria se vypočítá automaticky - eliminace subjektivního přístupu v přiřazování bodů nebo slovního deskriptoru - vysoké nároky na jasnou formulaci slovních deskriptorů - obtížné hodnocení složených kritérií - nutnost podrobné a precizní metodiky pro přiřazování slovních deskriptorů - nemožnost zcela eliminovat prvek subjektivity - široký bodový interval u kritérií s velkou významností a vysokou procentní vahou - nutnost zpracování podrobné a precizní metodiky pro přiřazování slovních deskriptorů - nemožnost zcela eliminovat prvek subjektivity - náročnost specifikace uzavřených otázek - riziko nejednoznačných otázek - riziko nemožnosti volby Ano/Ne - nezbytnost testování na rozsáhlejším vzorku Určující pro výběr vhodného systému hodnocení je kompozice kriteriálního rámce. Pokud bude obsahovat složená kritéria, která postihují více aspektů projektu, je vhodnější zvolit bodovou škálu, kdy každá z komponent hodnocení bude tvořit subkritérium s vymezením dílčího bodovacího intervalu. Tím se předejde nežádoucímu stavu, kdy je více aspektů projektu hodnoceno prostřednictvím souhrnného hodnotícího soudu (tj. systém slovních deskriptorů). Pokud bude kriteriální rámec obsahovat úzce zaměřená kritéria, ke kterým lze vztáhnout jednoznačné slovní hodnocení, je možné využít předností systému pracujícího se slovními deskriptory, tj. především možnosti aplikace omezené škály hodnotících deskriptorů (optimální jsou 4 stupně hodnotící škály) pro všechna kritéria, bez ohledu na jejich procentuální váhu v souhrnném hodnocení. Pro realizaci obou systémů tak, aby mohly generovat srovnatelné výstupy (tzn. eliminovat subjektivní chápání předmětu hodnocení a sladění přístupu po linii závažnost zjištěných nedostatků - volba příslušného deskriptoru nebo udělení příslušného počtu bodů), je však nezbytná kvalitní metodická báze, tj. musí být zpracována detailní doprovodná metodika, která bude jasně určovat kritéria, na základě kterých bude přiřazena konkrétní bodová hodnota nebo Národní vzdělávací fond, Strana 124 / 143

125 konkrétní slovní deskriptor. Pokud bude vybrán jeden z přístupů, doporučujeme ho již nekombinovat s dalším. V případě aplikace systému využívajícího slovních deskriptorů obecně doporučujeme používat škálu se sudým počtem variant (optimálně 4 stupně u všech kritérií) a vyvarovat se znění deskriptorů typu střední, průměrný, ne zcela jasně vymezený, průměrně přesvědčivý apod. Výrok slovního deskriptoru musí bezpodmínečně ladit se zaměřením kritéria. Pokud není možné pregnantně definovat konkrétní deskriptory formulované dle zaměření konkrétního kritéria, doporučujeme využít standardizované škály slovních deskriptorů vázané na hodnotící výrok daného kritéria. I zde platí doporučení oba přístupy nekombinovat. Jako alternativní systém k oběma zavedeným postupům uvádíme hodnocení pomocí check-listu. Ke každému z hodnotících kritérií by byla formulována sada uzavřených otázek, u kterých by hodnotitel zaškrtl variantu Ano nebo Ne. Bodové hodnocení kritéria by se dopočítalo na základě zadaného algoritmu automaticky. Hodnotitel by ke každému kritériu uvedl slovní komentář, ze kterého by vyplývala vazba na odpovědi na otázky v check-listu. Národní vzdělávací fond, Strana 125 / 143

126 III. Vzdělávací programy pro hodnotitele a výběrové komise 8. Vzdělávací program pro hodnotitele 8.1 Východiska pro zpracování vzdělávacího programu pro hodnotitele Řídící orgán identifikoval velké rozdíly v kvalitě práce jednotlivých hodnotitelů, které se s postupem realizace OP LZZ nesnižují a počet vynucených třetích hodnocení neklesá. Proto zadavatel požadoval přípravu a realizaci nového (adaptovaného) vzdělávacího programu pro hodnotitele. V první etapě zakázky byla zpracována analýza vzdělávacích potřeb začínajících i stávajících hodnotitelů (podložená dotazníkovým šetřením u Řídícího orgánu, externího administrátora a vybraných hodnotitelů). Na základě výsledků analýzy vzdělávacích potřeb a na základě analýzy hodnocení jednotlivých hodnotících kritérií vybraných 500 grantových a 22 individuálních projektů byl navržen i) obecný modulový vzdělávací program v rozsahu dny (1 výukový den, 2 dny samostatné práce hodnotitelů, 1 zpětnovazební a konzultační den) ii) specifický modulový vzdělávací program pro jednotlivé výzvy k předkládání projektů v rozsahu 2 x 2 3 hodiny (1 den seznámení se specifiky výzvy, 1 den zpětná vazba po ukončení výzvy) 8.2 Struktura vzdělávacího programu pro hodnotitele Obecný vzdělávací program byl navržen ve formě šablon jednotlivých modulů, kde byl specifikován název, cíl, výstup, časová dotace i forma výukových materiálů. Tento plný popis je součástí průběžné zprávy. Obsah obecného vzdělávacího programu byl rozložen do 12 modulů A - L, z nich první 3 byly více teoretické a informační, další moduly se soustředily na praktickou ukázku hodnocení referenčního projektu, samostatnou práci hodnotitelů a poskytnuté zpětné vazby k práci hodnotitelů i spokojenosti s realizovaným školením. Na základě zpětné vazby od účastníků školení (jednalo se o stávající hodnotitele, nikoliv nové), byla struktura obecných modulů A C upravena do formy lépe vyhovující zkušeným hodnotitelům, včetně úpravy konkrétního programu školení a vypracování nové verze výukových materiálů (obojí v příloze č. 1). Pro specifická školení byly zpracovány pouze návrhy obsahu 11 modulů, vzdělávací materiály nebyly ke konkrétní výzvě zpracovávány. Národní vzdělávací fond, Strana 126 / 143

127 Následně uvádíme obsah upravených modulů A C školení hodnotitelů (ostatní již byly předmětem průběžné zprávy) : Název vzdělávacího programu Název modulu Obecné školení hodnotitelů OP LZZ A: Projekty OP LZZ Cíl Seznámit hodnotitele s požadavky na hodnocení projektů, včetně upozornění na rozdílnost při hodnocení individuálních a grantových projektů, jak posuzovat cíle projektu, partnerství a horizontální témata. Seznámit s výsledky analýzy hodnocení vzorku grantových projektů a možných důvodů pro velké rozdíly v hodnocení některých kritérií Výstup Klíčová slova Forma a metody Časový rozsah Po absolvování modulu bude hodnotitel: znát potenciální vyhlašovatele výzvy OP LZZ znát základní rozdíl mezi hodnocením IP a GP znát jak je popsán dobrý projekt znát princip metody SMART při nastavování a hodnocení kvality nastavení cílů projektu, bude schopen při hodnocení projektů posoudit cíle, obsah (aktivity), výstupy (indikátory), očekávané přínosy znát horizontální témata OP LZZ a posoudit jejich zohlednění v projektech (i ve vazbě na cílové skupiny a realizační tým) umět posoudit význam partnerství pro projekt vědět, která kritéria jsou problematická z hlediska hodnocení ESF, OP LZZ, globální grant, individuální projekt, cíle projektu, metoda SMART, partner v projektu, horizontální témata, hodnotící kritéria Představení, výklad, otázky a vyjasnění 30 minut Podkladové materiály PWP Prezentace Národní vzdělávací fond, Strana 127 / 143

128 Název vzdělávacího programu Název modulu Cíl Výstup Obecné školení hodnotitelů OP LZZ B: Kvalita projektu Vysvětlit základní rámec hodnotícího procesu a metod, které nemožno použít k definování kvalitního projektu a řízení projektových rizik Po absolvování modulu bude hodnotitel: znát proces hodnocení projektů znát svoji roli v posouzení přijatelnosti projektu znát základní rámec věcného hodnocení projektů jaké charakteristiky má mít kvalitní projekt umět použít metodu logického rámce k posouzení kvality projektu (na příkladu konkrétního projektu) znát základy analýzy a řízení rizik seznámit se s některými metodami identifikace rizik znát základy analýzy silných a slabých stránek (SWOT) Klíčová slova Forma a metody Časový rozsah Hodnotící proces, hodnocení přijatelnosti, věcné hodnocení, obecná a specifická kritéria, IPRM, metoda logického rámce, SWOT analýza Představení, výklad, cvičení, diskuse 45 minut Podkladové materiály PWP Prezentace, matice logického rámce Národní vzdělávací fond, Strana 128 / 143

129 Název vzdělávacího programu Název modulu Obecné školení hodnotitelů OP LZZ C: Podpůrné nástroje pro hodnocení Cíl Seznámit hodnotitele s aktuálními dokumenty pro hodnocení, s aktualizací příručky pro hodnotitele verze 1.3, se systémem poskytování zpětné vazby o hodnocení Výstup Klíčová slova Forma a metody Časový rozsah Po absolvování modulu bude budoucí hodnotitel: mít aktuální přehled o metodikách a dokumentech pro hodnocení projektových žádostí znát aktualizované informace z příručky pro hodnotitele verze 1.3 (a dalších zásadních změn provedených od této revize) - Zpětná vazba k věcnému hodnocení - Rating a kritéria pro posouzení práce hodnotitele - Databáze hodnotitelů, profil hodnotitele - Školení hodnotitelů - Hodnotící tabulka (kontextové hodnocení) - Věcné hodnocení projektu (popis kritérií) - Etický kodex Umět použít kontextové hodnocení vědět, kde na ESF fóru najde informace o svém hodnocení i zpětnou vazbu o hodnocení partnerského hodnotitele konkrétního projektu příručky, metodiky, hodnocení projektů, Benefit7, MONIT7+, ESF fórum Představení, výklad, otázky a vyjasnění 60 minut Podkladové materiály PWP Prezentace Národní vzdělávací fond, Strana 129 / 143

130 8.3 Vyhodnocení realizace vzdělávání hodnotitelů Obecné školení pro hodnotitele se konalo ve čtyřech bězích v dubnu a květnu 2012 v níže uvedených termínech: v Praze pilotní běh v Praze v Brně v Praze Program prezenčního školení byl soustředěn do úvodního a závěrečného dne. První den se věnoval teoretickým poznatkům z oblasti hodnocení projektů a prezentaci modelového hodnocení referenčního projektu ALFA. V mezidobí mezi prvním a závěrečným dnem probíhalo zpracování hodnocení referenčního projektu OMEGA/BETA účastníky školení a posouzení kvality jejich hodnocení posuzovateli (2 lektoři a 6 vybraných zkušených hodnotitelů). Poslední den pak byl soustředěn na shrnutí výsledků cvičného hodnocení a diskusi o hodnocení jednotlivých kritérií. Na závěr školení vypracovali účastníci školení odborný test. Celkově vzděláváním prošlo 129 účastníků, z nich 120 zpracovalo hodnocení projektu (3 hodnocení došla až po termínu zpracování souhrnného hodnocení, avšak posouzení kvality hodnocení přesto obdrželi) a 119 vypracovalo závěrečný test. Zpětnou vazbu ve formě hodnotícího dotazníku poskytlo 114 účastníků školení. Vyhodnocení kvality zpracování hodnocení jednotlivých účastníků školení bylo provedeno ve formě komentářů do hodnotících formulářů projektu OMEGA, zpracovaných hodnotiteli a dále vypracováním posudků výkonu hodnotitelů na základě níže uvedených kritérií 1. Soulad hodnocení s metodikou 2. Kvalita a srozumitelnost hodnotícího komentáře 3. Soulad hodnotícího komentáře a vybraného slovního deskriptoru 4. Kontextové hodnocení Celkové hodnocení pak bylo průměrnou známkou za uvedená kritéria, v rozsahu 1 4. Přidělené známky se pohybovaly v rozmezí 1 3, průměrná známka byla 1,76. Závěrečný test byl koncipován formou One-choice, ale přesto byl poměrně náročný, tak aby se podařilo rozvrstvení hodnotitelů podle znalostí i podle schopnosti nalézt chybná řešení. Některé otázky byly jednodušší (proces hodnocení a výběru projektů, kontextové hodnocení, nepřímé náklady) a počet správných odpovědí dosahoval maxima, jiné otázky byly pro mnohé složité (oprávněnost žadatele, partnerství). Na základě testu nelze vyvozovat, že danou oblast hodnotitelé neznají, mnohdy to bylo dáno náročností otázky. Přesto však výsledky testu byly poměrně dobré, průměrný počet správných odpovědí byl 8,76 ze 12 otázek, nejvyšší počet správných odpovědí dosáhl pouze jeden účastník, na opačném konci spektra se pohyboval také 1 účastník s pouhými 4 správnými odpověďmi. Prvního běhu školení se kromě hodnotitelů zúčastnili jako pozorovatelé rovněž zástupci Řídícího orgánu OP LZZ, všech běhů se jako aktivně vystupující lektor zúčastnil rovněž zástupce Řídícího orgánu. Školení připravili a realizovali pracovníci NVF. Národní vzdělávací fond, Strana 130 / 143

131 1. VYHODNOCENÍ REFERENČNÍHO PROJEKTU OMEGA / BETA Školení hodnotitelů, Praha + Brno, duben - květen 2012 Souhrnné statistické shrnutí a) Celkové hodnocení Počet zpracovaných hodnocení 117 Doporučen k financování - ANO 39 Doporučen k financování - NE 78 Max. bodové hodnocení 35,465 bodů Min. bodové hodnocení 91,235 bodů b) Rozložení bodů - obecná kritéria Interval 1-9 bodů 0 Interval bodů 0 Interval bodů 0 Interval bodů 3 Interval bodů 21 Interval bodů 34 Interval bodů 32 Interval bodů 18 Interval bodů 8 Interval bodů 1 c) Rozložení bodů - specifické kritérium 0 bodů / nehodnoceno 7 1 bod 7 2 body 4 3 body 42 5 bodů 8 Národní vzdělávací fond, Strana 131 / 143

132 1. běh 2. běh 3. běh 4. běh souhrn A1 Zdůvodnění potřebnosti projektu velice přesvědčivé 0% 3% 8% 8% 5% přesvědčivé 19% 21% 31% 28% 25% průměrně přesvědčivé 29% 55% 42% 36% 42% málo přesvědčivé 38% 21% 19% 22% 24% nepřesvědčivé 14% 0% 0% 6% 4% A2 Vazba na cíle výzvy velice těsná vazba 29% 24% 31% 31% 28% těsná vazba 33% 52% 46% 50% 47% přijatelná vazba 38% 24% 23% 19% 25% A3 Zhodnocení cílů projektu jasně vymezené a relevantní 19% 20% 27% 25% 23% cíle nejsou zcela jasně vymezené a jsou relevantní 33% 50% 46% 41% 44% cíle jsou jasně vymezené, ale nejsou relevantní 24% 18% 19% 17% 19% cíle jsou nejasně vymezené a nejsou relevantní 19% 12% 8% 17% 14% B1 Jasné vymezení cílové skupiny jasně vymezená 19% 35% 38% 31% 32% ne zcela jasně vymezená 81% 59% 58% 56% 62% patně vymezená 0% 6% 4% 13% 6% B2 Přiměřenost cílové skupiny vychází z potřeb cílové skupiny 14% 38% 35% 33% 32% částečně vychází z potřeb cílové skupiny 76% 53% 65% 67% 64% nevychází z potřeb cílové skupiny 10% 9% 0% 0% 4% B3 Přínos projektu pro cílovou skupinu vysoký 5% 3% 15% 6% 7% značný 5% 12% 8% 25% 14% střední 28% 67% 46% 44% 49% malý 48% 12% 31% 22% 26% velice malý 14% 6% 0% 0% 3% žádný 0% 0% 0% 3% 1% B4 Způsob zapojení cílové skupiny intenzivní a adekvátní zapojení 5% 12% 46% 31% 24% dílčí a adekvátní zapojení 43% 50% 35% 33% 40% intenzivní a neadekvátní zapojení 24% 9% 4% 11% 11% dílčí a neadekvátní zapojení 18% 29% 15% 17% 21% zcela nedostatečné 5% 0% 0% 8% 3% žádný deskriptor 5% % C1 Kompetence žadatele velice dobrá 5% 18% 4% 11% 10% značná 38% 21% 46% 45% 37% střední 43% 52% 38% 33% 42% malá 14% 6% 8% 11% 9% velmi malá 0% 3% 4% 0% 2% zcela nedostatečná 0% 0% 0% 0% 0% C2 Zkušenosti žadatele a členů týmu vyhovující zcela cílům projektu 43% 41% 35% 47% 42% vyhovující dílčím způsobem cílům projektu 52% 59% 65% 53% 57% nevyhovující cílům projektu 5% 0% 0% 0% 1% Národní vzdělávací fond, Strana 132 / 143

133 D1 Volba a popis klíčových aktivit a harmonogram projektu zcela adekvátní k náplni projektu 0% 3% 4% 3% 3% adekvátní k náplni projektu 28% 26% 27% 42% 32% částečně nevyhovující náplni projektu 62% 65% 62% 44% 56% nevyhovující náplni projektu 10% 6% 8% 8% 8% žádný deskriptor % 1% D2 Předpoklady pro udržitelnost projektu vysoké 29% 15% 23% 22% 21% přiměřené 38% 59% 58% 61% 56% malé 33% 26% 19% 17% 23% žádné 0% 0% 0% 0% 0% D3 Kvalita řízení rizik zvláště vysoká 0% 0% 4% 0% 1% vysoká 5% 6% 19% 31% 16% průměrná 71% 79% 65% 38% 62% špatná 24% 15% 12% 31% 21% velice špatná 0% 0% 0% 0% 0% E1 Přiměřenost rozpočtu projektu jeho obsahové náplni a rozsahu rozpočet je zcela přiměřený 14% 0% 0% 3% 3% rozpočet je mírně nadhodnocen či podhodnocen 57% 71% 88% 64% 70% rozpočet je velmi nadhodnocen či podhodnocen 29% 29% 12% 33% 27% zcela nepřiměřený 0% 0% 0% 0% 0% E1 Přiměřenost rozpočtu projektu jeho obsahové náplni a rozsahu vysoká 5% 6% 15% 11% 9% značná 32% 44% 28% 42% 38% střední 24% 32% 42% 33% 33% malá 24% 9% 15% 8% 12% velice malá 5% 3% 0% 3% 3% zcela nedostatečná 5% 3% 0% 0% 2% žádný deskriptor 5% 3% - 3% 3% F1 Šíře a adekvátnost výběru monitorovacích indikátorů zcela přiměřená 66% 59% 85% 70% 69% zčásti přiměřená 19% 35% 15% 19% 23% zčásti nepřiměřená 10% 6% 0% 11% 7% nepřiměřená 0% 0% 0% 0% 0% žádný deskriptor 5% % F2 Reálnost kvantitativních hodnot monitorovacích indikátorů vysoká 14% 15% 19% 22% 18% stření 48% 76% 69% 67% 67% nízká 38% 9% 8% 8% 13% velmi nízká 0% 0% 0% 3% 1% žádný deskriptor - - 4% - 1% F3 Přiměřenost výsledků vzhledem k požadovaným prostředkům zcela přiměřená 19% 24% 8% 14% 16% mírně nadhodnocená či podhodnocená 38% 49% 77% 64% 58% velmi nadhodnocená či podhodnocená 33% 18% 15% 22% 21% zcela nepřiměřená 5% 9% 0% 0% 4% žádný deskriptor 5% % Národní vzdělávací fond, Strana 133 / 143

134 Grafické znázornění hodnocení obecných kritérií A1 Zdůvodnění potřebnosti projektu A2 Vazba na cíle výzvy A3 Zhodnocení cílů projektu B1 Jasné vymezení cílové skupiny B2 Přiměřenost cílové skupiny Národní vzdělávací fond, Strana 134 / 143

135 B3 Přínos projektu pro cílovou skupinu B4 Způsob zapojení cílové skupiny C1 Kompetence žadatele C2 Zkušenosti žadatele a členů týmu D1 Volba a popis klíčových aktivit a harmonogram projektu D2 Předpoklady pro udržitelnost projektu Národní vzdělávací fond, Strana 135 / 143

136 D3 Kvalita řízení rizik E1 Přiměřenost rozpočtu projektu jeho obsahové náplni a rozsahu E2 Přehlednost, srozumitelnost a věcná správnost rozpočtu F1 Šíře a adekvátnost výběru monitorovacích indikátorů Národní vzdělávací fond, Strana 136 / 143

137 F2 Reálnost kvantitativních hodnot monitorovacích indikátorů F3 Přiměřenost výsledků vzhledem k požadovaným prostředkům Podrobný rozbor výsledků hodnocení referenčního projektu OMEGA v jednotlivých bězích školení je uveden v příloze 3. Národní vzdělávací fond, Strana 137 / 143