Hodnocení EU projektů PhDr. Irina ZÁLIŠOVÁ, EPMA
Kdo mluví: PhDr. Irina Zálišová 12 let hodnotitel a reviewer EU projektů (5.-7. RP IST, Science&Society, Interreg) 7 let ředitelka EPMA - Agentura pro evropské projekty a management, z.s.p.o. (Vysočina Kraj+ BMI sdružení) Spolu-zakladatelka sdružení BMI Březen měsíc internetu, každoroční kampaň (1998 2009) Před tím 20 let praxe ve státní správě ČR a komerční sféře I. Zálišová - MVČR, CIP- ICT PSP Info day Praha, 20.02.12
Hodnocení pro výběr a hodnocení průběhu projektů Hodnocení pro výběr (evaluace) Hodnocení průběhu (review, monitoring) Formální kontrola (admin. služba EC) Výběr, porovnání projektů (evaluace) Stanovení pořadí ranking (seznam, šedá zóna, ) Finální výběr k financování (EC) I. Zálišová - MVČR, CIP- ICT PSP Info day Praha, 20.02.12
Formální kontrola: Eligibility and exclusion criteria Proposals not meeting the above criteria will not be accepted for evaluation. Pilot A: The consortia must be comprised by a minimum of six relevant national administrations or a legal entity designated to act on their behalf from six different EU Member States or associated countries. If a national administration is represented in the consortium by a designated legal entity, then the national administration will need to certify that the legal entity has been designated to act on its behalf for the purpose of the pilot53. Pilot B: The consortia must be comprised by a minimum of four independent, legal entities from four different EU Member States or associated countries. Best Practice Networks and Thematic Networks: The consortia must be comprised by a minimum of seven independent legal entities from seven different EU Member States or associated countries. I. Zálišová - MVČR, CIP- ICT PSP Info day Praha, 20.02.12
Dnešní témata Podmínky, pravidla, proces (kompetence a diskrétnost hodnotitelů, angličtina; hodnocení na místě, elektronicky + kombinace) Individuální hodnocení & concensus (na základě předem daných zveřejněných kritérií, fair play, dosažení souhlasu v hodnocení) Příklady hodnotících kritérií a procesu hodnocení projektů I. Zálišová - MVČR, CIP- ICT PSP Info day Praha, 20.02.12 5
Organizační proces hodnocení 2 -Schůzky expertů ve skupině (consensus group) 5 - Výběr projektů k negociacím 1- Individuální čtení 3 experty 1 -Individuální hodnotící report 3 - Hodnotící report s odůvodněním hodnocení dle kritérií -Evaluation Summary Report (ESR) 4 - Panel všech hodnotitelů v dané tématické skupině pro upřesnění pořadí/rankingu 4 seznam projektů dle pořadí hodnocení 6 - závěrečný výběr EK projektů k financování (na základě všech předchozích výsledků, rozpočtu a priorit programu/ Work programme) I. Zálišová - MVČR, CIP- ICT PSP Info day Praha, 20.02.12
1-3: Organizační proces hodnocení 1 - Individuální čtení 3 experty - individuální hodnotící report - hodnotící kritéria (3/5) 2 - Schůzky expertů ve skupině 3 nebo více (consensus group) + zapisovatel + představitel EK (moderuje) Diskuze pokračuje dokud není dosaženo shody ve známkách a textech odůvodnění. Moderátor se snaží, aby každý názor byl vyslyšen a odůvodněn. Výjimečně se diskuze může ukončit se zachováním menšinového názoru (minority report) pro finální rozhodnutí. Průběh diskuze a výsledek se zapisuje do tzv. Consensus Reportu nebo Evaluation Summary Reportu. 3 - Výsledný hodnotící report obsahuje celkovou známku s odůvodněním hodnocení dle kritérií (ESR), s podpisy všech expertů a zapisovatele, zápisem o průběhu consensus schůzky. I. Zálišová - MVČR, CIP- ICT PSP Info day Praha, 20.02.12
4-6: Organizační proces hodnocení 4 - Panel všech hodnotitelů v dané tematické skupině pro upřesnění pořadí/rankingu, všechny Consensus reporty /ESR. Všichni experti čtou ESR za všechny projekty, včetně těch s nízkým hodnocením. Porovnávání, otevřená diskuze o projektech. Občas se bere v potaz minority report. Výsledkem je seznam projektů dle známek (threshold, stejné známky apod.) 5 - Výběr projektů k negociacím dodatečná šance pro projekty se stejným hodnocením. Občas probíhají osobní slyšení a presentace projektů (IP v 7.RP) 6 - Závěrečný výběr EK projektů k financování (na základě všech předchozích výsledků, rozpočtovým omezením prioritám programu/ Work programme) Diskrétnost a profesionalita hodnotitelů je klíčová podmínka I. Zálišová - MVČR, CIP- ICT PSP Info day Praha, 20.02.12
Dobrý projekt Projekt odpovídá výzvě, cílům programového období a zájmům Společenství Návrh projektu jasně říká, co chcete dělat a proč (stručný popis, strukturované cíle, výstupy /produkty a výsledky) Projekt je přehledný a bez zbytečného nánosu vedlejších informaci (intelektuální šum neuspěje) Projekt je dobře organizován (fáze projektu, časový plán např. Gantt chart, rozdělení úkolů a kompetencí, výstupy) - Logický rámec. Prošel křížovou kontrolou dle logického rámce Dosažení pozitivního prahu: threschold 3/5 I. Zálišová - MVČR, CIP- ICT PSP Info day Praha, 20.02.12 9
Špatný projekt Problém není dostatečně významný pro Evropu nebo neposkytne žádné nové informace. Navrhované metody a procedury neodpovídají programu, typu projektu, ani cílům vlastního projektu. - vyžaduje rozhled hodnotitelů a orientaci v programech, rozdíl mezi IST a CIP ICT PSP, akcent na výzkum nebo na pilotování. - častý případ začátečníků, formální přístup Popis projektu je zamlžený, není zcela jasný, takže nelze dost dobře posoudit. - často velmi textově rozsáhlé projekty, 100 stran Je zjevné, že kandidát nemá dostatečný trénink nebo zkušenosti resp. obojí pro daný typ projektu. - pak se hledají reference v popisu partnera I. Zálišová - MVČR, CIP- ICT PSP Info day Praha, 20.02.12 10
1. Relevance (tomuto programu, této výzvě, konkrétnímu opatření) Mlácení prázdné slámy, bubliny Známka = 0 Opisování (ctrl C/ctrl V) priorit z programových dokumentů Známka = 1 až 2 Jasná formulace svých cílů a odkaz na programové priority Známka = 3 Jasná formulace svých cílů v návaznosti na programové priority, vysvětlení přínosů projektu z hlediska cílů programových priorit Známka = 4 až 5 I. Zálišová - MVČR, CIP- ICT PSP Info day Praha, 20.02.12 11
2. Potencial impact Dopad není popsán a není zřejmý, anebo neodpovídá cílům IST Známka = 0 Opakované fráze o tom, jak významný to je projekt Známka = 1 až 2 Konkrétní popis dopadu projektu na cílovou skupinu nebo území (dle výzvy a priority) Známka = 3 Konkrétní popis dopadu projektu na cílovou skupinu nebo území s demonstraci hluboké znalosti problematiky a originality projektu Známka = 4 až 5 Nejčastější chyba: lokální dopad projektu, výhoda jen pro malé území, není jasné, co z toho bude mít Společenství I. Zálišová - MVČR, CIP- ICT PSP Info day Praha, 20.02.12 12
3. Scientific and technological excellence Jaksi ani není jasné, co vlastně chtějí udělat ( kdyby padla mlha anebo pršelo, a stála tak po kolena ve vodě ) Známka = 1 Ten dělá to, a ten zas tohle, a všichni dohromady vyrobí kolo. Známka = 2 až 3 Vysvětlení cílů projektu s kvalitativním posunem práce za hranice současného stavu v dané oblasti Známka = 4 Vysvětlení cílů projektu s kvalitativním posunem za hranice současného stavu v dané oblasti a odůvodněním, proč to nešlo dříve Známka = 5 I. Zálišová - MVČR, CIP- ICT PSP Info day Praha, 20.02.12 13
4. Integration/sustainability Spousta různých aktivit, ale kde je integrace? Známka = 1 až 2 Spolupráce je nyní, ale není jasné, co bude, až dojdou grantové peníze? Známka = 3 Je vidět skutečné úsilí dosáhnout integrace, ale cosi chybí: buď klíčový partner, nebo zvolený segment to neumožňuje, anebo není tak významný Známka = 4 Trvalé doložené úsilí partnerů integrovat práci v segmentu výzkumu důležitém pro společnost Známka = 5 I. Zálišová - MVČR, CIP- ICT PSP Info day Praha, 20.02.12 14
5. Quality of management Zkušenosti s řízením mezinárodních týmů (koordinátor) Požadavky na odbornost vedoucích partnerů (WP leaders), doplňující se odbornost (různorodá, potřebná k realizaci projektu) Požadavky na geografické pokrytí partnerství (např. výzva je zaměřená na NMS, ale žádny partner z NMS není ) Potenciál pro rozvoj a využití výsledků projektu, pan-evropská dimenze Zkušenosti partnerů s evropskou spoluprací (specifika) I. Zálišová - MVČR, CIP- ICT PSP Info day Praha, 20.02.12 15
5. Quality of management Opakování frází o tom, jak jsme skvělí Známka 1 Kvalita je doložená CVs; to by mohlo zabrat Známka 2-3 Jasný popis kompetencí v problematice, plánovaných rolí v projektu, návaznost na cíle projektu Známka 4 Jasný popis kompetencí v problematice a rolí v projektu v návaznosti na cíle; uznávaná pozice mezi odborníky v dané oblasti Známka 5 I. Zálišová - MVČR, CIP- ICT PSP Info day Praha, 20.02.12 16
6. Mobilisation of resouces Celkový objem a plán nasazení úsilí a zdrojů je v souvislosti s cíli projektu Rozložení v čase, dle úkolů a výkonů Strategické a vyrovnané rozdělení prostředků mezi partnery (prostředky evropských daňových poplatníků!) Ochota partnerů se podílet na realizaci projektu vlastními zdroji (spolufinancování) I. Zálišová - MVČR, CIP- ICT PSP Info day Praha, 20.02.12 17
7. Mobilisation of resouces Samozřejmě máme potřebné zdroje Známka 1 Slepé kopírování z firemních materiálů Známka 2 Plán využití zdrojů odpovídá cílům projektu, ale je schematický Známka 3 Podrobný plán využití zdrojů, ale může být nad/ nebo pod/hodnocený Známka 4 Naprosto relevantní objem zdrojů, přesvědčivě integrovaný do plánu Známka 5 I. Zálišová - MVČR, CIP- ICT PSP Info day Praha, 20.02.12 18
Hodnotící kritéria CIP- ICT PSP/Pilot A Relevance - Alignment with the general objectives of the ICT PSP programme and with the addressed specific objective described under chapter 3 of the work programme Alignment and synergies with relevant policies, strategies and activities on European and national level Impact Contribution of the project to the target outcome and expected impact as defined in the specific objective addressed Long term impact: viability, sustainability and scalability beyond the phases of work sponsored by the Community in view of EU-wide operations. Attention should be given to the support by public entities and the capability to build support across the EU in view of reaching EU wide consensus Free availability of common results in view of implementing interoperability on EU wide level (specifications of interfaces, protocols, architecture, etc, as well as where appropriate - open source reference implementations of necessary components and building blocks for interoperability) Implementation Quality of the approach (taking into account specificities of the participation of administrations) and convincing work plan with well-defined work packages, schedule, partner roles and deliverables; effectiveness of the management approach Capability and commitment of the partnership to reach the objectives of the project. Attention should be given to the involvement of relevant stakeholders to achieve the objectives of the proposal Appropriateness of resource allocation and estimated cost in view of the achievement of the objectives of the proposal Specific and realistic quantified indicators provided to measure progress - Appropriate attention to security, privacy, inclusiveness and accessibility; the appropriate use of interoperable platforms; standards or open technical specifications and open-source components Prah hodnocení/dělící čára pro úspěch 3/5, Celková suma /Overall threshold 9/15
Závěr: jak docílit nejlepšího hodnocení svého projektu? 1. Číst instrukce pro hodnotitele (Guide for evaluators) k správnému programu, pochopit smysl kritérií. 2. Začlenit do popisu projektu odpovědí na vyhodnocovací kritéria. 3. Umožnit hodnotitelům dát vysoké známky. Ulehčit jím práci! Nepsat krátce a heslovitě, vysvětlit vše potřebné, Nepsat příliš dlouhé texty, ale dobře strukturované, Nenechat složitě vyhledávat pozitiva vyjmenovat je! Nenechávat příliš místa pro fantazii hodnotitelů - psát jasně. 4. Nikdy nezaplňovat konkrétní části projektu prázdným bla-bla místo obsahu. 5. Dát přečíst projekt zkušenému hodnotiteli, předělat projekt na základě jeho poznámek, pak podávat! I. Zálišová - MVČR, CIP- ICT PSP Info day Praha, 20.02.12 20
Děkuji za pozornost Hodně zdaru! PhDr. Irina Zálišová, zalisova@epma.cz