Zkušenosti hodnotitele projektů FP7 a H2020

Zkušenosti hodnotitele projektů FP7 a H2020 MUDr. Jiří Pumprla, PhD, MBA, MPH PreventaMed s.r.o. research@vilazdravi.cz Informační den pro oblast ZDRAVÍ, 16.10.2015 Technologické centrum AV ČR

O autorovi MUDr., internista (FN Olomouc, nyní PreventaMed s.r.o.) PhD kardiovaskulární regulace u metabolického syndromu MBA ekonomická efektivita léčebné edukace diabetiků MPH léčebná edukace u metabolického syndromu Klinický výzkum v diabetologii a kardiologii -- 1991-2013 Lékařská univerzita Vídeň, Institut pro biomedicínskou techniku a fyziku. 33 publikací, 560 citací (Scopus) Komerční/obchodní zkušenost dg. přístroje VariaPulse a VariaCardio (1993-2000 CZ, 2000-2006 UK, 2 patenty) Hodnocení a review EU projektů ICT for Health od 2009 (cca n=120)

O hodnocení EU projektů Formálně: Druhy hodnotitelských zpráv (individuální/konsenzus) Proces hodnocení: Individuální zprávy consensus meeting report panel meeting a ranking projektů (CAVE jen horních 1-3% je financováno) Obsahově: Co je individuální hodnotící report (IER) a na co se hodnotitel zaměřuje Které aspekty projektu mají při hodnocení projektu největší váhu Důležitost snoubení výlučnosti/inovativnosti nápadu projektu a formální preciznosti jeho zpracování (je to marketing!!) Na co v projektu také nezapomenout Která kritéria rozhodují při rovnosti bodů Proč jsou ESR (Evaluation Summary Report) více méně obecné Doporučení jak se stát hodnotitelem/expertem

Role hodnotitele projektu Hodnotitel = Nezávislý pověřený expert hodnotící návrh projektu podaného v rámci dané výzvy Hodnocení provádí individuálně,není delegovatelné Hodnocení je přísně důvěrné.hodnotitel zajistí, aby jiné osoby neměly přístup k hodnoceným návrhům Rozhodování o dalším osudu projektu je založeno na těchto individuálních hodnoceních a následném konsensu několika expertů (konsensus vzdálený/remote a on-site)

Obecné principy hodnocení projektu z pohledu hodnotitele Nezávislost hodnotitele (osobní, individuální pohled X nereprezentuje zaměstnavatele či zemi) Nestrannost (všechny projekty posuzovány nestranně) Objektivita (posuzováno status quo projektu, ne jeho kvalita po případné úpravě) Přesnost (posuzováno porovnáním s oficiálními hodnotitelskými kriterii a vypsaným tématem výzvy. Nic jiného neplatí) Konzistence (stejné hodnotitelské standardy na všechny projekty) Incommunicado (přísná důvěrnost všech informací)

Jak se procedurálně hodnotí návrh projektu? Na co se hodnotitel zaměřuje?

Zjednodušené schéma procesu hodnocení projektů By EC: -- Eligibility check -- Allocation of proposals to evaluators Stage1 / Evaluators Individual Evaluation Reports Done by individual evaluators remotely Consensus Report Median scores for each criterion and related standard phrase Mathematical median score for each criterion Stage 2 / SEP / Commission staff Final list of all proposals at and above thresholds. Evaluation stage 2 On-site evaluations of proposals above threshold: --consensus meetings, --panel ranking (CAVE 1-3% success rate) OR invitation letter without Evaluation Summary Report (ESR) to be sent to applicants) (Rejection letter with Evaluation Summary Report (ESR) to be sent to applicants)

Šance? 2-3%!

Jak se procedurálně hodnotí návrh projektu? Na co se hodnotitel zaměřuje?

Zjednodušené schéma procesu hodnocení projektů Eligibility check Allocation of proposals to evaluators Stage1 / Evaluators Individual Evaluation Reports Done by individual evaluators remotely Consensus Report Median scores for each criterion and related standard phrase Mathematical median score for each criterion Stage 2 / SEP / Commission staff Final list of all proposals at and above thresholds. Evaluation stage 2 On-site evaluations of proposals above threshold: consensus meetings, panel ranking (CAVE 1-3% success rate) OR invitation letter without Evaluation Summary Report (ESR) to be sent to applicants) (Rejection letter with Evaluation Summary Report (ESR) to be sent to applicants)

Individuální hodnotící zpráva (IER) IER = individuální detailní hodnocení projektu dle standardního schematu Tři hlavní hodnotící oblasti / kriteria Excellence Impact Quality and efficiency of the implementation Tři subskóre / celkové skóre Minimální limity (thresholds)

Skórování (lze i ½ bodu) 0 1 2 3 4 5 The proposal fails to address the criterion or cannot be judged due to missing or incomplete information Poor. The criterion is inadequately addressed, or there are serious inherent weaknesses. Fair. The proposal broadly addresses the criterion but there are significant weaknesses. Good. The proposal addresses the criterion well but with a number of shortcomings. Very Good. The proposal addresses the criterion very well but with a small number of shortcomings. Excellent. The proposal successfully addresses all relevant aspects of the criterion; any shortcomings are minor.

Příklad : Criterion 1: Excellence Current score: / 5.0 ; Threshold 3; Weight 100% ; Priority 2 Note: The following aspects will be taken into account, to the extent that the proposed work corresponds to the topic description in the work programme. If a proposal is partly out of scope, this must be reflected in the scoring, and explained in the comments. Clarity and pertinence of the objectives. Credibility of the proposed approach Soundness of the concept, including trans-disciplinary considerations, where relevant Extent that proposed work is ambitious, has innovation potential, and is beyond the state of the art (e.g. ground-breaking objectives, novel concepts and approaches) (The extent to which the Networking Activities will foster a culture of co-operation between the participants and other relevant stakeholders) (The extent to which the Service activities will offer access to state-of-the-art infrastructures, high quality services, and will enable users to conduct excellent research) (The extent to which the Joint Research Activities will contribute to quantitative and qualitative improvements of the services provided by the infrastructures) (Readiness of the technology for implementing the pilot) (Progress beyond the state of the art in production)

Příklad hodnocení: Criterion 1: Excellence Current score: 5 / 5.0 ; Threshold 3; Weight 100% ; Priority 2 The PROPOSAL intends to develop and validate two innovative systems based on AB technology for early diagnosis of CDE, to be used both at hospitals and at points of care. The objectives are clearly presented, pertinent and fully in line with the Call Objective 123. In particular, PROPOSAL is clearly user-driven, with an impressive expected shortening of the time of analysis. The approach to create the X systems through integration and further development of pre-existing technologies is well thought out and it includes utilization of credible research methods, in connection with relevant industrial technologies. The approach described to reach the intended TRL 5-6 is credible. The concept, which includes use of XY concentration, increase of sensitivity by analysis of ABC response markers 1 and advanced method 2, is sound. The proposal incorporates the needed know-how from different relevant disciplines, such as I, II, III. The proposal is ambitious in that it combines novel ABC methods, CDE reaction and EFG methods to improve sensitivity and XY capability. Although the proposed technology is not totally novel, significant progress beyond state-of-the-art is expected in terms of improved performance of ABC parameters (e.g. time to analysis, sensitivity and specificity), patient stratification and XYZ resistance profiling. The innovation potential both in short- and long-term is very high.

Příklad: Criterion 2: Impact Current score:../ 5.0 ; Threshold 3; Weight 150% ; Priority 1 The expected impacts listed in the work programme under the relevant topic Enhancing innovation capacity and integration of new knowledge Strengthening the competitiveness and growth of companies by developing innovations meeting the needs of European and global markets; and, where relevant, by delivering such innovations to the markets Any other environmental and socially important impacts (not already covered above) Effectiveness of the proposed measures to exploit and disseminate the project results (including management of IPR), to communicate the project, and to manage research data where relevant (open-source preferred) Contribution, where appropriate, to standards and to skills and educational training ( Soundness of the business cases and business plans and commitment to first exploitation / manufacturing) ( Evidence of the market potential and of the competitive technology advantage that will be gained through the pilot line) ( Potential of creating jobs in Europe)

Příklad: Criterion 3: Quality and efficiency of the implementation Current score:../ 5.0 ; Threshold 3; Weight 100% ; Priority 3 Coherence and effectiveness of the work plan / work packages (!!!), including appropriateness of the allocation of tasks and resources (GANNT chart, work package/task descriptiions: leader, members, timing, deliverables, total/individual WP budget allocation, out-sourcing of main tasks ) Competences, experience and complementarity of the individual participants, as well as of the consortium as a whole (industrial member is usually a plus) Appropriateness of the management structures and procedures, including project risks management and mitigation(!!!) ( Coverage of the value chain (RTOs, materials, equipment and technology suppliers and end-users))

Jak zvýšit své šance?

Je to marketing!!!! www.idnes.cz 16.10.2015

Druhy konkurenční strategie dle Portera (1980) Strategie minimálních nákladů Strategie soustředění Strategie odlišnosti, tj.: Buďte jiní (lepší) než ostatních 150-200 projektů!

Jak zvýšit své šance? Systémově: Přečtěte si (opakovaně!) zadání výzvy a zvažte, zda Váš nápad odpovídá všem jejím hlavním požadavkům Promyslete si konsorcium vyváženost, komplementarita, kvalita, využití výstupu Je potenciální leader konsorcia opravdu ten pravý? Využijte profesionální project management Nepodceňujte časovou i finanční zátěž přípravy

Jak zvýšit své šance? Systémově: Spojte síly se zkušenějšími partnery/ etablovanými/ majícími (úspěšnou) historii EU projektů Najměte si profesionála na sepsání projektu (nejlépe native speaker ghost writer/ freelancer) Začněte s přípravou brzy. Nejpozději HNED!

Jak zvýšit své šance? Formálně: Be different, žádné me-too Buďte přesvědčiví obsahově i formálně Opakujte své hlavní sdělení v textu několikrát Vyvarujte se zjevných opomenutí a chyb Udělejte něco smysluplného navíc (např. registrace domény, příprava patentu, plán komerčního využití / co dále po ukončení projektu?)

Jak zvýšit své šance? Při psaní textu je vhodné využít obraty/ wording ze zadání výzvy a z hodnocení jednotlivých kriterií ( ulehčí práci hodnotitele ) CAVE plagiarismus!! Projekt se posuzuje se as it is, ne kdyby. Žádná doporučení ze strany hodnotitele nejsou možná...my nesmíme ani naznačovat (Vizionář, Cimrman 2008)

Na co v projektu také nezapomenout IPR management (rámcová smlouva PŘED podpisem kontraktu s EC) Sustainability/Udržitelnost po ukončení Komerční partner zlepšuje image projektu Gender issues (!!!) Etické aspekty, zvláště při klinickém výzkumu (validace: schvalování místní Etickou komisí!!) Geografická distribuce konsorcia Finanční struktura projektu

Klíč k úspěchu? Snoubení obsahové výlučnosti / inovativnosti nápadu projektu s formální precizností a atraktivitou jeho zpracování

Doplňkové aspekty Která kritéria rozhodují při rovnosti bodů Proč jsou ESR (Evaluation Summary Report) více méně obecné

Jak se stát expertem/hodnotitelem?

Profil experta/hodnotitele v databázi

Hodně štěstí! Otázky? research@vilazdravi.cz