Hodnocení projektového návrhu Ing. Václav Fencl, CSc.
Postup hodnocení Podání návrhu a jeho formální kontrola - Komise 1. Individuální hodnocení (Remote evaluation pomocí systému RIVET), doma 2. Souhrnné hodnocení ( Evaluation summary report) v Bruselu 3. Panelové hodnocení (Brusel) Stanovení konečného pořadí včetně seznamu zamítnutých návrhů - Komise
Individuální hodnocení Hodnocení musí být založen na: objektivitě každý návrh je hodnocen jen na základě toho, co je v něm obsaženo, správnosti hodnocení se musí vztahovat jen k oficiálním hodnotícím kritériím, k ničemu jinému, rovném přístupu pro každý návrh musí být uplatněna stejná úroveň hodnocení
Kritéria hodnocení pro kolaborativní projekty 1. Vědeckotechnická kvalita vědecká a/nebo technická kvalita ve vztahu k tématu uvedeném ve výzvě Subkritéria: - správnost koncepce a kvalita cílů, - co přináší návrh nového, - kvalita a efektivnost zpracování a pracovního postupu.
2. Realizace Kvalita a efektivnost realizace a řízení projektu Subkritéria: - vhodnost organizační struktury projektu a postupů řízení, - kvalita a zkušenosti jednotlivých účastníků, - kvalita konsorcia jako celku ( složení, vyváženost), - vhodnost rozdělení požadovaných zdrojů a jejich zdůvodnění (lidé, vybavení).
3. Dopad Potencionální dopad získaných výsledků, jejich rozšíření a využití Subkritéria: - jak výsledky přispějí k dosažení dopadů uvedených v pracovním programu pro příslušnou výzvu, - vhodnost opatření pro šíření a využití výsledků projektu a ošetření duševního vlastnictví. Seminář Praha 25.2.2011
Bodové hodnocení návrhů Každé kritérium je hodnoceno jednou hodnotou na škále 0-5 - mohou se používat poloviny bodu, - má se používat plná škála hodnocení, - vyhovující návrh musí mít pro každé kritérium hodnocení min. hodnotu 3 a součet hodnocení všech tří kritérií musí být min. 10.
Jak se postupuje při hodnocení: Nejdříve se zpracuje komentář ke každému kritériu a potom se přiřadí odpovídající bodové hodnocení. Body a komentář musí být v souladu! Je třeba mít na paměti definice hodnotících stupňů: ( 5 vynikající, 0 nevyhovující ve všech aspektech) Pro hodnocení 4 by komentář měl být převážně pozitivní s uvedením určitých nedostatků. Pro hodnocení 2 by komentář měl být převážně negativní s uvedením hlavních nedostatků.
Jak se postupuje při hodnocení: komentář by se měl týkat pouze hodnoceného kritéria, komentář by se měl vyjádřit ke všem subkritériím, komentáře musí být jasné a výstižné, komentáře musí být založeny na faktech, nesmí se uvádět asi, možná, zdá se, domnívám se, pravděpodobně...
Souhrnné hodnocení (Evaluation summary report) Souhrnné hodnocení je nejdůležitější součástí hodnotícího procesu, protože pouze s ním je žadatel seznámen. Pro souhrnné hodnocení platí stejné zásady jako pro hodnocení individuální, jediným rozdílem je to, že je zpracováno skupinou hodnotitelů, kteří vypracovali individuální hodnocení. Každá skupina má svého vedoucího, který je za souhrnné hodnocení odpovědný. Společně se skupinou pracuje i projektový úředník Komise a někdy i jazykový pomocník.
Pracovník Komise - dohlíží na práci hodnotitelů, - organizuje schůzku pro souhrnné hodnocení, -řídí diskuzi v průběhu souhrnného hodnocení, - je odpovědný za dodržování pravidel hodnocení. Jazykový odborník Zpravidla zkušený hodnotitel, ale v jiném oboru, který pomáhá vypracovat jasnou a logickou zprávu. Nezasahuje do odborné diskuze. Seminář Praha 25.2.2011
Několik doporučení zpracovatelům při zpracování návrhů. Osnova návrhu by měla sledovat kritéria hodnocení, členění do kapitol podle kritérií a subkritérií hodnotiteli značně usnadní práci. Je vhodné návrh psát tak, aby text hodnotiteli napovídal, jak komentář k jednotlivým kritériím sestavit. Na hodnocení není příliš mnoho času. Při individuálním hodnocení záleží na každém, kolik času hodnocení věnuje, ale toto hodnocení není rozhodující.
Rozhodující je souhrnné hodnocení, při kterém se sejdou jednotliví hodnotitelé s velmi rozdílnými pracovními zkušenostmi (výzkumník, vysokoškolský pedagog, pracovník ministerstva apod.), kteří často nejsou ani odborníky na poměrně úzké odborné téma návrhu. Je proto třeba psát návrh jasně a přehledně a není třeba nezacházet do přílišných odborných detailů. Nejdůležitější kritériem je kritérium vědeckotechnické kvality, zejména co návrh přináší nového vůči současnému stavu poznání. Zde je vhodné popsat výstižně současný stav a dokumentovat znalost dříve zpracovaných projektů rámcových programů.
Kritérium realizace projektu je žadateli obvykle dobře zpracováno. Řídící struktura je podrobně popsána včetně pracovní náplně jednotlivých orgánů řízení projektu. Skladba konsorcia by měla být vyvážená a zahrnovat nejen výzkumná pracoviště a vysoké školy, nýbrž také malé a střední podniky a konečné uživatele. Požadované finanční prostředky je vhodné rozdělit pokud možno rovnoměrně mezi členy konsorcia. Finančních tabulek a rozpočtu projektu se není třeba obávat, žádný hodnotitel nemá čas je kontrolovat!
Při výčtu dopadů je vhodné vycházet z pracovního programu výzvy a k jednotlivým požadovaným dopadům uvést, jak k nim návrh přispěje. Do nástrojů šíření výsledků uvést vše, co k šíření výsledků přispěje a snažit se přijít s něčím originálním. Založením webové stránky projektu se body nezískají.
Hodnocení návrhů projektů v rámcovém programu považuji za velmi podrobně propracované a ve svém výsledku za velmi objektivní. Je stále vylepšováno, protože na jeho průběhem ještě bdí pozorovatelé, kteří po skončení hodnocení vypracují podrobnou zprávu s návrhy na zvýšení jeho úrovně. Je samozřejmé, že neúspěšní žadatelé jsou nespokojeni a mohou výsledky hodnocení zpochybnit. Jsem však přesvědčen, že financovány jsou skutečně jen ty nejlepší. Přeji vám, aby mezi nimi byl váš návrh!
Děkuji vám za pozornost Ing. Václav Fencl, CSc. vaclav.fencl@tpsd-ertrac.cz