Pžadavky na bsah evaluačních zpráv Výzva č. 51 Oblast pdpry 1.3 Další vzdělávání pracvníků škl a šklských zařízení 21.8.2014 Operační prgram Vzdělávání pr knkurenceschpnst MŠMT
Obsah Úvd... 3 Pžadavky na evaluační zprávy... 3 Zpracvání evaluační zprávy... 4 Obsah evaluačních zpráv... 4 Dplňující infrmace k pjmu evaluace... 6 Definice... 6 Typy evaluací... 7 Přílha č. 1... 8 Přílha č. 2... 9 2
Úvd Tent materiál je určen zejm. příjemcům a partnerům prjektů z výzvy č. 51, blasti pdpry 1.3 Další vzdělávání pracvníků škl a šklských zařízení, Operačníh prgramu Vzdělávání pr knkurenceschpnst (OP VK). Materiál bsahuje stručný návd na přípravu evaluací v jedntlivých prjektech a zárveň stanvuje minimální pžadavky Řídicíh rgánu OP VK na bsah evaluací. Pžadavky na evaluační zprávy Dle Přílhy č. 5 Metdický výklad výzvy č. 51 je příjemce pvinen zpracvat evaluaci (hdncení) prjektu (viz pvinná aktivita C Evaluace). 1 Tat aktivita je zaměřena na evaluaci prjektvých aktivit realizvaných u jedntlivých partnerů (škl). V rámci evaluace djde k vyhdncení přínsu vzdělávacích aktivit, zaměřených na reálné využití ICT techniky ve výuce v dané škle. Každá škla ppíše pčáteční stav před zahájením vzdělávacích aktivit prjektu. P uknčení aktivit prjektu djde na každé škle k vyhdncení přínsu vzdělávacích aktivit v prvnání s pčátečním stavem. Analýzu pčátečníh stavu a vyhdncení přínsu vzdělávacích aktivit každá škla/partner zpracuje (pd metdickým vedením příjemce dtace) frmu evaluační zprávy. Tyt evaluační zprávy za každu šklu/partnera dlží příjemce nejpzději se závěrečnu mnitrvací zprávu. Vzhledem k tmu, že evaluace je samstatnu prjektvu aktivitu a jedntliví příjemci ve svých žádstech rzpracvali plán evaluačních aktivit uzpůsbených struktuře a věcnému bsahu svých prjektů, uvádíme puze minimální pžadavky, které výsledné evaluační zprávy musí bsahvat. Pr příjemce, kteří nepužívají vlastní metdiku, je dpručeným hdntícím nástrjem ICT v živtě škly - Prfil škly 21. 2 Příjemce tímt nijak nemezujeme v mžnsti vytvřit mnhem rzsáhlejší a sfistikvanější evaluaci prjektu. 1 Dstupné zde http://www.p-vk.cz/cs/zadatel/vyzvy-p-vk/vyzvy-p-vk/ukncene-vyzvy/vyzvy-ip/vyhlasenivyzvy-k-predkladani-individualnich-prjektu-statnich-blast-pdpry-1-3-dalsi-vzdelavani-pracvniku-skl-asklskych-zarizeni-1.html 2 Nástrj Prfil Škla21 je dstupný zde: http://skla21.rvp.cz/ Více infrmací k nástrji dstupné zde: http://www.nuv.cz/ae/prfil-skla21 Metdický průvdce k nástrji dstupný zde: http://www.nuv.cz/uplads/ae/evaluacni_nastrje/27_ict_v_zivte_skly_prfil_skly21.pdf Česku verzi nástrje vyvíjeli a připravvali v rámci prjektu AUTOEVALUACE - Vytváření systému a pdpra škl v blasti vlastníh hdncení (CZ.1.07/4.1.00/06.0014): Ing. Břivj Brdička, Ph.D. z katedry infrmačních technlgií a technické výchvy PedF UK v Praze, Mgr. Daniela Růžičkvá a PhDr. Ondřej Neumajer, Ph.D., ba z Výzkumnéh ústavu pedaggickéh v Praze 3
Zpracvání evaluační zprávy Příjemce zajistí, aby jeh partnerské škly pstupvaly při zpracvání hdncení pkud mžn stejným způsbem a výsledky jejich hdncení byly mezi sebu navzájem prvnatelné. Účelem evaluace je vyhdntit d jaké míry přispěl prjekt k využití ICT ve výuce v zúčastněné škle. K vyhdncení djde tak, že realizátři tét aktivity budu ve škle nejdříve analyzvat pčáteční (výchzí, aktuální) stav ve využití ICT a stanví si, kam by se ve využití ICT chtěla škla dstat (plánvaný, cílvý stav). Výsledný rzdíl mezi pčátečním a cílvým stavem definuje ptřeby škly v blasti ICT. Realizátři aktivity stanví návrhy patření, které by měly vést z pčátečníh k plánvanému stavu a ppíší další vlivy, které mhu knečný stav vlivnit. Na knci prjektu realizátři tét aktivity pět zanalyzují stav, v němž se využití ICT na škle nachází. Tent výsledný rzdíl mezi pčátečním stavem a knečným stavem je výsledkem prjektvých aktivit a dalších vlivů na prjektu nezávislých. Realizátři aktivity by měli dlišit, naklik d výsledku zasáhly statní vlivy a vyhdntit, jakým způsbem prjektvé aktivity přispěly k využití ICT ve výuce na dané škle. Příjemce dlží samstatné evaluační zprávy za každu partnersku šklu. V případě, že příjemce uvedl v žádsti puze jednu velku suhrnnu evaluační zprávu, musí být text strukturván tak, aby byl mžné rzlišit výsledky hdncení za jedntlivé partnerské škly. Obsah evaluačních zpráv Pdle prjektvých aktivit V návaznsti na prjektvé aktivity by evaluační zpráva měla bsahvat: Aktivita A: Zhdncení přínsu a spkjensti řídících pracvníků škl s úrvní šklení v blasti zadávání veřejných zakázek, případně v dalších blastech, pr něž byla šklení pskytnuta v pdaktivitě A1. Pr každu věcnu blast, v níž byli řídící pracvníci škleni, by měl být hdncení prveden zvlášť. Zhdncení přínsu a spkjensti pedaggických pracvníků s úrvní metdické a technické pdpry v rámci pdaktivity A2. Pr každu věcnu blast, v níž byli pedaggičtí pracvníci škleni, by měl být hdncení prveden zvlášť, nicméně výsledky by měly být navzájem srvnatelné. Vhdným nástrjem jsu krátké evaluační dtazníky s uzavřenými tázkami se standardizvanými dpvěďmi. 3 Ty mhu být dplněny např. výsledky rzhvrů evaluátra s příjemci metdické a technické pdpry, jimiž by evaluátr zjišťval, c knkrétníh byl pr pedaggické pracvníky přínsem neb napak c jim vadil či c jim chyběl. 3 Ukázka viz přílha 1. 4
V případě aktivity A3 (pkud se jí škla účastní) zhdncení přínsu a spkjensti pedaggických pracvníků, kteří využívali služeb metdika ICT 4, případně samtnéh metdika ICT s úrvní pskytnutých šklení a další pdpry. Aktivita B: Krátký ppis vzdělávacích akcí a činnstí (stručně bsah a cíle, zaměření, pčet šklení, pčet účastníků). Zhdncení přínsu a spkjensti účastníků seminářů/šklení/wrkshpů. U prezenčníh typu šklení je vhdným nástrjem např. krátký evaluační dtazník, u e-learningu hdncení krátkým n-line nástrjem (např. elektrnickým dtazníkem neb hdncením integrvaným d e-learningvé aplikace). Výsledky dtazníkvých šetření za různá šklení by měly být srvnatelné, prt je vhdné pužívat dtazníky s uzavřenými, standardizvanými dpvěďmi a minimem tevřených tázek, které jsu nárčnější na zpracvání. Ty mhu být dplněny např. výsledky rzhvrů evaluátra s účastníky šklení, jimiž by evaluátr zjišťval, c knkrétníh byl pr pedaggické pracvníky přínsem neb napak c jim vadil či c jim chyběl. P frmální stránce Evaluační zpráva by p frmální stránce měla bsahvat: Krátký ppis prjektu (název prjektu, registrační čísl prjektu, název příjemce prjektu, dba realizace prjektu, stručný ppis aktivit, které škla realizvala). Krátké manažerské shrnutí. Srvnání půvdníh stavu s výsledkem a s čekávaným výsledkem, tj.: Analýzu výchzíh stavu a ptřeb škly. Účast partnera v prjektu předpkládá alespň implicitní stanvení cílů škly a analýzu ptřeb, tedy identifikvání rzpru mezi aktuálním stavem a cílvými ptřebami. Předpkládá se, že škla prstřednictvím prjektvých aktivit hdlá naplnit některé z těcht ptřeb a dsáhnut, neb se alespň přiblížit, naplnění svých cílů. Analýza výchzíh stavu by měla bsahvat i cíle, jichž chce škla v blasti ICT (především ve vztahu ke kmpetencím pedaggických pracvníků a k integraci ICT d výuky) dsáhnut. Jedná se vizi, jak si škla představuje svůj ideální stav v blasti ICT. Dále by měla bsahvat ppis sučasnéh stavu využití ICT a kmpetencí pedaggických pracvníků. Stanvený cíl neb cíle by měly být rzčleněny d knkrétních ptřeb, které je nutné naplnit, aby byl těcht cílů dsažen. 4 Metdik ICT - pzice zřízená v rámci prjektu. 5
Cíle a ptřeby by měly být strukturvaně členěny, např. ve frmě tabulky. Ty mhu být dplněny grafická schémata znázrňující, jak prjektvé aktivity mají naplnit stanvené ptřeby. Jedntlivé kategrie cílů a ptřeb by měly být rzčleněny d indikátrů tak, aby byl mžné říci, zda či d jaké míry byl těcht cílů a ptřeb dsažen. Tj. indikátr by měl být buď kvantifikvatelný, zařaditelný na škále neb dichtmický (an/ne). Vhdnu inspirací je např. hdntící nástrj Prfil Škla21. 5 Ve stejné frmě jak ppis výchzíh stavu je třeba vytvřit i ppis knečnéh stavu na knci prjektu. Knečný stav je nutné srvnat s výchzím stavem, s ptřebami a cíli stanvenými na pčátku. Je nutné prvést analýzu mechanismů th, zda a d jaké míry vedly prjektvé aktivity k dsažení knečnéh stavu, ppřípadě zda měly prjektvé aktivity i jiné, nečekávané důsledky. Je vhdné dplnit tut analýzu bdbným schématem jak při stanvení cílů. Tat analýza by měla zahrnvat i faktry mim prjektvé aktivity (ať už čekávané neb nečekávané), které knečný výsledek vlivnily, tj. mechanismy a vlivy vnější či na prjektu nezávislé, které vlivnily knečný stav. Dplňující infrmace k pjmu evaluace Definice Existuje mnh definic evaluace. Evaluace lze definvat například jak systematické a bjektivní hdncení z prbíhajícíh neb uknčenéh prjektu, prgramu neb plitiky, jejich navrhvání, prvádění a výsledků. Cílem je určit relevanci a plnění cílů, účinnst intervence, její účelnst, dpad a udržitelnst. Evaluace by měla pskytvat infrmace, které jsu důvěryhdné a užitečné, umžňující začlenění získaných pznatků d rzhdvacíh prcesu jak příjemců, tak i pskytvatelů; 6 selektivní úkn prváděný frmálním a strukturvaným způsbem za účelem stanvení relevance, účinnsti, účelnsti a udržitelnsti knkrétní iniciativy. Tyt výsledky jsu pak využívány ke zlepšení prcesů a buducích iniciativ. 7 Evaluace však nelze zaměňvat s mnitringem. Zatímc účelem mnitringu je sledvání, účelem evaluace je vyhdncvání, srvnávání a pskytnutí dpručení a pdkladů pr rzhdvání. Evaluace tak pmáhají nejen řídícímu rgánu vyhdntit úspěšnst výzvy a na základě získaných hdncení přijmut patření v buducnu. Pmáhají také příjemcům a partnerům zhdntit, s jakým úspěchem byl dsažen vytyčených cílů a získat zkušensti využitelné v přípravě dalších prjektů či jiných aktivit. Hdncení prbíhá na základě dpředu zvlených kritérií. Nejčastěji pužívanými 5 Více infrmací zde http://skla21.rvp.cz/ 6 OECD DAC Netwrk n Develpment Evaluatin: Summary f Key Nrms and Standards, 2010. 7 UN ESCAP Mnitring and Evaluatin Systém: Overview, 2007. 6
kritérii jsu tzv. 3E : effectiveness, efficiency a ecnmy nebli účelnst, efektivnst a úsprnst či hspdárnst, v češtině značvané také jak 3Ú. 8 Účelnstí (effectiveness) je značván takvé pužití veřejných prstředků, které zajistí ptimální míru dsažení cílů při plnění stanvených úklů. Tímt kritériem se hdntí dsažená skutečnst v prvnání se stanvenými cíli, tedy d jaké míry byl vytčených cílů dsažen. Efektivnstí (efficiency) je značván takvé pužití veřejných prstředků, kterým se dsáhne nejvýše mžnéh rzsahu, kvality a přínsu plněných úklů ve srvnání s bjemem prstředků vynalžených na jejich plnění. Je tedy pměřván, s jaku účinnstí jsu vstupy (práce, peníze, čas) převáděny na výsledky. Úsprnstí neb také hspdárnstí (ecnmy) je značván takvé pužití veřejných prstředků k zajištění stanvených úklů s c nejnižším vynalžením těcht prstředků, a t při ddržení dpvídající kvality plněných úklů. Úsprnst úzce suvisí s předchzími kritérii. Ptáme se, zda byl cíle výsledku dsažen s minimálními náklady, zda byl dsažen nejlepší účinnsti při zachvání účelnsti. Typy evaluací Evaluace lze členit pdle fáze prgramu neb prjektu, v níž se evaluace prvádí: Plánvací (ex-ante) Frmativní/průběžná (n-ging) Sumativní (ex-pst) Evaluace lze také členit pdle předmětu, na který se zaměřuje: Cílů/ptřeb Prcesů Efektů Termíny jak příns, dpad, efekt, výstup neb výsledek se v praxi velmi čast zaměňují. Efekt se bvykle pužívá jak suhrnné značení, jeh pdmnžinu jsu pak výstupy, výsledky a dpady. Výstup (utput) Evaluací výstupu jsu hdnceny časvě bezprstřední a skutečné efekty prgramu neb prjektu. V případě prjektů OP VK jsu jimi hdnceny např. prjektvé výstupy. Výsledek (utcme) Evaluace výsledku se zaměřuje na zhdncení změn dsažených prgramem neb prjektem ve frmě měřitelných ukazatelů/indikátrů. Dpad (impact) Evaluace dpadu hdntí veškeré změny, čast v dluhdbém měřítku, které mhly nastat v důsledku prgramu neb prjektu. V případě dtazů se bracejte na ddělení 412 Věcnéh řízení a evaluací OPVK, MŠMT. PhDr. Marcela Svěrákvá, marcela.sverakva@msmt.cz (veducí ddělení) Mgr. Jakub Vrbel, jakub.vrbel@msmt.cz (krdinátr evaluací) 8 Pjmy 3E jsu také definvány v 2 zákna č. 320/2001 Sb. finanční kntrle ve veřejné správě a změně některých záknů. 7
Přílha č. 1 Příklad dtazníku s uzavřenými a tevřenými tázkami Prsíme Vás vyplnění dtazníku, který je sučástí vyhdncvání prjektu (název a registrační čísl). Vaše dpvědi jsu naprst annymní a budu využity k hdncení přínsů prjektu. V rámci prjektu jste abslvval/a vzdělávání (název vzdělávací akce). Zaškrtněte jednu dpvěď. Pkud chcete dpvěď změnit, plíčk zakružkujte a zakřížkujte nvu dpvěď. Uzavřená tázka. Odpvědi jsu standardizvané a umžňují srvnání. Q.1 Se šklením/vzdělávací akcí jste byl/a? velmi spkjen/a spíše spkjen/a nevím spíše nespkjen/a zcela nespkjen/a Q.2 V případě, že jste byl/a nespkjen, uveďte prč. Otevřená tázka. Odpvědi jsu vypisvací a umžňují získat pdrbnější infrmace Q.3 D jaké míry byl pr Vás tt šklení/vzdělávání přínsem? velmi přínsné spíše přínsné nevím spíše nepřínsné zcela nepřínsné Q.4 V případě, že pr Vás tt šklení/vzdělávací akce byl přínsem, c z něj využijete v praxi? Q.5 Dpručil/a byste tent kurz klegvi? určitě an spíše an nevím spíše ne určitě ne Q.A6 Vaše další dpručení, pznámky či pstřehy k tét aktivitě: 8
Přílha č. 2 Schematický pstup hdncení, příklad vycházející z nástrje ICT v živtě škly - Prfil škly21 pr blast Prfesní rzvj, indikátr (ukazatel) uvědmění a zapjení. 1. Krk: zhdncení výchzíh stavu, naplánvání cílvéh stavu, stanvení patření veducích k naplánvanému stavu. 2. Krk: mnitring v průběhu prjektu, hdncení jedntlivých prjektvých aktivit, šklení, vzdělávacích akcí atd. 3. Krk: Vyhdncení knečnéh stavu, srvnání s pčátečním stavem a naplánvaným cílem, vyhdncení aktivit veducích ke knečnému stavu a dalších vlivů, které knečný stav vlivnily. Byl dsažen naplánvanéh cíle? Pkud ne, jaké vlivy neb událsti k tmu vedly? Objevily se nějaké nečekávané vlivy? Dšl alespň k dílčímu psunu k plánvanému cíli? Jak k psunu přispěly prjektvé aktivity? Aktuální stav Většina učitelů má zájem prfesní růst v blasti ICT a zúčastňuje se především vzdělávacích akcí rganizvaných v rámci škly. Opatření Širší zapjení d vzdělávacích akcí (např. šklení v rámci prjektu) Mtivace k individuálnímu vzdělávání Další vlivy Vnitřní (např. nízká vnitřní mtivace učitelů ke vzdělávání v ICT atd.) Vnější (např. příchd nvé technlgie, pruchvst přízených technlgií atd.) Plánvaný stav Většina učitelů se účastní nejen celšklních a hrmadných vzdělávacích akcí, ale vzdělává se v blasti ICT též individuálně. Knečný stav Většina učitelů má zájem prfesní růst v blasti ICT a zúčastňuje se především vzdělávacích akcí rganizvaných v rámci škly. 9