Průběžná zpráva. Evaluace IPN

Transkript

1 Průběžná zpráva Evaluace IPN Zpracovatel Zadavatel Naviga 4, s.r.o. Česká republika Ministerstvo školství, mládeže a tělovýchovy Pobřežní 249/46 odbor technické pomoci operačních programů Praha 8 Karmelitská Praha 1

2 Průběžná zpráva Evaluace IPN je hrazena z prostředků Operačního programu Výzkum, vývoj a vzdělávání, jehož vizuální identitu využívá. Zpráva tematicky navazuje na předchozí výstup, který byl hrazen z prostředků Operačního programu Vzdělávání pro konkurenceschopnost.

3 OBSAH 1 ÚVOD Předmět evaluace Zpracovatel Kontext Průběžné zprávy PROJEKT: POSPOLU Informace o postupu řešení úkolů Přehled realizovaných šetření Metodika řešení Výsledky šetření Další postup řešení Podrobná metodika Plánovaný postup realizace PROJEKT: K Informace o postupu řešení úkolů Přehled realizovaných šetření Metodika řešení Výsledky šetření Další postup řešení Podrobná metodika Plánovaný postup realizace PROJEKT: RAMPS VIP III Informace o postupu řešení úkolů Přehled realizovaných a plánovaných šetření Metodika řešení Další postup řešení Podrobná metodika Plánovaný postup realizace SOUHRNNÝ HARMONOGRAM DALŠÍHO POSTUPU PŘÍLOHY Přílohy k projektu POSPOLU Textové návrhy evaluačních dotazníků

4 6.1.2 Scénáře evaluačních rozhovorů Přílohy k projektu K Textové návrhy evaluačních dotazníků Scénáře evaluačních rozhovorů Přílohy k projektu RAMPS VIP III Textové návrhy evaluačních dotazníků Scénáře evaluačních rozhovorů

5 1 ÚVOD 1.1 Předmět evaluace Předmětem zakázky Evaluace IPn je vypracování hodnocení intervencí individuálních projektů národních (dále jen IPn ). Konkrétně se jedná o následující 3 zrealizované IPn: POSPOLU, K2 a RAMPS VIP III. Na základě získaných relevantních dat a poznatků bude pomocí níže navrženého postupu zodpovězeno na jednotlivé evaluační otázky sledující zejména účelnost, účinnost, udržitelnost a dopady zmíněných projektů. Cílem evaluace je rovněž poskytnout podklady využitelné při přípravě nových projektů z oblasti vzdělávání v rámci Operačního programu Výzkum, vývoj a vzdělávání (OP VVV). 1.2 Zpracovatel Evaluce je zpracovávána společností Naviga4 s.r.o. společně se subdodavatelem, společností METODICA, institut pro další vzdělávání. 1.3 Kontext Průběžné zprávy Průběžná zpráva navazuje na vypracování Vstupní zprávy projektu a je předkládána ve stanoveném termínu 10 týdnů od podepsání smlouvy se zpracovatelem evaluace. Zpráva prezentuje přehled realizovaných činností, jejich průběžných výstupů a závěrů rozpracovaných na jejich podkladě. Dle požadavků bodu III zadávací dokumentace Průběžná zpráva obsahuje podrobné informace o řešení evaluačních úkolů včetně detailně popsané použité metodologie řešení jednotlivých úkolů, výsledky prováděného šetření a případná doporučení ze zjištěných a analyzovaných dat, volbu podrobného postupu a návrh postupu dalšího řešení zakázky. V souladu s postupem odsouhlaseným mezi zadavatelem a zpracovatelem ve Vstupní zprávě obsahuje Průběžná zpráva podrobnější rozpracování designu řešení ve vztahu k jednotlivým cílovým skupinám v návaznosti na rozpracované teorie změny. Vzhledem k vzájemným odlišnostem cílových skupin a intervencí hodnocených projektů je nutné stanovit specifický design i postup pro každý z projektů jednotlivě. Z tohoto důvodu jsou i výše uvedené infomrace prezentovány odděleně za projekty: POSPOLU K2 RAMPS - VIP III 5

6 2 PROJEKT: POSPOLU 2.1 Informace o postupu řešení úkolů Kapitoly níže poskytují podrobné informace o dosavadním postupu řešení evaluačních úkolů ve vztahu k projektu POSPOLU: Přehled realizovaných a plánovaných šetření Specifikaci metodických postupů řešení Výsledky šetření Přehled realizovaných šetření Terénní šetření Přehled realizovaných a plánovaných šetření: Forma šetření Instituce Zařazení Termín realizace Předpokládaný rozsah šetření NUV Partner MŠMT, Odbor vzdělávání, sekce II Věcný garant MŠMT ŘO OP VVV, sekce IV Klíčový aktér plánováno 1 Svazu průmyslu a dopravy ČR Klíčový aktér plánováno 1 IDI Další zaměstnavatelské svazy Klíčový aktér plánováno 1-2 MPO Klíčový aktér plánováno 1-2 NÚV, Sekce pro analýzy, kvalifikace a odborné vzdělávání Partner (další realizace vzdělávacích kurzů) plánováno 1 CATI 1 Vybrané střední školy realizující kurz Instruktor praktického vyučování Cílová skupina plánováno Účel CATI šetření je chápán primárně ve vztahu k ověření hypotéz získaných z ostatníc zdrojů a zjištění doplňkových kvalitativních informací, proto je do šetření zapojena jen malá část z celé cílové skupiny. Bude se jednat o zaměstnavatele, kteří byli zapojeni do pilotáže / monitoringu v rámci projektu (aby bylo zajištěno povědomí o projektu). Preferováni budou zaměstnavatelé, se kterými spolupracovaly školy oslovené v rámci CAWI (pro přímé porovnání). Výběr konkrétních zaměstnavatelů bude zohleďnovat oborové hledisko a regionální hledisko (aby nedošlo ke zkreslení výsledků). 6

7 Zástupci zaměstnavatelů zapojených do projektu Cílová skupina plánováno 4-5 CAWI Zástupci škol (vedoucí pracovníci škol a školských zařízení) Osloveny budou školy těch skupin oborů, kde došlo k finalizaci výstupů projektu (aplikovaných modelů, publikací, případových studií apod.) v prvních fázích. Jedná se o tyto vybrané skupiny oborů: 23, 28, 36, 39, 41, 53, 65. Vzhledem k realizaci velmi Cílová skupina plánováno cca 300 (viz uvedené skupiny oborů) rozsáhlého dotazníkového šetření na všechny školy (v rámci KAP) dojde k oslovení cca poloviny škol spadajících do daných skupin oborů. V plánu bylo také realizovat rozhovor se zástupci příjemce (projektoví manažeři projektu POSPOLU), ale dle informací již není žádný z projektových manažerů zaměstnaný na MŠMT Seznam získaných a analyzovaných podkladů Projektová žádost POSPOLU, monitorovací zprávy, zprávy o udržitelnosti apod. Webové stránky Webové stránky Ministerstva školství, mládeže a tělovýchovy ČR ( Webové stránky k ECVET Webové stránky rvp.cz Informace z portálu POSPOLU: - Souhrnná závěrečná zpráva - Koncepční studie (mj. s návrhy opatření podporujících spolupráci škol a firem) - Obecné modely spolupráce škol a zaměstnavatelů kategorie dosaženého vzdělání H, M, L0-56 aplikovaných modelů, včetně přílohových/návazných studií - 30 metodických publikací - Zpráva o zpracování aplikovaných modelů spolupráce škol a zaměstnavatelů - Souhrnná vstupní analytická studie realizovaná v rámci veřejné zakázky "Šetření zaměstnavatelů" - Analýza duálních systémů vzdělávání v Evropě a ve světě - 2 dílčí analytické zprávy z dotazníkových šetření ve školách a u zaměstnavatelů - 2 dílčí analytické zprávy z hloubkových rozhovorů ve školách a u zaměstnavatelů - Koncepční studie projektu Pospolu - Scénáře možného vývoje - Podklady k nově vytvořeným a odpilotovaným vzdělávacím kurzům Další interní materiály o realizaci projektu poskytnuté zadavatelem Slovníček pojmů vytvářený na NÚV Doležalová G., Paterová P., Trhlíková J., Úlovec M., Úlovcová H., Vojtěch J., Tillner J.: Uplatnění absolventů škol na trhu práce Praha, NÚV, 2015 Doležalová, G.: Shoda dosaženého vzdělání a vykonávaného zaměstnání, Praha, NÚV, Kofroňová, O. (Ed.): Systémový rozvoj dalšího vzdělávání. Koncepční studie. Praha NÚV, 2013 Kuczera, M.: Učení pro praxi. Přezkumy odborného vzdělávání a přípravy prováděné OECD. Česká republika. NÚV Praha, Strategie vzdělávací politiky České republiky do roku MŠMT Praha, Strádal, J.: Návrh koncepce integrovaného systému kariérového poradenství. Praha NÚV, Zvyšování relevance odborného vzdělávání potřebám trhu práce. Praha NÚV, duben

8 Výsledky šetření TIMSS (Mezinárodním projekt v oblasti měření výsledků vzdělávání, který se uskutečňuje od roku 1995 ve čtyřletých cyklech, Mezinárodní organizace pro hodnocení výsledků vzdělávání) Výsledky šetření PISA (Mezinárodní projekt v oblasti zjišťování kompetencí patnáctiletých žáků ve čtenářské, matematické a přírodovědné gramotnosti, který mj. sleduje vývoj výsledků českých žáků v daných oblastech a srovnat výkony žáků v mezinárodním kontextu v rámci Programme for International Student Assessment, OECD) Metodika řešení Metodické postupy a nástroje využívané při realizaci uvedených aktivit jsou specifikovány samostatně v příloze 6.1 Výsledky šetření v dosavadních fázích projektu zahrnují především aktualizaci a doplnění přehledu klíčových aktérů projektu, vypracování teorie změny projektu. Na těchto výsledcích je založen podrobný další postup řešení navržený v kapitole Výsledky šetření Výsledky šetření v dosavadních fázích projektu zahrnují především aktualizaci a doplnění přehledu klíčových aktérů projketu, vypracování teorie změny projektu. Na těchto výsledcích je založen podrobný další postup řešení navrhovaných v kapitole Aktualizace přehledu klíčových aktérů Cílem přehledu je identifikovat jednotlivé aktéry důležité pro provedení hodnocení realizace a dopadů projektu. Prezentuje přehled aktérů a stručnou charakteristiku jejich vztahu k evaluaci a vlivu na úspěšnost jejího provedení. Klíčový aktér MŠMT, příjemce MŠMT, oddělení evaluací MŠMT, věcný garant (sekce II) MŠMT, ŘO OP VVV (sekce IV) Charakteristika vztahu k projektovým aktivitám Vliv příjemce dotace a realizátor projektu. Shromažďuje podklady o realizaci proejktu. Pro účely evaluace poskytuje podklady k realizaci projektu a spolupracuje na provedení evaluace. Zájem zadavatel evaluace a příjemce výstupů evaluace. Zájem subjekt mající zájem na fungujícím odborném vzdělávání, které produkuje kvalitní absolventy uplatnitelné na trhu práce. Vliv subjekt, který dále pracuje s výstupy projektu a Pro účely evaluace poskytuje podklady k realizaci projektu a spolupracuje na provedení evaluace. Vliv subjekt, který dále pracuje s výstupy projektu a implementuje je v programovém období

9 Klíčový aktér Charakteristika vztahu k projektovým aktivitám MPO NÚV Školy Zaměstnavatelé, popř. jejich zastřešující organizace Studenti a žáci Zájem subjekt mající zájem na fungujícím odborném vzdělávání, které produkuje kvalitní absolventy pro potřeby zaměstnavatelů. Vliv partner projektu. Realizátor klíčových aktivit. Pro účely evaluace poskytuje podklady k realizaci projektu a spolupracuje na provedení evaluace. Spolupráce jednotlivé školy, zejména pedagogičtí pracovníci a vedení škol. Účastníci projektu a zároveň cílová skupina představující cenný zdroj informací o průběhu realizace projektu. Spolupráce jednotliví zaměstnavatelé (či další organizace) zapojené do partnerství se školami. Účastníci projektu a zároveň cílová skupina představující cenný zdroj informací o průběhu realizace projektu. Zájem zastřešující organizace zaměstnavatelů (např. Hospodářská komora ČR, Svaz průmyslu a dopravy, a další svazy) mají zájem na výsledcích projektu POSPOLU a jeho uvedení do praxe. Cenný zdroj informací pro hodnocení přínosů projektu. Ovlivnění cílová skupina. Cílová skupina, na niž by se primárně měly projevit dopady projektu v dlouhodobém horizontu Teorie změny Prezentovaná terorie změny projektu představuje schematické, grafické znázornění zamýšleného působení (vztahů a kauzalit) v projektu a popisuje tak zamýšlenou logiku intervence ověřenou s aktéry projektu. Byla zpracována na základě logického modelu projektu prezentovaného v rámci vstupní zprávy a dodatečných šetření dokumentace a aktérů projektu v úvodních fázích řešení. 9

10 Obrázek 1: Teorie změny projektu Pospolu o.p. 4.1 Projekt: Pospolu Vstupy Aktivity Výstupy Výsledky Dopady Rozpočet: 100,0 mil Kč Období realizace: Prosinec 2012 říjen 2015 Partneři: NÚV Tvorba modelů spolupráce a případových studií Pilotáž a monitoring modelů spolupráce Vstupní analytické šetření Tvorba metodických publikací a učebních materiálů Vzdělávací akce pro pedagogy a zástupce firem Návrh modelu odborného vzdělávání Návrhy na legislativní změny podporující propojení odborného vzdělávání a výuku v reálném pracovním prostředí Výstupy ze zakázky Setření zaměstnavatelů 56 aplikovaných modelů spolupráce a jejich ověřování (pilotáž, monitoring); vznik případových studií; šíření pomocí workshopů 30 metodických publikací Systémová doporučení: Návrhy opatření na podporu odborného vzdělávání, Scénáře možného vývoje Nový model odborného vzdělávání Plán spolupráce Vytvoření a pilotní ověření kurzů: Odborník z praxe, Instruktor praktického vyučování Vytvoření sdílené představy napříč subjekty o tom, jaký model spolupráce středních škol a firem při odborném vzdělávání by byl v podmínkách ČR vhodný Využití nástrojů projektu školami při nastavování spolupráce se zaměstnavateli Aplikace opatření pro zajištění spolupráce škol a firem do legislativy Aplikace výstupů projektu do podmínek pro získání dotací, do šablon pro projekty škol, do strategických dokumentů, v NSK apod. Nastavená spolupráce se zaměstnavateli (rozšíření odborné praxe a/nebo odborného výcviku) Kvalitní praktické vyučování u zaměstnavatelů vedené proškoleným personálem Uplatnění jednotek výsledků učení (ECVET) při spolupráci škol se zaměstnavateli Zavádění profilových maturitních zkoušek s účastí odborníků z praxe Využívání kurzů Odborník z praxe a Instruktor praktického vyučování Zkvalitnění vzdělávání na středních odborných školách a středních odborných učilištích Zvýšení uplatnitelnosti absolventů SOŠ a SOU na trhu práce 10

11 Ověření výsledků Výsledek Ukazatele/kritéria odpovědi Zdroje a nástroje sběru dat Aplikace opatření pro zajištění spolupráce škol a firem do legislativy Aplikace výstupů projektu do podmínek pro získání dotací, do šablon pro projekty škol, do strategických dokumentů apod. Nastavená spolupráce se zaměstnavateli (rozšíření odborné praxe a/nebo odborného výcviku) Kvalitní praktické vyučování u zaměstnavatelů vedené proškoleným personálem Uplatnění jednotek výsledků učení (ECVET) při spolupráci škol se zaměstnavateli Zavádění profilových maturitních zkoušek s účastí odborníků z praxe Využívání kurzů Odborník z praxe a Instruktor praktického vyučování Legislativní opatření vycházející z výsledků projektu POSPOLU Existence návrhů na legislativní úpravy v procesu schvalování Existence materiálů, které využívají výstupů projektu (např. strategické dokumenty apod.) Aplikace výstupů projektu pro využívání dalšími školami / zaměstnavateli (např. zařazení do šablon pro projekty, do výzev apod.) Došlo k navázání nové spolupráce se zaměstnavateli Došlo k rozšíření původní spolupráce se zaměstnavateli (např. nové formy spolupráce profilová maturitní zkouška apod.) Došlo ke zkvalitnění spolupráce se zaměstnavateli (např. zavedením jednotek výsledků učení dle ECVET apod.) Zástupci škol hodnotí vyučování u zaměstnavatelů jako kvalitnější (např. díky zapojení proškolených instruktorů) Nastavení jednotek výsledků učení (JVU) při spolupráci se zaměstnavateli Existence systému pro sledování výsledků učení (zanesené např. v rámci Dohody o odborné praxi/výcviku trojstranná smlouva o učení, existence Portfolia žáka, Europassu apod.) Zástupci škol hodnotí uplatnění prvků ECVET jako přínosné pro zkvalitnění spolupráce se zaměstnavateli Využívání profilových maturitních zkoušek s účastí odborníků z praxe Zástupci škol hodnotí profilové maturitní zkoušky s účastí odborníků jako přínosné pro zkvalitnění výuky a zvýšení uplatnitelnosti žáků Existuje zájem o školení Zástupci škol hodnotí kurzy jako přínosné pro zkvalitnění výuky a spolupráce s firmou IDI MŠMT (věcní garanti) (strategické dokumenty, výzvy, podmínky apod.) IDI MŠMT (sekce II a sekce IV) aktuální aplikace výstupů a plán na jejich zařazení CAWI střední školy, vybrané obory CATI vybrané střední školy realizující kurz Instruktor praktického vyučování CAWI střední školy, vybrané obory CAWI střední školy, vybrané obory IDI - NÚV CATI vybrané střední školy realizující kurz Instruktor praktického vyučování 11

12 2.2 Další postup řešení Kapitoly níže poskytují podrobné informace o plánovaném postupu řešení evaluačních úkolů ve vztahu k projektu POSPOLU: Upřesněné metodice řešení Plánovaném postupu realizace Podrobná metodika V kapitolách níže je prezentována metodika řešení na základě výstupů dosud realizovaných aktivit a nástroje a postupy řešení plánovaných aktivit. 12

13 Operacionalizace evaluačních otázek EQ 1: Do jaké míry byl hodnocený projekt v souladu s cíli prioritní osy 4 OP VK? Evaluační matice Evaluační podotázky Ukazatele / kritéria odpovědi Zdroje dat Nástroje sběru dat EQ 1.1: Má projekt vazbu na cíle prioritní osy 4? EQ 1.2: Jaká je síla vazby projektu na cíle prioritní osy 4? EQ 1.3 Do jaké míry projekt multiplikoval dosažené efekty předchozích obdobně zaměřených projektů? Intervenční logika projektu je funkční, vazby v TZ (aktivity dopady) projektu byly ověřeny a prokázány Ověření a prokázání vazeb (aktivity dopady) v rámci TZ viz EQ 1.1 Komparace s ostatními hodnocenými IPn a jejich vazbami na cíle prioritní osy 4 Projekt prokazatelně navazoval na výstupy dříve realizovaných projektů Projekt rozvinul aplikaci dřívějších výstupů a/nebo kvalitativně rozpracoval výstupy jiných projektů IS Monit7+ Programová dokumentace Cílové skupiny IS Monit7+ Programová dokumentace Cílové skupiny IS Monit 7+ IDI MŠMT, NÚV, MPO, zaměst. svazy CAWI školy (vybrané obory) IDI MŠMT, NÚV, MPO, zaměst. svazy CAWI školy (vybrané obory) IDI MŠMT, NÚV EQ 2: Do jaké míry se v projektu podařilo dosáhnout stanovených cílů a plánovaných výstupů? Evaluační matice Evaluační podotázky Ukazatele / kritéria odpovědi Zdroje dat Nástroje sběru dat EQ 2.1: Došlo k naplnění monitorovacích indikátorů? Plánované hodnoty indikátorů Dosažené hodnoty indikátorů 13 IS Monit7+ Analýza dat

14 EQ 2.2: Byly dosaženy plánované výstupy projektu? EQ 2.3: Jaké problémy se vyskytly při realizaci projektu? EQ 2.4: Jak lze celkově hodnotit souhrnné naplnění cílů a plánovaných výstupů projektu? Plánované výstupy projektu Dosažené výstupy projektu Výstupy dosažené nad původní rámec projekt Identifikované problémy a jejich příčiny (kategorizace) Nastavené cíle a výstupy projektu Skutečně naplněné cíle a výstupy projektu IS Monit7+ IS Monit7+ Cílové skupiny Výstupy EQ 2.1, EQ 2.2 IDI MŠMT, NÚV IDI MŠMT, NÚV, MPO, zaměst. svazy CAWI školy (vybrané obory) (syntéza) IDI MŠMT, NÚV, MPO, zaměst. svazy 14

15 EQ 3: Do jaké míry byly aktivity projektu konzistentní s plánovanými cíli a s očekávanými přínosy pro cílové skupiny? Evaluační matice Evaluační podotázky Ukazatele / kritéria odpovědi Zdroje dat Nástroje sběru dat EQ 3.1: Je z nastavení aktivit zřejmá jejich konzistence s plánovanými cíli? EQ 3.2: Je z nastavení aktivit zřejmá jejich konzistence s očekávanými přínosy pro cílové skupiny a jejich potřebami? EQ 3.3: Byly aktivity realizovány tak, aby naplňovaly plánované cíle? EQ 3.4 Do jaké míry se změnila očekávání cílové skupiny stran přínosů projektu v průběhu jeho realizace? Intervenční logika projektu je funkční, vazby v TZ (aktivity dopady) projektu byly ověřeny a prokázány Intervenční logika projektu je funkční, vazby v TZ (aktivity dopady) projektu byly ověřeny a prokázány Soulad realizace aktivit s plánovanými cíli Plánované aktivity (výstupy, výsledky) Skutečně realizované aktivity (výstupy, výsledky) Cílové skupiny IDI MŠMT, NÚV, MPO, zaměst. svazy IDI MŠMT, NÚV, MPO, zaměst. svazy IDI MŠMT, NÚV, MPO, zaměst. svazy IDI MŠMT, NÚV, MPO, zaměst. svazy CAWI školy (vybrané obory) CATI zástupci zaměstnavatelů zapojených do projektu EQ 4: Do jaké míry odpovídaly klíčové aktivity projektu potřebám cílových skupin? Evaluační matice Evaluační podotázky Ukazatele / kritéria odpovědi Zdroje dat Nástroje sběru dat EQ 4.1: Odpovídaly klíčové aktivity projektu potřebám cílových skupin? Potřeby cílových skupin definované před zahájením realizace projektu Skutečné potřeby CS zjištěné při (po) realizaci Cílové skupiny Statistická data (analýza potřeb trhu práce, zájem o studium na tech. školách apod.) IDI MŠMT, NÚV, MPO, zaměst. svazy CAWI školy (vybrané obory) 15

16 EQ 4.2: S jakou měrou jednotlivé klíčové aktivity odpovídaly potřebám cílových skupin? Jak jsou užitečné? EQ 4.3 Došlo v průběhu realizace projektu ke změnám potřeb cílových skupin? Pokud ano o jaké změny se jednalo? Míra uspokojení potřeb klíčovými aktivitami Potřeby definované před zahájením realizace projektu, skutečné potřeby CS zjištěné při realizaci Výstupy EQ 4.1 Cílové skupiny Statistická data (analýza potřeb trhu práce, zájem o studium na tech. školách apod.) Výstupy EQ 4.1, 4.2 Statistická data (analýza potřeb trhu práce, zájem o studium na tech. školách apod.) IDI MŠMT, NÚV, MPO, zaměst. svazy CAWI školy (vybrané obory) Syntéza IDI MŠMT, NÚV, MPO, zaměst. svazy EQ 5: Do jaké míry je využíváno, popřípadě bude zajištěno využití výstupů tohoto projektu? Evaluační matice Evaluační podotázky Ukazatele / kritéria odpovědi Zdroje dat Nástroje sběru dat EQ 5.1: Jsou výstupy projektu využívány cílovými skupinami? Jaké jsou překážky využití? EQ 5.2: Je zajištěno využití výstupů projektu? EQ 5.3: Jaké nástroje jsou pro zajištění využití výstupů projektu aplikovány? EQ 5.4.: Jsou návrhy opatření na legislativní úpravy využitelné? Reálné využívání výstupů projektu v praxi. Existence mechanismu nebo nástrojů k zajištění další využitelnosti výstupů Nástroje pro zajištění využití výstupů Zhodnocení využitelnosti návrhů na legislativní změny Posouzení kontextu aplikace navržených legislativních změn Cílové skupiny Výstupy EQ 5.2 IDI MŠMT, NÚV, MPO, zaměst. svazy CAWI školy (vybrané obory) IDI MŠMT, NÚV, MPO, zaměst. svazy IDI MŠMT, NÚV, MPO, zaměst. svazy IDI MŠMT, NÚV, MPO, zaměst. svazy 16

17 EQ 6: Do jaké míry mohou být výstupy projektu využitelné v dalším programovém období? Evaluační matice Evaluační podotázky Ukazatele / kritéria odpovědi Zdroje dat Nástroje sběru dat EQ 6.1: Je zajištěna udržitelnost výstupů? EQ 6.2 Do jaké míry mohou být výstupy projektu využitelné v dalším programovém období? EQ 6.3: Jsou plánovány nějaké návazné projekty? Existence opatření zajišťujících udržitelnost výstupů projektu Zhodnocení pravděpodobné míry využitelnosti a rozšíření vytvořených produktů / výstupů projektu Existence projektového záměru s návaznostmi na POSPOLU Výstupy EQ 5 Klíčový aktér Výstupy EQ 5 Klíčový aktér Výstupy EQ 5 Klíčový aktér Syntéza IDI MŠMT (ŘO) Syntéza IDI MŠMT (ŘO) Syntéza IDI MŠMT (ŘO) EQ 7: Do jaké míry bylo v tomto IPn využíváno výstupů z jiných projektů, popř. do jaké míry spolupracovaly s projekty s podobným zaměřením? Evaluační matice Evaluační podotázky Ukazatele / kritéria odpovědi Zdroje dat Nástroje sběru dat EQ 7.1: Do jaké míry bylo využito v případě projektu POSPOLU výstupů z jiných projektů? Existence výstupů z jiných projektů využitých při realizaci projektu (např. Nová závěrečná zkouška (1 a 2), NSK (1 a 2), KURIKULUM S či PaK 2 a SP Kvalita I (OP RLZ) IDI MŠMT, NÚV EQ 7.2: Jaké kvalitativní úrovně jsou výstupy projektu ve srovnání s podobně zaměřenými projekty? EQ 7.3: Jaký typ spolupráce s dalšími projekty reálně probíhal? Komparace kvalitativní úrovně výstupů projektu s výstupy podobně zaměřených projektů Typ spolupráce s dalšími projektovými týmy Výstupy podobných projektů IDI MŠMT, NÚV, MPO, zaměst. svazy Syntéza IDI MŠMT, NÚV 2 Podpora rozvoje partnerství škol a podniků směřující ke zvyšování kvality odborného vzdělávání v České republice 17

18 EQ 8: Do jaké míry a jakým způsobem je zajištěna udržitelnost výstupů projektu? Evaluační matice Evaluační podotázky Ukazatele / kritéria odpovědi Zdroje dat Nástroje sběru dat EQ 8.1: Do jaké míry je zajištěna udržitelnost výstupů? EQ 8.2 Do jaké míry předpokládanou udržitelnost reflektují dostupné finanční zdroje a jak bude zajištěno institucionální financování oblasti zaváděného duálního systému? Existence opatření zajišťujících udržitelnost výstupů projektu POSPOLU (viz EQ 6.1) Komparace systému financování aktivit v oblasti duálního systému před realizací projektu a současných předpokladů pro finanční zajištění Výstupy EQ 5 a 6 Výstupy EQ 5 a 6 Aktuální nastavení podmínek pro spolupráci škol a firem Syntéza IDI MŠMT, NÚV Syntéza IDI MŠMT, NÚV EQ 9: Které faktory pozitivně ovlivnily dosažení cílů a výstupů a které faktory jejich dosažení bránily? Evaluační matice Evaluační podotázky Ukazatele / kritéria odpovědi Zdroje dat Nástroje sběru dat EQ 9.1: Které faktory pozitivně ovlivnily dosažení cílů a výstupů projektu? EQ 9.2: Které faktory lze definovat jako bariéry dosažení cílů a výstupů projektu? Faktory (klasifikace) Cílové skupiny Bariéry (klasifikace) Cílové skupiny Syntéza CAWI školy (vybrané obory) IDI MŠMT, NÚV, MPO, zaměst. svazy Syntéza CAWI školy (vybrané obory) IDI MŠMT, NÚV, MPO, zaměst. svazy EQ 10: Odpovídají finanční náklady dosaženým výsledkům? Evaluační matice Evaluační podotázky Ukazatele / kritéria odpovědi Zdroje dat Nástroje sběru dat 18

19 EQ 10.1 Bylo by možné dosáhnout lepších výsledků, pokud by v projektu bylo něco nastaveno či realizováno jinak? Veškeré projektové aktivity byly vnímány jako nezbytné. Výstupy výše uvedených EQ (především 9.1 a 9.2) Cílové skupiny Syntéza IDI MŠMT, NÚV, MPO, zaměst. svazy CAWI školy (vybrané obory) EQ 10.2 Bylo dopadů možno dosáhnout při nižších vstupech (finančních, lidských, materiálních a jiných)? EQ 10.3 Odpovídají finanční náklady dosaženým výsledkům projektu? Intervenční logika projektu je funkční, vazby v TZ (aktivity dopady) projektu byly ověřeny a prokázány za optimální z hlediska vynaložených vstupů Hodnocení přiměřenosti nákladů, hodnocení 3E Výstupy výše uvedených EQ (především 9.1 a 9.2) Cílové skupiny Výstupy výše uvedených EQ Syntéza IDI MŠMT, NÚV, MPO, zaměst. svazy CAWI školy (vybrané obory) Syntéza IDI MŠMT, NÚV, MPO, zaměst. svazy EQ 11: Jaký je výsledný efekt tohoto projektu? Evaluační matice Evaluační podotázky Ukazatele / kritéria odpovědi Zdroje dat Nástroje sběru dat EQ 11.1: Jaké jsou očekávány dlouhodobé dopady projektu POSPOLU? EQ 11.2 Jaký je výsledný předběžný efekt projektu? Konkrétní očekávané dlouhodobé dopady projektu (tzn. dopady, které se projeví po plošném zavedení systémových změn) Předběžné zhodnocení přínosů projektu Ověření výsledků projektu viz Ověření výsledků k Teorii změny Ověření výsledků projektu viz Ověření výsledků k Teorii změny viz Ověření výsledků viz Ověření výsledků 19

20 2.2.2 Plánovaný postup realizace Níže je prezentován základní plánovaný harmonogram realizace dílčích aktivit projektu. Tabulka 1 - Plán činností: POSPOLU únor březen duben květen červen Kroky / klíčové aktivity Týden: Odevzdání průběžné zprávy 8.2. Fáze 3 Závěrečná zpráva Příprava CAWI - školy Realizace CAWI (+ upomínky) Vyhodnocení CAWI Terénní šetření (IDI, CATI) Syntéza informací a dat Formulace odpovědní na evaluační otázky Sestavení a odevzdání závěrečné zprávy včetně příloh

21 3 PROJEKT: K2 3.1 Informace o postupu řešení úkolů Kapitoly níže poskytují podrobné informace o dosavadním postupu řešení evaluačních úkolů ve vztahu k projektu K2: Přehled realizovaných a plánovaných šetření Specifikaci metodických postupů řešení Výsledky šetření Přehled realizovaných šetření Terénní šetření Přehled realizovaných a plánovaných šetření: Forma šetření Instituce Zařazení Termín realizace Předpokládaný rozsah šetření NIDV Partner MŠMT (Odbor mládeže) Příjemce ČRDM Klíčový aktér plánováno 1 IDI SPDDM Klíčový aktér plánováno 1 Subjekty neformálního vzdělávání , Cílová skupina (KA1) 3 zapojené do projektu plánováno CATI 3 Subjekty neformálního vzdělávání zapojené do projektu Zástupci zaměstnavatelů a vzdělavatelů Cílová skupina (KA2) plánováno 2 Klíčový aktér plánováno 4 3 Účel CATI šetření chápeme primárně ve vztahu k ověření hypotéz získaných z ostatníc zdrojů a zjištění doplňkových kvalitativních informací, proto je do šetření zapojena jen malá část z celé cílové skupiny. Bude se jednat o zástupce zaměstnavatelů a vzdělavatelů, kteří podepsali memorandum o uznávání neformálního vzdělávání - přičemž se jednalo o spíše o doplňkovou aktivitu projektu. Preferováni budou zaměstnavatelé, se kterými realizátor v průběhu projektu spolupracoval intenzivněji. Dále bude CATI provedeno mezi účastníky KA1, kteří působili v rolích konzultantů pro zavádění nástrojů řízení kvality v subjektech neformálního vzdělávání, přičemž výběr respondentů bude zohledňovat oborové hledisko konzultanto z různých oborů (PR, management, apod.). Dalším kritériem výběru konkrétních respondentů budou případná zjištění vyplývající z výsledků CAWI, jež bude třeba interpretovat s pomocí dodatečných informací. 21

22 skupinový rozhovor Pracovníci subjektů neformálního vzdělávání zapojení do projektu Pracovníci subjektů neformálního vzdělávání zapojení do projektu Cílová skupina (KA1) plánováno 6 Cílová skupina (KA2) plánováno 1 CAWI Subjekty neformálního vzdělávání využívající nástroj řízení kvality OLINA Cílová skupina (KA1) plánováno všechny subjekty Pracovníci subjektů neformálního vzdělávání zapojení do projektu Cílová skupina (KA2) plánováno všichni účastníci Seznam získaných a analyzovaných podkladů K2 o projektová žádost o monitorovací zprávy projektu o závěrečné zprávy z realizace klíčových aktivit o závěrečná zpráva z evaluace věcné části projektu o zdůvodnění potřebnosti projektu K2 o Metodika - Kompetence, Kvalita, Kvalifikace, (sebe)koncepce pro neformální vzdělávání. o Metodika pro odborné konzultanty k řídícím a podpůrným procesům v zájmovém a neformálním vzdělávání. o Metodika pro konzultanty k zavádění kvality v organizacích zájmového a neformálního vzdělávání prostřednictvím modelu CAF a interního auditu. o Příručka pro zavádění nástrojů řízení kvality prostřednictvím systému OLINA. Webové stránky k projektu K2 Webové stránky k projektu Klíče pro život Strategické dokumenty o Strategie vzdělávací politiky České republiky do roku MŠMT Praha, o Koncepce státní politiky pro oblast dětí a mládeže na období MŠMT, o Strategie celoživotního učení ČR. MŠMT, Metodika řešení Metodické postupy a nástroje využívané při realizaci uvedených aktivit jsou specifikovány samostatně v příloze 0. Výsledky šetření v dosavadních fázích projektu zahrnují především aktualizaci a doplnění přehledu klíčových aktérů projektu, vypracování teorie změny projektu. Na těchto výsledcích je založen podrobný další postup řešení navržený v kapitole

23 3.1.3 Výsledky šetření Výsledky šetření v dosavadních fázích projektu zahrnují především aktualizaci a doplnění přehledu klíčových aktérů projketu, vypracování teorie změny projektu. Na těchto výsledcích je založen podrobný další postup řešení navrhovaných v kapitole Aktualizace přehledu klíčových aktérů Cílem přehledu je identifikovat jednotlivé aktéry důležité pro provedení hodnocení realizace a dopadů projektu. Prezentuje přehled aktérů a stručnou charakteristiku jejich vztahu k evaluaci a vlivu na úspěšnost jejího provedení. Klíčový aktér MŠMT, oddělení evaluací MŠMT Národní institut dětí a mládeže (Národ ní institut pro další vzdělávání) Česká rada dětí a mládeže (ČRDM); Sdružení pracovníků domů dětí a mládeže ČR (SPDDM) Vzdělavatelé a zaměstnavatelé Školská zařízení pro zájmové vzdělávání a nestátní neziskové organizace (NNO) dětí a mládeže Děti a mládež (účastníci neformálního vzdělávání); Účastníci dalšího vzdělávání Charakteristika vztahu k projektovým aktivitám Zájem zadavatel evaluace a příjemce výstupů evaluace. Vliv příjemce dotace a realizátor projektu. Pro účely evaluace poskytuje podklady k realizaci projektu a spolupracuje na provedení evaluace. Vliv partner projektu. Pro účely evaluace poskytuje podklady k realizaci projektu a spolupracuje na provedení evaluace. Spolupráce zaměstnanci ČRDM A SPDDM ČR. Zastřešující orgány cílové skupiny, zajišťující zapojení cílové skupiny do projektu. Spolupráce - aktéři v oblasti uznávání neformálního vzdělávání. Ovlivnění cílová skupina (pracovníci školských zařízení a NNO). Cílová skupina, na niž by se primárně měly projevit dopady projektu. Zároveň představuje cenný zdroj informací o průběhu realizace projektu. Ovlivnění cílová skupina. Cílová skupina zapojená zprostředkovaně, na níž by se měly projevit dopady projektu sekundárně Teorie změny Prezentovaná terorie změny projektu představuje schematické, grafické znázornění zamýšleného působení (vztahů a kauzalit) v projektu a popisuje tak zamýšlenou logiku intervence ověřenou s aktéry projektu. Byla zpracována na základě logického modelu projektu prezentovaného v rámci vstupní zprávy a dodatečných šetření dokumentace a aktérů projektu v úvodních fázích řešení. 23

24 Obrázek 2: Teorie změny projektu K2 24

25 Ověření výsledků Výsledek Ukazatele/kritéria odpovědi Zdroje a nástroje sběru dat Zavedení nástrojů řízení kvality do běžné praxe vybraných subjektů neformálního vzdělávání (včetně zájmového) Vytvoření a fungování systému konzultantské podpory k zavádění kvality Zavádění nástrojů řízení kvality u dalších subjektů neformálního vzdělávání Zlepšování řídících a kontrolních procesů u subjektů neformálního vzdělávání Aplikace a využívání nástrojů pro uznávání neformálního vzdělávání (včetně zájmového) Zavedení kompetenčního modelu do vzdělávacích programů vybraných subjektů Zajištění metodické podpory a poradenství v oblasti plánování osobnostního rozvoje Zavádění kompetenčního modelu do aktivit neformálního vzdělávání Získání či rozvinutí odborných i měkkých kompetencí pedagogů volného času (profesionalizace) Subjekty neformálního vzdělávání zapojené do projektu (KA1) zavedly a využívají nástroje řízení kvality (systém OLINA) v běžné činnosti. Existence úspěšných absolventů vzdělávacích programů pro konzultanty k zavádění kvality. Pracovníci subjektů využívajících systém OLINA hodnotí školení konzultantů k zavádění kvality a služby odborných konzultantů jako užitečné z hlediska využívání nástrojů řízení kvality a využívají je. Existence dalších subjektů cílové skupiny (nezapojených do projektu), které zavedly a využívají nástroje řízení kvality (systém OLINA). Pracovníci subjektů souhlasí s tvrzením, že používání nástrojů řízení kvality prostřednictvím systému OLINA přispívá ke zlepšování řídících a kontrolních procesů. Existence nástrojů pro uznávání neformálního vzdělávání (Osobní kompetenční portfolio). Míra využívání Osobního kompetenčního portfolia (OKP) cílovou skupinou. Vzdělávací programy organizací zapojených do projektu (KA2) obsahují prvky založené na klíčových kompetencích. Existence metodických materiálů k tématu plánování osobnostního rozvoje Existence kontaktních osob, které poskytují poradenství v oblasti plánování osobnostního rozvoje Pracovníci neformálního vzdělávání využívají metodickou podporu a poradenství v oblasti plánování osobnostního rozvoje Pracovníci neformálního vzdělávání tvrdí, že zavedli a využívají kompetenční model při práci s dětmi a mládeží. Míra úspěšného absolvování kurzů. Získané znalosti jsou účastníky kurzů (pracovníkyneformálního vzdělávání) hodnoceny jako přínosné. CAWI - cílová skupina KA1 IDI - CS (subjekty zapojené do KA1) CAWI - cílová skupina KA1 IDI - partner (NIDV), CS (KA1) CAWI - cílová skupina KA1 IDI - CS (KA1) CAWI - cílová skupina KA1 Údaje o využívání OKP (dodá partner) CAWI - účastníci KA2 IDI - účastníci KA2 CAWI - účastníci KA2 IDI - partner, účastníci KA2 CAWI - účastníci KA2 CAWI - účastníci KA2 IDI - účastníci KA2 IDI - účastníci KA2 CAWI - účastníci KA2 25

26 3.2 Další postup řešení Kapitoly níže poskytují podrobné informace o plánovaném postupu řešení evaluačních úkolů ve vztahu k projektu K2: Upřesněné metodice řešení Plánovaném postupu realizace Podrobná metodika V kapitolách níže je prezentována metodika řešení na základě výstupů dosud realizovaných aktivit a nástroje a postupy řešení plánovaných aktivit. 26

27 Operacionalizace evaluačních otázek EQ 1: Do jaké míry byl hodnocený projekt v souladu s cíli prioritní osy 4 OP VK? Evaluační matice Evaluační podotázky Ukazatele / kritéria odpovědi Zdroje dat Nástroje sběru dat EQ 1.1: Má projekt vazbu na cíle prioritní osy 4? EQ 1.2: Jaká je síla vazby projektu na cíle prioritní osy 4? EQ 1.3 Do jaké míry projekt multiplikoval dosažené efekty předchozích obdobně zaměřených projektů? Intervenční logika projektu je funkční, vazby v TZ (aktivity dopady) projektu byly ověřeny a prokázány Ověření a prokázání vazeb (aktivity dopady) v rámci TZ viz EQ 1.1 Komparace s ostatními hodnocenými IPn a jejich vazbami na cíle prioritní osy 4 Projekt prokazatelně navazoval na výstupy dříve realizovaných projektů Projekt rozvinul aplikaci dřívějších výstupů a/nebo kvalitativně rozpracoval výstupy jiných projektů IS Monit7+ Příjemce Cílové skupiny Programová dokumentace IS Monit7+ Příjemce Cílové skupiny Programová dokumentace IS Monit 7+ Příjemce CAWI - cílová skupina KA1 4 CAWI - účastníci KA2 5 IDI - příjemce, partner, CS, klíčoví aktéři Skupinové rozhovory s účastníky CAWI - cílová skupina KA1 CAWI - účastníci KA2 IDI - příjemce, partner, CS, klíčoví aktéři Skupinové rozhovory s účastníky IDI - partner, příjemce, klíčoví aktéři (ČRDM, SPDDM) 4 Klíčová aktivita č.1: Aplikace nástrojů řízení kvality v neformálním vzdělávání (včetně zájmového) 5 Klíčová aktivita č.2: Metodická podpora uznávání neformálního vzdělávání (včetně zájmového) 27

28 EQ 2: Do jaké míry se v projektu podařilo dosáhnout stanovených cílů a plánovaných výstupů? Evaluační matice Evaluační podotázky Ukazatele / kritéria odpovědi Zdroje dat Nástroje sběru dat EQ 2.1: Došlo k naplnění monitorovacích indikátorů? EQ 2.2: Byly dosaženy plánované výstupy projektu? EQ 2.3: Jaké problémy se vyskytly při realizaci projektu? EQ 2.4: Jak lze celkově hodnotit souhrnné naplnění cílů a plánovaných výstupů projektu? Plánované hodnoty indikátorů Dosažené hodnoty indikátorů Plánované výstupy projektu Dosažené výstupy projektu Výstupy dosažené nad původní rámec projekt Identifikované problémy a jejich příčiny (kategorizace) Nastavené cíle a výstupy projektu Skutečně naplněné cíle a výstupy projektu IS Monit7+ Příjemce IS Monit7+ Příjemce Příjemce Cílové skupiny IS Monit7+ Příjemce Cílové skupiny Programová dokumentace Výstupy projektů IDI - partner IDI - partner CAWI - cílová skupina KA1 CAWI - účastníci KA2 IDI - příjemce, partner, klíčoví aktéři (ČRDM, SPDDM) Skupinové rozhovory s účastníky CAWI - cílová skupina KA1 CAWI - účastníci KA2 IDI - příjemce, partner, klíčoví aktéři (ČRDM, SPDDM) Skupinové rozhovory s účastníky 28

29 EQ 3: Do jaké míry byly aktivity projektu konzistentní s plánovanými cíli a s očekávanými přínosy pro cílové skupiny? Evaluační matice Evaluační podotázky Ukazatele / kritéria odpovědi Zdroje dat Nástroje sběru dat EQ 3.1: Je z nastavení aktivit zřejmá jejich konzistence s plánovanými cíli? EQ 3.2: Je z nastavení aktivit zřejmá jejich konzistence s očekávanými přínosy pro cílové skupiny a jejich potřebami? EQ 3.3: Byly aktivity realizovány tak, aby naplňovaly plánované cíle? EQ 3.4 Do jaké míry se změnila očekávání cílové skupiny stran přínosů projektu v průběhu jeho realizace? Intervenční logika projektu je funkční, vazby v TZ (aktivity dopady) projektu byly ověřeny a prokázány Intervenční logika projektu je funkční, vazby v TZ (aktivity dopady) projektu byly ověřeny a prokázány Soulad realizace aktivit s plánovanými cíli Plánované aktivity (výstupy, výsledky) Skutečně realizované aktivity (výstupy, výsledky) IS Monit7+ Příjemci Cílové skupiny IS Monit7+ Příjemci Cílové skupiny CAWI - cílová skupina KA1 CAWI - účastníci KA2 IDI - partner, klíčoví aktéři (ČRDM, SPDDM), CS Skupinové rozhovory s účastníky CAWI - cílová skupina i KA1 IDI - partner, klíčoví aktéři (ČRDM, SPDDM), CS Skupinové rozhovory s účastníky EQ 4: Do jaké míry odpovídaly klíčové aktivity projektu potřebám cílových skupin? Evaluační matice Evaluační podotázky Ukazatele / kritéria odpovědi Zdroje dat Nástroje sběru dat EQ 4.1: Odpovídaly klíčové aktivity projektu potřebám cílových skupin? Potřeby cílových skupin definované před zahájením realizace projektu Skutečné potřeby CS zjištěné při (po) realizaci Příjemci Cílové skupiny CAWI - cílová skupina KA1 CAWI - účastníci KA2 29

30 EQ 4.2: S jakou měrou jednotlivé klíčové aktivity odpovídaly potřebám cílových skupin? Jak jsou užitečné? EQ 4.3 Došlo v průběhu realizace projektu ke změnám potřeb cílových skupin? Pokud ano o jaké změny se jednalo? Míra uspokojení potřeb klíčovými aktivitami Potřeby definované před zahájením realizace projektu, skutečné potřeby CS zjištěné při realizaci Statistická data Příjemci Cílové skupiny Příjemci Cílové skupiny IDI - partner, CS, klíčoví aktéři (ČRDM, SPDDM) Skupinové rozhovory s účastníky CAWI - cílová skupina KA1 CAWI - účastníci KA2 IDI - partner, CS Skupinové rozhovory s účastníky CAWI - cílová skupina KA1 CAWI - účastníci KA2 IDI - partner, CS Skupinové rozhovory s účastníky EQ 5: Do jaké míry je využíváno, popřípadě bude zajištěno využití výstupů tohoto projektu? Evaluační matice Evaluační podotázky Ukazatele / kritéria odpovědi Zdroje dat Nástroje sběru dat EQ 5.1: Jsou výstupy projektu využívány cílovými skupinami? Jaké jsou překážky využití? EQ 5.2: Je zajištěno využití výstupů projektu? EQ 5.3: Jaké nástroje jsou pro zajištění využití výstupů projektu aplikovány? EQ 5.4.: Jsou návrhy opatření na legislativní úpravy využitelné? Reálné využívání výstupů projektu v praxi. Existence mechanismu nebo nástrojů k zajištění další využitelnosti výstupů Nástroje pro zajištění využití výstupů Zhodnocení využitelnosti návrhů na legislativní změny 30 Příjemci Cílové skupiny Příjemci Cílové skupiny Příjemci Cílové skupiny Příjemci Cílové skupiny CAWI - cílová skupina KA1 CAWI - účastníci KA2 IDI - příjemce, partner, CS, klíčoví aktéři (ČRDM, SPDDM) Skupinové rozhovory s účastníky CAWI - cílová skupina KA1 CAWI - účastníci KA2 IDI - příjemce, partner, CS Skupinové rozhovory s účastníky CAWI - cílová skupina KA1 CAWI - účastníci KA2 IDI - příjemce, partner, CS Skupinové rozhovory s účastníky

31 Posouzení kontextu aplikace navržených legislativních změn IDI - příjemce, partner, CS, klíčoví aktéři (ČRDM, SPDDM) EQ 6: Do jaké míry mohou být výstupy projektu využitelné v dalším programovém období? Evaluační matice Evaluační podotázky Ukazatele / kritéria odpovědi Zdroje dat Nástroje sběru dat EQ 6.1: Je zajištěna udržitelnost výstupů? EQ 6.2 Do jaké míry mohou být výstupy projektu využitelné v dalším programovém období? EQ 6.3: Jsou plánovány nějaké návazné projekty? Existence opatření zajišťujících udržitelnost výstupů projektu Zhodnocení pravděpodobné míry využitelnosti a rozšíření vytvořených produktů / výstupů projektu Existence projektového záměru s návaznostmi na K2 Příjemci Příjemci Příjemci Programová dokumentace IDI - příjemce, partner IDI - příjemce, partner IDI - příjemce, partner EQ 7: Do jaké míry bylo v tomto IPn využíváno výstupů z jiných projektů, popř. do jaké míry spolupracovaly s projekty s podobným zaměřením? Evaluační matice Evaluační podotázky Ukazatele / kritéria odpovědi Zdroje dat Nástroje sběru dat EQ 7.1: Do jaké míry bylo využito v případě projektu K2 výstupů z jiných projektů? EQ 7.2: Jaké kvalitativní úrovně jsou výstupy projektu ve srovnání s podobně zaměřenými projekty? Existence výstupů z jiných projektů využitých při realizaci projektu (např. Klíče pro život) Komparace kvalitativní úrovně výstupů projektu s výstupy podobně zaměřených projektů Příjemci IDI - partner IDI - klíčoví aktéři (ČRDM, SPDDM) 31

32 EQ 7.3: Jaký typ spolupráce s dalšími projekty reálně probíhal? Typ spolupráce s dalšími projektovými týmy Příjemci IDI - příjemce, partner EQ 8: Do jaké míry a jakým způsobem je zajištěna udržitelnost výstupů projektu? Evaluační matice Evaluační podotázky Ukazatele / kritéria odpovědi Zdroje dat Nástroje sběru dat EQ 8.1: Do jaké míry je zajištěna udržitelnost výstupů? EQ 8.2 Do jaké míry předpokládanou udržitelnost reflektují dostupné finanční zdroje? Existence opatření zajišťujících udržitelnost výstupů projektu K2 (viz EQ 6.1) Existence opatření v oblasti financování zajišťující udržitelnost výstupů projektu K2 Příjemci Příjemci IDI - příjemce, partner, klíčoví aktéři (ČRDM, SPDDM) IDI - příjemce, partner EQ 9: Které faktory pozitivně ovlivnily dosažení cílů a výstupů a které faktory jejich dosažení bránily? Evaluační matice Evaluační podotázky Ukazatele / kritéria odpovědi Zdroje dat Nástroje sběru dat EQ 9.1: Které faktory pozitivně ovlivnily dosažení cílů a výstupů projektu? EQ 9.2: Které faktory lze definovat jako bariéry dosažení cílů a výstupů projektu? Faktory (klasifikace) Příjemci Cílové skupiny Bariéry (klasifikace) Příjemci Cílové skupiny 32 CAWI - cílová skupina KA1 CAWI - účastníci KA2 IDI - příjemce, partner, CS, klíčoví aktéři (ČRDM, SPDDM) Skupinové rozhovory s účastníky CAWI - cílová skupina KA1 CAWI - účastníci KA2 IDI - příjemce, partner, CS, klíčoví aktéři (ČRDM, SPDDM)

33 Skupinové rozhovory s účastníky EQ 10: Odpovídají finanční náklady dosaženým výsledkům? Evaluační matice Evaluační podotázky Ukazatele / kritéria odpovědi Zdroje dat Nástroje sběru dat EQ 10.1 Bylo by možné dosáhnout lepších výsledků, pokud by v projektu bylo něco nastaveno či realizováno jinak? EQ 10.2 Bylo dopadů možno dosáhnout při nižších vstupech (finančních, lidských, materiálních a jiných)? EQ 10.3 Odpovídají finanční náklady dosaženým výsledkům projektu? Veškeré projektové aktivity byly vnímány jako nezbytné. Intervenční logika projektu je funkční, vazby v TZ (aktivity dopady) projektu byly ověřeny a prokázány za optimální z hlediska vynaložených vstupů Komparace předpokládaných a skutečně vynaložených nákladů, hodnocení přiměřenosti nákladů, hodnocení 3E Příjemci Cílové skupiny Příjemci Příjemci CAWI - cílová skupina KA1 CAWI - účastníci KA2 IDI - příjemce, partner, CS, klíčoví aktéři (ČRDM, SPDDM) Skupinové rozhovory s účastníky IDI - příjemce, partner IDI - příjemce, partner, klíčoví aktéři (ČRDM, SPDDM) 33

34 EQ 11: Jaký je výsledný efekt tohoto projektu? Evaluační matice Evaluační podotázky Ukazatele / kritéria odpovědi Zdroje dat Nástroje sběru dat EQ 11.1: Jaké jsou očekávány dlouhodobé dopady projektu K2? EQ 11.2: Jaký je výsledný předběžný efekt projektu? Konkrétní očekávané dlouhodobé dopady projektu (tzn. dopady, které se projeví po plošném zavedení systémových změn) Předběžné zhodnocení přínosů projektu (předběžné zhodnocení bude provedeno na cílových skupinách, které se účastnily K2, hodnocení bude provedeno na cílové skupině projektu pracovnících školských zařízení a NNO). Ověření výsledků projektu viz Ověření výsledků k Teorii změny Ověření výsledků projektu viz Ověření výsledků k Teorii změny viz Ověření výsledků viz Ověření výsledků 34

35 3.2.2 Plánovaný postup realizace Níže je prezentován základní plánovaný harmonogram realizace dílčích aktivit projektu. Tabulka 2 - Plán činností: K2 Kroky / klíčové aktivity Týden: Odevzdání průběžné zprávy 8.2. Fáze 3 Závěrečná zpráva Příprava CAWI pro CS Realizace CAWI (+ upomínky) Vyhodnocení CAWI Individuální rozhovory Syntéza informací a dat Formulace odpovědí na evaluační otázky Sestavení a odevzdání závěrečné zprávy včetně příloh únor březen duben květen červen

36 4 PROJEKT: RAMPS VIP III 4.1 Informace o postupu řešení úkolů Kapitoly níže poskytují podrobné informace o dosavadním postupu řešení evaluačních úkolů ve vztahu k projektu RAMPS VIP III: Přehled realizovaných a plánovaných šetření Specifikaci metodických postupů řešení Výsledky šetření Přehled realizovaných a plánovaných šetření Terenní šetření Přehled realizovaných a plánovaných šetření: Forma šetření Instituce Zařazení Termín realizace Předpokláda ný rozsah šetření NÚV Partner IDI MŠMT (Odbor vzdělávání, oddělení projektového řízení) MŠMT (Odbor vzdělávání, oddělení speciálního vzdělávání) Krajský úřad (odbor školství) Metodik projektu Příjemce Příjemce plánováno 1 Klíčový aktér Klíčový aktér plánováno 1 Pracovníci ŠPP Klíčový aktér/cílová skupina plánováno 1 Pracovníci ŠPZ (SPC, PPP) Klíčový aktér/cílová skupina plánováno 1 Pracovníci SVP Klíčový aktér/cílová skupina plánováno 1 Ředitelé škol Ostatní relevantní aktéři v oblasti školních a Klíčový aktér/cílová skupina plánováno 1 Klíčový aktér plánováno neurčen 36

37 školských poradenských služeb Ředitelé škol 6 Klíčový aktér/cílová skupina (ředitelé škol zapojených do projektu RAMPS - VIP III) plánováno všichni účastníci Klíčový aktér/cílová skupina (pracovníci školních CAWI Odborní pracovníci poradenských služeb poradenských pracovišť (ŠPP) zainteresovaných v projektu - školní psychologové a školní speciální pedagogové, odborní pracovníci SVP zapojení do plánováno všichni účastníci projektu) Metodici Metodici pro ŠPP a ŠPZ, vedoucí metodici plánováno Odborní pracovníci krajského úřadu Odborní pracovníci krajských úřadů zapojení do projektu plánováno všichni účastníci všichni účastníci Seznam získaných a analyzovaných podkladů Projektová žádost RAMPS VIP III, monitorovací zprávy (IS Monit) Webové stránky Webové stránky Ministerstva školství, mládeže a tělovýchovy ČR ( RAMPS - VIP III: koncepční dokumenty, metodiky, metodické a hodnotící zprávy, legislativní návrhy a ostatní materiály vytvořené v rámci projektu např.: Koncepce poskytování poradenských služeb ve školách v ČR, Integrovaná síť školních a školských poradenských služeb - Postupy a doporučení jejího rozvoje, Vytvoření komunikační struktury mezi školami a školskými poradenskými zařízeními, Vydefinování úlohy středisek výchovné péče v systému podpory škol, Role krajských úřadů v řízení školských poradenských zařízení a další Zápisy z odborných diskusí k projektovému záměru RAMPS - VIP III Další materiály o realizaci projektu Webové stránky k projektu RŠPP VIP II: Dostupná dokumentace k projektu VIP Kariéra Odborné materiály vytvořené vně projektu RAMPS - VIP III Michalík, J.: Školský poradenský systém v České republice. Olomouc, Knotová D. a kol.: Školní poradenstvá. Grada Publishing, Praha, Hönigová S., Mrázková J.: Model spolupráce v rámci systému školního poradenství při stanovování podpůrných opatření, Testfórum, č. 5, Výsledky relevantních realizovaných evaluací ředitelů škol zapojených do projektu v linii ŠPP, v linii SVP dalších 77, celkem 273, 213 školních psychologů a speciálních pedagogů, 40 metodiků pro ŠPP, 46 metodiků pro ŠPZ, 44 vedoucích metodiků, 17 odborných pracovníků krajských úřadů. 37

38 Evaluační nástroj pro hodnocení kvality a efektivity poskytovaných poradenských a preventivních služeb v ŠPP, ŠPZ a SVP vytvořený v rámci projektu RAMPS - VIP III Evaluační nástroj Poradenská role školy vytvořený v rámci národního projekt MŠMT Cesta ke kvalitě Průběžná evaluace OP VK. KMPG, Hodnocení ukončených IPn. PROCES - Centrum pro rozvoj obcí a regionů, s.r.o., Hodnocení dopadů intervencí v rámci OP VK k podpoře inkluzivního vzdělávání. Sociofactor, s.r.o., Ostatní relevantní zdroje informací Zákon č. 561/2004 Sb. ze dne 27. září 2004 o předškolním, základním, středním, vyšším odborném a jiném vzdělávání (školský zákon) v platném znění Závěrečná zpráva z hodnocení dopadů Vyhlášky k provedení 19 a některých dalších ustanovení školského zákona č. 561/2004 Sb. Rozvojový program na podporu školních psychologů a školních speciálních pedagogů ve školách a metodiků - specialistů na ve školských poradenských zařízení na období leden - srpen 2016, MŠMT, Zápisy z monitorovacího výboru OP VVV - projednávání projektového záměru Podpora kvalitních poradenských služeb ve školách a školských poradenských zařízeních zaměřených na podporu inkluze (KIPR) Webové stránky zaměřené na problematiku vzdělávání ( aj.) Metodika řešení Metodické postupy a nástroje využívané při realizaci uvedených aktivit jsou specifikovány samostatně v příloze 0. Výsledky šetření v dosavadních fázích projektu zahrnují především aktualizaci a doplnění přehledu klíčových aktérů projektu, vypracování teorie změny projektu. Na těchto výsledcích je založen podrobný další postup řešení navržený v kapitole Aktualizace přehledu klíčových aktérů Cílem přehledu je identifikovat jednotlivé aktéry důležité pro provedení hodnocení realizace a dopadů projektu. Prezentuje přehled aktérů a stručnou charakteristiku jejich vztahu k evaluaci a vlivu na úspěšnost jejího provedení. Klíčový aktér MŠMT, oddělení evaluací MŠMT, sekce II Národní ústav pro vzdělávání Charakteristika vztahu k projektovým aktivitám Zájem zadavatel evaluace a příjemce výstupů evaluace. Vliv příjemce dotace a realizátor projektu. Pro účely evaluace poskytuje podklady k realizaci projektu a spolupracuje na provedení evaluace. Vliv partner projektu. Pro účely evaluace poskytuje podklady k realizaci projektu a spolupracuje na provedení evaluace. 38

39 Odborní pracovníci poradenských služeb Školní poradenská pracoviště a) výchovný poradece b) školní metodik prevence c) školní psychologové d) speciální pedagogové e) sociální pedagog f) asistent pedagoga ŠPZ (SPC, PPP) Spolupráce výchovný poradce, školní metodik prevence a ostatní zaměstnanci ŠPP tj. školní psycholog, školní speciální pedagog a popřípadě také sociální pedagog nebo asistent pedagoga v závislosti na variantě ŠPP. Jedná se o příjemce podpory, jejichž prostřednictvím by mělo být dosaženo splnění záměru projektu. Spolupráce zaměstnanci ŠPZ. Příjemci podpory, jejichž prostřednictvím by mělo být dosaženo splnění záměru projektu. Střediska výchovné péče Metodici Školy a) ředitelé škol b) pedagogové c) ostatní zaměstnanci škol Kraje Další aktéři Spolupráce zaměstnanci SVP. Příjemci podpory, jejichž prostřednictvím by mělo být dosaženo splnění záměru projektu. Hlavní metodici, vedoucí metodici a ostatní metodici. Příjemci podpory, jejichž prostřednictvím by mělo být dosaženo splnění záměru projektu. Spolupráce jednotlivé školy, jejich zaměstnanci a vedení škol. Účastníci projektu a zároveň cílová skupina představující cenný zdroj informací o průběhu realizace projektu. Odborní pracovníci odborů školství. Účastníci projektu a Příjemci podpory, jejichž prostřednictvím by mělo být dosaženo splnění záměru projektu. Například profesní asociace pracovníků z oblasti poradenských služeb. 39

40 Teorie změny Prezentovaná terorie změny projektu představuje schematické, grafické znázornění zamýšleného působení (vztahů a kauzalit) v projektu a popisuje tak zamýšlenou logiku intervence ověřenou s aktéry projektu. Byla zpracována na základě logického modelu projektu prezentovaného v rámci vstupní zprávy a dodatečných šetření dokumentace a aktérů projektu v úvodních fázích řešení. 40

41 Obrázek 3: Teorie změny projektu RAMPS III 41