Vstupní evaluační zpráva výzkumný plán procesní evaluace projektu

Transkript

1 Vstupní evaluační zpráva výzkumný plán procesní evaluace projektu Projekt Důstojné pracoviště ve veřejné správě CZ /0.0/0.0/15_025/ Mgr. Tatiana Iskanderová, Ph.D. et Ph.D. Mgr. Tomáš Kolomazník Mgr. et Mgr. Michaela Šimečková 2018

2 Obsah 1. Úvod Logický model projektu a popis rozvoje kompetencí CS Popis rozvoje kompetencí cílových skupin Proces evaluace Evaluační matice Harmonogram Analýza rizik procesní evaluace Podrobný popis užitých metod Hloubkové rozhovory Hloubkové rozhovory s cílovou skupinou I Hloubkové rozhovory se zástupci SÚIP Hloubkové rozhovory s realizačním týmem Pozorování Pozorování prezenčních školení cílové skupiny I Pozorování inspektorů SÚIP v rámci mentorignových aktivit Online hodnotící dotazník pro CS I Hodnocení procesu realizace projektu z hlediska plnění indikátorů Webová statistika Výstupy evaluace

3 1. Úvod Hlavním cílem projektu Důstojné pracoviště ve veřejné správě je vytvořit a podpořit dlouhodobě udržitelný systém rozvoje kompetencí pracovníků veřejné správy v oblasti jejich ochrany před násilím na pracovišti a dále implementovat tento systém do praxe. Z realizace aktivit a jejich vyhodnocování následně vyplynou doporučení k budoucímu rozvoji kompetencí v oblasti ochrany před násilím na pracovišti, a to jak pro pracovníky, kteří mohou být obětí či svědkem násilí nebo mají zajistit ochranu kolegů na vlastním pracovišti, tak i pro pracovníky, jejichž úkolem je tvořit a dohlížet nad systémem ochrany před násilím na pracovišti. Projekt metodicky nastaví a zrealizuje vzdělávací aktivity vedoucí k rozvoji kompetencí pracovníků veřejné správy (státní správy a samospráv) personalistů, vedoucích a řadových pracovníků v oblasti ochrany na vlastních pracovištích jako osob, které mohou být obětí či svědkem násilí na vlastním pracovišti či mají v popisu práce zajistit ochranu svých kolegů. Dílčími cíli projektu jsou: Udržitelné zvyšování relevantních kompetencí řadových pracovníků veřejné správy jako těch, kteří jsou nebo mohou být vystaveni násilí na pracovišti. Udržitelné zvyšování relevantních kompetencí vedoucích pracovníků veřejné správy jako těch, kteří na jedné straně jsou nebo mohou být vystaveni násilí na pracovišti, na straně druhé zastupují zájmy organizace veřejné správy jako zaměstnavatele. Udržitelné zvyšování relevantních kompetencí personalistů veřejné správy jako těch, kteří pracují s lidskými zdroji na každodenní bázi a nositeli procesních a interpersonálních změn v organizaci. Udržitelné zvyšování relevantních kompetencí systémových pracovníků jako těch, které charakterizuje schopnost a zákonná povinnost systémově nastavit ochranu pracovníků před násilím na pracovišti. Partnery projektu jsou Ministerstvo práce a sociálních věcí, Kancelář veřejného ochránce práv a Státní úřad inspekce práce. Projekt je realizován na celém území České republiky. Cílovou skupinou projektu: řadoví pracovníci, vedoucí pracovníci a personalisté organizačních složek státu, státních příspěvkových organizací, obcí, měst a krajů (Cílová skupina I), inspektoři práce SÚIP (Cílová skupina II). V průběhu projektu Důstojné pracoviště ve veřejné správě bude provedena procesní evaluace, jejímž cílem bude zhodnocení naplnění plánu projektu při jeho realizaci a zhodnocení funkčnosti užitých procesů a operací. Procesní evaluace je doplněna o dopadovou evaluaci, jíž se věnuje samostatný evaluační plán. 2. Logický model projektu a popis rozvoje kompetencí CS Obrázek č. 1 shrnuje logický model projektu, a názorně tak provádí celou intervenční logikou projektu. Procesní evaluace se týká část model akce, dopadové evaluace se týká model změny. Pro pochopení všech fází rozvoje kompetencí je níže doplněn stručný popis u obou cílových skupin. 3

4 Obrázek 1 Logický model projektu

5 2.1. Popis rozvoje kompetencí cílových skupin Rozvoj kompetencí cílové skupiny I v oblasti ochrany před násilím na pracovišti proběhne v několika krocích. Každý z účastníků z jedné ze tří podskupin (personalisté, vedoucí pracovníci, řadoví pracovníci) projde sérií pěti organizovaných vzdělávacích aktivit (viz schéma níže). Vzdělávání zahájí e-learningový kurz, následovat bude první prezenční školení, druhý e-learningový kurz, druhé prezenční školení a povinný základ bude uzavřen společným workshopem. Po něm bude moci každý účastník absolvovat znalostní test, po jehož úspěšném splnění obdrží kompetenční osvědčení. Větší část vzdělávacích aktivit bude specifická pro jednotlivé podskupiny, aby odpovídala jejich různým potřebám, část bude společná (workshop pro všechny tři podskupiny, druhé prezenční školení pro vedoucí a řadové pracovníky). Dle potřeb jednotlivých organizací a kapacit realizačního týmu budou všechny workshopy a část prezenčních školení, probíhat přímo v prostorách jednotlivých organizací, ostatní vzdělávací aktivity budou probíhat mimo pracoviště a budou se jich tak moci účastnit zástupci personalistů či vedoucích pracovníků z různých organizací. Zájemci ze spolupracujících organizací, nejčastěji personalisté či vedoucí pracovníci, budou moci nad rámec povinných vzdělávacích aktivit pokračovat ve vzdělávání formou mentoringu zaměřeného na pomoc při implementaci následných opatření, a to především v oblasti budoucího rozvoje znalostí zaměstnanců dané organizace. Celkem 30 inspektorů SÚIP projde intenzivním prezenčním školením v rozsahu dvou dnů. Na teoretické školení naváže praktické vzdělávání v terénu ve formě mentoringu. V závěru projektu proběhne také jednodenní školení pro metodiky SÚIP, odborné pracovníky sekcí 2 a 4 MPSV a odborné pracovníky Kanceláře veřejného ochránce práv. Toto školení bude zaměřené zejména na přenos (metodických a analytických) výstupů projektu. Obrázek 2 Proces školení prevence a eliminace násilí na pracovištích veřejné správy

6 3. Proces evaluace Cílem procesní evaluace je: zhodnotit soulad mezi designem projektu a naplněním očekávaných dopadů projektu, zhodnotit soulad mezi realizací projektu a plánem (předpoklady) projektu, zhodnotit naplnění předpokladů pro kvalitní realizaci projektu, zhodnotit kvalitu a využitelnost výstupů, Identifikovat faktory posilující či bránící úspěšné realizaci projektu. Obrázek 3 Proces evaluace a metody sběru dat Evaluace vychází z logického modelu projektu. Procesní evaluace je s ohledem na své cíle tvořena tzv. metodologicky smíšeným výzkumem, tedy kombinací kvalitativních a kvantitativních metod, přičemž oběma přístupům je přidělena v poznatcích stejná váha, přístup bude kongruentní. Procesní evaluace bude probíhat po celou dobu realizace projektu a bude zaměřena nejen na klíčové momenty v rozvoji kompetencí v oblasti prevence a eliminace násilí na pracovišti, ale také na samotnou implementaci získaných dovedností u obou cílových skupin. Obrázek č. 3 poskytuje přehled o jednotlivých etapách procesní evaluace. Cílovou skupinou evaluace jsou: řadoví pracovníci, vedoucí pracovníci a personalisté organizačních složek státu, státních příspěvkových organizací, obcí, měst a krajů (Cílová skupina I), inspektoři práce SÚIP (Cílová skupina II), realizační tým. 6

7 3.1. Evaluační matice Níže jsou shrnuty základní otázky procesní evaluace a jejich podotázky. Ke každému tématu jsou uvedeny ukazatele, zdroje dat a nástroje/metody práce s daty. Hlavní otázky procesní evaluace: 1. Do jaké míry byl design projektu navržen tak, aby bylo dosaženo očekávaných dopadů projektu? a. Bylo organizační zajištění projektu dostatečné? Ukazatele Zdroj dat Metoda sběru dat Účastníci z CS nemají námitky k organizačnímu zajištění aktivit Nejsou problémy s řízením projektových aktivit Realizační tým Cílové skupiny ISKP14+ Interní databáze Webová statistika Pozorování Hloubkové rozhovory Dotazníkové šetření Hodnocení procesu realizace projektu (ISKP a interní databáze) Webová statistika b. Proběhly v projektu všechny potřebné/relevantní aktivity? Ukazatele Zdroj dat Metoda sběru dat Účastníci z CS hodnotí aktivity jako potřebné Odborná úroveň aktivit je hodnocena účastníky z CS jako vysoká Odborná úroveň aktivit je hodnocena RT jako vysoká Realizační tým Cílové skupiny Hloubkové rozhovory Dotazníkové šetření c. Byli zapojení relevantní partneři projektu Ukazatele Zdroj dat Metoda sběru dat Zapojeni relevantní partneři, kteří na projektu spolupracují Realizační tým ISKP14+ Projektová dokumentace zápisy ze setkání partnerů 2. Do jaké míry byl soulad mezi realizací projektu a plánem (předpoklady) projektu? a. Byl dodržován harmonogram projektu? Ukazatele Zdroj dat Metoda sběru dat Zpoždění v plnění harmonogramu Podstatné změny projektu ISKP14+ Interní databáze Webová statistika Hodnocení procesu realizace projektu (ISKP a interní databáze) 7

8 b. Byly dosaženy plánované indikátory a výstupy? Ukazatele Zdroj dat Metoda sběru dat Míra splnění plánovaných indikátorů a výstupů ISKP14+ Hodnocení procesu realizace projektu (ISKP) 3. Do jaké míry byly splněny předpoklady pro kvalitní realizaci projektu? a. Splnění předpokladů z hlediska realizátora, partnerů a cílové skupiny? Ukazatele Zdroj dat Metoda sběru dat Zpoždění v plnění harmonogramu Podstatné změny projektu Akceptace výstupů bez výhrad Míra zapojení cílové skupiny ISKP14+ Interní databáze Hodnocení procesu realizace projektu (ISKP a interní databáze) 4. Jsou výstupy projektu kvalitní? a. Jaké výstupy vznikly a zda vůbec, jak jsou využívány a jako jsou hodnoceny? Ukazatele Zdroj dat Metoda sběru dat Počet vytvořených výstupů Oponentura výstupů Návštěvnost webu Počet dokončených e-learningových kurzů Počet certifikovaných účastníků vzdělávání Počet stažení vzniklých příruček Hodnocení kvality výstupů Realizační tým Cílové skupiny ISKP14+ Interní databáze Webová statistika Pozorování Hloubkové rozhovory Dotazníkové šetření Hodnocení procesu realizace projektu (ISKP a interní databáze) Webová statistika 5. Jaké jsou faktory posilující či bránící úspěšné realizaci projektu? a. Jaké faktory pomohly k úspěšné realizaci projektu? Ukazatele Zdroj dat Metoda sběru dat Počet posilujících faktorů Realizační tým Cílové skupiny Pozorování Hloubkové rozhovory Dotazníkové šetření b. Jaké faktory bránily úspěšné realizaci projektu? Ukazatele Zdroj dat Počet bariér Realizační tým 8

9 Metoda sběru dat Cílové skupiny Pozorování Hloubkové rozhovory Dotazníkové šetření 3.2. Harmonogram Metoda Tvorba vstupního evaluačního plánu Období sběru dat 8/17 2/18 Výstup Vstupní evaluační zpráva výzkumný plán procesní evaluace projektu Datum finálního výstupu Hloubkové rozhovory po 1. e-learningu 6/18 6/19 Evaluační shrnutí 6/19 Hloubkové rozhovory po 1. školení 9/18 9/19 Evaluační shrnutí 9/19 Hodnotící dotazníky 9/18 9/19 Zpráva z výzkumu 9/19 Pozorování 9/18 9/19 Evaluační shrnutí 9/19 Hloubkové rozhovory po 2. 2/18 12/18 8/19 Evaluační shrnutí 8/19 e-learningu Hloubkové rozhovory po školení SÚIP 3/19 4/19 Evaluační shrnutí 4/19 Hloubkové rozhovory po 2. školení 5/19 12/19 Evaluační shrnutí 12/19 Hodnotící dotazníky 5/19 12/19 Zpráva z výzkumu 12/19 Pozorování 5/19 12/19 Evaluační shrnutí 12/19 Hloubkové rozhovory po implementaci SÚIP Pozorování implementace SÚIP 5/19 5/20 Evaluační shrnutí 5/20 5/19 5/20 Evaluační shrnutí 5/20 Tvorba průběžné zprávy 6/19 9/19 Průběžná zpráva z procesní evaluace projektu Závěrečná zpráva z procesní Tvorba závěrečné zprávy evaluace projektu z procesní evaluace 4/20 8/20 Závěrečná zpráva z ověření projektu (testování) zvolených metod v rámci realizace projektu Pozn.: Tučně označeny jsou výstupy projektu 9/19 8/20 9

10 4. Analýza rizik procesní evaluace Níže jsou shrnuta základní rizika, která hrozí při realizaci procesní evaluace, a způsob jejich managementu. 1) Časové průtahy zejména na počátku projektu Řešení: Kvalitní příprava potřebných podkladů před zahájením projektu. Gestor společně s realizačním týmem projektu ihned pečlivě plánují všechny aktivity projektu. 2) Personální změna v rámci realizačního týmu Řešení: Pečlivé sestavení realizačního týmu, v průběhu projektu bude zajištěna zastupitelnost jednotlivých pracovníků prostřednictvím spolupráce, konání pravidelných informačních schůzek, pravidelné zálohování dat. 3) Časová náročnost rozsáhlých evaluačních aktivit Řešení: Pečlivé plánování jednotlivých evaluačních aktivit, sestavení zkušeného evaluačního týmu. 4) Nízká ochota cílové skupiny spolupracovat na evaluačních aktivitách Řešení: Tvorba co nejvíce úsporných způsobů sběrů dat, přizpůsobení komunikace jednotlivým cílovým skupinám, výběr vhodných konzultantů důstojného pracoviště, kteří nastaví důvěrný vztah s cílovou skupinou, vysvětlení účelu evaluačních aktivit, opakované oslovení cílových skupin. 5) Nedostatečná dostupnost informací pro sběr dat Řešení: Sestavení zkušeného evaluačního týmu, případná revize evaluačního designu. 5. Podrobný popis užitých metod 5.1. Hloubkové rozhovory Hloubkové rozhovory s cílovou skupinou I Hloubkové polostrukturované rozhovory budou realizovány s vybranými účastníky prezenčních školení a e-learningových kurzů z cílové skupiny I, a to v minimálním počtu: 9 rozhovorů po absolvování 1. e-learningovém kurzu, 6 rozhovory po absolvování 1. prezenčním školení, 9 rozhovorů po absolvování 2. e-learningového kurzu, 6 rozhovorů po absolvování 2. prezenčního školení. Výběr subjektů, které budou zařazeny do hloubkových rozhovorů, nebude náhodný, ale bude se snažit co nejvíce pokrýt typy subjektu veřejné správy (obec do 99 zaměstnanců, obec nad 100 zaměstnanců, magistrát, krajský úřad, státní příspěvková organizace a organizační složky státu) a jejich regionální rozložení. Respondenti budou v jednotlivých segmentech vybírání náhodně. Realizovány budou vždy krátce po absolvování příslušné vzdělávací aktivity, kdy budou mít informanti zkušenost ze vzdělávání v čerstvé paměti. Tyto rozhovory budou zaměřeny konkrétně na hodnocení v návaznosti na proběhlou vzdělávací aktivitu: 10

11 uživatelské přístupnosti e-learningových kurzů, o srozumitelnost obsahu, o zhodnocení obsahu z hlediska vazby na téma prevence násilí na pracovišti, o odhalení slabých a silných stránek e-learningových kurzů, o návaznost na předchozí etapy vzdělávání, o posouzení adekvátnosti nastavené obtížnosti, organizační zajištění školení, o vhodnost místa, o dodržení časového plánu, vhodnost délky školení, o návaznost na předchozí etapy vzdělávání. Dílčími mezivýstupy z hloubkových rozhovorů budou standardizované zápisy a evaluační shrnutí. Tyto mezivýstupy poslouží jako podklad pro zpracování Závěrečné zprávy z ověření (testování) zvolených metod v rámci realizace projektu a Průběžné a závěrečné zprávy z procesní evaluace projektu Hloubkové rozhovory se zástupci SÚIP Hloubkové rozhovory se zástupci SÚIP po školení Hloubkové rozhovory proběhnou s minimálně třemi inspektory práce po proběhlém dvoudenním školení na získání dovedností a vědomostí z oblasti odhalování a prevence násilí na pracovišti. Projektu se zúčastní celkem 30 inspektorů SÚIP, z nichž pouze 15 se aktivně věnuje problematice násilí na pracovišti. Proto výše uvedený počet respondentů považujeme za adekvátní. Výběr respondentů nebude náhodný, ale bude se snažit pokrýt regionální rozložení. Zařazeni budou pouze inspektoři, kteří absolvovali školení. Cílem hloubkových rozhovorů jsou následující oblasti (mohou být doplněny o další): organizační zajištění školení, o vhodnost místa, o dodržení časového plánu, vhodnost délky školení, posouzení průběhu školení, o zhodnocení obsahu z hlediska vazby na téma násilí na pracovišti, o srozumitelnost obsahu školení, lektorovy přednášky, komunikace lektora s cílovou skupinou během školení. Dílčím výstupem (mezivýstupem) pozorování budou standardizované zápisy z jednotlivých rozhovorů a evaluační shrnutí. Mezivýstup bude podkladem pro zpracování Závěrečné zprávy z ověření (testování) zvolených metod v rámci realizace projektu a Průběžné a závěrečné zprávy z procesní evaluace projektu Hloubkové rozhovory v rámci mentoringu se zástupci SÚIP Hloubkové rozhovory (v rámci mentoringu) budou aplikované u vybraných zapojených inspektorů práce pomoci polostrukturováných rozhovorů. Hloubkové rozhovory proběhnou s minimálně třemi inspektory práce v období, kdy bude probíhat mentoringový program. Projektu se zúčastní celkem 30 inspektorů SÚIP, z nichž pouze 15 se aktivně věnuje problematice násilí na pracovišti. Proto výše uvedený počet respondentů považujeme za adekvátní. Výběr respondentů nebude náhodný, ale bude se snažit pokrýt regionální rozložení. Cílem hloubkových rozhovorů jsou následující oblasti (mohou být doplněny o další): posouzení organizačního zajištění mentoringového programu, posouzení průběhu mentoringového programu, posouzení formy mentoringového programu, komunikace s mentorem během programu, 11

12 práce s příručkou Odkrývání násilí na pracovišti v organizacích veřejné správy, bariéry úspěšné realizace mentoringu, podmínky pro úspěšný průběh mentoringového programu. Dílčími výstupy (mezivýstupy) uvedených hloubkových rozhovorů budou standardizované zápisy a evaluační shrnutí. Uvedené mezivýstupy poslouží pro zpracování Závěrečné zprávy z ověření (testování) zvolených metod v rámci realizace projektu a Průběžné a závěrečné zprávy z procesní evaluace projektu Hloubkové rozhovory s realizačním týmem Hloubkové rozhovory po prezenčních školeních Hloubkové rozhovory budou aplikované u regionálních konzultantů a lektorů pomocí polostrukturovaných rozhovorů. Rozhovory proběhnou se všemi zapojenými lektory a konzultanty. Cílem hloubkových rozhovorů jsou následující oblasti (mohou být doplněny o další): - rozhovory s konzultanty: organizační zajištění školení, o vhodnost místa, zajištění místa, o dodržení času, vhodnost délky školení, o zpětná vazba od kontaktních osob organizací VS, bariéry pro úspěšnou realizaci školení a podmínky pro úspěšný průběh, - rozhovorů s lektory: organizační zajištění školení, o vhodnost místa, o dodržení času, vhodnost délky školení, posouzení průběhu školení, o porozumění obsahu školení, o nastavení obtížnosti školení, komunikace lektora s cílovou skupinou během školení, o atmosféra během školení, o aktivita cílové skupiny, bariéry pro úspěšnou realizaci školení a podmínky pro úspěšný průběh, soulad s příručkami (Jak se chránit před násilím na pracovišti a Techniky rozvoje kompetencí v oblasti ochrany před násilím na pracovišti), o splnění obsahu školení, o návaznost na předchozí etapy školení, o srozumitelnost obsahu školení. Úvodní rozhovory s konzultanty a lektory proběhnou po uskutečnění pěti prvních školeních (prvního bloku a později druhého bloku školení). Dílčími výstupy (mezivýstupy) uvedených hloubkových rozhovorů budou standardizované zápisy a evaluační shrnutí. Uvedené mezivýstupy poslouží jako podklad pro zpracování Závěrečné zprávy z ověření (testování) zvolených metod v rámci realizace projektu a Průběžné a závěrečné zprávy z procesní evaluace projektu Hloubkové rozhovory po workshopech Hloubkové rozhovory s lektory a konzultanty proběhnou po uskutečnění pěti prvních workshopů. Cílem hloubkových rozhovorů jsou následující oblasti (mohou být doplněny o další): - rozhovory s lektory: 12

13 posouzení průběhu workshopů, o zhodnocení obsahu z hlediska vazby na téma prevence násilí na pracovišti, o porozumění obsahu workshopu, komunikace lektora s cílovou skupinou během školení, o atmosféra během školení, o aktivita cílové skupiny, bariéry úspěšné realizace workshopů a podmínky pro úspěšný průběh. - rozhovory s konzultanty: organizační zajištění workshopů, o vhodnost místa, o dodržení času, vhodnost délky workshopů, o zpětná vazba od kontaktních osob organizací VS, bariéry úspěšné realizace workshopů a podmínky pro úspěšný průběh. Dílčími výstupy (mezivýstupy) uvedených hloubkových rozhovorů budou standardizované zápisy a evaluační shrnutí. Uvedené mezivýstupy poslouží jako podklad pro zpracování Závěrečné zprávy z ověření (testování) zvolených metod v rámci realizace projektu a Průběžné a závěrečné zprávy z procesní evaluace projektu Hloubkové rozhovory po mentoringu Hloubkové rozhovory budou aplikované u mentorů a konzultantů pomocí polostrukturovaných rozhovorů. Evaluační rozhovory proběhnou po ukončení mentoringového programu určeného pro CS I a CS II. Cílem hloubkových rozhovorů jsou následující oblasti (mohou být doplněny o další): - Rozhovory s mentory: posouzení průběhu mentoringového programu, posouzení formy mentoringového programu, komunikace s cílovou skupinou během mentoringového programu, o atmosféra během mentoringu, o aktivita cílové skupiny II, práce s příručkou Jak se chránit před násilím na pracovišti (u CS I), práce s příručkou Techniky rozvoje kompetencí v oblasti ochrany před násilím na pracovišti (u CS I), práce s příručkou Odkrývání násilí na pracovišti v organizacích veřejné správy (u CS II), bariéry úspěšné realizace mentoringu, podmínky pro úspěšný průběh mentoringového programu. - Rozhovory s konzultanty: organizační zajištění mentoringového programu, bariéry úspěšné realizace mentoringu, podmínky pro úspěšný průběh mentoringového programu. Dílčími výstupy (mezivýstupy) uvedených hloubkových rozhovorů budou standardizované zápisy a evaluační shrnutí. Uvedené mezivýstupy poslouží jako podklad pro zpracování Závěrečné zprávy z ověření (testování) zvolených metod v rámci realizace projektu a Průběžné a závěrečné zprávy z procesní evaluace projektu. 13

14 5.2. Pozorování Pozorování prezenčních školení cílové skupiny I V rámci procesní evaluace bude probíhat pozorování obou vln prezenčních školení. V první vlně proběhne celkem 6 pozorování, 2 pozorování pro každý typ školení (1. typ: personalisté, 2. typ: vedoucí zaměstnanci a 3. typ: řadoví zaměstnanci), ve druhé vlně proběhnou celkem 4 pozorování, opět 2 pozorování pro každý typ školení (1. typ: personalisté, 2. typ: vedoucí a řadoví zaměstnanci). Výběr školení, která budou zařazena do pozorování, nebude náhodný, ale bude se snažit co nejvíce pokrýt typy školení dle způsobu organizace školení (interní/externí), typu školení (úroveň školení nastavení na základě diagnostiky organizace), typu subjektu veřejné správy (obec do 99 zaměstnanců, obec nad 100 zaměstnanců, magistrát, krajský úřad, státní příspěvková organizace a organizační složky státu), regionálního rozložení a zastoupení lektorů. Pozorování započne v každé vlně nejdříve po 5. proběhlém školení, tak aby již realizační tým měl několik zkušeností se školeními, ale zároveň bylo možné budoucí školení upravit včas dle výsledků procesní evaluace. Metoda bude užita kvalitativně. Bude použito pozorování přímé, nezúčastněné, zjevné a semistandardizované. Na počátku bude vytvořen plán pozorování, ve kterém bude přesně definováno schéma pozorování, respektive stanoveny sledované oblasti a dále způsob záznamu jevů kvalitativní povahy. Cílem pozorování je zhodnotit následující oblasti (mohou být doplněny o další): organizační zajištění školení, o vhodnost místa, o dodržení času, vhodnost délky školení, dodržení postupu dle příruček (Jak se chránit před násilím na pracovišti a Techniky rozvoje kompetencí v oblasti ochrany před násilím na pracovišti), o obsah školení je uzpůsoben na základě prvotní diagnostiky organizace, o splněn obsah školení, o lektor navazuje na předchozí etapy školení, o lektor vede k porozumění obsahu školení, o cílová skupina pracuje s příručkou Jak se chránit před násilím na pracovišti, komunikace lektora s cílovou skupinou během školení, o verbální projev lektora (tempo řeči, hlasitost, apod.), o nonverbální projev lektora, o atmosféra během školení, o aktivita cílové skupiny, bariéry pro úspěšnou realizaci školení a podmínky pro úspěšný průběh. Dílčím výstupem (mezivýstupem) pozorování budou záznamové archy z jednotlivých pozorování a dvě evaluační shrnutí (za každou vlnu 1). Mezivýstup bude podkladem pro zpracování Závěrečné zprávy z ověření (testování) zvolených metod v rámci realizace projektu a Průběžné a závěrečné zprávy z procesní evaluace projektu Pozorování inspektorů SÚIP v rámci mentorignových aktivit V rámci procesní evaluace bude probíhat pozorování mentoringu inspektorů SÚIP, respektive pozorování výkonu jejich kontrolní činnosti. Celkem proběhnou minimálně 3 pozorování. Stanovení počtu vychází z analýzy počátečního stavu, kdy při konzultaci s metodikem SÚIP bylo zjištěno, že v celé ČR se oblasti násilí na pracovišti věnuje pouhých 15 inspektorů. I přes proškolení dvojnásobného počtu inspektorů bude k případům primárně vyjíždět podobný počet inspektorů jako v současnosti. Téma násilí na pracovišti je také velmi choulostivé a větší počet účastníků šetření na místě může snižovat účinnost zavedených 14

15 metod. Evaluační tým projektu bude usilovat o vyšší počet, než jsou 3 pozorování, přesto se domnívá, že garantovat lze pouze tento počet. Výběr navštívených prošetřených událostí proběhne na základě konzultace s příslušnými mentory a inspektory práce a nebude náhodný, ale bude se snažit co nejvíce pokrýt činnosti jednotlivých mentorů, typy hlášených událostí, velikost vyšetřovaného subjektu a regionálního rozložení. Pozorování započne nejdříve po 5. proběhlé mentorované události tak, aby již realizační tým měl několik zkušeností s mentoringem, ale zároveň bylo možné upravit budoucí postup včas dle výsledků procesní evaluace. Metoda bude využita kvalitativně. Bude použito pozorování přímé, nezúčastněné, zjevné a semistandardizované. Na počátku bude vytvořen plán pozorování, ve kterém bude přesně definováno schéma pozorování a způsob záznamu jevů kvalitativní povahy. Cílem pozorování bude vyhodnotit nastavení komunikace mentor inspektor, obsahu, formy, průběhu a organizace mentoringu. Cílem je také vyhodnotit funkčnost a přínosnost materiálů Odkrývání násilí na pracovišti v organizacích veřejné správy a Trvale udržitelné řešení problematiky násilí na pracovištích veřejné správy. Především bude hodnocena úspěšnost implementace získaných dovedností z prezenčního školení. Cílem pozorování je zhodnotit následující oblasti (mohou být doplněny o další): komunikace mentor inspektor, o organizace setkání, o atmosféra během školení, o postup mentoringu, dodržení postupu dle příruček (Odkrývání násilí na pracovišti v organizacích veřejné správy a Trvale udržitelné řešení problematiky násilí na pracovištích veřejné správy), o schopnost inspektora pracovat dle příruček, o schopnost mentora využít při mentoringu příručky, o mentor navazuje na předchozí etapy školení, bariéry pro úspěšné realizaci mentoringu a podmínky pro úspěšný průběh, zajištění administrativních povinností (Tvorba zpětných vazeb k metodickému rámci rozvoje kompetencí). Dílčím výstupem (mezi výstupem) pozorování budou záznamové archy z jednotlivých pozorování a evaluační shrnutí. Mezivýstup bude podkladem pro zpracování Závěrečné zprávy z ověření (testování) zvolených metod v rámci realizace projektu a Průběžné a závěrečné zprávy z procesní evaluace projektu Online hodnotící dotazník pro CS I Jedním ze zdrojů kvantitativních dat pro procesní evaluaci bude dotazníkové šetření, konkrétně hodnotící dotazníky pro účastníky vzdělávacích aktivit. Všem účastníkům školení z cílové skupiny I bude krátce po absolvování obou prezenčních školení distribuován hodnotící dotazník. Sběr dat proběhne pomocí metody CAWI, tedy samo vyplňovacím online dotazníkem. Ten bude zaměřený: na hodnocení průběhu školení, hodnocení obsahu z hlediska vazby na téma prevence násilí na pracovišti, identifikaci slabých a silných stránek školení, faktorů posilujících nebo bránících jejich realizaci, hodnocení organizace vzdělávacích aktivit, lektorských a komunikačních dovedností přednášejících, srozumitelnost probírané látky, 15

16 vhodnost použitých vzdělávacích technik a nastavené obtížnosti. Dílčími mezivýstupy z vyhodnocení dotazníků budou zprávy z výzkumu. Ty poslouží jako podklad pro zpracování Závěrečné zprávy z ověření (testování) a Průběžné a závěrečné zprávy z procesní evaluace projektu Hodnocení procesu realizace projektu z hlediska plnění indikátorů Po celou dobu projektu bude průběžně minimálně jednou měsíčně statisticky vyhodnocován průběh projektu z hlediska plnění indikátorů. Za tímto účelem bude vyplňován monitoring nejen v ISKP14+ ale také bude vedena podrobná databáze institucí i účastníků, která bude poskytovat jednoduchý přehled o jednotlivých fázích podpory. Cílem je zhodnotit následující oblasti (mohou být doplněny o další): vhodnost designu projektu, o zejména v souvislosti s naplňováním indikátorů Větší pozornost bude věnována zejména indikátorům: Celkový počet účastníků a Počet institucí podpořených za účelem zavedení opatření v oblasti moderního řízení lidských zdrojů, o naplňování plánovaných aktivit, o zapojení partnerů, soulad mezi realizací a plánem projektu (harmonogram), plnění předpokladů pro kvalitní realizaci, plnění výstupů projektu. Mezivýstup bude podkladem pro zpracování Závěrečné zprávy z ověření (testování) a Průběžné a závěrečné zprávy z procesní evaluace projektu Webová statistika Protože část vzdělávacích, diagnostických a testových aktivit bude realizována v online prostředí, součástí procesní evaluace bude také sledování a analýza webových statistik z interního vzdělávacího systému. Část dat bude zaznamenávána přímo ve vzdělávacím prostředí a dostupná bude z administrátorského rozhraní, část bude sledována pomocí aplikace Google Analytics. U účastníků budou zaznamenávány termíny zahájení a ukončení dílčích vzdělávacích aktivit, registrace uživatelů z CS, termíny vyplnění testů a jejich úspěšnost, termíny a výsledky online diagnostiky za jednotlivé organizace, dále bude sledována akvizice návštěvníků webu, počet návštěv, počet zobrazených stránek apod. Z hlediska procesní evaluace bude sledování statistik ze vzdělávacího systému důležité zejména pro monitoring vzdělávacího procesu a plnění indikátorů projektu. Tato data pomohou zodpovědět otázky: zda, kdy a v jakém časovém horizontu proběhly aktivity realizované CS v online prostředí (e-learningové kurzy, online diagnostika, znalostní testy), jaké byly výsledky těchto aktivit (např. úspěšnost testů, diferenciace diagnostiky), zda byl dodržen časový harmonogram těchto aktivit. Webové statistiky Google analytics pak pomocí ukazatelů počet vyhledávání, návštěv a zobrazování dílčích částí webu poslouží především ke sledování využívání vzdělávacích a metodických výstupů projektu, jejich diseminaci a potenciálu k upscallingu. Dílčími výstupy zpracování webové statistiky budou dvě zprávy z vyhodnocení průběhu testů. Ty budou jedním z podkladů pro zpracování Závěrečné zprávy z ověření (testování) 16

17 zvolených metod v rámci realizace projektu a Průběžné a závěrečné zprávy z procesní evaluace projektu. 6. Výstupy evaluace Výstupy Vstupní evaluační zpráva výzkumný plán procesní evaluace projektu Průběžná a závěrečná zpráva z procesní evaluace projektu Závěrečná zpráva z ověření (testování) zvolených metod v rámci realizace projektu 1 Dílčí výstupy, z nichž bude výstup vycházet - Standardizované zápisy z hloubkových rozhovorů s cílovou skupinou I a jejich evaluační shrnutí - Standardizované zápisy z hloubkových rozhovorů s cílovou skupinou II a jejich evaluační shrnutí - Standardizované zápisy z hloubkových rozhovorů s realizačním týmem a jejich evaluační shrnutí - Zápisy z pozorování prezenčních školení cílové skupiny I a jejich evaluační shrnutí - Zápisy z pozorování inspektorů SÚIP v rámci mentorignových aktivit jejich evaluační shrnutí - Zpráva z výzkumu (hodnotící dotazník pro CS I a CS II) - Zpráva z hodnocení procesu realizace projektu (vyhodnocení vývoje organizace) - Zprávy z vyhodnocení testů (webová platforma statistika) - Standardizované zápisy z hloubkových rozhovorů s cílovou skupinou I a jejich evaluační shrnutí - Standardizované zápisy z hloubkových rozhovorů s cílovou skupinou II a jejich evaluační shrnutí - Standardizované zápisy z hloubkových rozhovorů s realizačním týmem a jejich evaluační shrnutí - Zápisy z pozorování prezenčních školení cílové skupiny I a jejich evaluační shrnutí - Zápisy z pozorování inspektorů SÚIP v rámci mentorignových aktivit jejich evaluační shrnutí - Zpráva z výzkumu (hodnotící dotazník pro CS I a CS II) - Zpráva z hodnocení procesu realizace projektu (vyhodnocení vývoje organizace) - Zprávy z vyhodnocení testů (webová 1 Zpráva se bude na rozdíl od Závěrečné zprávy zabývat užitými metodami k rozvoji kompetencí CS (např. podoba školení, e-learningu, výukové metody jako je drama trénink, forma mentoringu), tak, aby projekt mohl poskytnout návod k ideální podobě vzdělávání. 17

18 platforma statistika) 18