Evaluace veřejných politik a programů

Transkript

1 Základní informace Evaluace veřejných politik a programů JSM654 Název předmětu Garant předmětu Vyučující Kód předmětu Rozsah, examinace Počet kreditů Podmínky pro zapsání předmětu Evaluace veřejných politik a programů Mgr. Martin, Ph.D. Mgr. Martin, Ph.D. Prof. PhDr. František Ochrana, DrSc. evaluátoři Fondu dalšího vzdělávání (FDV MPSV) JSM654 1/1, zkouška 5 ECTS kreditů Kurz si mohou zapsat studenti magisterského a doktorského studia (prezenční i kombinovaná forma) Místo výuky Jinonice, místnost č Čas výuky Web kurzu Kontakt Konzultační hodiny Čtvrtek, 11:00 13:50 (bloková výuka, termíny v harmonogramu!) (Moodle kurz EVALVP) martin.nekola@fsv.cuni.cz Doporučení pro studenty Pro kurz nejsou stanoveny žádné prerekvizity. Studentům prezenčního magisterského studia oboru Veřejná a sociální politika (ale i studentům z ostatních oborů) je doporučeno absolvování kurzů Veřejná politika a Metody analýzy politik. Nezbytná je alespoň pasivní znalost anglického jazyka. Stručná charakteristika předmětu Fungují veřejné politiky tak, jak bylo zamýšleno? Jaké jsou jejich reálné efekty? A naplňují tyto efekty očekávání, nebo by mohly být vynaložené prostředky využity lépe? Tyto a další otázky si klade relativně mladý obor společenských věd zvaný evaluace. Evaluace jako praktická činnost patří mezi klíčové součásti tvorby a realizace veřejných politik a programů. Jejím hlavním úkolem je poskytování spolehlivých a užitečných informací manažerům, politikům, úředníkům a dalším aktérům veřejné politiky. Evaluace poskytuje zpětnou vazbu, podává informace o tom, co a za jakých podmínek funguje, a jaké činnosti je nutné změnit popř. ukončit. Tento kurz slouží jako úvod do teorie a praxe evaluace programů financovaných z veřejných zdrojů. Studenti se seznámí s hlavními koncepty, evaluačními designy (plány) a metodami evaluačního výzkumu počínaje teorií programu až po hodnocení efektivity jeho účinků a prezentace výsledků evaluace. Nabité dovednosti využijí při práci jak ve veřejném, tak soukromém nebo neziskovém sektoru (např. u projektů financovaných z Evropského sociálního fondu je evaluace povinnou součástí). Na výuce se podílí zkušení evaluátoři z praxe a studenti se učí na reálných evaluačních projektech. Absolventi kurzu by měli být schopni: diskutovat různé účely a typy evaluace veřejných programů; vytvořit kompletní návrh evaluačního projektu pro vyhodnocení účinku konkrétního veřejného programu;

2 aplikovat základní metody evaluace účinku a vyhodnotit efektivitu programu; shrnout a interpretovat výsledky evaluace; identifikovat společenské, politické a etické otázky spojené s evaluací. Struktura a náplň kurzu Kurz je složen ze tří hlavních částí přednášek, domácí četby doporučené literatury a diskuse/prezentace při hodinách a není věcně zaměřený na konkrétní politiku nebo sektor. Důraz je kladen na obecnou uplatnitelnost probíraných přístupů a metod, jejichž aplikace bude ilustrována na příkladech rozmanitých zahraničních i tuzemských veřejných programů. Uvítáme také, pokud se studenti ve svých projektech zaměří na specifickou oblast svého zájmu. Základní literatura ke kurzu Rossi, P., Lipsey, M., and Freeman, H Evaluation: A Systematic Approach, 7th ed. Sage Publications (dále pouze jako RLF 2004)., M Evaluace a monitoring realizovaných politik. In Veselý, A. a, M. (eds). Analýza a tvorba veřejných politik: přístupy, metody a praxe. Praha: SLON. Světová zdravotnická organizace Evaluace léčby poruch způsobených užíváním psychoaktivních látek (především sešity 1,2, 7 a 8). Ochrana, F Hodnocení veřejných projektů a zakázek. Třetí přepracované a aktualizované vydání. Praha. ASPI Publishing. ISBN Ochrana, F Nákladově výstupové metody ve veřejném sektoru. Praha. Ekopress. ISBN Veškerá literatura je dostupná ke stažení v Moodle. Forma kontroly studia (požadavky na ukončení předmětu) Nezbytnými předpoklady pro absolvování kurzu jsou (1) příprava na přednášky a účast na diskusích. Studenti musí mít přečtené texty a články určené k diskusi na daný blok výuky a v předstihu poslat vyučujícím své otázky vztahující se k tématu. Mimo to je každý student povinen (2) napsat jeden kritický komentář ke zvolenému odbornému článku schváleného garantem kurzu a (3) vypracovat individuální nebo týmový evaluační projekt. Postup přípravy projektu, jehož finální verze bude odevzdána v elektronické podobě, je popsán níže. Ad 1) Příprava na diskusi Ke každému výukovému bloku je připravený seznam povinné a doporučené literatury k domácímu studiu, na jejichž základě si studenti připraví 2-4 otázky (tj. ke každému tématu 1-2 otázky). Otázky se vyplňují v Moodle vždy k danému tématu, vždy nejpozději 3 dny před přednáškou (tj. do nedělní půlnoci). Zdůrazňujeme, že neexistují hloupé, ale spíše špatně položené otázky (otázky mimo kontext nebo bez vazby k tématu, otázky položené bez zjevné snahy o pochopení textu apod.). Výběr literatury se snaží pokrýt klíčové aspekty probíraného tématu a ilustrovat různé metodologické přístupy a problémy spojené s evaluací. V případě zájmu ze strany studentů můžeme zařadit další literaturu odpovídající jejich zaměření. Ad 2) Kritický komentář Každý ze studentů si vybere ze seznamu případových studií (viz harmonogram) jeden odborný text, který odpovídá jeho věcnému zaměření či zájmu, popř. navrhne garantovi kurzu jiný vhodný text. Může to být článek z recenzovaného časopisu nebo evaluační zpráva, v ideálním případě by měl mít zvolený text vztah k týmovému evaluačnímu projektu (po věcné a/nebo metodologické stránce). Po schválení výběru garantem zpracuje každý student kritický komentář (cca 5 NS). Ten má formu plynulého strukturovaného textu (podobně jako např. odborná knižní recenze) ve kterém se zaměří především na následující aspekty posuzovaného textu:

3 účel textu, výzkumné cíle a otázky popř. hypotézy; typ evaluace (formativní / sumativní; kvalitativní / kvantitativní; vnitřní / vnější atd.); metodologie (design, metody sběru a analýzy dat atd.); Hlavním účelem komentáře není výtah z textu, nýbrž jeho celkové kritické zhodnocení z hlediska hlavních závěrů studie, její vypovídací hodnoty, silných a slabých stránek zvoleného přístupu a možností zobecnění výsledků. Komentář se odevzdává v elektronické podobě na adresu garanta předmětu (termín viz důležité termíny níže). Ad 3) Příprava týmového evaluačního projektu Krok 1: Specifikace programu 1 až 2 stránkový popis vybraného programu problém, který intervence řeší, zamýšlené cílové skupiny, předpokládané přínosy a kauzální model, na němž je program založen (teorie programu). Krok 2: Cíle evaluace a metodologie dopadové evaluace S využitím vytvořeného modelu jsou v druhém kroku formulovány výzkumné otázky, operacionalizovány klíčové proměnné a jejich míry, které umožní vyhodnocení daného programu z hlediska jeho dopadů. Krok 3: Hodnocení efektivity Popis způsobu, jak budou získané výsledky vyhodnoceny z hlediska efektivity, tj. určování, měření a ohodnocování nákladů a přínosů a jejich analýza. Krok 4: Finalizace projektu a jeho prezentace Na základě předchozích kroků navrhnou jednotlivé týmy srozumitelný a přesvědčivý evaluační plán pro zvolený program. Podklady ke krokům 1 až 3 se odevzdávají v elektronické podobě na adresu martin.nekola@fsv.cuni.cz. Finální projekt (krok 4) zasílejte v elektronické podobě na adresu nekola.fsvcuni@analysis.urkund.com. Předmět u musí obsahovat kód kurzu v hranaté závorce, tj. [JSM654], jinak nebude správně zařazen. V případě týmových projektů zasílejte pouze jeden exemplář projektu. Každá práce bude analyzována softwarem pro odhalování plagiátů. Důležité termíny kritický komentář: evaluační projekt o krok 1 Specifikace programu: o krok 2 Cíle evaluace a metodologie dopadové evaluace: o krok 3 Hodnocení efektivity: Odevzdání finální verze (krok 4): 11.1., a 5.2. Nedodržení termínu o méně než 7 dní znamená 10% snížení počtu bodů, poté 0 bodů. Pro odevzdání finální verze týmového projektu jsou k dispozici celkem tři termíny. První dva lze využít k získání zpětné vazby, třetí termín je nejzazším možným pro odevzdání finální verze práce a jeho nevyužití bude považováno za nesplnění podmínek pro absolvování kurzu. Výzkumná a studijní etika Vzhledem k tradici univerzity a povaze vyučovaných předmětů je na Institutu sociologických studií FSV UK kladen velký důraz na etické a odpovědné jednání všech studentů a studentek. Za výrazné porušení etiky se přitom považuje zejména: a) plagiátorství tj. použití cizích vět, dat či myšlenek (nebo částí vlastní práce předložené v jiném předmětu) bez přesného uvedení zdroje; b) manipulace s daty a informacemi (např. jejich úprava či arbitrární vytvoření);

4 c) podvody jakéhokoli druhu. Porušení pravidel se bude striktně řešit dle disciplinárního řádu FSV UK (dostupný na stránce Disciplinární komise FSV). Harmonogram kurzu I Téma 1: Úvodní informace o kurzu a evaluaci veřejných programů - Smysl evaluace a evaluační otázky - Evaluace jako sociálněvědní aktivita a praxe - Základní rozdělení evaluací, evaluační kritéria - RLF 2004 kapitoly 1 a 2; - (Doporučená) 2007 podkapitoly 1-3 Případové studie (příklad výstupu z tohoto kurzu): - Kasal, A. a Růžička, J Projekt arestart: Evaluační plán. Téma 2: Plánování evaluací - Evaluační plán - Evaluační otázky - Evaluační kritéria -, M Plánování, organizace a komunikace výsledků evaluace. In Ochrana, F. a kol. Hodnocení efektivnosti veřejných výdajových programů. 1 vydání. Praha : Wolters Kluwer, a. s. Případové studie: - Miovský, M., Miovská, L. a Trapková, B Projekt evaluace primárně-preventivního komunitního programu. Adiktologie, 4, 3, II Téma 3: Vyjádření a vyhodnocení teorie programu - Různé úrovně teorie programu (organizační, působení programu) - Logika programu a znázornění vztahů mezi jednotlivými prvky programu (cíle, funkce, komponenty, aktivity) - Hodnocení teorie programu (vzhledem k potřebám a praxi, věrohodnost předpokladů o fungování programu) Chmel - RLF 2004 kapitola 5 - (Doporučená) WHO 2000 sešit 1 - Bude upřesněno

5 Téma 4: Monitoring programu a evaluace procesu - Různé formy a perspektivy evaluace procesu - Monitoring využití služeb a fungování organizace - Identifikace, měření a monitoring výstupů programu - RLF 2004 kapitola 6 - (Doporučená) WHO 2000 sešit 4 - (Doporučená pro zájemce o podrobnější plán procesní evaluace) Saunders, R. P., Evans, M. H., and Joshi, P Developing a Process-Evaluation Plan for Assessing Health Promotion Program Implementation: A How-To Guide. Health Promot Pract 6: Shanahan, M., Fleming, P., Nocera, M., Sullivan, K., Murphy, R. and Zolotor, A Process evaluation of a statewide abusive head trauma prevention program. Evaluation and Program Planning, 47. III Téma 5: Úvod do evaluace efektů: design, vnitřní a vnější validita - Klíčové koncepty evaluace efektů - Různé výzkumné designy - Vnitřní a vnější validita - Výběr vhodného designu - RLF 2004 kapitola 7 - (Doporučená) 2007 podkapitoly 2.2 a Greenberg, D. and Morris, S Large-Scale Social Experimentation in Britain. Evaluation, 11, 2, Téma 6: Evaluace efektů: experimenty ve veřejné politice - Sociální experimenty - Typy experimentálního uspořádání - Sběr a analýza experimentálních dat - Limity sociálních experimentů - RLF 2004 kapitola 8 - (Doporučená) 2007 podkapitola (Doporučená pro zájemce o statistiku) Lipsey, M. W Design sensitivity: Statistical power for applied experimental research. In: L. Bickman and Rog, D. J. (Eds.) Handbook of Applied Social Research Methods. Sage: Thousand Oaks. - Fraguela, J. A. G., Martín, A. L., and Triñanes, E. R. Drug abuse prevention in the school: Four-year follow-up of a programme.

6 Psychology in Spain, Vol. 7. No 1, IV Téma 7: Evaluace efektů: kvazi-experimentální uspořádání - Důvody pro používání kvazi-experimentů - Typy kvazi-experimentálního uspořádání - Limity - RLF 2004 kapitola 9 - (Doporučená) 2007 podkapitola 4.3 Případové studie: - Moss, B. G. and Yeaton, W. H Shaping Policies Related to Developmental Education: An Evaluation Using the Regression- Discontinuity Design. Educational Evaluation and Policy Analysis 28: (Doporučená) Kulhavý, V. a Sirovátka, T Efekty programů zaměstnanosti v roce Fórum sociální politiky, 4, (Doporučená - analýza regresní nespojitosti pro pokročilé) Cappelleri, J. C., Trochim, W. M., Stanley, T.D., and Reichardt, C. S Random Measurement Error Does Not Bias the Treatment Effect Estimate in the Regression-Discontinuity Design: I. The Case of No Interaction. Evaluation Review, 15, Téma 8: Analýza a interpretace efektů programu - Zjišťování velikosti a významnosti efektů programu - Vyhodnocení praktické významnosti efektů - Rozdíly v působení programu - RFL kapitola 10 Případové studie: - Danaher, B., Smith, M. D., Telang, R., & Chen, S The Effect of Graduated Response Anti-Piracy Laws on Music Sales: Evidence from an Event Study in France. Journal Of Industrial Economics, 62(3), V Téma 9: Hodnocení efektivity: analýza nákladů a přínosů - Klasifikace nákladů a užitků - Náklady a přínosy - Role času při hodnocení nákladů a přínosů (aplikovaný postup) - Postup při použití analýzy nákladů a přínosů (analýza společenských nákladů a společenských přínosů, role nákladů obětované příležitosti, stínové ceny) - Přírůstková metoda kalkulace nákladů a přínosů a její uplatnění při žádostech o podporu z fondů EU (aplikovaný postup) Ochrana Téma 10: Hodnocení efektivity: analýza efektivnosti / užitečnosti nákladů - Nákladová efektivnost a produktivita veřejných výdajů - Použití kritéria efektivnosti pro hodnocení dopadů a účinků veřejných

7 politik a veřejných programů - Postup při analýze efektivnosti nákladů (metoda CEA) - Použití kritéria účinnosti pro hodnocení účinků veřejných politik a veřejných programů - Analýza užitečnosti nákladů (metoda CUA) postup a použití. - Inkrementální analýza nákladů a užitků pro hodnocení veřejných programů - Použití metody QALY (kvality přepočtených let života) pro výběr a hodnocení zdravotnických programů VI Téma 11: Evaluace v reálném světě: společenský kontext, politika a etika - RLF 2004 kapitola 12 - Bovens, M.A.P., 't Hart, P., and Kuipers, S.L The Politics of Policy Evaluation. In. R. Goodin, M. Moran, and M. Rein. Oxford Handbook of Public Policy. New York: Oxford University Press, pp ČES Etický kodex evaluátora. Nekolová Kváča Bodové hodnocení Případová studie (jak může vypadat srozumitelné shrnutí poznatků pro politiky a úředníky) - Verster, A. a Buning, E Informace pro tvůrce drogové politiky o účinnosti substituční léčby závislosti na opiátech. Praha: Úřad vlády ČR. Závěrečná diskuse, Q&A ke kurzu i evaluaci obecně Bodové hodnocení Aktivita / Výstup Max. bodů Stupeň Klasifikační stupnice Body Kritický komentář 22 Výborně Podklady k prvním třem krokům 30 Velmi dobře Evaluační plán (finální projekt) 48 Dobře Celkem 100 Neprospěl 55 a méně