Hodnocení efektivity nízkoprahových programů Jan Morávek, Ph.D. Institut sociologických studií FSV UK Praha Konference Terénní a nízkoprahové programy 2010 Praha 15. 1. 2010
Východiska Své právo na existenci obhajují nízkoprahové programy obvykle vykazováním výkonů a klientů. Méně časté jsou studie hodnotící efektivitu těchto výkonů. Jak měřit, nakolik vynaložené prostředky pomohly reálně změnit situaci klientů?
Témata prezentace Proces, výstupy a účinky Evaluační výzkum a analýza dopadů (impact assessment) Možnosti a limity experimentální, kvaziexperimentální a kvalitativní analýzy dopadů Analýza dopadů v praxi nízkoprahových programů?
Proces, výstupy a účinky programů Jak měřit, nakolik program pomohl reálně změnit situaci klientů? Výstupy (outcomes): materiální produkty, služby nebo finanční zdroje poskytované cílovým skupinám rozdané stříkačky Účinky (impacts): skutečné změny chování nebo postojů v důsledku programu snížení výskytu infekčních chorob (3)
Evaluační výzkum Analýza splnění stanovených cílů politiky (1) Systematické a objektivní hodnocení probíhajících nebo dokončených projektů, programů nebo politik, jejich uspořádání, implementace a výsledků. Cílem je určení významnosti a plnění cílů, posouzení rozvojové efektivnosti, účinku a udržitelnosti (2). Dvojí funkce: evaluace procesu (formativní) a evaluace výsledků (souhrnná) (3). Tato prezentace je věnována evaluaci výsledků neboli analýze dopadů.
Analýza dopadů (impact assessment) Účel: nalézt prokazatelné změny v cílové populaci a určit přímý vliv hodnoceného programu na ně (3) Modelový postup: 1. Vymezit žádoucí změny a časový rámec účinků 2. Pretest 3. Působení programu 4. Posttest
Trojí design analýzy dopadů Experimentální: ideální a náročná metoda umožňující validně prokázat vliv zkoumané intervence Kvaziexperimentální: second best, pro praktické ohledy slevuje z nároků experimentu Kvalitativní: porozumění významům sdíleným účastníky; považují klienti službu za smysluplnou a důležitou? (4)
Experimentální AD 1. Náhodné rozdělení osob z cílové skupiny do experimentální a kontrolní skupiny 2. Pretest u obou skupin 3. Působení programu u experimentální skupiny 4. Posttest u obou skupin 5. Porovnání výsledků
Experimentální AD výhody schopnost oddělit účinky programu od jiných vlivů (kontrolovaný experiment) vysoká validita výsledků při složitějším uspořádání lze odděleně měřit účinky jednotlivých složek programu
Experimentální AD nevýhody Zamezit přístup k programu náhodně vybraným členům cílové populace (kontrolní skupina) může být neetické, neférové nebo protiprávní Vysoké náklady Zdlouhavost Problémy se standardizací měřených účinků (indikátory) Redukcionismus
Kvaziexperimentální AD Kontrolní skupina není vybrána náhodně: např. vedlejší školní třída, osoby v lokalitě nezasažené terénním programem. Pretest, posttest a porovnání výsledků stejné jako u experimentu NEBO Kontrolní skupina není vůbec vybrána. Pouze porovnáváme situaci před intervencí a po ní.
Kvaziexperimentální AD pro a proti + Nevytváří etické dilema + Second best tam, kde experiment není možný + Levnější Nenáhodnost výběru může způsobit zkreslení Bez kontrolní skupiny nelze oddělit vliv intervence od dalších faktorů Problémy se standardizací, redukcionismus
Kvalitativní AD Kvalitativní výzkum je založen na porozumění významům, které sociálnímu dění přikládají jeho účastníci. Považují klienti/pracovníci/jiní aktéři službu za smysluplnou a důležitou? Jak klienti na službu reagují? Jaký vliv měl program na jejich životy?
Kvalitativní AD pro a proti + Přibližuje evaluaci životnímu světu klientů + Příběhy klientů dávají přístupné a intuitivní argumenty + Celostní pohled Oddaluje evaluaci kritériím zadavatele Nedá se měřit a vážit (žádná tvrdá data ) Omezená srovnatelnost
Analýza dopadů v praxi? AD je pro typický program/projekt drahá U nízkoprahových/terénních služeb může být nízká návratnost posttestu (najít klienta po roce ) Vyplatí se ve větším rozsahu: u určitého typu služby nebo dotačního programu jako celku. Vědecká vykazatelnost dopadů ovšem zvyšuje prodejnost programů/projektů u poskytovatelů dotací.
Co můžeme udělat my? Myslet při poskytování služeb nejen na proces, ale především na jeho výsledky u klientů. Při plánování projektů se inspirovat příklady dobré praxe, které jsou prokazatelně účinné (mají provedeny analýzy dopadů). Zapojit se do společné analýzy dopadů pro více služeb stejného standardu. Dokumentovat příběhy klientů.
Děkuji Vám za pozornost. Mgr. Jan Morávek, Ph.D. Institut sociologických studií FSV UK Praha jan.moravek [at] gmail.com http://www.jan-moravek.cz
Použitá literatura 1. Patton, C. V. a Sawicki, D. S. 1993. Basic Methods of Policy Analysis and Planning. Upper Saddle River (NJ): Prentice Hall. 2. OECD. 2002. Glossary of key terms in evaluation and results based management. Paris: OECD. 3. Nekola, M. 2007. Monitoring a evaluace realizovaných politik. Pp. 337-382 in Analýza a tvorba veřejných politik, ed. A. Veselý a M. Nekola. Praha: SLON. 4. Chadwick, B. A., Bahr, H. M. a Albrecht, S. L. 1984. Evaluation Research. Pp. 281-312 in Social Science Research Methods. Englewood Cliffs, NJ: Prentice-Hall.