11.10.2013 Blok 1: Úvod do problematiky 10.xx 11.00 Rozvoj a instituce 11.00 11.20 Atribuce vs. kontribuce 11.20 12.00 Outcome Mapping Blok 2: OME Dílna 12:00-13.00 Projekty/programy a teorie změny 14.00-14.30 Indikativní analýza přínosů (outcomes) 14.30-15.00 Kategorizace přínosů dle OME Blok 3: Aplikace 15.00-16.00 Design OM Evaluace a klíčové prvky 16.00-16.15 Nástroje sběru dat 16.15-16.45 Zápis výsledků a jejich ověření Blok 4: OM Evaluace v kontextu rozvoje regionu 16.45- XX Identifikace požadavků pilotní implementace OM Evaluace SF v regionu Závěr
Identifikujte 3 kvalitativní pozorovatelné změny v regionu od roku 2004? Kdo je vlastníkem/majitelem/strůjcem? Rozvoj lidského kapitálu versus ekonomický růst Zdroj: Světová banka 1850 koloniální ekonomie spravování zdrojů, poručnictví 1870 opozdilci (latecomers) industrializace, dohánění 1940 rozvojová ekonomie ekonomický růst, industrializace 1950 modernizační teorie, růst, politická a sociální modernizace 1960 teorie závislosti akumulace, národní zájmy 1970 alternativní rozvoj, lidský rozkvět 1980 lidský rozvoj, rozvoj kapacit, rozšíření možnosti voleb 1980 neoliberalismus, ekonomický růst strukturální reformy, deregulace, privatizace, liberalizace 1990 postdevelopment
Ekonomický pohled: Lineární proces obsahující dané fáze, kterými musejí všechna společenstva projít (Rostow, 1960) Klíčové prvky Masivní investice do industrializace Omezením jsou kapacity institucí a sociální postoje Vedoucí sílou může být jeden ekonomický sektor Cílem je zvýšení tržní produktivity Sociologický pohled: Rozvoj je kombinací mentálních a sociálních změn v populaci,které umožňují zvýšit kumulativně a dlouhodobě reálný a agregovaný produkt výkonu populace (Perroux, 1961) Klíčové prvky: Technologický a ekonomické investice přinášejí sociální pokrok Phare jako sociální inženýrství Vize sociálního inženýrství je, že rozvoje může být dosaženo prostřednictvím série projektů a programů podpořených další pomocí (půjčky, granty) a realizovaných prostřednictvím instrukcí a plánů, s jasně vymezenými podmínkami a detailně vymezenou technickou pomocí dojíždějících expertů Ellerman, 2006
Spirituální pohled: Probouzení každé duše společenství, skutečné dobrodružství, výčet všech kreativních kapacit " (UNESCO 1977) Kulturní pohled: Problémy rozvoje jsou především kulturním problémem, a proto veškerá ekonomická produkce je v podstatě produkcí kultury. " (Ben Bella, 1980) Strukturální pohled: Regionální pohled: Atd. Atd. Atd. Strukturální fondy v ČR:.? Institucionalizace rozvoje? Přerozdělování? Displacement? Narušení tržních mechanismů? Graf Edward Lorentz (1960) Původní sekvence -.506127 Zadaná sekvence -.506
Ne vše, co lze započítat, je počitatelné...a ne vše, co je počitatelné, lze započítat. (Albert Einstein) Tlak na měřitelné výsledky, jejich demonstraci a zodpovědnost za rozvoj Otázka dopadů je nejviditelnější u donorů, jejich prostřednictvím i u organizací přijímajících pomoc a individuálních příjemcích Důvodem jsou požadavky jako logický rámec (LFA) nebo na výsledky orientovaný management pro plánování a reporting donorům Důsledkem je snaha hledání dopadů - hlavní témata rozvoje Snahy o definování dopadů a kdo dopad způsobil omezuje donory i příjemce chápat, jak se vlastně změna děje a proč Honba za přičtením uznání a kreditu nedává prostor pro pochopení a vytvoření skutečné znalosti Kontribuce (Contribution) (česky = přispění?) vyjádření toho, že zkoumaná intervence má nějaký účinek na cílovou oblast, tj. je schopna dění v cílové oblasti (nějak) ovlivnit. Neboli: je intervence jedním z faktorů ovlivňujících cílovou oblast? Na contribution lze usuzovat z konstrukce teorie změny (popisu kauzálních vztahů intervence) a zkoumáním naplnění jejích předpokladů. Atribuce (Attribution) (česky = přičitatelnost?) označuje skutečný příspěvek intervence ke stavu cílové oblasti. Co intervence skutečně způsobila? Jakou změnu cílové oblasti lze přičíst jen intervenci po očištění dalších vlivů? Attribution lze odhadnout např. pomocí metod Counterfactual Impact Evaluation (CIE).
Outcome Mapping se nesnaží predikovat vývoj Cílem je facilitovat/napomáhat/podporovat změnu chování, vztahů, aktivit, politik a praktik jednotlivců, skupin, komunit, organizací nebo institucí. Zaměřuje se na dosažení specifického typu výsledku: behaviorální změny u jedinců, organizací přímo ovlivňující daný rozvojový sektor Výsledky (outcomes) jsou definovány jako změny chování, vztahů, aktivit nebo akcí u lidí,skupin a organizací, se kterými program pracuje přímo Tyto výsledky mohou být logicky spjaty s aktivitami programu, nemusejí být ale nutně jeho příčinou. Outcome Mapping je metoda pro plánování a implementaci projektů/programů Výsledky jsou efekty způsobené působením programu Aspirace nebo výzvy (outcome challenges) popisují změnu chování, vztahů, aktivit, akcí osob, organizací, skupiny nebo instituce bude li program extrémně úspěšný. Aspirace/výzvy ilustrují, že program může ovlivnit dosažení výsledků, nemůže ale výsledek kontrolovat. Program přispívá ke změně, finální zodpovědnost za změnu a schopnost tuto změnu realizovat je ale v rukách tzv. hraničních partnerů programu
Partneři partnerů = hraniční partner Projekt nebo program Reálný svět Strategie Kauzální Přesvědčovací Podpůrné Zaměřená na hraničního partnera Zaměřená na prostředí působnosti hraničního partnera Přímé výstupy Změna regulatorního rámce nebo prostředí Nové dovednosti/způ sob myšlení Změna informačního systému/práce s informacemi Dlouhodobá podpora změny partnera Vytvoření nebo posilování podpůrných sítí Love to see Would like to see Expect to see Aspirační Optimistické Očekávané
Outcome mapping jako metoda pro komplexní intervence Nerezignuje na rozvoj, vnímá ale, že rozvoj není dílem množiny individuálních organizací pod kontrolou programu, tudíž jej nelze predikovat Zaměření na rozvoj organizačních a individuálních praktik a schopností Zaměřená na změnu praktik v působnosti hraničích partnerů a působením těchto změn na rozvoj
Opravdu vážné problémy, jimž bude lidstvo čelit, se týkají naší neschopnosti chápat naše komplexní lidské systémy a řídit je. (Peter Senge) Veškeré komplexní systémy [...] mají společné jmenovatele v chování, které nelze vysvětlit na základě znalostí jednotlivých částí systému Klíčem v komplexních systémech jsou vzájemné vztahy mezi komponenty Tyto vztahy utvářejí systém, proudí jím, drží jej pohromadě a zaručují udržitelnost systému Tudíž např. kapacitu a výkon spolupracující sítě organizací nelze pochopit a facilitovat jen podporou jedné její části. Celková kapacita je větší než kapacita jeho jednotlivých součástí.
Mnoho M&E metod zachycuje vizuálně změnu jako lineární proces na základě jednoduchých vztahů příčina-důsledek. Pro Outcome Mapping Evaluaci je změna: Komplexní (mnoho aktérů a faktorů) Trvalou (za rámec životnosti projektu) Nelineární (neplánované efekty) Kumulativní Za hranicí kontroly ze strany programu (ale při jeho působení) S dvojím účinkem: program je aktérem změny i subjektem změny) VÝSLEDKY CÍLE VÝSTUPY Modelová farma slouží jako kontaktní místo pro diseminaci a replikaci výsledků Přístupy replikované místními farmáři Zvýšená Regionální/národní zaměstnanost politiky reflektují (snížená ověřené možnosti nezaměstnanost) pro rozvoj rurálních díky novým oblastí příjmům obyvatel Kvalitativní a kvantitativní zhodnocení obnovení zemědělské rostlinné produkce včetně následného zpracování Snížená závislost regionu na dovážené rostliné produkci Regenerace zemědělských ploch (projekt) Modelová rostlinná farma s komplexním know-how pro pěstování, skladování, přepravu a zpracování rostlinných produktů Zapracování mongolských pracovníků dalších farem z daného regionu do ovládání nových pěstebních postupů, technologií dalšího zpracovávání a využívání vypěstovaných produktů Úvodní výzkum ke stanovení limitů využívání Optimalizace systému jímání podzemních vod a zavlažování Výběr a produkce vhodných plodin Vzdělávání farmářů v kultivačních postupech Model akceptován a diseminován Klíčový předpoklad- není součástí logiky projektu B
Blok 3: Aplikace Outcome Mapping Evaluace se realizují pod názvem Outcome Harvesting Otcem metodologie je Ricardo Wilson-Grau První užití v roce 2004 Označuje se jako forenzní evaluace, retrospektivní mapování výsledků a jejich atribuci organizacím, aktérům (respektive změnám v jejich chování, přístupech apod.) Outcome Mapping Evaluace nezkoumá příspěvek programu, projektu k jeho plánovaným výsledkům. Je obzvláště vhodnou metodou chceme li pochopit proces změny a jakým způsobem výsledky k této změně přispívají Vhodné především pro velké programy podporující např. demokratizaci, zapojování veřejnosti, tvorbu politik apod.
Zavést důslednost při hodnocení schopnosti organizace realizovat své strategie, které přispívají k dlouhodobým cílům, a to: Konkrétním, měřitelným popisem výsledků (kdo změnil co, kdy a kde) Posunem od intuitivního hodnocení vývoje k hodnocení založeném na důkazech (evidencé-based) Umožněním dialogu mezi vlastníky programu o nejlepších strategiích (včetně zachycení těch nefungujících) Identifikovat výsledky (outcomes), k nimž přispívá mnoho aktérů v komplexních prostředích 1. Evaluační design 2. Sběr dat a formulace výsledků (outcomes) 3. První ověření zapojením vlastníků výsledků 4. Nezávislé ověření výsledků 5. Analýza a interpretace 6. Podpora uživatelům evaluace Prostředník změny (change agent) Osoba nebo organizace, která ovlivňuje výsledek Sociální aktér Osoba, skupina, komunita, organizace nebo instituce,která se změní v důsledku intervence prostředníka změny Uživatel evaluace Osoba (osoby) vyžadující OM evaluaci pro rozhodnutí nebo akci. Uživatelem mohou být osoby v organizaci prostředníka změny nebo v organizacích třetích stran (např. financující instituce) Evaluátor Osoba zodpovědná za řízení OME, často Evaluátor (externí nebo interní)
OM teorie změny Definice využitelných evaluačních otázek Definování klíče pro klasifikaci výsledků Dohoda ke struktuře a rozsahu popisu změny (kdo, co, kde, jak?) Pamatujte, OM Evaluace nezkoumá změnu dle plánovacích matic, LF, žádostí apod. Nejprve hledá změnu a tu posléze přičítá sociálním aktérům. Uživatelé OME: Primárním uživatelem OME je řídící tým grantového programu. Příjemci grantů (aktéři změny) budou cílovou skupinou evaluace. Využití evaluace: Evaluace OME má dva cíle: a) zmapovat výsledky programu za jeho 8leté působení, b) zlepšit zacílení strategie grantového programu s ohledem na globální cíl grantového programu demokratizace a odpovědná veřejná správa. Výsledky Sekundární analýza dokumentů (zprávy, kazuistiky apod.) Přímé pozorování evaluátora Konstrukcí hypotéz ze získaných faktů Cílová skupina Sociální aktéři (vlastníci změn) Zpracování do formy textu co, kdo, kdy (SMART) Nástroje Dotazník, interview, fokus skupiny
Popis výsledku: v jedné nebo dvou větách popište pozorovatelné změny v chování, vztazích, aktivitách, nebo akcích, které sociální aktér ovlivnil aktivitami organizace, programu nebo projektu za posledních 12 měsíců. To znamená kdo změnil co, kdy a kde Kdo: Popište co nejpřesněji jednotlivce, skupinu, komunitu, organizaci nebo instituci, která se změnila Kdy: Napište co nejpřesněji datum, kdy ke změně došlo Kde: Popište přesně politickou a geografickou lokalizaci, napište jméno města, vesnice, komunity kde sociální aktér pracuje na lokální, národní, regionální a/nebo mezinárodní úrovni. Příspěvek organizace: V jedné nebo dvou větách popište roli organizace při ovlivnění výsledku. Jakým způsobem inspirovala, přesvědčovala, podporovala, usnadňovala, napomáhala, vyvíjela tlak nebo jinak přispívala ke změně sociálního aktéra. Specifikujte aktivity organizace, procesy, produkty a služby, které považujete ovlivněné výsledky. Výsledek: V roce 2009 vláda země XY obnovila fond podpory zaměstnatelnosti kvalifikovaných osob na území země XY. Příspěvek: V roce 2007 byla vydána zpráva o ekonomických dopadech nezaměstnanosti v zemi XY. Nezisková organizace GCA posléze iniciovala dialog s MPSV a prostřednictvím komunikačních kampaní a celoplošných národních sbírek zajistila financování fondu a napomohla nastavit řídící mechanismy fondu. Výčet získaných výsledků je zaslán sociálním aktérům k vyjasnění a doplnění informací Evaluátor hledá pozorovatelné plánované i neplánované, pozitivní i negativní výsledky. Prostřednictvím dialogu se sociální aktérem buduje silnou logickou atribuci mezi výsledkem a činností aktéra při adekvátním zachycení změny.
Doložení pravdivosti výsledku (změny) prostřednictvím třetí osoby znalé situace Třetí osoba může být doporučena sociálním aktérem V případě mnohočetných výsledků lze ustavit expertní komisi Doložení lze realizovat off-line i on-line, individuálně i skupinově Třetí osoba dokládá pravdivost prostřednictvím specifické doložky 1. Do jaké míry souhlasíte s popisem výsledku o rozhodnutí vlády ČSSR propustit V.Havla z vězení? Zcela souhlasím Částečně souhlasím Nesouhlasím Vaše komentáře: 2. Do jaké míry souhlasíte s popisem role a příspěvku Charty 77 k tomuto rozhodnutí? Zcela souhlasím Částečně souhlasím Nesouhlasím Vaše komentáře: Tam, kde organizace mají zpracovanou teorii změny, ke které mohou poměřit skutečné výsledky (outcomes) Tam, kde je potřebné vyjasnit vztah mezi aktivitou, výstupem a výsledkem. Tam, kde je nutné přesně popsat, co se změnilo Tam, kde je vhodné ověřit výsledky procesů v komplexních kontextech (kde jsou výsledky nepředvídatelné)
Evaluátor analyzuje každý výsledek (outcome) pro odpověď na evaluační otázku Analýza zahrnuje identifikaci vazeb a procesů mezi skupinami výsledků Pro jednotlivého sociálního aktéra Pro sérii aktérů v např. programu Cílem analýzy výsledků je postihnout širší rozvojový kontext a vzorec teorie změn Není způsobem pro identifikaci nevyužitých příležitostí Nevysvětluje proč k výsledku dochází Může ukázat, co současné strategie přináší/přinesly, není ale nástrojem pro programování (tím je Outcome Mapping). Neidentifikuje současné příležitosti a překážky
Děkujeme Vám za pozornost