Sociální przkumy se provádjí formou kladení série strukturovaných otázek skupin jedinc, kteí pedstavují vzorek sledované populace.

Transkript

1 D01 - SOCIÁLNÍ PRZKUMY Sourcebook II: Metody a techniky Popis techniky Sociální przkumy se provádjí formou kladení série strukturovaných otázek skupin jedinc, kteí pedstavují vzorek sledované populace. Vývoj dotazníkových šetení byl založen na výsledcích prvních pesných pedpovdí získaných bhem meziváleného období z institut pro výzkum veejného mínní. Dotazníkové przkumy jsou považovány za základní nástroje sociálních vd a jsou dnes podkladem zejména pro soukromé i veejné výzkumy a przkumy statistických a evaluaních institucí. Nkteré sociální przkumy jsou dkladné a pokrývají celou populaci, jako v pípad sítání obyvatel provádného ve vtšin zemí, nebo pokrývají jen cílenou skupinu obyvatel. Konkrétním píkladem použití przkum vzhledem ke Strukturálním fondm je získávání informací od píjemncú program jejich pímým oddleným dotazováním. Úel metody Dotazníkové przkumy jsou používány ke sbru poetných homogenních dat, která jsou posléze použita pro statistické úely. V kontextu evaluací socio-ekonomického vývoje jsou obvykle sociální przkumy používány v kombinaci s dalšími technikami jako prostedky odhadující výsledky, dopady a efektivitu zásah. V rámeku 1 se popisuje przkum, kdy sbr informací od zamstnavatel byl uren k posouzení mrtvé váhy zamstnavatelské iniciativy a na analýzu zptné vazby prostednictvím panelu expert. V rámeku 2 byl úelem przkumu sbr dat, pomocí nichž faktorová analýza umožnila úspšné srovnání mezi podniky, kterým byla poskytnuta pomoc a podniky, kterým pomoc poskytnuta nebyla. Na tetím píkladu (rámeek 3), byly przkumy zamstnavatel jednou ástí hodnocení efektivity konzultaního programu pro MSP ve Velké Británii. Funkce oekávaných efekt byla upravena prostednictvím techniky porovnání skupin (pomocí piazených pár). Rámeek 1 Evaluace dopadu náborové asistence ve Francii Ve Francii Ministerstvo zamstnanosti asto provádí telefonické dotazníkové przkumy na vzorku píjemc rzných opatení na podporu zamstnanosti. Každý z tchto przkum je používán k odhadu koeficientu mrtvé váhy, a kde je to relevantní, k nahrazení koeficient. Tyto koeficienty jsou používány k extrapolaci monitorovacích dat (celkový efekt) kvli odhadm istých výsledk. Panel expert probhl pi nkolika píležitostech, aby porovnal všechny koeficienty vycházející z rzných przkum a aby navrhl obecná pravidla pro urení efektu mrtvé váhy v návaznosti na povaze pomoci

2 !" # $$% Rámeek.2: Ex post evaluace pomoci katalánským družstvm V roce 1992 katalánské orgány vyvinuly program pro pomoc družstvm. Domnívaly se, že by to mohlo mít velký dopad na zamstnanost s ohledem na to, že požadavek ziskovosti byl menší než v soukrom vlastnných podnicích. Protože pochyby o efektivnosti této pomoci petrvávaly, oddlení práce a zamstnanosti se rozhodlo provést evaluaci tohoto programu. Vzhledem k potu družstev (3000 družstev), jejich rozdílnosti a nedostatku znalosti o píjemcích, bylo rozhodnuto uskutenit dotazníkový przkum na pesn cílenou skupinu obyvatel. Obdržené odpovdi byly tídny faktorovou analýzou, aby byla sestavena typologie družstev. Tato analýza pomohla vyselektovat družstva, která vytváela pracovní píležitosti od tch, která místa nevytváela. Analýza ukázala, že družstva, která nejvíce využila obdrženou pomoc na tvorbu nových nebo udržení stávajících mist byla ta, která již byla leny federace družstev, nenacházela se na pobeží, byla stední velikosti atd. Na druhé stran se ukázalo, že investice družstev nesouvisela s pomocí. Zdroj, MEANS 1999, Volume 3 Rámeek 3 Evaluace poradenství podnikm ve Velké Británii Program financovaný britským Ministerstvem obchodu a prmyslu nabízel MSP manažerské poradenství, vzdlávání a informaní služby. Dopad tohoto programu nemohl být vyjáden vytvoenými pracovními místy, jelikož byl zacílen na zvýšení produktivity, což v krátkém asovém období naopak vedlo k zániku pracovních míst. Proto bylo nezbytné hodnotit program z pohledu kritérií jako je produktivita, ziskovost nebo zavádní investic. Metoda vyvinutá pro tuto evaluaci byla následující: 1. První dotazník byl zaslán 75 programovým operátorm (poskytovatelm služeb). Tento dotazník se týkal jak konzultaních služeb poskytovaných adresátm, tak kategorií cílových podnik. 2. Probhly idividuální pohovory s 20 operátory s cílem popsat strategie rozvíjené operátory ve vtším detailu. 3. Pro 6 operátor byly vypracovány pípadové studie. V tchto pípadových studiích byly podrobnosti o adresátech známé. 4. Byl vypracován vzorek 300 firem píjemc. Další vzorek 200 firem ne píjemc- byl vypracován v souladu s technikou porovnávání skupin (piazení pár). 5. Druhý dotazník byl adresován píjemcm programu - firmám a kontrolní skupin. Statistické porovnání firem v tchto dvou skupinách ukázalo kvantitativní údaje o efektech programu v kategoriích obratu, produktivity a investic. Ve snaze vyhnout se "pedpojatým" prohlášením, dotazník obsahoval poetné a ásten nadbytené otázky (triangulaní dotazník). Przkum rovnž zahrnoval pátrání po efektu mrtvé váhy. Tato evaluace použila mnoho nástroj pi pozorování, aby získala všechna potebná data. Sbr dat byl proveden dvma dotazníky, sérií osobních pohovor a pípadovými studiemi. Funkce oekávaných efekt byla zpracována technikou porovnání skupin (piazením pár). Situace vhodné pro aplikaci Sociální przkumy jsou vtšinou orientovány na statisticky významné výsledky jednak skrze zkoumání celé populace nebo zkoumáním vybraného vzorku. Následující okolnosti usnadují použití této metody: Obyvatelstvo, které má být sledováno je poetné a homogenní (nap. zamstnavatelé podle velikosti nebo sektoru, atd.); ešitel má pesnou a jasnou pedstavu o cíli sledování. (V tomto pípad sestávají nejjednodušší przkumy z uzavených otázek, pro které je pipraven uritý poet pedem daných odpovdí); Hodnotitelé chtjí testovat hypotézu nebo shromažovat objektivní fakta (subjektivní data musí být peliv interpretována, pokud se evaluace pokouší ustavit píinnost nebo poskytnout normativní informaci)

3 Hlavní kroky Jestliže má být przkum efektivní, je nutné vnovat pozornost následujícím krokm: Krok 1. Sestavení dotazníku: Prvním krokem je jasn definovat cíle przkumu a vymyslet odpovídající otázky. Otázky musí být jasn postaveny a zajímavým zpsobem formulovány. Je dležité, aby dotazník neml mnoho druhotných otázek, které by mohly mást respondenty a/nebo dotazující, a tudíž snižovat kvalitu przkumu. Jestliže má být použito porovnání s jinou sadou dat, musí být termíny použité v dotazníku peliv voleny, aby bylo možné je jednoznan interpretovat. Dobré sestavení nástroj przkumu je pro úspch rozhodující. Tato aktivita zahrnuje pelivé sestavení otázek a vnování patiné pozornosti nastavení mítek hodnocení. K tomuto tématu existuje rozsáhlá literatura, která mže poskytnout dležité informace. Je nutné poznamenat,že dotazníky nepicházejí zcela finální, ale potebují testování (viz níže). Proto je vhodné použít jižexistující dotazníky, jelikož ty jsou již písn otestovány v praxi, obzvlášt ty používané vládou, nap. dotazníky používané pro sítání lidu a przkumy pracovní síly. Vtšina dotazník je sestavena tak, aby se dotazovala primárn uzavenými otázkami (volba mezi omezeným potem odpovdí), akoliv jsou asto kombinovány s malým potem otevených (otázek s prostorem provyplnní samotnými respondenty) nebo polootevených otázek (seznam voleb s odpovdí jiné, což poskytuje respondentm prostor pro názory/odpovdi jiné, než jsou ty oekávané ešitelem). Posledn zmínné dva pípady zpracování mohou zpsobit problémy pi interpretaci a srovnatelnosti pi zpracování po sbru dat, pokud se respondenti velmi liší ve svých odpovdích. Akoliv je to také asto užitený zpsob jak se ujistit, že problémy pehlédnuté ešitelem na poátku nejsou vyloueny z eventuální analýzy, pokud se objeví jako dležité pro adresáty programu. Je klíové ujistit se, že formulace otázek neovlivuje odpovdi. Mlo by také být poznamenáno, že otázky vyžadující od respondent informace z minulosti a nebo o konkrétních situacích a rozhodutích jsou obvykle považovány za problematické. Totéž platí pro otázky s dvojitou negací. Dležitost stylizace otázek zaleží na typu metody, která bude použita. V pípadech przkum zaslaných poštou je velmi dležité se ujistit, že otázky nemohou být respondenty špatn pochopeny. Toto mže být mén dležité, když jde o przkum provádný osobn a dotazující má píležitost objasnit otázku nebo respondentovi napovdt tam, kde dotazovaný má potíže s pochopením otázky. Tato možnost ale závisí na úrovni zkušenosti a porozumní dotazovatele. Jestliže nejde o zkušené a starší dotazovatele, je nerozumné spoléhat se na n, abychom vyešili problém mnohoznaností pi sestavování otázek. Otázky mohou být nominální (tj. innost vaší organizace: zemdlství, prmysl, obchod a další), ordinální (tj. co se vám na kurzu nejvíce líbilo: jeho kvalita, cena, relevance?) nebo numerické (tj. Kolik dní tréninku jste absolvoval?). Jestliže jsou otázky normativní nebo píinné, bude nezbytné užít triangulaci. Triangulace se skládá z pokládání nkolika podobných otázek, které umožují definovat vymezení pro odpovdi pedstavující riziko zkreslení. Napíklad ti následující otázky umožní odhadnout náklady mrtvé váhy: Bez podpory by byla vaše investice stejná, trochu menší nebo mnohem menší?

4 !" # $$% provedená k témuž dni o trochu pozdji, o trochu díve? stejnou technologií, odlišnou technologií? Krok 2. Výbr vzork populace: Populace ke zkoumání musí být pesn definována (nap. všechny firmy, které mají mezi 1 a 50 zamstnanci, které obdržely pomoc bhem posledních 5 let). Dále musí být shromáždny všechny dostupné informace o struktue této populace. Nkdo také musí zkontrolovat, jestli je populace známá (jména, adresy a telefonní ísla) nebo neznámá. Když je vzorek použit, tvoí model celé spolenosti. Tento vzorek musí bý dostaten veliký v souladu s písnými statistickými pravidly. Následující údaje pedstavují vysoce zjednodušená pravidla, která musí být vždy ovena expertem.. Pi sestavení reprezentativního vzorku mžeme použít nkolik technik. Pouze poslední dv jsou aplikovatelné, když je populace neznámá nebo skoro neznámá (viz rámeek 4). Velikost vzorku nezávisí na velikosti populace; vzorek 1,000 lidí mže reprezentovat populaci 2,000,000 lidí nebo také 6,000 lidí. Velikost vzorku ovšem siln závisí na vyžadované pesnosti. Musíme znásobit poet dotazník tymi, abychom zdvojnásobili pesnost. Velikost vzorku musí také brát v potaz rznorodost odpovdí. Pro nejdležitjší otázky musí být navržen proporcionální odhad respondent, od kterých je oekávána uritá odpov. Je-li oekáváno zvolení jedné odpovdi u 20 80% respondent, pak vzorek 1,000 jedinc bude dostaující k zajištní dostatené validity odpovdi. Jestliže 5% nebo mén respondent zvolí jednu odpov, zvolený vzorek bude muset být vtší. Przkum je dostaten hodnotný pro odpov, pokud alespo 100 respondent zvolilo tuto odpov. Pi analyzování výsledk przkumu je dále dležité zvážit profil respondent, abychom otestovali, jestli budou výsledky statisticky významné (viz rámeek 5)

5 Rámeek 4 Techniky výbru vzork Technika Jednoduchý náhodný výbr Systematický výbr Rozvrstvený náhodný výbr Výbr dle skupin Dle kvóty Snhová koule Princip Každá pozorovací jednotka je vybrána náhodn. Má stejnou šanci být ástí vzorku a mže být zvolena pouze jednou 1 jedinec z 10 nebo 100 je vybrán; první jedinec je vybrán náhodn Když populace není obzvlášt homogenní, je rozdlena do homogenních podskupin a vzorek je potom vybrán v každé vrstv takto stanovené Populace je rozdlena do podkategorií nebo skupin (nap. spolenosti s úastí municipalit); nkteré skupiny jsou zvoleny náhodn a poté jsou všichni jedinci ve skupin dotazováni Je vytvoen zjednodušený model, stávající ze známých charakteristik populace ve studii; ešitelé potom musí najít jedince, kteí odpovídají tmto charakteristikám. Akoliv je to podmínno pesností a aktuálností informace dostupné ve struktue populace, která umožuje navrhnout pesné kvóty. Založeno na vzorku s omezeným potem osob, doplnno více jednotek souvisejících s prvním jednotkamii Krok 3. Pedbžný test nebo pilot: Pedbžný test nebo przkumný dotazník na omezeném potu respondent je nevyhnutelný. Zajišuje kritický pohled na formu a obsah a umožuje tedy odhadnout jeho relevanci. Po jeho provedení je sestavena konená verze dotazníku. Je to obzvláš dležité v pípad samodoplujících przkum a przkum, které zahrnují komplex odpovdí nebo filtr (zpsoby dotazování respondent pomocí pouze tch otázek, které jsou relevantní k jejich zkušenostem napíklad se ujistíme, že k dotazu pispívají svými názory pouze relevantní uživatelé služeb. Ti, kteí nemají žádnou zkušenost se k otázce nevyjadují). Pilotní provedení przkumu je užitené pi zmn otevených otázek v uzavené. Napíklad na dotaz, kde se lidé dozvdli o programu a oni uvedou respondenti ve svých otevených odpovdích pt agentur, což mže pomoci formulovat možností uzavených otázek. Krok 4. Vedení dotazníku: Dotazníky mohou být distribuovány samostatn nebo lenem evaluaního týmu: První skupinu tvoí dotazníky, které jsou obvykle dodány poštou, nebo poslední dobou též em (záleží na obyvatelstvu a dostupnosti ových adres). Také jsou dodány osobn napíklad pi konkrétní události, pi které ešitel potebuje zptnou vazbu. Przkumy realizované s pomocí dotazovatele se provádjí po telefonu nebo osobn. Dležitým faktorem pi rozhodování, kterou metodu použít, jsou náklady: Dotazníky bez poteby osobního ízení jsou obvykle relativn levné pro provedení napí širokým vzorkem, ale mají sklon k malému potu odpovdí (nkdy pouze 20% odpovdí na první

6 !" # $$% pokus), s ímž se musí poítat. Aby potencionální respondenti nebyli odrazeni, mly by se dotazníky soustedit na struný seznam klíových otázek, obecn s uzavenými odpovmi. To zamezuje mnohoznanostem a usnaduje pozdjší analýzu. Míra odpovdí mže být zlepšena pomocí rzných forem pipomenutí a, kde je to relevantní, informací v médiích (tisku). Pomr odpovdí poštovních przkum mže být zvýšen tím, že respondentm poskytneme pedtištné a pedplacené obálky. V závislosti na obtížnosti kontextu osciluje pomr odpovdí mezi 60 a 90%. V pípad opakovaných przkum stejného formátu je ztráta okolo 10% ron považovaná za nevyhnutelnou. Przkumy po telefonu a tváí v tvá jsou finann náronjší, ale asto dosahují lepších výsledk odpovdí, lepší kvalitu dat a mohou umožnit použití delších dotazník s vtším pomrem otevených otázek. Po skonení przkumu se provádí náhodná kontrola, aby se prokázalo, že se przkum formou interview skuten odehrál. Nkteré evaluace udržují v rovnováze náklady a kvalitu Výzkumu pomocí série przkum, napíklad uskutenním telefonického/poštovního przkumu, a potom vybrání vzorku respondent, s kterými bude proveden rozhovor tváí v tvá. Potencionální respondenti se podílejí na przkumu s vtší pravdpodobností pokud je jim cíl przkumu vysvtlen zpsobem, který zdrazuje hodnotu jejich píspvku. Pokud je to proveditelné, ml by respondent dostat záruku dvrného zacházení s jeho odpovmi. Dotazovatelé musí být informováni o pravidlech ízení a musí být schopni je také vysvtlit dotazovaným. Respondentm mže být také nabídnuta njaká forma participace a také pomoc a podnt pi rychlém návratu formulá. Mnoho organizací zabývajících se przkumy nabízí nap. rzné ceny a výhry pi zapojení se do dotazníkových šetení. Tento styl je mén bžný ve veejném sektoru, ale v nkterých kontextech to bylo použito i zde. V nkterých pípadech mže být užitené nabídnout respondentm píležitost obdržet shrnutí evaluaní zprávy dopisem. V úvodu je vhodné podkovat respondentm za jejich pomoc.. Je poteba zajistit bezpenost dotazovatele a dotazovaného. Dotazovatelé musí být pipraveni prokázat svoji totožnost, obzvlášt pokud se interview odehrává u dotazovaného doma. V nkterých pípadech mže být užitené oznámit místní policii, že budou tato interview uskutenna. Je také dležité, aby se všechny uskuteované návštvy zaznamenávaly a byly zaregistrovány ke konci každého dne. Dotazovaní mohou také dostat osobní upozornní. Je otázkou, zda používat przkum v tabuizovaných oblastech jako jsou: nelegální imigranté nebo erná ekonomika. Zde budou muset být použity jiné techniky identifikace dotazovaných a nkteré techniky jako tváí v tvá se mohou ukázat jako nepíjemné jak pro dotazovatele, tak pro dotazovaného. S uritou ohleduplností je take teba pistupovat ke slabším slupinám, jako jsou mladiství nebo starší obané. V nkterých zemích musí být dotazovatelé, kteí pracují s dtmi, nejprve zaregistrováni. Krok 5. Kódování dat: Dalším krokem je kódování dat a záznam odpovdí pevážn v elektronické form pro následnou analýzu. V tomto okamžiku se obecn dlají úpravy, které berou v úvahu nedostatky vzorku, a obzvlášt zkreslení údaj vyvolané tmi, kteí neodpovdli. Pokud jde o kvótu nebo vrstvený vzorek a hodnotitelé jsou pesvdeni, že urité skupiny nejsou ve vzorku zastoupeny, v porovnání k populaci celkov, je možné odpovdi vážit. Vážení

7 znamená znásobení odpovdí urité skupiny (nap. nezamstnaní) tak, aby byl celkový poet podobný percentuálnímu zastoupení v populaci jako takové. Krok 6. Interpretace a diseminace výsledk: Poslední fází je provedení analýzy výsledk przkumu. To zahrnuje porozumní cílm przkumu a jeho pípadným omezením napíklad omezení vzhledem k velikosti vzorku, spolehlivost odpovdí atd.. Spolehlivost závr bude záviset na statistické významnosti zjištní, což závisí na velikosti a profilu respondent vzhledem k relevantní populaci (viz rámeek 5). Je dležité, aby byla fáze analýzy vedena zkušeným expertem, který má zkušenosti s tmito problémy a byl zapojen do aktivit pi sestavení przkumu od zaátku. Aby ml przkum praktické užití, musí být výsledky prezentovány ve form pístupné a smysluplné pro tvrce politik. Tento krok usnaduje velké množství specializovaných poítaových program. Obvykle je dležité ujistit se, že konená zpráva obsahuje dostatené podrobnosti o zpsobu, kterým byl przkum provádn (uvedeno v technickém dodatku pro ty, kteí si pejí zkontrolovat jeho validitu), ale pi vysvtlení zjištní se omezuje jen na jasný a struný hlavní text. Rámeek 5: Testování významnosti Statistické testování významnosti mže pomoci identifikovat vrohodnost výsledk u testovaného vzorku. To je spíše známo jako testování úrovn významnosti výsledk a mže být užitené, když se analyzují výsledky przkumu píjemc, aby bylomožné zjistit, jak reprezentativní mohou být v širší populaci. ísla statistické významnosti íkají ešiteli, jaké mohou nastat rozdíly mezi skupinami stejn velkými nebo vtšími než ty, které jsou nalezeny ve vzorku, pokud by nebyly žádné rozdíly mezi skupinami reprezentovanými vzorkem. Ve statistice znamená úrove významnosti pravdpodobnost výskytu jevu (ne díky náhod). Tabulka níže ilustruje problém. Chí kvadráty dole v tabulce ukazují dv ady ísel. Dotazník se ptá píjemc regeneraního programu, jestli si byli vdomi jeho existence. Výsledky jsou rozdleny podle pohlaví a vku. Vrchní ada ísel 0.07 a 24.4 jsou chí kvadráty samotné, ale význam této statistiky mže být ignorován pro cíle tohoto lánku. Druhá ada ísel obsahuje hodnoty.795 a.001. Toto jsou úrovn významnosti a jsou vysvtleny níže. Hodnota, která se nejastji užívá k indikaci, že nco je dost dobré na to, aby tomu bylo uveno je To znamená, že zjištní má 95% šanci být pravdivé. Akoliv za zmínku stojí, že statistika ukazuje "0.05," což znamená, že zjištní má 5% (0.05) šanci nebýt pravdivé, což je opak k 95% šanci být pravdivé. Abychom zjistili úrove významnosti, odeteme dané íslo od jedniky. Napíklad hodnota "0.03" znamená, že je 97% (1-0.03=0.97) šance, že údaj je pravdivý. Podle této tabulky je pravdpodobné, že není rozdíl v povdomí o programu mezi píjemci obojího pohlaví, protože pravdpodobnost je (tedy pouze 20.5% šance, že rozdíl je pravdivý). V kontrastu s tím je zde významná úrove významnosti pro vkovou skupinu (0.001 or 99.9%), což indikuje, že je zde skoro jistý rozdíl v povdomí mezi rznými vkovými skupinami populace, z nichž byl vzorek vybrán. Povdomí píjemc o regeneraním programu Pohlaví Vková skupina Ano Ne Celkem Muži Ženy Základ Chí Kvadrát % % % % % % % % % 76 51% 29 66% 15 34% % 49 27%

8 !" # $$% Silné stránky a omezení Dotazníkový przkum má výhodu kvantifikované a zobecnné informace za podmínek, že vzorek byl správn vybrán. Je tudíž obzvlášt užitený pro kvantifikaní indikátory vetn monitorovacích indikátor. Tato technika je nákladná, pokud vzorek musí obsahovat více než 1000 jednotek, abychom zajistili, že poskytovaná informace je statisticky významná. Na druhé stran umožuje oslovit širokou veejnost s relativn nízkými náklady. Nkdy je tžké identifikovat dotazované obyvatelstvo, zvlášt pokud se jedná o velkou a ne píliš dobe monitorovacím systémem identifikovanou skupinu. V tomto pípad tento nástroj ztrácí jednu ze svých hlavních výhod: zobecnní pozorování. Poteba standardizace odpovdí pomocí uzavených otázek mže vést k zjednodušení. Z tohoto dvodu je dotazník vyhrazen pro pípady, kdy jsou efekty intervence identifikovány pedem a jsou jednoznan pochopeny. Naopak vysoce inovativní akce by byla nejlépe hodnocena skrze otevené otázky a širokou paletu technik, které se nezakládají na przkumech. Kvalita dotazníkového przkumu má tendenci být ohrožena, jestliže jsou nkteré odpovdi vdom zkresleny respondenty, kteí obvykle podpoí intervence z kterých mají užitek. Výzkum také ukázal, že mnoho lidí odpovídá na otázky ve snaze být zdvoilí, nebo se vyhnout vzbuzení dojmu, že jsou neinformovaní, i když ve skutenosti odpov neznají, nebo cítí, že situaci nejsou schopni posoudit. Abychom se mohli na dotazník spolehnout, je teba, aby sestával z otázek, které si respondenti vykládají stejným zpsobem a na které mohou pesn odpovídat. Literatura Javeau C. (1992) 'L'enquête par questionnaire, manuel à l'usage du praticien', Edition de l'université de Bruxelles Dussaix A.-M., Grosbras J.-M. (1996), 'Les sondages: principes et méthodes.' collection Que sais-je? Paris: Presses Universitaires de France Grangé D., Lebart L., ed. (1994), 'Traitements statistiques des enquêtes' Dunod Fink A. (1995), 'The Survey Handbook' Sage Henerson M.E., Morris L.L., Fitz-Gibbon C.T. (1987) 'How to measure Attitudes?' Sage A N Oppenheim (1992), Questionnaire design, interviewing anf attitude measurement, Pinters Publishers London Klíové termíny Sampling (Výbr vzork) Sampling Error (Chyba ve výbru vzork) Statistical significance (Statistická významnost)

9 D02 - PRZKUMY PÍJEMC Sourcebook II: Metody a techniky Popis techniky Przkumy píjemc pedstavuje evaluaní techniku, která pomocí dotazníkových przkum zjišuje informace od subjekt pímo ovlivnných intervencí, kde se pedpokládá, že budou mít prospch z jejich dsledk (a už jednotlivci, organizace nebo spoleenství). Píjemci dostávají podporu, služby a informace a používají zaízení vytvoená s podporou intervence (nap. rodiny, které používají telefonní sí vytvoenou s veejnou podporou, nebo spolenost, která obdržela pomoc nebo radu). Celá oprávnná skupina se nemusí nutn skládat pouze z píjemc 1. Nkteí lidé mohou být píjemci, aniž by nutn museli patit do cílové skupiny intervencí. V nkterých zemích termín píjemce také znamená veejnou instituci odpovdnou za rozdlení a správu financí z fond, a to zejména v pípadech, kde psobí jiný veejný orgán jako ídící jednotka. Jako sociální przkum i przkum píjemc se skládá z pokládání standardních otázek ve strukturovaném formátu tm, kteí jsou identifikováni jako píjemci, nebo skupin tch, kteí jsou obvykle vybrání jako reprezentativní z celkové skupiny píjemc. Úel techniky V evaluaním kontextu jsou dotazníkové przkumy užívány hlavn ke sbru názor píjemc. Pokládané otázky mohou být popisné (nap. Jak jste se dozvdl o existenci podpory?), normativní (nap. Odpovídá poskytovaná služba primární poteb vaší organizace?), nebo píinné (nap. Co byste dlal bez zhodnocené intervence?). Rozdíl oproti jiným metodám pozorování píjemc (nap. pípadové studie nebo etnografická pozorování) je, že se zamuje na výsledky, které mohou být zobecnné napí cílovou skupinou. Situace vhodné pro aplikaci Dotazníkový przkum se hodí k pozorování výsledk a dopad intervence ovlivujících velkou a dostaten homogenní skupinu. Je tudíž pravdpodobné, že bude vyhrazen jako nástroj pro retrospektivní evaluaci jednoduché intervence, napíklad evaluace vzdlávání nezamstnaných. Dotazníkový przkum je už mén vhodný pro vícerozmrné a komplexní programy. Napíklad dotazníkový przkum pímých píjemc mže být píliš nákladný, protože, jak u tchto pípad bývá asté, existuje až deset rozdílných kategorií píjemc. Przkumy píjemc nejvíce odpovídají programm, které mžeme popsat jako jednoduché pípady jednak proto, že se evaluace zamuje na jednoduché akce nebo homogenní skupinu akcí a jednak proto, že se zamuje na osamocená témata jako je obdržení výsledku nebo konkrétní dopad. Tento nástroj se nehodí pro ex ante evaluace. Akoliv przkum píjemc mže hrát dležitou roli v pedbžných analýzách, kde se na zaátku programu nastaví datová základna, oproti které se mí pokroky bhem a po zavedení iniciativy. 1 V systému MEANS byl použit termín adresát", protože termín píjemce je asto spojen s myšlenkou pozitivního efektu, což mže být matoucí, protože evaluace mže identifikovat i negativní vlivy pi zkoumání vlivu na pímé píjemce

10 ! "# $$% Samotný vzorek (panel) respondent mže být dotazován ve dvou nebo více postupn navazujících periodách, kde je cílem zajištní prbžných dat, která umožní monitoring píjemc a oekávání udržitelnosti efekt. Napíklad przkumné panely jsou používány k evaluaci udržitelnosti výsledk dosažených na poli zamstnanosti (nap. praktikanti jsou dotazováni ped a po kurzu). Na píkladu v rámeku 1 byl zámrem pedstavitel francouzského ministerstva srovnávací odhad efekt zamstnanosti hned nkolika intervencí. Hodnotící otázka byla: Jsou nkterá opatení v oblasti zamstnanosti efektivnjší než ostatní? Rámeek 1: Przkum efekt politiky zamstnanosti uskutenný mezi zamstnavateli Francouzské ministerstvo práce, zamstnanosti a vzdlávání zamstanc asto používá dotazníkové przkumy (vtšinou se jedná o telefonické przkumy) k evaluaci intervencí zamených na zvyšování zamstnanosti. Przkum uskutenný v roce 1990 byl zamen na evaluaci opatení týkajících se zvyšování zamstnanosti dlouhodob nezamstnaných ve form vyntí platebních povinností do sociálního zabezpeení pro zamstnavatele. Dotazník byl veden telefonicky se zamstnavateli asi 1,000 nezamstnaných osob, kteí mli prospch z tohoto opatení. Vzorek postihoval pouze zamstnavatele a nezamstnané pímo ovlivnné opatením. Každý dotazovaný lovk ve firm ml dostatek znalostí o rozhodnutích, která vedla k náboru nezamstnaných a o významu situace, kterou nabídka na vyntí zamstnavatele z platebních povinností do sociálního zabezpeení vytvoila. Aby se zamezilo poskytování zkreslených údaj, byla zamstnavatelm poskytnuta možnost anonymního vyplnní dotazníku. Dotazník zahrnoval nkolik otázek vyskytujících se napí celým jeho textem, které mly odhalit názory na vývoj situace bez intervencí, v tomto pípad pi absenci popsané výjimky pro zamstnavatele. Týkaly se také dodateného náboru, nebo obsahovaly nábor pracovníka s jinými vlastnostmi, nebo nábor stejného pracovníka za jiných podmínek, atd. Výsledky przkumu byly posléze použity k odhadu nákladu mrtvé váhy pro každou firmu (tj. poet nezamstnaných, kteí by byli zamstnáni i bez aplikování intervence) a substituních efekt (tj. rozsah, do kterého výjimka podncovala zamstnavatele k náboru zpsobilého pracovníka radji než k náboru pracovníka nezpsobilého). Pozorování celého vzorku poskytlo zhodnocení prmrných koeficient mrtvé váhy a substituních efekt. Jelikož byl vzorek reprezentativní, byly tyto koeficienty zobecnny pro všechny firmy, které mly z výjimky prospch za úelem popisu pracovních míst vytvoených opatením. Zdroj: Aides publiques à l embauche: quels effets sur l emploi - Premières synthèses, N 6, Mai 1990, Ministère du Travail de l Emploi et de la Formation Professionnelle Klíovým požadavkem pro použití przkumu píjemc je to, aby podrobnosti o píjemcích byly zaznamenány a uloženy v patiném formátu pro další výzkumné zámry. Jestliže nejsou podrobnosti o píjemcích dostupné, potom evaluátoi mžou aplikovat další metody, které by pokryly przkum celé zacílené populace (viz sekce sociálních przkum). Hlavní kroky Použití strukturovaného dotazníku v przkumu je nejjednodušším pozorovacím nástrojem, který je vykonáván mnoha rznými prostedky v závislosti na hloubce požadované informace a na velikosti vzorku. Podrobný popis aplikace techniky je možné najít v sekci sociální przkumy, protože principy provádní przkum popsané zde jsou aplikovatelné i na przkumy píjemc. Silné stránky a omezení Výhodou dotazníkových przkum je, že vytváejí výsledky aplikovatelné na celou pozorovanou "populaci", a to bu pímo, pokud je przkum vyerpávající, nebo extrapolací ze vzorku. Na druhé stran poteba standardizovat odpovdi skrze uzavené otázky mže vést ke

11 zjednodušení, pokud nebyl efekt intervence identifikován již v úvodu a pokud nebyl jednoznan pochopen. I když metoda mže být nákladná, obzvlášt když je vzorek velký, pesto umožuje oslovit širokou veejnost s relativn nízkými náklady v porovnání s technikami, které jdou více do hloubky. Przkumy píjemc mohou obsahovat jak kvantitativní tak kvalitativní informace. To je užitené zejména v pípad, když ešitel nemá jasnou pedstavu o názorech respondent, nebo o zpsobu, jak intervence funguje. V tomto pípad mže být užitená kombinace otevených a uzavených odpovdí. Musíme ovšem poznamenat, že analýza otevených otázek je komplexnjší a také dražší, protože pokud byla posbírána primární data musí ešitel urit skupiny a kodifikovat podobné odpovdi. Tento nástroj se pomrn dobe hodí k vytvoení popisné informace a jasné klasifikace v rzných kategoriích (nap. popis firmy z pohledu její velikosti, sektorové aktivity, vku, povaze trhu, atd.). Použití strukturovaných reprezentativních vzork má výhodu ve vytvoení kvantifikované a zobecnitelné informace (za pedpokladu, že byl vzorek správn vybrán). Z toho dvodu jsou také užitené pro kvantifikaní indikátory vetn monitorovacích indikátor. Jak bylo uvedeno výše, použití przkumu píjemc je závislé na dostupnosti informací o píjemcích. Nkdy není možné znát obyvatelstvo, které má být dotazováno, pokud nejsou píjemci dobe identifikováni monitorovacím systémem. Stejn jako u jiných przkum je poteba si být vdom možných zkreslení odpovdí (zvlášt pokud mají respondenti materiální zájem na intervenci, z které profitují). Literatura Dussaix A.-M., Grosbras J.-M. (1996), 'Les sondages: principes et méthodes.' collection Que sais-je? Paris: Presses Universitaires de France Practical and accessible, this book contains the most essential information on polling techniques and practice. Fink A. (1995), 'The Survey Handbook': A complete and practical guide, Sage Grangé D., Lebart L., ed. (1994), 'Traitements statistiques des enquêtes' Dunod A large body of technical and statistical information, provided in an accessible form. Henerson M.E., Morris L.L., Fitz-Gibbon C.T. (1987) 'How to measure Attitudes?' Sage Covers the construction and use of scales of measurement. Javeau C. (1992) 'L'enquête par questionnaire, manuel à l'usage du praticien', Edition de l'université de Bruxelles

12 ! "# $$% Klíové termíny Sampling (Výbr vzork) Sampling Error (Chyba ve výbru vzork) Statistical significance (Statistická významnost)

13 D03 - INDIVIDUÁLNÍ POHOVORY Sourcebook II: Metody a techniky Popis techniky Individuální pohovor je charakterizován jako hloubkovyý rozhovor s respondentem, který je veden školeným týmem. Cílem je obvykle sbr specifických informací. Technika se používá ke shromáždní kvalitativních informací a názor tch, kteí jsou pímo ovlivnni konkrétním programem nebo projektem, jeho kontextem, implementací, výsledky a dopadem. Rozlišujeme nkolik druh interview, z nichž každý napluje rzné cíle: neformální pohovor (konverzace), polostrukturovaný pohovor, ízený pohovor a strukturovaný pohovor (nejpísnjší pístup). Následující ádky popisují polostrukturovaný pohovor, což je nejastjší technika evaluací Strukturálních fond. Úel techniky Individuální pohovory, jak termín napovídá, je prostedek k získání informace prostednictvím pímého dotazování. Hloubkové rozhovory mohou pomoci: Zajistit zptnou vazbu ke všem aspektm programových vstup, aktivit, výstup, výsledk a dopad. Tento typ przkumu je zpsob, jak se dozvdt o názorech úastník (píjemc a dalších zainteresovaných subjekt) na projekt nebo program, nap. jak dalece projekt nebo program napluje poteby v porovnání s oekáváními. Pohovory slouží v sociálních vdách také ke zjišování zpsobu uvažování uživatel. Zjistit zmny chování v ase. Pokud jsou provádny vícekrát než jednou, nebo nkým, kdo již se delší as v programech angažoval, mohou pohovory ukázat, jestli se v prbhu asu objevily njaké zmny. Individuální pohovory jsou výzkumnou technikou, která slouží k získání relevantních informací o dvodech, koncepcích a osobách, které byly dotazovány v projektu nebo programu. Krom subjektivních znázornní slouží také ke sbru informací o konkrétní praxi. To je zvláš dležité pi objasování zpsob, jakými byla intervence implementována a pro identifikaci osvdené praxe. Zdraznit individuální a skupinové zájmy. Témata, která nevzejdou mohou být vyslovena pouze v individuálních pohovorech. Odhalit lišící se zkušenosti a postoje lidí. Skupiny asto neumožní identifikovat rzné zkušenosti, které se liší pípad od pípadu. Odkrýt cestu k normám místní komunity. Dotazování klíových vdc spoleenství (barmani, oblíbení uitelé, policisté) mže zajistit rychlý pehled o spoleenství, jeho potebách a zájmech. Rozvinout další nástroje výzkumu. Nkteí ešitelé používají hloubkové pohovory, aby získali informaci, kterou mohou potom využít k vývoji kvantitativních przkum jakmile mají lepší náhled na to, co se objevuje v souvislosti s programem a jaké jsou klíové problémy. Jiní ešitelé zjišují, že dotazováním získají veškeré potebné informace i bez provedení pozdjších przkum. Výsledky dotazování mohou vést k vytvoení otázek pro evaluaní techniku focus groups, nebo pomáhají vytváet otázky pro przkum. Hloubková interview se mohou lišit od metody focus groups nkolika zpsoby: Hloubkové pohovory asto také slouží k získání pedbžných informací od zainteresovaných subjekt

14 ! "# asto se také používají jako ást formativní evaluace, která je urena k testování teorie akce a/nebo k vytvoení prvodce k jemnému vyladní politiky nebo programu. Individuální pohovory jsou také užitené pi provádní komplexních evaluací programu, které jsou ureny k identifikaci zmn v chování a vnímání zúastnných. (jako je nap. transfer technologií nebo vzdlávací programy) na rozdíl od získávání více hmatatelných, tvrdších výsledk (jako je tvorba nových pracovních míst nebo výstavba nových zaízení). Píklad nástroje v praxi je v uveden v rámeku 1. Rámeek 1: Evaluace programu North Jutland Technology (NordTek) Cílem NordTek programu byl vývoj regionu North Jutland skrze zavedení informaních technologií do regionální prmyslové továrny. Program ml dva cíle: tvorbu pracovních míst a vylepšení špatného image regionu. Vývojová strategie implementovaná tímto programem byla založena na tyech cílech, které mly být dosaženy temi typy inností. Cílem bylo: posílení místní sít zúastnných; zlepšení kvalifikace pracovník v nových technologiích; orientace místní výroby k místním potebám a poptávce a konen také zvýšení atraktivity pro zahraniní investory. innosti, které mly smrovat k tmto cílm se týkaly: zavedení opatení na rozvoj a zavádní nových technologií, zavedení opatení pro vzdlávání lidí v používání nových technologií a zavedení opatení zajišující investiní podporu MSP. Program byl hodnocen prostednictvím polostrukturovaného dotazování 70 firem píjemc. Cílem tchto przkum bylo porozumt tomu, jak firmy užívají obdržené služby a co z nich získavají. Firmy, u kterých probhly rozhovory byly vybrány z 250 firem píjemc v 5 nejdležitjších projektech programu NordTek (projekty se týkaly specifických témat jako konzultace, vzdlávání a síové propojení). Vybrané firmy musely obdržet relativn rozsáhlou podporu bhem posledních šesti msíc a reprezentovat rzné druhy této podpory. Zvolený pístup se zakládal na ízeném pohovoru s cílem shromáždit všechny informace dotýkající se firem. Tento postup byl mimo jiné zpísnn tím, že srovnával výsledky, které byly obdrženy od nkolika rzných dotazovatel. Po interview przkum pokraoval více neformální konverzací bhem návštvy ve firm, což zabralo celkem asi dv hodiny. Dotazovaní obdrželi souhrn interview ve form 4-8 stránkového dokumentu pro ovení. Tématy bhem interview bylo napíklad: dvody pro pipojení k projektu, oekávaný pínos z pomoci a pínos, který už probhl a možnost obdržet pomoc z jiného zdroje. Výsledky pohovor umožnily identifikovat dvody, které stály za rozhodnutími firem participovat na projektech NordTek. Celkov interview odhalila, že pomoc poskytovaná NordTekem byla v nkterých pípadech jedinená a nebyla by k nalezení nikde jinde, kdežto jinde soutžila s místními firmami a dokonce s jinými projekty NordTek. Protože vytváení sítí a konzultaních služeb NordTek bylo vyvíjeno bhem nkolika msíc a dokonce nkolika let, jeden z nejdležitjších faktor pro firmy byla osobní znalost a geografická blízkost úastník program. Nicmén zstalo obtížné kvantifikovat prospch, který byly schopny projekty NordTek pinést firmám, vzhledem k poetným externím faktorm schopným ovlivnit proces, ve kterém služby probíhaly. Zdroj: Olsen, Leif and Olaf Rieper. NordTek-evaluieringen, AKF Forlaget, 1991 Situace vhodné pro aplikaci Každá evaluace obyejn poítá s individuálními pohovory, jako jsou pohovory s programovými manažery, zainteresovanými subjekty a asto píjemci a úastníky programu. Nelze íci, že pohovory jsou vždy vhodné nebo nevhodné, ale spíše, že jsou vhodnjší pro ten který typ

15 evaluace za jistých okolností. Ve skutenosti v nkterých pípadech je rozhodnutí, jestli podniknout individuální pohovor, inno z vnjších dvod jako jsou náklady nebo asový tlak. Okolnosti a pínos pohovor jsou popsány níže. Pohovory jsou používány v przkumném kontextu, jinými slovy jde o použití v pípadech, když hodnotitel nemá prvotní hypotézu nebo adekvátní znalost projektu nebo cíl, aby bylo možné pracovat s dotazníkovým przkumem. Individuální pohovor je také vhodná technika, když je poet zainteresovaných subjekt zahrnutých do hodnoceného programu nebo projektu píliš zanedbatelný na to, aby byl objektem statisticky významného przkumu. Techniky dotazování jsou široce používány v evaluaci strukturálních intervencí a zvlášt v evaluaci program. Interview s programovými manažery a píjemci zstávají jedním z nejastji používaných nástroj v interim evaluaci strukturálních program. Principem je vybrat nkolik píjemc nebo manažer v závislosti na charakteru implementované akce nebo veejném zájmu.pokud používáme interview jako nástroj analýzy, jde o jednu z mála technik, která umožuje rychle sestavit úinný pehled program. Velmi voln strukturované pohovory neformální konverzace s manažery a dalšími osobami zúastnnými v programu mohou být základem k identifikaci tch ástí programu, které mají být posuzovány ve vtší hloubce. Interview s tvrci politiky mže také formovat prvotní fáze evaluace, jenž jsou považovány za jedny z nejdležitjších a urit klíové výstupy, které tvrci politiky požadují. Provádním pohovor s klíovými zainteresovanými subjekty a seazením jejich priorit získává evaluátor náhled na to, co lidé vidí jako hlavní témata, kterým by se mla evaluace vnovat. Interview se mohou také uplatnit a zajistit užitené informace pi hodnocení program sociální povahy, kde obvykle píjemci postrádají motivaci k vyplování dotazník. Jde vtšinou o hodnocení opatení cílená na poskytování práce dlouhodob nezamstnaným, kteí prošli vzdlávacím kurzem. Mimo to klíové zainteresované subjekty asto poskytnou informace o dalších zainteresovaných subjektech,,o kterých si myslí, že by mli být také podrobeni pohovorm, a dále to, jak je nejlépe oslovit a zaangažovat. Hlavní kroky V zájmu správného vedení pohovor musí být dodržovány následující kroky. Krok 1. Výbr respondent: Vzorky respondent potebné pro provedení pohovor jsou menší než pro dotazníkový przkum. Získané informace z pohovor jsou oveny samotným kontextem a ne pravdpodobností výskytu konkrétních odpovdí vyplývajících z dotazník. Poet pohovor závisí na charakteru studie, rznorodosti reakcí a na dostupných zdrojích (obecn pohovor). Vybraný vzorek je vtšinou založen na komponentech, které mají být charakteristické pro zkoumanou populaci (diverzifikovaný vzorek). Vzorek mže být vybrán pímo (nap. pes administrativní seznamy, lenství v relevantních orgánech/organizacích), nebo pomocí tetí strany, což umožuje více cílený výbr, ale znamená riziko zkreslení výbrových parametr. Krok 2. Plánování pohovor: Plánování zahrnuje návrh hlavních bod, podle kterých se bude pohovor ídit a specifikaci témat, na která se chce tazatel zamit. Není podmínkou následovat takto vytvoený plán pohovoru naprosto pesn. Tento plán je spíše kontrolním listem, který umožuje tazateli zkontrolovat, jestli se zabývá podstatnými vcmi. ešitel mže pohovor pizpsobit

16 ! "# respondentovi a formulovat nové otázky. První pohovory mohou vznést nároky na další úpravy a dodatky v definování otázek, pokud s nimi mají dotazovaní problémy. V mnoha pípadech je také užitené sbírat základní informace od respondent pedem, abychom ušetili as bhem pohovor samotných. Mže také být užitené seznámit respondenty s oblastmi, které mají být zkoumány, aby si sehnali nezbytné faktické informace ped samotným setkáním. Velmi vhodné je ustavit smlouvu s respondentem zahrnující cíl pohovoru, dobu jeho trvání, úrove utajení, užitek ze zjištní atd. Je také užitené mít jasnou pedstavu, jaká je role zainteresovaných subjekt ješt ped pohovorem, protože struktura pohovor se bude lišit podle jejich vztahu k programu. Úprava a ízení otázek se mže pohybovat od kontrolního seznamu po polostrukturovaný dotazník. Krok 3. Výbr a školení dotazovatel: Pohovory vyžadují vysoký stupe profesionality, pokud mají být provedeny správn. Dotazovatel musí mít dovednosti v komunikaci, poslouchání respondent a zapisování poznámek. Kvli hladkému prbhu interview a zajištní pohodlí respondenta je vhodné ujistit se, že panuje uritá sociální blízkost mezi dotazovatelem a dotazovaným. Strukturované pohovory také navíc vyžadují mít podstatnou znalost oboru. Krok 4. Prbh interview: Dotazovatel musí být k dotazovanému uctivý a být schopen správn pochopit a vysvtlit zkoumanou látku a kontext. Poátení kontakt je velmi dležitý, protože to je komunikaní základ. Dotazovatel musí být opatrný, aby neovlivoval dotazovaného schvalováním a smrováním jeho odpovdí. Interview mže být nahráváno, aby se potvrdilo, že výroky dotazovaných nejsou pekrouceny a že nejsou nejdležitjší poznatky ze zprávy vypuštny. Akoliv v nkterých pípadech mohou dotazovaní cítit, že jsou na pásek schopni odpovídat mén upímn a v potaz by mlo být vzato také nákladné pepisování rozhovor, a to již pi sestavování evaluaního rozpotu a asového rozvrhu. Pepis rozhovoru nebo hlavní body pohovoru mohou být zkontrolovány s dotazovanými, a tím je možné v této fázi doplnit nevyešené otázky. Je rovnž vhodné podkovat dotazovaným dopisem za jejich pispní (jejich spolupráce mže být potebná v budoucích studiích a proto je dobré ujistit se jejich dobrou vlí). Nkteré pravidla jsou uvedeny v rámeku 2. Krok 5. Analýza výsledk: Tato poslední fáze se skládá z analýzy rozhovor, interpretace a porovnávání výsledk získaných od dotazovaných a ze zjišování bžných a odlišných pohled kvli celkovému zhodnocení evaluace. Mžeme také vytvoit souhrnnou zprávu týkající se propojenosti a celistvosti každého z provedených pohovor, nebo sestavit analýzu napí tématy, která je velmi vhodná pro výzkum model schopných vysvtlit individuální praktiky. Aby byly získány výsledky, které budou posléze pedmtem diskuse, vytvoí dotazovatel analytickou tabulku,mapující tení pohovor a popisné hypotézy. Tato tabulka je podkladem pro vysvtlení pedpoklad a aplikuje se na každou zprávu o pohovorech. Jakmile je výzkum proveden a podrobn sepsán, mly by být všechny dokumenty, kazety, atd. uloženy na bezpeném míst. V ideálním pípad by ml mít k tmto materiálm pístup pouze vybraný personál jako dotazovatelé, supervizoi, personál, který zaznamenává a ovuje data a datoví analytici

17 Rámeek 2: Píklad osvdené praxe v osobních pohovorech Nepedpokládejte, že lidé mají pro vás všechen as na svt.. Žádné interview by nemlo trvat déle než hodinu. Delší as produkuje opakování, ne více informací. Sdlení, že pohovor bude trvat hodinu ho také pomáhá strukturovat. Vysvtlete, eho se pokoušíte dosáhnout a jakou roli v tom respondenti hrají. Dobrou zásadou pro jednohodinový pohovor je soustedit se na pt hlavních bod. Respondenti mají právo íst cokoliv si dotazovatel zapíše. To pomáhá zmírnit naptí a vyrovnat síly. Zapisujte pouze klíové body doslovný pepis není k užitku. O dležité vci se podlte s ostatními a vysvtlete si je. Schválení k použití materiálu z pohovoru musí být udleno formáln není to jen v zájmu férové reprezentace, ale také v zájmu ujištní, že pokud bude dotazován obsah práce pozdji, komunita vás podpoí. Celkové výsledky procesu by mly být poskytnuty dotazovaným v pozdjším termínu. Silné stránky a omezení Individuální pohovory jsou pravdpodobn pro evaluace strukturálních fond rozhodující. Abychom získali istý pohled na celkovou problematiku, je teba do hloubky prozkoumat a porozumt celkové problematice na rozdíl od všestranného pístupu k výzkumu. Použitím individuálních pohovor mohou být odhaleny pohledy respondent a dvody pro tyto jejich názory bez dalšího ovlivování ostatními úastníky (jako tomu mže být v pípad použití techniky focus groups). Individuální pohovory se hodí hlavn tam, kde chceme porozumt problematice procesu. Výhodou tohoto typu przkumu je, že zajišuje podrobnou informaci o hodnotách, faktech a chování respondent, umožuje sestavit dohromady skupinu prvk, tedy vytvoit relativn vyerpávající studii na dané téma. Dobe vedený pohovor mže pomoci pochopit mechanismus implementace a píinných vazeb programu, a identifikovat úspšné píklady nebo obvyklé chyby. Ve skutenosti to mže vést k návrhu ešení a doporuení pro posun programu dopedu. Výsledkem jsou informace osvdené praxe, které mohou být uvádny ve form píklad v textu studií. Navíc mže být vzorek kontrolován a tazatel má jistotu, že otázky byly interpretovány tak, jak je teba. V nkterých pípadech jsou osobní pohovory preferovány ped jinými metodami jako je skupinová diskuze, napíklad když je subjekt obklopen silnými sociálními normami, nebo když je vyžadován posudek. Pohovor je také jedním z nejlepších prostedk pi angažování málo gramotné populace. Strukturované pohovory mohou také zaujmout místo dotazník u klient, kteí mají obtíže pi vyplování formulá. Navíc individuální pohovory jsou asto snazší než skupinové metody. Klíovým pínosem je úrove detailu, kterou bžn dosahují. V pohovoru mají evaluátoi možnost doplovat otázky a pátrat po významu. Je snadnjší diskutovat problém do hloubky s jedním lovkem než se skupinou. Pomáhá to také vyhnout se problémm pi organizování schzky s vtším potem len. Akoliv jsou zde i nevýhody. Když jsou data získávána prostednictvím hloubková interview, vzorek je obvykle menší a nepoužívá náhodné metody výbru úastník. Navíc výsledky nemohou být zobecnny. Individuální pohovory berou v potaz situaní a individuální faktory, což

18 ! "# znesnaduje vytváet obecné závry. Mohou sice umožnit vyerpávající identifikaci efekt a možných píin, ale nemohou být použita k mení dopad nebo funkních píin. Pokud má být tato praxe efektivní, pak se vyžaduje mnoho asu a vstupy odborník. K plánování, provedení a interpretaci interview je teba specifických dovedností. Pokud jsou dovednosti této povahy neadekvátní výsledkem je informace nulové hodnoty. Pohovory nejsou vždy vedeny profesionáln tak, aby vyprodukovaly efektivní výsledky. Dalším nebezpeím této metody, ped kterým je teba se chránit, je subjektivismus i pes pítomnost trénovaných tazatel je zde riziko nedostatku konzistence mezi tazateli. Individuální pohovor jako metoda trpí nedostatkem objektivity a asto spoléhá na bezúhonnost a í est tazatel, jejichž zkušenosti nemohou být opakovány vzhledem k povaze przkumu. Na druhé stran osobní pohovory vyluují možnost anonymity a tazatel mže odpovdi. Pínos tchto výzkum navíc záleží na znalosti respondent a jejich spolupráci v odpovídání na otázky. Informace také mže být pekroucena rznými zpsoby, které respondenti vyvolají. Dokumentace mže být zavádjící: poznatky z oboru asto obsahují píliš mnoho dvrných informací pro jejich širší obh: s mnoha informacemi musí být zacházeno dvrn pi tvorb zpráv. Dležité je, aby evaluátoi respektovali soukromí, když diskutují problém se specifickými klienty nebo respondenty a nenechali se zatáhnout do kritických rozhovor nebo poskytování dvrných informací pokud jde o jiné pohovory. Úkolem je fakticky najít a shromáždit užitené informace, ne informovat subjekty o názorech, které mohou mít ostatní. Bhem rozboru akce a setkání zamstnanc by se nikdy nemlo poukazovat na obsah przkumu podle jmen respondent. Literatura Blanchet A., Gotman A. (1992) L enquête et ses méthodes: l entretien. Nathan Université This book is entirely devoted to interview surveys, from an educative point of view. Bryman, A., (2001) Social Research Methods, Oxford Publications Casley D., Kumar K. -(1991) Collecte, analyse et emploi des données de suivi et d évaluation. Banque Mondiale Hermatti, Minu (2002) Multi-stakeholder processes for governance and sustainability: beyond deadlock and conflict, London: Earthscan, 2002 Patton M.Q., (1987) How to use qualitative methods in Evaluation, Sage Publications Oppenheim, A. (1992) Questionnaire Design, Interviewing and Attitude Measurement Klíové termíny Structured interview (Strukturovaný pohovor) Semi-structured interview (Polostrukturovaný pohovor) Sampling (Výbr vzork)

19 D04 - EVALUACE PRIORIT Sourcebook II: Metody a techniky Popis techniky Metoda hodnocení priorit (nkdy uvádna jako technika evaluace priorit) je založena na simulaci možností na trhu a obvykle využívá ke sbru informací sociální przkumy. Respondentm je pidlen hypotetický rozpoet a mají nabídku položek, které mohou koupit, všechny s hypotetickou cenou. Hodnoty položek jsou potom odvozeny od preferencí, které dostanou od respondent utrácením svých rozpot za tyto položky. Úel techniky Technika hodnocení priorit byla vyvinuta v zájmu zapojení veejnosti do komplikovaných plánovacích problém. Metoda se pokouší kombinovat ekonomické teorie s przkumnými technikami za úelem ocenní komodit, které postrádají trhovou cenu, jako je nap. vývoj, nebo ochrana životního prostedí. Je používána k identifikaci priorit v situacích, kdy je pravdpodobný konflikt zájm mezi rznými lidmi a zájmovými skupinami a volba jakéhokoli názoru bude vyžadovat kompromis. V tomto ohledu je technika hodnocení priorit jako evaluaního nástroje blízce spojena s analýzou náklad a výnos a ekonomikou životního prostedí. Technika evaluace priorit je také používána ke sbru informací podle definovaných preferencí, obvykle jako souást aktivit pi vytváení iniciativ, které identifikují zámry cílových skupin (nap. ocenní cestovních preferencí na trhu cestovatel, nebo pojmenování preferencí rodi týkající se dtské pée jako uvádí píklad níže). Vzhledem k tmto skutenostem metoda upesuje rozhodnutí vycházející z názor a posudk cílových skupin obecn (transformováno do preferencí, když si lidé vymují vci na trhu). Jde tedy o snahu vyhnout se rozhodnutí uinnému lidmi s nejvtším vlivem v rozhodovacím procesu, kteí mohou mít specifický soubor hodnot a postoj. Situace vhodné pro aplikaci Metoda byla prkopnicky poprvé vyzkoušena Hoinvillem a Berthoudem v sedmdesátých letech a týkala se zhodnocení cestovního asu, bezpenosti cestování, zneištní vozidly a dopravní zácpy v Londýn. Metoda je bžn užívána v environmentálních evaluacích pi zhodnocení netržního environmentálního zboží. Používá se, když tvrci politik žádají názor veejnosti na problémy jako: Reakce spoleenství na zmny v charakteru životního prostedí; Relativní velikost užitku pi užívání životního prostedí uritým zpsobem v porovnání s nepoužíváním; Nejvyšší kvantita environmentálních efekt. O Hanlon a Sinden (1978) použili techniku pi evaluaci hodnoty pirozenosti životního prostedí (definováno jako užitek odvozený ze znalosti pítomnosti potu druh) a hodnoty výbru (definováno jako pravdpodobnost vidt dané druhy) v novém Jižním Walesu v Austrálii. Národní centrum pro sociální výzkumy (NCSR) v Británii používalo metodu v sedmdesátých letech k mení kompromis mezi navrhovanými zámry usedlík v jejich lokalit

20 !""# Hlavní kroky Mezi použitím metody k identifikaci preferencí a k mení behaviorálních odpovdí mže být velký rozdíl. Technika evaluace priorit se aplikuje hlavn na nedávné scénáe a je konstruována k identifikaci alternativ ešení obsahujících rzné úrovn peddefinovaných atribut. Základem je nechat respondenta navrhnout optimální soubor ešení omezený uritými faktory. Metoda potom umožní identifikovat náklady, které vznikají pi pohybu odmezi jednotlivými úrovnmi atribut a respondent vybere nejlepší ešení pi fixním rozpotu, který má k dispozici.. Analýza je založena na neoklasickém mikroekonomickém pedpokladu o chování zákazníka (nap. rovnice mezní užitkovosti pro všechno zboží). Zámrem je dospt k ideáln vyrovnaným preferencím respondent omezených finann, ale neomezených faktory nedokonalostí a limit na trhu. Napíklad respondentm bude nabídnuto pt druh zboží ve tech kvantitách (1, 2 a 3 jednotky). Mají tedy na výbr patnáct možných voleb, každá reflektující vhodnou cenu pro každé zboží. Experiment se pro každého jedince opakuje s rznými cenami dokud není pomr sledované frekvence výbru a oekávané frekvence stejný pro všech patnáct kombinací (tedy odhalí opravdové preference a krajní hodnocení). U przkum zamujících se na otázky životního prostedí mají respondenti k dispozici rzné kombinace konvenního zboží a výhod životního prostedí za pedpokládaných cen. Rámeek 1: Rodiovské priority týkající se dtské pée Przkum ve Skotsku provedený Národním centrem pro sociální výzkumy studoval požadavky na dtskou péi mezi rodii trnáctiletých dtí a mladších pro Strategii dtské pée ve Skotsku. Studie probíhala ve dvou ástech: rozsáhlý prezový przkum ve všech sektorech kvli sbru spolehlivých kvantitativních dat o souasných požadavcích na dtskou péi a menší przkum k provení faktor, které ovlivují zájem o placenou péi a s tím související trh práce. Technika evaluace priorit byla použita k hodnocení souasných systém dtské pée, k vymezení názor rodi na rzné aspekty dtské pée, a k hodnocení poteb rodi v termínech kvantity souasných pedpis. Rodie zahrnutí do tohoto przkumu analyzovali širokou paletou možností vzhledem ke kvantit, vhodnosti a kvalit dtské pée. Možnosti se lišili podle vku dítte. Abychom ilustrovali pístup, zamíme se na možnosti spojené s pedškolními dtmi ve vku 0-4 roky. Pro tuto skupinu byly identifikovány následující alternativy: kvantita poet hodin dtské pée týdn; vhodnost jak dlouho trvá získání poskytovatele dtské pée kvalita dtské pée vývoj dítte a píležitosti k uení, zkušenosti personálu a vzdlávání a pomr dtí/zamstnanc. Mítko kvality pedpokládá, že ím vtší pístup k uení dti mají, tím vyšší je kvalita opatení, akoliv je to subjektivní pedpoklad. Alternativy byly oznámkovany rznými hodnotami piazenými ke každému atributu s minimální a maximální hodnotou, která korelovala se vzrstajícími hodnotami každého atributu jak ukazuje tabulka níže. Respondenti, kteí aktuáln využívali péi o dti, byli požádáni o identifikování ešení, které se jich týkalo. ešitelé spoítali prmrný výsledek pro rzné kategorie rodi a celkový výsledek a pro každý uvažovaný aspekt dtské pée. Všichni respondenti byli poté požádáni o identifikaci jejich ideální kombinace z celkového potu 18 bod. Prmrný výsledek byl porovnán pro souasné a ideální alternativy, pro uživatele a neuživatele pée o dít a pro rzné skupiny (nap. podle statutu zamstnanosti). Toto umožnilo ešitelm ohodnotit souasné a ideální uspoádání formální dtské pée u rodi dtí pedškolního vku a preference rzných skupin