Manuál k přípravě výzkumu v rámci projektu e-nazor.cz Cílem tohoto dokumentu je poskytnout ucelenou informaci o přípravě a realizaci výzkumu, včetně následné analýzy dat v softwaru Limesurvey, který byl upraven pro potřeby obcí. Schola Empirica, z. s. Výjezdová 510, Praha 9, 190 11 IČ: 26645726 email: pruzkumy@scholaempirica.cz Podpořeno grantem z Islandu, Lichtenštejnska a Norska v rámci EHP fondů www.fondnno.cz a www.eeagrants.cz.
Příprava výzkumu Příprava dotazníku Příprava dotazníku začíná na úvodní stránce po přihlášení. Na obrázku níže vidíme tři výzkumy v různých fázích. Na první řádce je výzkum, který je již ukončen, na třetí výzkum, který právě probíhá a mohou jej respondenti využít, na druhé řádce je výzkum, který teprve připravíme ke spuštění (je označen červeným čtverečkem). K této tabulce se vždy můžeme vrátit kliknutím na ikonku domečku, která je vlevo v horní liště. Z horní lišty je pro naše účely ještě důležitá druhá ikonka zleva (zámek) Správa administrátorů průzkumu, kde můžeme editovat a přidávat administrátory průzkumu. Stejně tak je pro nás podstatná třetí ikonka zprava Centrální databáze/panel respondentů. Po kliknutí na tuto ikonku se dostáváme ke správě respondentů. První stránka je přehled informací o databázi tedy především údaj, kolik v databázi je uloženo respondentů. V našem případě jsou to 3 respondenti. K těmto údajům se můžeme kdykoli vrátit kliknutím na ikonku i. Důležitější je však pro nás třetí ikonka zleva (list) Zobrazit respondenty. Po kliknutí nalezneme tabulku respondentů: - 1 -
Zde jsou všichni respondenti zanesení do databáze. V reálném případě pilotních měst to jsou všichni respondenti, kteří uvedli svůj email v iniciačním face-to-face výzkumu. Každý nový respondent/člen panelu, který projeví zájem o vyplnění dotazníku, musí být přidán do tohoto registru. K tomu se dostaneme později. Vraťme se nyní k přípravě průzkumu. K jeho editaci se dostaneme kliknutím na příslušný řádek výzkumu na domovské stránce, kterou jsme popsali výše. Jako první editujeme textové prvky, které budou viditelné jako informace pro respondenty. Učiníme tak třetí ikonou zleva, z podmenu vybereme Editace textových prvků. Provedené změny můžeme ověřit druhou ikonou zleva Testovat tento výzkum. Druhou volbou z podmena je Globální nastavení. Po jeho zvolení se nám rozbalí nové menu, kde nastavíme základní funkcionality výzkumu. Jako první nastavujeme administrátora výzkumu, tedy osobu, která bude uvedena jako kontakt pro respondenty. - 2 -
Další volbou nastavíme, jak se bude výzkum zobrazovat a jak je možné jej ovládat. Doporučujeme nastavení výzkumu zachovat v tomto stavu: Následuje volba Publikace a správa přístupu. Rovněž doporučujeme zvolit toto nastavení, případně doplnit datum a čas zahájení/ukončení. - 3 -
Čtvrtou volnou je Oznámení a správa dat, kterou je možné zachovat v tomto nastavení: Poslední důležitou volbou pro nastavení našeho výzkumu je volba Přístupové kódy, kterou připravíme do tohoto nastavení: - 4 -
Dále se budeme věnovat předposlední ikoně z hlavního menu výzkumu, která je věnována editaci samotných otázek. Po kliknutí na danou ikonu pracujeme s rozložením otázek, které je uvedeno na obrázku zde: Zde je možné měnit pořadí otázek přetažením dané otázky na požadované místo. V pravém rozbalovacím menu je pak možné vybrat příslušnou skupinu otázek a samotnou otázku, kterou chceme editovat, případně ikonou + vytvořit otázku/skupinu otázek zcela novou. Opět otázku můžeme testovat první ikonou zleva Náhled této otázky. Druhá ikona pak slouží přímo k editaci použitých textů otázky a zvolení druhu otázky. Doporučujeme používat především typ otázky Přepínačový seznam, který umožní právě jednu odpověď. Zároveň doporučujeme ponechat otázku nepovinnou, aby bylo možné ji přeskočit. - 5 -
Další ikony jsou pak velmi rychle pochopitelné. Pro nás jsou důležité ikony na odstranění otázky, její zkopírování a editaci možných odpovědí (předposlední z možných): - 6 -
Kvůli nastavení kvótního výběru doporučujeme žádným způsobem nezasahovat do skupiny Demografické otázky. - 7 -
Spuštění výzkumu Spuštění výzkumu zahájíme kliknutím na červený čtvereček označující stav průzkumu, následně se nám objeví následující shrnutí, kde potvrdíme Aktivovat průzkum. Následně pak uzavřeme výzkum, aby nebyl volně dostupný, ale pouze pro evidované respondenty, případně pro respondenty, kteří zadají svůj email. - 8 -
Dalším krokem iniciujeme tabulku přístupových kódů. Pokračujeme v centrálním registru respondentů, ve kterém všechny respondenty přiřadíme k výzkumu. Jak ukazuje obrázek, nejprve označíme všechny respondenty (zaškrtnutím v levém horním rohu tabulky), následně zvolíme příslušnou ikonku Přidat respondenty k průzkumu. Potom vybereme požadovaný výzkum a na následující stránce Mapovat atributy respondentů na existující atribut přístupového kódu, nebo vytvořit nový klikneme na Pokračovat. Poté je nutné vygenerovat respondentům přístupové kódy, aby se daní respondenti do výzkumu dostali. To je možné učinit čtvrtou ikonou od konce (viz obrázek) Generovat přístupové kódy respondentům : A následně potvrdíme odpovědí Ano. - 9 -
Poté můžeme rozeslat respondentům email, ze kterého se budou moci dostat na požadovaný výzkum - klikneme na ikonku Odeslat pozvánky. Pozor, jedná se o ikonu v centrálním menu, abychom vždy odeslali pozvánky se všemi běžícími výzkumy. Následuje velmi jednoduchá formulace emailu, který přijde všem respondentům přiřazeným k výzkumu. Emaily jsou respondentům posílány postupně, aby nespadly do spamu. Takto vypadá poslaný email, podle formuláře výše: - 10 -
Druhou možností, jak se respondent může výzkumu zúčastnit, je přihlásit se pomocí emailu přímo na webové stránce výzkumu. V našem případě například praha7.enazor.cz. Na webové stránce nalezne následující: Stačí, aby respondent vyplnil svůj email, na který mu přijde pozvánka k aktuálně otevřeným výzkumům. Pokud již respondent (se svým emailem) daný výzkum již vyplnil, automaticky jej systém rozpozná, upozorní a dále nepustí. Po ukončení výzkum je vhodné nové respondenty, kteří se dostali k výzkumu z webu, přidat do centrální databáze respondentů, aby jim při příštím výzkumu již automaticky přišla pozvánka do emailu a nemuseli se znova přihlašovat. Respondenty přidáme pomocí ikonky Správa přístupových kódů, která je první zprava v liště výzkumu. - 11 -
Následně si necháme zobrazit přístupové kódy pomocí třetí ikony zleva. Zobrazí se nám tabulka, ve které můžeme sledovat, který z respondentů již výzkum vyplnil a který zatím nikoli. Přidání nových respondentů do centrální databáze pak uděláme tak, že označíme všechny respondenty a klikneme na ikonu Přidat respondenty do centrální databáze a následně na Pokračovat. Systém automaticky vybere pouze nové respondenty a zařadí je do centrální databáze. - 12 -
Analýza odpovědí Analýzu odpovědí zahájíte kliknutím na ikonu odpovědi a statistika v sekci daného výzkumu, jak je patrné na obrázku zde: Úvodní stránka je věnována přehledu odpovědí. Dokončené odpovědi znamenají dokončené a odeslané dotazníky od respondentů, ze kterých je pak počítána veškerá statistika. Zmíněné informace o výzkumu získáme (kdykoli v dalších krocích) po kliku na ikonku i. Třetí ikona zleva umožní zobrazit všechny odpovědi podle respondentů. Je možné zde najít všechny respondenty s jejich odpověďmi. Pro analýzu klikneme na šestou ikonu připomínající koláčový graf, díky které získáme statistiky ze sesbíraných odpovědí. Hned na začátku nás čeká nastavení důležitých parametrů. Jako první doporučujeme nastavit v možnosti Výběr dat v položce Obsahuje Pouze dokončené odpovědi do analýzy tak zahrneme pouze respondenty, kteří výzkum dokončili, což vede k metodologicky korektnější analýze. - 13 -
Druhý parametr výběru vzorku pro analýzu, který můžeme zvolit, je kvótní výběr. Kvótní výběr umožní, aby později zobrazené statistiky byly v nastaveném ohledu reprezentativní. Konkrétní příklad: V nasbíraných datech se může stát, že v rámci respondentů budou mít výraznou převahu ženy. To se může projevit v některých odpovědích projevit vychýlením rozložení odpovědí. Pokud ale potřebujeme statistiku, která bude vůči tomuto rezistentní, zaškrtneme Zapnout kvótní výběr a (v tomto případě) také Pohlaví:. Kdybychom potřebovali reprezentativní statistiky z pohledu ekonomické aktivity, zaškrtneme Jaká je Vaše současná ekonomická aktivita? Kvóty jsou předem nastaveny podle posledních údajů ze Sčítání lidu, domů a bytů v roce 2011. Je však možné je měnit a aktualizovat. Výpočet kvót Upravený nástroj Limesurvey zahrnuje volbu zadání sociodemografických kvót obce, které umožní kvótní výběr z nasbíraných dat. Kvótní výběr je vhodné uplatňovat především v případech, kdy chceme znát reprezentativní závěry z výzkumu. - 14 -
Nejprve si je ale musíme za danou obec vypočítat. To je možné z dat Sčítání lidu domů a bytů na webových stránkách Českého statistického úřadu: https://vdb.czso.cz/vdbvo2/ pod odkazem vše o území. Zde zadáme jméno obce, pro kterou chceme kvóty spočítat jako příklad jsme zvolili Rudolfov, malé jihočeské městečko. V uvedených tabulkách nalezneme postupně všechny údaje, které potřebujeme pro výpočet kvót. Tabulky je možné si stáhnout a pracovat s nimi v různých formátech. Počty obyvatel v daných kvótách přepočítáme na procenta z celku tak, abychom nakonec měli následující shrnutí (opět na případu Rudolfova): pohlaví muži 50,5 % ženy 49,5 % věk 15-19 6,0 % 20-29 14,9 % 30-39 17,9 % 40-49 15,4 % 50-64 26,6 % 65 a více 19,2 % ekonomická aktivita student, žák, učeň 8,6 % zaměstnanec 45,2 % zaměstnavatel, pracující na vlastní účet 12,2 % ekonomicky aktivní - nezaměstnaný(á) 3,9 % - 15 -
vzdělání nepracující důchodce 30,1 % základní včetně neukončeného 14,8 % střední vč. vyučení (bez maturity) 31,6 % úplné střední (s maturitou) 32,1 % vyšší odborné, nástavbové 5,0 % vysokoškolské 16,3 % Takto připravené kvóty využijeme při analýze odpovědí, abychom získali reprezentativní výsledky analýzy. Pokud si vystačíme s filtrovanými výsledky (například za jednotlivé skupiny obyvatel), pak tato procedura není nutná. Kvótní výběr vždy zvažujeme podle počtu respondentů, které se nám podařilo nasbírat. Může se totiž stát, že kvůli správným proporcím vzorku značně omezí počet respondentů, ze kterých budou statistiky počítány. Uveďme to opět na příkladu: V našem případě po zapnutí kvóty ekonomické aktivity, program vybral náhodně 77,04 % (906 z 1176) respondentů tak, aby proporčně odpovídali stanoveným kvótám. Nemohl jich vybrat více z důvodu relativně nižšího počtu respondentů, kteří jsou zaměstnanci což zobrazuje řádek Minimální kvóta. Níže v poli ID odpovědi je možné nastavit, které respondenty podle ID chceme zahrnout do statistiky. ID odpovědi má každý respondent individuální jedná se o řadu čísel od 1 výše, která - 16 -
roste podle pořadí, ve kterém respondenti odpovídali. Tento nástroj se tedy může hodit, pokud chceme do statistiky zahrnout například jen prvních 200 respondentů. Níže nalezneme pole Možnosti kontingenční tabulky, kterému se budeme věnovat v samostatné kapitole Analýza souvislosti proměnných. Pod ním nalezneme pole, kde je možné si nastavit požadované výstupy statistik: HTML, PDF a Excel. Dále je zde předvolba Zobrazit grafy, po jejímž zaškrtnutí se ve výsledcích zobrací vedle tabulky výsledků také graf. Předvolba Zobrazit textové odpovědi přímo je určena pro otevřené otázky. Pokud chceme reportovat otevřenou možnost, máme možnost si nechat zobrazit textové odpovědi přímo. V okně Filtr odpovědí konečně vybíráme otázku, jejíž odpovědi chceme zobrazit. Zaškrtneme všechny otázky, které chceme zobrazit. Nakonec klineme na tlačítko Zobrazit statistiku. - 17 -
Odpovědi se zobrazí s příslušným absolutním počtem odpovědí a procentem. Na otázku uvedenou v tomto příkladu neodpovědělo (tzn. ji přeskočilo) více jak 53 % respondentů. Řádek Nezobrazeno znamená, že respondent opustil výzkum dřív, než se otázka zobrazila. Graf je možné ikonkou dole změnit na koláčový. Pokud chceme výběr respondentů filtrovat například zvolit jen respondenty, kteří sledují dění v obci, pak zaškrtneme příslušnou otázku Sledujete dění v MČ Praha7? a zároveň označíme i samotnou odpověď Ano, je to pro mě velmi důležité. Zobrazí se nám pak výsledky jen za takové obyvatele. Analýza souvislosti odpovědí K analýze souvislostí dvou proměnných nám slouží pole Možnosti kontingenční tabulky. Zde můžeme nastavit dvě otázky, jejichž souvislost chceme zkoumat. V našem případě jsme nastavili souvislost sledování dění v MČ a věku obyvatel. Chceme tím zjistit, jestli zájem o dění je odvislý od věku obyvatel. Výběr můžeme kombinovat s nastavením kvótního výběru. Nakonec klikneme na tlačítko Zobrazit statistiku. Ve výsledné tabulce vidíme rozložení odpovědí dvou jmenovaných proměnných. Poslední řádek zobrazuje statistiku chí-kvadrát, která nám zodpovídá otázku, jestli je závislost dvou proměnných statistiky významná nebo nikoli. Pokud ano, je dobré se jí dále zabývat a vrátit se k tabulce rozložení. Barevně jsou zobrazeny buňky, ve kterých se závislost realizuje. Červeně pak ty buňky, kde je výrazně víc respondentů, než by bylo, kdyby mezi proměnnými závislost nebyla. Zeleně naopak buňky, kde je respondentů výrazně méně, než by bylo, kdyby mezi proměnnými závislost nebyla. V našem cvičném případu, který není ani zdaleka reálný (data byla připravena náhodným klikáním), je zájem o dění statisticky významně zvýšený u věkové skupiny 20 29 let. Naopak u skupin 40 49 a 65 + let je výrazný nezájem o dění v MČ. - 18 -
Analýza proměn v čase Analýzu vývoje odpovědí v čase provádíme poslední ikonou v základním menu: Následně si vybereme z rozbalovacího menu výzkumy, které chceme porovnávat a rovněž otázky. Výsledkem jsou grafy, které nám umožní porovnání procentuálního zastoupení jednotlivých odpovědí na dané otázky ve dvou různých výzkumech. Analýzu je možné provádět na kvótním výběru stejně jako v případě kontingenčních tabulek. - 19 -
Export dat Aby bylo možné s daty z výzkumů dále pracovat například provést níže popsanou analýzu nestrukturovaných dat je pro naše účely důležitá funkcionalita exportování dat. Data z výzkumu můžeme exportovat do různorodých formátů (exl, pdf, csv, html, spss, ), my si pro příklad uvedeme nejčastější export, totiž do aplikace Microsoft Excel. Jak vidíme na obrázku níže, stačí kliknout na příslušnou ikonu a nastavit parametry tak, jak je na obrázku vyznačeno. Rozsah znamená počet respondentů (dle pořadí), které chceme do exportu zahrnout. Doporučujeme všechny respondenty. Výsledkem exportu je tabulka ve formátu xls, která je připravena pro další práci například analýzu nestrukturovaných dat. - 20 -
Závěr Prošli jsme postupně jednotlivé funkcionality i možnosti softwaru Limesurvey, který byl pro obce upraveny na míru jejich aktuálním potřebám. Na závěr si dovolíme popřát hodně zdaru v komunikaci s občany, zvláště pak při zjišťování zpětné vazby s využitím výše uvedeného nástroje. Schola Empirica, z. s. Výjezdová 510, Praha 9, 190 11 IČ: 26645726 email: pruzkumy@scholaempirica.cz - 21 -