A7B39TUR - Semestrální práce Úloha B1 Kvantitativní testování Vojtěch Kaiser 1
Obsah 1 Úvod 3 2 Cílová skupina 3 3 Příprava testu 3 3.1 Hypotéza 3 3.2 Nulová hypotéza 3 3.3 Testovací metoda 3 3.4 Dotazník 4 3.5 Nezávislé proměnné 4 3.6 Závislé proměnné 4 4 Testování 4 4.1 Sběr dat 4 4.2 Nástroje 4 5 Nasbíraná data 4 5.1 Ovlivnění respondenti 5 5.2 Neovlivnění respondenti 6 6 Vyhodnocení dat 7 6.1 Statistický test 7 7 Závěr 7 8 Zdroje 7 2
1 Úvod Test se bude zaměřovat na odhalení, zda bychom měli dbát na to, jaké otázky a v jakém pořadí uživateli během testování pokládáme. Test by měl ukázat, zda je rozdíl ve výsledku průzkumu, pokud na jeho začátku položíme uživateli otázku, která by mohla ovlivnit jeho postoj, oproti průzkumu bez takovýchto otázek. 2 Cílová skupina Vzhledem k povaze otázek (čistě náhodně vybrané téma ohledně herního vydavatele Electronic Arts) spadají do cílové skupiny testu pouze hráči počítačových nebo konzolových her, a to pouze ti, kteří hráli alespoň nějaké hry od výše uvedeného vydavatele. 3 Příprava testu Vzhledem k tomu, že téma otázek testu nijak zvlášť nesouvisí s jeho účelem jsem naprosto náhodně vybral průzkum oblíbenosti herního vydavatele Electronic Arts (dále jen EA). 3.1 Hypotéza Během vyplňování dotazníků jsou uživatelé donuceni zamyslet se nad odpovědí (předpokládáme-li že nevyplňují zcela náhodně) a jsem přesvědčen, že pokud položíme respondentovi otázku, která ho hned ze začátku donutí zaujmout nějaký postoj, bude se tohoto postoje snažit držet, a tím budou ovlivněny výsledky otázek, které by jinak respondent zodpověděl objektivně. 3.2 Nulová hypotéza Předpokládám, že zde bude rozdíl v hodnocení EA mezi dotazníky s ovlivňující otázkou a bez ní. 3.3 Testovací metoda Pro testování jsem vytvořil webovou stránku s formulářem o deseti tvrzeních (+ovlivňující otázka) a ke každému tvrzení volby Linkertovy škály: rozhodně souhlasím +2 souhlasím +1 nesouhlasím -1 rozhodně nesouhlasím -2 3
3.4 Dotazník 3.5 Nezávislé proměnné Přítomnost ovlivňující otázky 3.6 Závislé proměnné Celkové skóre po sečtení bodů za odpovědi respondenta bez zahrnutí ovlivňující otázky. 4 Testování 4.1 Sběr dat Sběr dat jsem prováděl na různých komunikačních kanálech slibováním respondentům z cílové skupiny různé alkoholické nápoje za vyplnění dotazníku a předání odkazu dalším potenciálním respondentům. 4.2 Nástroje Pro sběr dat jsem použil vlastnoručně vytvořenou webovou stránku nad Twitter Bootstrap [1] frameworkem v PHP/HTML/CSS/JS a vyvěsil jsem jí na doméně svého webu (www.molibden.cz/tur/) Pro práci s daty jsem využil MS Excel a výsledky jsem vyhodnotil pomocí programu R. 5 Nasbíraná data Z nasbíraných dat mi vznikli dvě množiny údajů - pro formuláře s ovlivňující otázkou a bez této otázky. Hodnoty odpovídají škále od -2 rozhodně nesouhlasím do +2 rozhodně souhlasím s hodnotou 0 jako nezodpovězenou otázku. Sloupec skóre udává sumu odpovědí + maximum. 4
5.1 "Ovlivnění" respondenti S ovlivňující otázkou Respondent Odpovědi skóre 1 1 1-1 2 2-1 1-1 1 2 27 2 1 1-1 1-1 -1 1 1-1 1 22 3-2 -1-2 -2-1 -2 1-1 -2-2 6 4-1 -1-2 1 1-1 1 1-1 -1 17 5-1 -1-1 1 1-1 2-1 -1-1 17 6-1 1-2 -1 1-1 2 1-2 -1 17 7 1 1-1 1 1-1 1 1-1 -1 22 8-1 -1-2 -2-2 -2-1 -1-2 -2 4 9-1 -1-1 -1 1-2 -1-1 -1-1 11 10-1 0-1 1 1-1 1 1-1 -1 19 11 0 0 0 0 0 0 0 0 0-1 19 12 1 1 1 1 0 0 0 1-1 -1 23 13 1 2 1-1 2-1 1 2 1-1 27 14-1 1-1 -1 2-1 1 0-1 -1 18 15-1 -2-1 1 1-2 1 1-1 -1 16 16-1 -1-1 -1-1 -2-1 -1-1 -1 9 17-2 2 1-1 1-2 1-1 1-2 18 18 2 2 2 2 2-1 2 1 2 1 35 19-1 1 1 1 0-1 1-1 -1-1 19 20-1 -1-1 -2-1 -1-2 -1-1 -2 7 21-2 -2-2 -2-2 -2-2 -2-2 -2 0 22 2 2 2 2 2 2 2 2 2 2 40 23-1 -2-2 -1-2 -2 1-1 -2-2 6 24-1 1 1-1 1 0 1 0 0-1 21 25-1 -1-1 -1-1 -1 1-1 -1-1 12 26 2 2 2 2 2 2 2 2 2 2 40 27-1 1 0 1 0-1 1 1 0-1 21 28 0 0-1 -1-2 -1 0-1 -1-1 12 29-1 -1-1 1 0-2 1 0-2 -1 14 5
5.2 "Neovlivnění" respondenti Bez ovlivňující otázky Respondent Odpovědi skóre 1-1 0-2 -1-2 -1 0-1 -2-1 9 2-1 -1-1 -2-1 -2-1 -1-2 -2 6 3 1 1 1-1 1-1 2 1 1-1 25 4 1-1 1-1 1-1 1 2 1-1 23 5-1 1-1 1 1-1 1-1 -1-1 18 6-1 -1-1 1-2 -1 1-1 -2-1 12 7 1 2 1 2 1 1 1 1 1 1 32 8-1 -1-2 1-1 -1 1-1 -1-2 12 9 2 2 2 2 2 2 2 2 2 2 40 10 0 0 0 1 0-1 0 0-1 -2 17 11 1 1 1 1 1 0 1 1 0 0 27 12-2 -2 2-2 -2-2 2 1-2 -2 11 13 1-1 -1 1 1-1 -1-1 -1 1 18 14-1 2-2 -1 1-1 1 0-2 -2 15 15 2 2 2 2 1 1 2 2 1 1 36 16-1 1-1 1 1-1 1 1-1 -1 20 17-2 0-1 -1-1 -1-1 -1-1 -1 10 18-1 -1-2 1 0-1 1-1 -2-1 13 19-1 -1-1 -2-1 -2 1-1 -1-1 10 20-1 0-1 1 0-2 1 0-1 -1 16 21-1 -1-1 -1-1 -2-1 -1-1 -1 9 22-1 1-1 1 2-1 1-1 -1-1 19 23-1 1-1 1 1-2 2 1-1 -1 20 24 1-1 -1 1 2-2 1 1-1 -2 19 25 1 1-1 1 2-1 -1 1-1 -1 21 26 1 2-1 1 2-1 2 0-1 1 26 27-1 1 1 2 1-1 2 1 1 1 28 28-2 -2-1 -2-1 -2-2 -2-2 -2 2 29 1 1 1 1 1-1 1 1 1 1 28 6
6 Vyhodnocení dat K vyhodnocení dat jsem použil R-project [3] se zadanými hodnotami skóre a provedl jsem nepárovaný t.test. Hladinu významnosti jsem zvolil α =0,05. 6.1 Statistický test > influenced <- c(27,22,6,17,17,17,22,4,11,19,19,23,27,18,16,9,18,35,19,7,0,40,6,21,12,40,21,12,14) > uninfluenced <- c(9,6,25,23,18,12,32,12,40,17,27,11,18,15,36,20,10,13,10,16,9,19,20,19,21,26,28,2,28) > t.test(influenced,uninfluenced,paired=false) Welch Two Sample t-test data: influenced and uninfluenced t = -0.3219, df = 55.682, p-value = 0.7487 95 percent confidence interval: -5.729212 4.143005 sample estimates: mean of x mean of y 17.89655 18.68966 7 Závěr Z výsledku testu vyplívá(p>>0,05), že je zde skutečně výrazný rozdíl v průzkumech s ovlivňující otázkou. Nulová hypotéza je potvrzena. Celý výzkum tedy ukazuje, že výrazně záleží na pořadí a typu otázek které respondentům pokládáme. 8 Zdroje [1] Twitter Bootstrap http://twitter.github.io/bootstrap/ [2] Přednáškové slidy TUR 2012/2013 Adam J. Sporka na téma kvantitativního testování http://cent.felk.cvut.cz/courses/y39tur/lectures2012z/tur-2012w-l08-quantitative-testing.ppt [3] R-project program http://www.r-project.org 7