B Kvantitativní test Semestrální práce TUR Novotný Michal novotm60@fel.cvut.cz
OBSAH 1. Úvod... 2 1.1. Předmět testování... 2 1.2. Cílová skupina... 2 2. Testování... 2 2.1. Nulová hypotéza... 2 2.2. Metoda testování... 2 2.3. Metrika testu... 3 2.4. Získaná data... 3 3. Závěr... 4 3.1. Vyhodnocení testu... 4 1
1. ÚVOD V dnešní době počítačů existuje několik voleb, pokud si člověk vybírá, jaký operační systém bude na svém stroji používat. Já jsem si pro svůj kvantitativní test vybral dva systémy, které jsou velmi známé a používané. V testu se pokusím zjistit který systém je lepší z hlediska použitelnosti podle lidí, kteří se zúčastnili vyplnění dotazníku. 1.1. Předmět testování Pro testování jsem zvolil dva známé operační systémy: - Microsoft Windows - Linux 1.2. Cílová skupina Cílovou skupinou pro naše testování jsou lidé, kteří používají nebo alespoň někdy používali oba operační systémy. Anonymní dotazník byl rozeslán mezi studenty elektrotechnické fakulty, u nichž je velká pravděpodobnost, že oba systémy někdy použili nebo je aktivně používají. 2. TESTOVÁNÍ 2.1. Nulová hypotéza Nulová hypotéza (H0) pro t-test je, že oba systémy Windows a Linux jsou stejně dobré, tedy podle výsledných skóre jsou systémy hodnoceny stejně. Alternativní hypotézou (H1) je opak nulové hypotézy, tedy že jeden z operačních systémů je lepší než druhý. 2.2. Metoda testování Testování bylo realizováno pomocí dotazníku bylo předpokládáno, že člověk vyplňující dotazník má zkušenosti s oběma systémy, tak aby mohl pravdivě odpovědět na všechny otázky v dotazníku. Dotazník představoval kvantitativní testování nazvané SUS (System Usability Scale). SUS pokládá 10 otázek, na které člověk odpovídá pro každý testovaný subjekt zvlášť tedy v našem případě pro každý operační systém. Otázky v dotazníku 1. Myslím si, že bych tento systém rád používal/a často 2. Myslím si, že systém je zbytečně složitý 3. Myslím si, že je jednoduché používat daný systém 4. Myslím si, že je zapotřebí pomoc technicky zdatného člověka, abych systém mohl/a používat 5. Přijde mi, že různé funkce a vlastnosti jsou do daného systému správně 2
zakomponované 6. Myslím si, že je v daném systému příliš mnoho nekonzistence 7. Dokážu si představit, že většina lidí se naučí tento systém používat velmi rychle 8. Myslím si, že daný systém je velmi těžkopádný při používání 9. Cítím se velmi jistě při používání systému 10. Musel/a jsem se naučit mnoho věcí, než jsem systém mohl/a používat Na každou otázku lze odpovědět jednou z pěti možností. - SD - Strongly Disagree = Zcela nesouhlasím - D - Disagree = Spíše nesouhlasím - N - Neutral = Neutrální - A - Agree = Spíše souhlasím - SA - Strongly agree = Zcela souhlasím Podle pořadí otázky se přiřazuje jednotlivým odpovědím skóre které se sečte přes všechny otázky a tak získáme skóre použitelnosti pro daný systém. Pro liché otázky se přiřazuje skóre od 0 pro SD po 4 pro SA. Pro sudé otázky je to poté obráceně 4 pro SD a 0 pro SA. Skóre je potřeba pro správnost výsledku vynásobit číslem 2,5. Výsledná skóre v rozsahu 0 100 poté porovnáme přes všechny výsledky v programu R přes párový t test. 2.3. Metrika testu Metrika při kvantitativním testu obsahuje 2 typy proměnné: Závislá - Odpověď lidí (respondentů) v dotazníku Nezávislá - Operační systémy Windows a Linux 2.4. Získaná data Na dotazník ohledně operačních systémů odpovědělo celkem 39 respondentů. Každý respondent musel vyplnit všechny odpovědi, a tak jsme získali dvě čísla za každého člověka reprezentující skóre obou operačních systémů. Skóre podle odpovědí jednotlivých respondentů pro oba operační systémy: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Windows 37,5 60 62,5 62,5 52,5 50 45 77,5 55 67,5 50 70 87,5 42,5 67,5 77,5 Linux 67,5 57,5 65 42,5 67,5 65 35 65 67,5 50 55 47,5 55 65 65 45 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 Windows 72,5 60 72,5 47,5 45 55 50 60 80 85 70 70 67,5 47,5 70 67,5 Linux 62,5 45 72,5 30 62,5 35 75 35 75 87,5 65 50 67,5 52,5 55 55 3
33 34 35 36 37 38 39 Windows 80 97,5 62,5 50 80 65 65 Linux 57,5 55 65 47,5 45 55 40 Střední hodnoty skóre: Windows 63,7 Linux 56,5 3. ZÁVĚR 3.1. Vyhodnocení testu Pomocí programu R jsem provedl párový t-test na hladině významnosti 95%. Výsledky t-testu - t(38) = 2.594 - interval spolehlivosti: ( 1.576, 12.782 ) - p = 0.0134 Podle t-testu můžeme naši nulovou hypotézu H0 zamítnou, protože výsledná hodnota p = 0.0134 < 0.0500 Ze střední hodnoty skóre vidíme, že průměrně je hodnocení operačního systému Windows větší zhruba o 7.2. V závěru se tedy ukázalo, že operační systém Windows je podle respondentů uživatelky přívětivější. 4