Kvantitativní test e-mailových klientů Mozilla Thunderbird a Windows Live Mail A7B39TUR úloha B Dalibor Šicner sicnedal@fel.cvut.cz FEL ČVUT 1
1. OBSAH Kvantitativní test e-mailových klientů Mozilla Thunderbird a Windows Live Mail...1 1.OBSAH...2 2.ÚVOD...3 I.Popis testovaných programů...3 II.Cílová skupina...4 3.POPIS TESTOVÁNÍ...4 I.Metoda testování...4 II.Metrika testování...4 i.nezávislá proměnná...4 ii.závislá proměnná...4 III.Nulová hypotéza...5 IV.Likertova škála...5 4.SBĚR DAT...5 I.Popis...5 II.T-test...6 5.ZÁVĚR...7 6.ODKAZY...7 2
2. ÚVOD I. Popis testovaných programů Pro kvantitativní testování byly zvoleny dva poměrně známé e-mailové klienty Mozilla Thunderbird a Windows Live Mail. Mozilla Thunderbird je multiplatformní open source klient oblíbený u uživatelů všech OS. Obrázek1: Screenshot uvítacího okna Mozilla Thunderbird Windows Live Mail je náhradou za původní Microsoft Outlook Express a je tedy velmi známý hlavně uživatelům Microsoft Windows. Obrázek2: Screenshot pracovního okna Windows Live Mail 3
II. A7B39TUR 3.1.2015 Cílová skupina Všichni uživatelé využívající e-mailových klientů pro komunikaci a správu elektronické pošty. Zúčastnění participanti kvantitativního testování byli z větší části studenti ve věku 20-28 let. pokročilí uživatelé PC a tedy práce s e-mailovým klientem pro ně byla jedna z běžných činností. Participanty jsem volil tak, aby neměli s jedním z testovaných klientů o mnoho větší zkušenost než s druhým. 3. POPIS TESTOVÁNÍ I. Metoda testování Spočívá v použití metody SUS (System Usability Scale) a Likertovy škály. Princip je ve střídání kladných a záporných otázek pro participanta (kladné jsou liché a záporné jsou sudé). Otázky pro participanta: 1. Myslím, že bych tento program rád používal často. 2. Myslím si, že program je zbytečně složitý. 3. Myslím si, že program je jednoduchý na používání. 4. Myslím, že bych potřeboval pomoc technicky zdatného člověka, abych mohl program používat. 5. Myslím, že různé funkce programu jsou do něj dobře zakomponované. 6. Myslím si, že program je příliš nekonzistentní. 7. Myslím si, že většina lidí se naučí ovládat a používat tento program velmi rychle. 8. Myslím si, že program těžký na ovládání pro běžné použití. 9. Myslím si, že při používání programu jsem se cítil velmi jistě. 10. Myslím, že bych se musel naučit spoustu věcí, abych se program naučil dobře používat. II. Metrika testování i. Nezávislá proměnná Testovaný e-mailový klient Mozilla Thunderbird nebo Windows Live Mail. ii. Závislá proměnná Hodnota daná odpovědmi participantů na dotazník pomocí Likertovy škály. 4
III. Nulová hypotéza Práce s oběma testovanými e-mailovými klienty je stejně obtížná jejich hodnocení bude stejné. IV. Likertova škála V otázkách pro participanta se střídají kladné a záporné otázky a k nim přísluší ohodnocení zobrazené v tabulkách 1 a 2 níže. Liché řádky Odpověď Ohodnocení Silně souhlasím 0 Spíše souhlasím 1 Nevím 2 Spíše nesouhlasím 3 Silně nesouhlasím 4 Tabulka1: Liché řádky Sudé řádky Odpověď Ohodnocení Silně souhlasím 4 Spíše souhlasím 3 Nevím 2 Spíše nesouhlasím 1 Silně nesouhlasím 0 Tabulka2: Sudé řádky 4. SBĚR DAT I. Popis Po zodpovězení všech otázek od celkového počtu 12 participantů byla nasbírána tato data v tabulkách 3 a 4: Participant Otázka 1 2 3 4 5 6 7 8 9 10 1 0 1 1 0 2 2 1 1 1 0 2 1 1 0 1 1 1 2 0 1 1 3 1 3 1 0 2 0 1 2 1 0 4 0 1 0 1 0 2 1 0 1 1 5 3 2 2 2 2 2 2 3 4 2 6 2 1 1 1 2 2 1 2 1 1 7 0 0 1 0 1 0 2 2 0 1 8 1 1 1 1 2 1 1 1 1 2 9 2 1 2 0 1 2 1 2 2 3 10 2 2 3 1 3 2 3 2 3 2 11 0 1 1 2 2 1 0 1 2 1 12 1 1 1 0 1 0 1 1 1 2 Tabulka3: Mozilla Thunderbird 5
Participant Otázka 1 2 3 4 5 6 7 8 9 10 1 2 3 2 0 1 2 1 1 3 1 2 2 4 1 4 2 2 3 1 2 0 3 3 2 3 1 3 1 2 1 2 1 4 1 0 1 2 0 3 1 2 0 1 5 1 1 1 0 1 2 2 1 1 1 6 1 1 3 1 1 2 2 3 2 1 7 0 1 2 1 2 1 1 0 1 0 8 2 0 1 2 1 2 3 1 1 1 9 0 1 1 0 2 1 2 1 1 2 10 1 1 1 2 2 2 1 2 0 1 11 0 2 0 1 2 2 1 2 1 0 12 3 2 1 0 1 0 2 1 2 1 Tabulka4: Windows Live Mail Již zpracovaná data jsou v následující tabulce 5. Čísla vznikla sečtením všech ohodnocení od každého participanta a vynásobením číslem 2,5. Participant Výsledky Mozilla Thunderbird Windows Live Mail 1 22,5 40 2 22,5 52,5 3 27,5 47,5 4 17,5 27,5 5 55 27,5 6 35 42,5 7 17,5 22,5 8 30 35 9 37,5 27,5 10 57,5 32,5 11 27,5 27,5 12 22,5 32,5 Tabulka5: Zpracovaná data s výsledky II. T-test Střední hodnota pro Mozilla Thunderbird: 31,04 Střední hodnota pro Windows Live Mail: 34,56 t(11) = -0.71175, p = 0.4914 Data byla zpracována v párovém t-testu a testována na hladině významnosti 0,05. 6
5. ZÁVĚR Ze získaných dat je vidět, že podle středních hodnot jsou oba testované programy přibližně stejně oblíbené. Nulovou hypotézu nemohu zamítnout jelikož p je větší než hodnota hladiny významnosti, na které byl t-test proveden. 6. ODKAZY 1. Obrázky dostupné z http://orig11.deviantart.net/f378/f/2011/117/a/2/windows_live_mail_by_dj_fahrd3ezvmi.png http://www.hover.com/wp-content/uploads/2012/06/thunderbird-wordmark-vertical.png 2. HAYES, Nicky. Základy sociální psychologie. Praha: Portál, 1998. ISBN 80-7178-1983 Kapitola Měření postojů, s. 112 3. Navara, M.: Pravděpodobnost a matematická statistika. Skriptum FEL ČVUT, Praha, 2007 7