Testování aplikace Discord Marek Tomaštík, Mykola Isaiev, Vojtěch Tollar, Dominik Truong 18. května 2018 1
Obsah 1 Úvod 4 1.1 Popis aplikace........................... 4 1.2 Cílová skupina.......................... 4 1.3 Náhled aplikace.......................... 5 2 Testování 6 2.1 Podmínky testování........................ 6 2.1.1 Popis testovacích místností................ 6 2.1.2 Použitý software a hardware............... 6 2.2 Průběh testování......................... 7 2.2.1 Screener.......................... 7 2.2.2 Pre-test.......................... 7 2.2.3 Úkoly........................... 7 2.2.4 Post-test.......................... 8 2.3 Výsledky testování........................ 8 2.3.1 Participant 1....................... 8 2.3.2 Participant 2....................... 9 2.3.3 Participant 3....................... 9 2.3.4 Participant 4....................... 9 3 Nálezy 11 3.1 Stupnice závažnosti........................ 11 3.2 Nález č. 1 - Dialogové okno po přihlášení............ 11 3.3 Nález č. 2 - Přidání nového přítele................ 12 3.4 Nález č. 3 - Formát uživatelského jména............ 12 3.5 Nález č. 4 - Přidání přítele na server.............. 12 3.6 Nález č. 5 - Poslání hlasové zprávy............... 12 3.7 Nález č. 6 - Odpojení od hlasového kanálu........... 13 3.8 Nález č. 7 - Přidání nového bota................. 13 3.9 Nález č. 8 - Nekonzistentní menu................ 14 3.10 Nález č. 9 - Vytvoření nové uživatelské role........... 14 4 Závěr 15 5 Zdroje 16 6 Přílohy 17 6.1 Screener.............................. 17 6.2 Pre-test.............................. 17 6.3 Úkoly............................... 17 2
6.4 Post-test.............................. 17 3
1 Úvod Předmětem testování této práce je multiplatformí aplikace Discord určená pro hlasovou a textovou komunikaci [1]. Discord se pyšní mimo jiné svou snadnou použitelností a klade důraz na požadavky hráčské komunity. Aplikaci jsme testovali za účasti uživatelů. Sledovali jsme hlavně jak snadno byli uživatelé schopni používat Discord a zda byli schopni používat i pokročilé funkce aplikace. 1.1 Popis aplikace Discord poskytuje svým uživatelům, dle slov tvůrců, hlasovou a textovou komunikaci, která je bezplatná, bezpečná a funkční jak na stolním počítači tak na mobilu. Účet pro aplikaci je vázán na emailový účet. Každý uživatel si může vybrat libovolné uživatelské jméno, které ale není unikátní pokud není spojené s identifikačním číslem (ve tvaru #xxxx). Aplikace nabízí možnost přímé komunikace s jiným uživatelem nebo ve skupině s více uživateli. Dále nabízí bezplatné servery, kam je možné se připojit na základě pozvánky. Server lze následně členit do jednotlivých textových a hlasových kanálů. Uživatelé pak mohou například umlčet kanály, které je nezajímají. Kromě lidí je možné na server pozvat i boty, kteří pak reagují na zprávy zasílané uživateli nebo například pravidelně informovat o počasí. Mezi další funkce patří formátování pomocí Markdown, overlay ve hrách, ukládání zpráv a další. Nicméně tyto funkce nebudou součástí testování. 1.2 Cílová skupina Cílovým uživatelem aplikace Discord je uživatel ve věku 18-30 let, zběhlý v používání počítače. Discord se zaměřuje na hráče videoher, avšak toto v testování nezohledňujeme. Předpokládají se zkušenosti s operačním systémem Windows a s jinými komunikačními platformami, například s aplikací Skype. 4
1.3 Na hled aplikace Obra zek 1: Stav po spus te nı aplikace Obra zek 2: Registrace 5
2 Testování 2.1 Podmínky testování 2.1.1 Popis testovacích místností Obrázek 3: Popis místností (zdroj: přednášky předmětu TUR [2]) Testování proběhlo v Usability Lab na Karlově náměstí. Usability Lab je laboratoř speciálně určená pro testování použitelnosti softwaru. Laboratoř se skládá ze dvou místností: místnosti pro účastníka a místnosti pro pozorovatele vybavenou sledovacím zařízením a prostředky pro logování. 2.1.2 Použitý software a hardware Místnost pro účastníka je vybavena třemi kamerami pro sledování pohybů účastníka a počítačem, na kterém běží testovaná aplikace. Typ: stolní počítač Specifikace: Intel Core 2 430 1.8GHz, 2 GB RAM Displej: Monitor Dell, rozlišení 1280x960; Příslušenství: klávesnice, myš, reproduktory, mikrofon; 6
OS: Windows 7 Enterprise SP1 verze 6.1 build 7601 Pozorovací nástroj: Morae Verze testované aplikace: Discord build 15523 [3] 2.2 Průběh testování 2.2.1 Screener Screener je dotazník, který je vyplňován potenciálními participanty. Screener pomáhá při výběru participantů. Screener použitý při tomto testování se nachází v příloze. Odkaz 2.2.2 Pre-test Pre-test je dotazník, který je na začátku testování předložen každému participantovi. Cílem pre-testu je zisk základních informací o participantovi a ověření vhodnosti participanta pro testování. Pre-test použitý při tomto testování se nachází v příloze. Odkaz 2.2.3 Úkoly Testování bylo rozděleno na čtrnáct úkolů. Ty participant postupně plnil. Pokud si s úkolem nevěděl rady, přeskočil ho. Níže je vypsán seznam všech úkolů: Odkaz na originál 1. Zaregistrujte se v aplikaci Discord. Pro registraci použijte údaje poskytnuté moderátorem. 2. Přihlaste se do aplikace. Využijte stejné údaje jako při registraci. 3. Přidejte si do přátel uživatele Vojtasii#8133. 4. Pošlete svému novému příteli textovou zprávu. 5. Přidejte nového přítele do Vámi vytvořeného serveru. 6. Vytvořte nový server s názvem tur server. 7. Přes hlasový kanál pošlete svému příteli zprávu. 8. Odpojte se z hlasového kanálu. 9. Vytvořte novou uživatelskou roli a nastavte barvu na zelenou. 7
10. Nastavte nově vytvořenou roli svému příteli. 11. Přečtěte si novou zprávu. 12. Přidejte bota s názvem MathBot na Vámi vytvořený server. 13. Zobrazte čtvercovou matici a najděte její determinant. 14. Smažte uživatele. 2.2.4 Post-test Post-test je dotazník, který každý participant vyplní na konci testování. Cílem tohoto dotazníku je například zjistit participantovi pocity z testování či jeho připomínky k testované aplikaci. Post-test použitý při tomto testování se nachází v příloze. Odkaz 2.3 Výsledky testování 2.3.1 Participant 1 Informace o participantovi Participant má zkušenosti s komunikačními aplikacemi. S Discordem však ne. Na Discordu se mu líbilo uživatelské rozhraní. Uvítal by ale oddělení sekcí Profil a Server v nastavení. Nálezy při testování Participant byl po přihlášení zmaten dialogovým oknem nabízejícím možnost vytvořit server nebo se připojit k již existujícímu serveru. Nebylo zjevné, jak toto okno zavřít. Participant nevěděl, jak přidat přítele. Participant si nebyl jist přesným tvarem uživatelského jména (tag). Participant nevědel, jak přidat přítele na server. Participant hledal tlačítko na vytvoření hlasové zprávy. Nebyl si vědom toho, že se do hlasového kanálu nemusí připojovat. Participant nemohl najít způsob, jak vytvořit novou uživatelskou roli. Participant nevěděl, jak přidat MathBota. 8
2.3.2 Participant 2 Informace o participantovi Participant denně používá aplikaci Discord. Úkoly pro něj nebyly složité. Z testování měl dobrý pocit. Na Discordu se mu líbilo tmavé pozadí a anonymita uživatelů. Nálezy při testování Participant nevěděl, jak přidat MathBota. 2.3.3 Participant 3 Informace o participantovi Participant nemá velké zkušenosti s aplikací Discord. Používá jinou komunikační aplikaci (Skype). Na Discordu se mu líbilo uživatelské rozhraní a rychlost aplikace. Po přihlášení mu chyběla možnost zavření dialogového okna. Mazání účtu mu přišlo příliš složité. Aplikaci by nevyužíval z důvodu malého počtu uživatelů. Nálezy při testování Participant měl potíže s CAPTCHA testem. Participant byl po přihlášení zmaten dialogovým oknem nabízejícím možnost vytvořit server nebo se připojit k již existujícímu serveru. Nebylo zjevné, jak toto okno zavřít. Participant nevědel, jak přidat přítele na server. Participant nevěděl, jak se odpojit z hlasového kanálu. Participant musel přidat jiného uživatele na server a předat mu administrátorská práva, aby mohl smazat svůj účet. 2.3.4 Participant 4 Informace o participantovi Participant nezná aplikaci Discord. Na Discordu by uvítal průvodce pro záčátečníky. Discord dále nemá v úmyslu používat v budoucnosti. 9
Nálezy při testování Participant byl po přihlášení zmaten dialogovým oknem nabízejícím možnost vytvořit server nebo se připojit k již existujícímu serveru. Nebylo zjevné, jak toto okno zavřít. Participant nevěděl, jak přidat přítele. Participant nevěděl, jak jinému uživateli nastavit roli. Participant nevěděl, jak poslat hlasovou zprávu. Participant si nevšiml, že MathBot byl již přidán. 10
3 Nálezy Obrázek 4: Dialogové okno po přihlášení (chybí křížek) 3.1 Stupnice závažnosti Závažnost Význam 1 Cosmetic problem 2 Usability error 3 Show-stopper 3.2 Nález č. 1 - Dialogové okno po přihlášení Stupeň závažnosti 2 Nalezeno u účastníka 1, 2, 3, 4 Popis Po přihlášení se objeví jen možnosti Vytvořit server nebo Připojit se na server. Není zjevné, že si uživatel nemusí vybírat z těchto dvou možností. Má také možnost zavřít toto dialogové okno kliknutím mimo nej, ovšem uživatel není s touto skutečností seznámen. 11
3.3 Nález č. 2 - Přidání nového přítele Stupeň závažnosti 2 Nalezeno u účastníka 1, 4 Popis Uživatelům není zjevné, jak si přidat přítele. Uživatelé dlouho hledají místo, kde si přidat nového přítele. 3.4 Nález č. 3 - Formát uživatelského jména Stupeň závažnosti 1 Nalezeno u účastníka 1 Popis Uživatelům není jednoznačný formát uživatelského jména (taktéž označovaný jako tag). Uživatelé neví, jaký formát zadat. Discord nutí zadat přesný formát včetně čísla. 3.5 Nález č. 4 - Přidání přítele na server Stupeň závažnosti 2 Nalezeno u účastníka 1, 3 Popis Uživatelům není jasné, jak přidat přítele na server. 3.6 Nález č. 5 - Poslání hlasové zprávy Stupeň závažnosti 3 Nalezeno u účastníka 1, 3, 4 Popis Uživatelé neví, jak poslat hlasovou zprávu. Pokud bude uživatel chtít poslat hlasovou zprávu takovým způsobem, jak je to u ostatních komunikačních nástrojů, nebude úspěšný. Bud bude nucen použít Google nebo jiný nástroj než Discord. Hlasové zprávy v Discordu fungují tak, že uživatel se musí připojit k tzv. hlasovému kanálu, který prakticky funguje jako běžný hovor. 12
Obrázek 5: Uživatel je připojen k hlasovému kanálu (někteří si to neuvědomili). Pro zavěšení je potřeba kliknout na ikonku pokládání telefonu ve spodní části obrazovky. Uživatelé neznající Discord zkoušeli ukončit hovor klikáním na kanál, kde jsou připojeni. 3.7 Nález č. 6 - Odpojení od hlasového kanálu Stupeň závažnosti 2 Nalezeno u účastníka 4 Popis Uživatelé neví, jak se odpojit od hlasového kanálu. 3.8 Nález č. 7 - Přidání nového bota Stupeň závažnosti 2 Nalezeno u účastníka 1, 2, 4 Popis Komplikace při přidání nového bota. V této souvislosti bychom doporučili integrovat výběr a přidání botů přímo do rozhraní aplikace. Uživatelé jsou totiž nuceni tyto boty získávat na neověřených stránkách. 13
(a) Nastavení serveru (b) Nastavení účtu Obrázek 6: Uživatelé hledali odstranění účtu na podobném místě, kde viděli možnost odstranit server 3.9 Nález č. 8 - Nekonzistentní menu Stupeň závažnosti 2 Nalezeno u účastníka 3 Popis Nekonzistentní rozvržení menu nastavení serveru a nastavení uživatele. 3.10 Nález č. 9 - Vytvoření nové uživatelské role Stupeň závažnosti 2 Nalezeno u účastníka 1 Popis Uživatel nemůže najít způsob, jak vytvořit novou uživatelskou roli. 14
4 Závěr Při testování byly nalezeny chyby ze všech kategorií závažností. Nejzávažnějším problémem bylo odeslání hlasové zprávy. Participanti byli zvyklí posílat nahrávky, ale Discord tuto funkci neumožňoval. Nebylo zjevné, že je participant připojen ke kanálu a že odeslání hlasové zprávy představuje pouze promluvení do mikrofonu. Byly nalezeny další závažné problémy vypovídající o chybách v použitelnosti. Odstraněním těchto chyb bude Discord přívětivější většímu počtu lidí. 15
5 Zdroje [1] Discord, dostupné z: https://discordapp.com/ https://cent.felk.cvut.cz/courses/y39tur/ [2] Stránky předmětu A4B39TUR, Testování uživatelského rozhraní, [online]. [cit. 23.3.2018]. Dostupné z: https://cent.felk.cvut.cz/courses/y39tur/ [3] Morae, dostupné z: http://www.softpedia.com/get/office-tools/other-office- Tools/Morae.shtml 16
6 Přílohy V této části jsou přiloženy dokumenty, které byly použity součástí testu. Vynechán je dokument s přihlašovacími údaji k testovacím účtům pro aplikaci Discord. 6.1 Screener Odkaz 6.2 Pre-test Odkaz 6.3 Úkoly Odkaz 6.4 Post-test Odkaz 17
Screener Jakého jste pohlaví? Muž Žena Kolik Vám je let? 18 a méně 19-22 23-26 27 a více Jaký komunikační nástroj používáte nejčastěji pro chat s přáteli? Facebook Twitter Skype TeamSpeak Snapchat Discord Jiný Žádný Hrajete občas (popř. častěji) počítačové hry? Ano Ne
Pre-test dotazník Používáte pro komunikaci s přáteli na internetu nějakou aplikaci? Ano Ne Používáte hlasovou nebo video konverzaci? Ano Ne Znáte aplikaci Discord? Ano Ne Pokud ano, jak často ji používáte? Denně Několikrát týdně Jednou týdně Jednou měsíčně Vyzkoušel jsem pouze jednou Souhlasíte s tím, abyste byl/a po celý průběh testování nahráván/a? Záznam bude použit pouze pro účely testování a nebude šířen dále. Vaše jméno ani žádné další osobní údaje nebudou nikde zaznamenány. Ano Ne
Úkoly 1. Zaregistrujte se v aplikaci Discord. Pro registraci použijte údaje poskytnuté moderátorem 2. Přihlaste se do aplikace. Využijte stejné údaje jako při registraci 3. Přidejte si do přátel uživatele @Vojtasii#8133 4. Pošlete novému příteli textovou zprávu 5. Vytvořte nový server s názvem tur_server 6. Přidejte nového přítele do Vámi vytvořeného serveru. 7. Přes hlasový kanál pošlete svému příteli zprávu. 8. Odpojte se z hlasového kanálu 9. Vytvořte novou uživatelskou roli a nastavte její barvu na zelenou 10. Nastavte nově vytvořenou roli svému příteli 11. Přečtěte si novou zprávu 12. Přidejte bota s názvem MathBot na Vámi vytvořený server 13. Zobrazte čtvercovou matici a najděte její determinant 14. Smažte uživatele
Post-test dotazník 1. Jaké máte pocity z testování? 2. Co se vám na programu líbilo? 3. Co se vám na aplikaci nezdálo srozumitelné? Jak byste chtěli aplikaci změnit? 4. Máte pocit, že byste mohli začít tuto aplikace používat běžně? Děkujeme vám za váš čas