2014 ČESKÉ VYSOKÉ UČENÍ TECHNICKÉ V PRAZE Adam Muška, Milan Zelenka, Martin Panský [Uživatelské testování aplikace IZarc] Jedná se o úlohu C pro předmět Testování uživatelského rozhraní A4B39TUR
Obsah 1 Úvod... 2 1.1. Popis předmětu testování... 2 1.2. Cíl testu... 2 1.3. Cílová skupina... 3 2 Příprava testování... 4 2.1 Screener... 4 2.2 Kriteria výběru... 4 2.3 Skupina vybraných participantů... 4 3 Průběh testování... 5 3.1 Popis testu... 5 3.2 Ukončení testu... 5 4 Úkoly v testu... 6 4.1 Úkol 1. (Zapnutí aplikace + Vytvoření ISO souboru)... 6 4.2 Úkol 2. (Vytvoření archivu)... 6 4.3 Úkol 3. (Rozdělení archivu)... 6 4.4 Úkol 4. (Sloučení archivu)... 6 4.5 Úkol 5. (Extrahování souboru)... 6 4.6 Úkol 6. (Nastavení default formátu + Ukončení aplikace)... 6 5 Výsledky testování... 7 5.1 Participant č. 1... 7 5.2 Participant č. 2... 8 5.3 Participant č. 3 (expert)... 9 5.4 Participant č. 4... 10 5.5 Participant č. 5... 11 6 Nálezy a doporučení... 12 6.1 Konkrétní nálezy... 12 7 Přílohy... 14 7.1 Screener... 14 7.2 Odpovědi na Screener... 15 7.3 Pre-test dotazník... 16 7.4 Post-test dotazník... 17 1
1 Úvod Týmový semestrální projekt na předmět Testování uživatelského rozhraní, se zabýval testováním programu pro vytváření a práci s archivními soubory IZarc. Zaměřili jsme se na testování funkcí, které jsou obecně vyžadovány. Jedná se primárně o archivaci, extrahování souborů a složek, práci s formátem uložených dat a čtení souborů ISO / BIN. Cílem testování, je zjistit použitelnost aplikace v reálném prostředí a u reálných uživatelů. Testuje se přehlednost a intuitivnost uživatelského rozhraní. Na základě výstupu z testů se určí kvalita návrhu aplikace a případná doporučení na odstranění nevhodných řešení v tomto návrhu. Pro relevantní výsledky testování je nutné přesně určit cílovou skupinu uživatelů a získat několik zástupců této skupiny. S konkrétními uživateli pak probíhá vlastní testování aplikace a konkrétního funkčního průchodu. Pro relevanci výsledků je nutné zajistit stejné podmínky pro všechny účastníky testu. Testování programu probíhalo v usability laboratoři v budově ČVUT na Karlově náměstí. 1.1. Popis předmětu testování Program IZarc je bezplatná kompresní aplikace přinášející podobnou funkcionalitu, jako například konkurenční WinZip / WinRar. Aplikace je ovládána přes GUI 1, je určena pro operační systém Windows 2. Mezi primární funkce je zahrnuta komprese dat, rozdělení a slučování souborů (archivů) a konverze souborů do formátu obrazu ISO, BIN, atd. Další podrobnosti o aplikaci je možné nalézt na stránkách vývojářů 3. Rozšiřující Add-on (s) pro jiné operační systémy a ovládání přes Command Line, nebyli součástí tohoto testu. Je možné nastavit lokalizaci programu dle preference uživatele, v rámci testu byla zvolena čeština. 1.2. Cíl testu Cílem testování bylo odhalit případné nedostatky v použitelnosti programu. Vzhledem k tomu, že se jedná o specifický software, hledali jsme problémy hlavně z hlediska přehlednosti, intuitivnosti a grafického uspořádání ovládacích prvků. Po prvotních testech, které jsme realizovali sami, jako autoři výzkumu a ve kterých jsme plnili stejné úkoly jako vybraní uživatelé, došlo k upřesnění a hlavně rozšíření cíle. Zaměřili jsme se také na volbu českých slov (Překlad), označujících ovládací prvky a zpětnou vazbu aplikace. 1 Grafické ovládací rozhraní ( Okna ) 2 XP, 2000, Vista, Windows 7, Windows 8 3 http://www.izarc.org/ 2
1.3. Cílová skupina Cílovou skupinou jsou pro nás studenti vysokých škol, popřípadě zaměstnanci v IT sektoru. Testovací skupinu by tak měli tvořit spíše mladší lidé, u kterých předpokládáme dobrou znalost anglického jazyka, minimálně na úrovni pochopení psaného textu a pochopení obvykle využívaných zkratek a názvů. Dále je předpokládaná znalost práce na PC, minimálně na úrovni uživatele OS, schopného pracovat s aplikacemi kancelářského formátu. Dále je vyžadována znalost českého jazyka a schopnost čtení v tomto jazyce. Důležitým faktorem pro zařazení do výzkumné skupiny, je předchozí neznalost testované aplikace, ale zároveň potencionální ochota a hlavně důvody (Např. profesní), aplikaci začít využívat v praxi. 3
FEL ČVUT 2 Příprava testování Před vlastním testováním je nutné vybrat účastníky testu participanty. Tento výběr probíhá často pomocí inzerce, nebo dlouhodobého oslovování potencionálních členů cílové skupiny. V našem případě byly účastnící testu vybrání na základě přímého oslovení. K finální kontrole a výběru dochází až po formulaci a následném vyhodnocení Tzv. screeneru. 2.1 Screener Dokument ve formě dotazníku, pomáhá určit základní znalosti, schopnosti, popřípadě informace o případném účastníkovi testu. Po vytvoření screeneru se upřesní kriteria, která musí splnit uživatel, který se stane participantem v rámci výzkumu. Během tohoto, spíše edukativního rozsahu testu, nebyl screener nutný. Výběr participantů a omezení cílové skupiny, bylo dostatečným kontrolním mechanismem, aby výsledky testování nebyly zkresleny. 2.2 Kriteria výběru Cílovou skupinu jsme se rozhodli omezit věkem 30 let, kdy již převažují buď zkušení uživatelé s preferencí používaných programů, nebo lidé, kteří dané aplikace nevyužívají. Potencionální participanti také nesměli být uživateli testované aplikace a nesměli mít za sebou jakoukoliv zkušenost s používáním této aplikace. Všechna kriteria výběru jsou přehledně uvedena v tabulce č. 1 Omezení výběru. Tabulka 1 - Omezení výběru Všichni účastnící Maximum 30 let 2 účastnící Pracující, 3 účastnící - Studující 3 účastnící Preference češtiny, 2 účastnící Preference originálního jazyka (Angličtina) Využívání PC bez omezení Všichni účastnící Znalost IZarc negativní 2.3 Skupina vybraných participantů Z důvodu časové zaneprázdněnosti původně vybraných participantů, jsme byli nuceni ustoupit z daných omezujících kritérií. Testu se nakonec účastnili převážně studenti vysokých škol a 1 uživatel v zaměstnaneckém poměru. Všichni účastnící testu nakonec preferovali jako jazyk češtinu. Ostatní kriteria byla splněna. Screener a odpovědi participantů naleznete v části 8 Přílohy. 4
3 Průběh testování 3.1 Popis testu Vlastní test vedl moderátor, který jako jediný z týmu, přišel do kontaktu s účastníkem testu. Testování probíhalo v usability laboratoři, kde bylo každému z participantů představeno pracovní prostředí. Před každým testem byl s jednotlivými účastníky veden neformální rozhovor, který měl rozptýlit jejich obavy. Bylo představeno vybavení laboratoře a rozložení kamer, které se v laboratoři nacházejí. Po tomto seznámení byl vyplněn Tzv. pre-test dotazník. Ten upřesňuje základní znalosti a preference participanta, v oblasti testované aplikace. Další část testu spočívala v plnění připravených úkolů. Participant měl od moderátora pokyn komentovat svoje počínání a myšlenkové pochody. Po splnění připravených úkolů byl vyplněn Tzv. post-test dotazník. Ten upřesňuje názor účastníka testu na moderátora, vlastní test a testovanou aplikaci. Dané dotazníky naleznete v části 8 Přílohy. 3.2 Ukončení testu Po skončení testu byl uživatel odveden z laboratoře, kde předem určený člen týmu, uvedl pracoviště a aplikaci do původního stavu. Všechny dopady již skončeného testu byly vymazány. 5
4 Úkoly v testu 4.1 Úkol 1. (Zapnutí aplikace + Vytvoření ISO souboru) Zapněte aplikaci IZArc. Zkonvertujte soubor ukol1.bin (složka Tým8 na ploše) do formátu ISO a uložte do stejného adresáře. (doba trvání 2 5 minut) 4.2 Úkol 2. (Vytvoření archivu) Ze složky A, B na disku (konkrétní umístění) vytvořte 1 archivní soubor. (Lidsky: zabalte dané soubory ) Nastavte heslo se šifrováním AES 128Bit test Do 1 archivu ulož všechny soubory ze složky A + soubory první, druhý a třetí, ze složky B. (Doba trvání 5 minut) 4.3 Úkol 3. (Rozdělení archivu) Rozdělte již vytvořený archiv na části po 100 KB a pojmenujte ho ukol3archiv. Ukol3archiv se musí nacházet ve stejné složce. (Doba trvání 5 minut) 4.4 Úkol 4. (Sloučení archivu) Rozdělené archivy slučte do stejné složky. Výsledný archiv musí být typu ZIP. (doba trvání 5 minut) 4.5 Úkol 5. (Extrahování souboru) Extrahujte soubor druhý do složky Tým 8 na ploše. (doba trvání 2 minuty) 4.6 Úkol 6. (Nastavení default formátu + Ukončení aplikace) Změňte základní typ archivu ze ZIP na JAR. Potvrďte volbu. Zavřete aplikaci. (doba trvání 5 minut) 6
FEL ČVUT 5 Výsledky testování 5.1 Participant č. 1 1. účastník testu byl muž, ve věku 27 let a pracující jako manažer prodeje a servisu ve firmě zabývající se prodejem výrobků značky Apple. S archivačními programy se již v minulosti setkal jak v rámci OS Windows, tak i Mac OS. V současnosti je uživatelem systému od společnosti Apple, primárně z důvodu zaměstnání. V rámci Mac OS používá archivační utilitu. Úkol 1 Hned při zapnutí aplikace se projevila preference účastníka. Několikrát se negativně vyjádřil k designu vlastního testovaného produktu i operačního systému. Pro uživatele byla problematická orientace ve struktuře složky s IZarc. Vlastní úkol byl splněn bez problémů. Úkol 2 Participant zvládl úkol napodruhé. Poprvé pouze vytvořil archiv ze souborů, ale mylně předpokládal, že nastavení šifrování půjde nastavit až po vytvoření archivu. Celý proces tedy provedl znova a bez dalších problémů. Účastník si stěžoval na popis aplikace. Dle jeho názoru mu nikde nebylo automaticky nabídnuto nastavení tak, aby si ho všimnul. Úkol 3 Participant nebyl schopen splnit úkol bez rady moderátora. Aplikace vždy oznámila chybu a k rozdělení archivu nedošlo. Chyba byla v nastavení cílové složky, která se musela přesně shodovat se složkou, ve které se nacházel dělený archiv. Účastník si opět stěžoval na popis a teď i zpětnou vazbu. Od chybového hlášení očekává konkrétní výstup. Začal zastávat negativní postoj k testovanému produktu. Úkol 4 Po 2 minutách hledání a zkoušení, participant zjistil, které soubory musí být označeny, aby mohly být úspěšně sloučeny a poté již vše proběhlo bez problémů. Úkol 5 Úkol proběhl bez problémů. Úkol 6 Participant musel prohledat základní menu nastavení aplikace. I přes toto hledání byl úkol splněn. 7
5.2 Participant č. 2 2. účastník testu byl muž, ve věku 24 let a studující na vysoké škole, konkrétně na ČVUT FEL. Archivační a komprimační programy používá. Primárně využívá program 7-zip a p7-zip (Linux). V současnosti je uživatelem OS Windows 7, ale používá i Linux Ubuntu. Úkol 1 Velice rychlý průběh. Participant se velice rychle zorientoval a úkol splnil. Úkol 2 Úkol dokázal participant splnit až po zásahu moderátora. Několik minut se pokoušel postupovat dle vzoru z preferované aplikace, následně provedl úkol dle rady, a uspěl. Úkol byl splněn po časovém limitu. Účastník si stěžoval na nemožnost vybrání složek a zdlouhavé nastavování v rámci aplikace. Úkol 3 Participant vyřešil stejný problém, na který narazil participant č. 1. Dokázal to bez rady moderátora. Úkol byl vyřešen na 2. pokus U účastníka se projevila technická zdatnost a zkušenosti, jelikož podobný program sám využívá. I pro tak zkušeného uživatele nebyl tento úkol intuitivní. Úkol 4 Úkol proběhl bez problému. Úkol 5 Úkol proběhl bez problému. I přes úspěšné splnění úkolů, bylo negativně hodnoceno rozhraní aplikace. Účastník očekával radu, nebo efektivní nápovědu, známou například u komerčních aplikací. Účastník vycházel ze svých zkušeností. Úkol 6 Participant nemohl nastavení nalézt. Po marných pokusech odmítnul radu moderátora a následně úkol vyřešil sám. Účastník si stěžoval na nevhodné výrazy, pod kterými si nepředstaví reálnou funkcionalitu. 8
5.3 Participant č. 3 (expert) 3. účastník testu byl muž, ve věku 24 let, studující ČVUT FEL. Je uživatelem Windows 7 a XP. Využívá komprimační programy, hlavně WinRar. Má zkušenosti s programem 7-zip a občas využije ZipGenius. Úkol 1 Participant splnil úkol v rekordním čase během 30s. Nezaznamenali jsme žádné stížnosti a jeho komentování jednotlivých kroků svědčilo o jistotě. Úkol 2 Participant měl problém s přidáním celé složky do archivu. Problém však vyřešil ve Windows typickým přetáhnutím. Moderátor se účastníka znovu zeptal, zda nemá s aplikací IZarc předešlou zkušenost. Po ujištění a poradě v rámci celého týmu jsme participanta nevyřadili, ale závěrům z tohoto testování nepřikládáme takovou váhu. Úkol 3 Úkol byl vyřešen na 1. pokus a opět v rekordním čase. Úkol 4 Participant měl problém v určení pořadí slučovaných částí. Úkol se mu povedlo splnit až na 2. pokus. Úkol 5 Úkol proběhl bez problému. Úkol 6 Úkol proběhl bez problému. Zjistili jsme, že naše kontrola aplikace nebyla provedena správně. V nastavení zůstaly předvolby předcházejícího účastníka testu. Tento problém jsme odstranili dvojnásobnou kontrolou. 9
5.4 Participant č. 4 4. účastník testu byl muž, ve věku 23 let, studující ČVUT FEL. Je uživatelem OS Windows 7 a Windows 8. Experimentuje s několika distribucemi Linuxu (Gentoo, Ubuntu, Debian). Komprimační aplikace využívá, primárně WinRar Úkol 1 Participant nebyl schopen úkol splnit. Po několika minutách hledání řešení, se moderátor pokusil participanta navézt a poradit mu. Ze strany participanta přišla žádost o pokračování v testu bez splnění úkolu. Žádosti bylo vyhověno. Účastník testu nebyl v dobrém emocionálním rozpoložení, velice snadno mu docházela trpělivost a v již v průběhu 1. testu řešil tým otázku, zda pokračovat. Nakonec jsme z důvodu malého počtu participantů pokračovali. Úkol 2 Úkol byl splněn opětovně až po radě moderátora. Tentokrát se opakoval problém s přidáním složky jako celku, který jsme zaznamenali již v předchozích testováních. Úkol 3 Participant splnil úkol bez rady moderátora, ale těsně po časovém limitu. Po dobu 2 minut řešil problém pojmenování výsledného rozděleného archivu. Úkol 4 Participant splnil úkol bez rad moderátora a bez zjevných problémů. Účastník testu popisoval svoje kroky a podobný úkol asi již řešil. Průchod byl intuitivní. Úkol 5 Úkol proběhl bez problémů. Úkol 6 Participant nejdříve nastavoval formát lokálně, svou chybu si však rychle uvědomil a následně se dostal do celkového nastavení formátu. Úkol byl splněn. 10
5.5 Participant č. 5 5. účastník tesu byl muž, ve věku 25 let, studující ČVUT FEL. Je uživatelem OS Windows 8 a má zkušenosti s Windows Server 2008. Využívá komprimační a archivační aplikace běžně. Používá WinRar, nebo 7-zip. Úkol 1 Účastník testu si nejdříve stěžoval na špatné umístění aplikace. Nevyhovovala mu zvolená struktura složek pro ukládání vytvořených archivů. Po dodatečném vysvětlení moderátora akceptoval předkládanou strukturu. Participant splnil úkol bez zaváhání za 1 minutu. Úkol 2 Participant nenazval výsledný archiv dle zadání. Během testu se neustále dotazoval moderátora na názor a radu. Moderátor vyzval participanta k vlastní iniciativě a omezil se na povzbudivá slova a potvrzení v okamžiku, kdy participant úkol dokončoval. Úkol 3 Participant úkol splnil po radách a zasahování moderátora. V tomto úkolu nezvládl moderátor svou roli a zasahoval dříve, než by bylo dle časového plánu nutné. Jednalo se o reakci na zkušenost z předešlého úkolu. A již se v testu neopakovala. Úkol 4 Participant nedokázal pochopit systém slučování rozdělených archivů. Nevěděl, kde má začít s akcí a nevěděl, proč ke sloučení nedochází. Náhodou zvolil správný soubor a ke sloučení archivů došlo. Úkol 5 Úkol proběhl bez problémů. Úkol 6 Participant neměl problémy se splněním úkolu, ale důvodem bylo také to, že v rámci 4. úkolu si nastavení prohlédnul, jelikož hledal nápovědu, nebo pomoc s řešením sloučení archivu. 11
6 Nálezy a doporučení Z testování aplikace vyplynula řada poznatků a nálezů. Tyto nálezy členíme do 4 kategorií, dle závažnosti. Doporučení Jedná se o nálezy, jejichž vyřešení povede k větší intuitivnosti aplikace a může pomoci s rozšířením v rámci cílové skupiny. Kosmetické problémy Nálezy, které upozorňují na estetické problémy aplikace. Chyby aplikace Nálezy, které znepříjemňuji práci s aplikací, ale nezabraňují využití funkcionality. Kritické nálezy Nálezy, které je nutné neprodleně řešit, jelikož brání správnému fungování aplikace a znemožňují využití veškeré funkcionality. 6.1 Konkrétní nálezy Kategorie Doporučení Participant 1, 2, 5 Aplikace má sice jednoduchý design, ale participanti si stěžovali na absenci dynamické nápovědy, která by umožnila jednoduchý přechod z jiného rozhraní. Kategorie Kosmetické problémy Participant 1, 2, 3, 4 Při vytváření archivu činilo problém sledování formuláře, který je tematicky málo provázán. Nastavování hesla, komprese a další omezení archivu byl problém. Participant 1, 2, 3 Při zapnutí aplikace není viditelná adresářová struktura po vzoru WinRar. Kategorie Chyby aplikace Participant 1, 2, 3, 4, 5 Participanti měli problém se sloučením rozděleného archivu. Je sice rozdělen na části o určité velikosti a část se začátkem sekvence má rozdílný název, ale i přesto docházelo k opakovaným chybám. Participanti očekávali oznámení důvodu problémů, popřípadě naznačení řešení. Konkurenční aplikace vše řeší přehlednější číslovanou strukturou, která naznačuje, jakou částí rozděleného archivu se má začít. 12
Participant 1, 2, 4, 5 Participanti měli problém se strukturou nastavení aplikace. Chybělo jasné označení a určení základního nastavení aplikace. Kategorie Kritické nálezy Participant 1, 2, (3), 4, 5 Participanti měli problém s rozdělením archivu na části. Výsledný rozdělený archiv se musí nacházet ve stejné složce, jako archiv původní. Velkým problém je i to, že aby k rozdělení vůbec došlo, musí být zkopírována celá cesta adresářovou strukturou. Bez této cesty k rozdělení nedojde. Participant 1, 2, 5 Participanti měli problém s absencí zpětné vazby. Při úspěšném provedení akce je potvrzení v pořádku, ale v případě neúspěchu je nekonkrétní a neříká nic o chybě a nenaznačuje řešení. 13
7 Přílohy 7.1 Screener ID klienta: Aktuální datum: V případě nutnosti upřesnění, nebo nedostatečného místa na odpověď, kontaktujte prosím moderátora. Odpovědi nejsou nijak omezeny, ale zkuste se zaměřit na relevantní odpověď (i), která vás napadne jako první. č. Otázka Volná odpověď 1. Studujete, nebo pracujete? 2. Do jaké věkové skupiny patříte? (Formát 20 25 let, 25-30 let) 3. Jak a k čemu používáte PC? 4. Znáte aplikaci IZarc? 5. Jaký jazyk preferujete v rámci používání aplikací? 14
7.2 Odpovědi na Screener Otázka Participant 1 Participant 2 Participant 3 Participant 4 Participant 5 Studujete, nebo pracujete? Práce (Manažer prodeje) Student (ČVUT) Student (ČVUT) Student (ČVUT) Student (ČVUT) Do jaké věkové skupiny patříte? Jak a k čemu používáte PC? Znáte aplikaci IZarc? Jaký jazyk preferujete v rámci používání aplikací? 25-30 20-25 20-25 20-25 25-30 Práce s kancelářským SW v rámci platformy Apple. Hry, Internet, multimedia. Pro studium, pokročilejší práce z hlediska programování, web tvorby. Multimedia Studium, zábava (hry, hudba, film, knihy) Škola, psaní dokumentů, hry, komunikace. Ne Ne Ne Ne Ne Psaní web stránek, dokumenty do školy. Internet + multimedia. Čeština Čeština Čeština Čeština Čeština 15
7.3 Pre-test dotazník ID klienta: Aktuální datum: V případě nutnosti upřesnění, nebo nedostatečného místa na odpověď, kontaktujte prosím moderátora. Odpovědi nejsou nijak omezeny, ale zkuste se zaměřit na relevantní odpověď (i), která vás napadne jako první. č. Otázka Volná odpověď 1. Jaký používáte OS*? * Operační systém 2. Používáte prakticky aplikace ke kompresi a archivaci souborů? 3. Pokud je odpověď na předešlou otázku kladná! Jaké aplikace konkrétně používáte? 16
7.4 Post-test dotazník ID klienta: Aktuální datum: V případě nutnosti upřesnění, nebo nedostatečného místa na odpověď, kontaktujte prosím moderátora. Odpovědi nejsou nijak omezeny, ale zkuste se zaměřit na relevantní odpověď (i), která vás napadne jako první. č. Otázka Volná odpověď 1. Vaše dojmy? (Zhodnocení zážitku) 2. Vaše dojmy z testované aplikace? Děkujeme za vaši pomoc! 17