TESTOVÁNÍ S UŽIVATELEM Ashampoo Burning Studio - 1 - Luboš Doležal Michael Drdlíček Pavel Reiter Tomáš Velechovský Michal Vlček 18.12.2011
Obsah 1 ÚVOD... 3 1.1 Testování s uživatelem obecně... 3 1.2 Popis testovaného SW... 3 1.3 Cíle testování... 3 1.4 Popis testovacího zařízení.... 3 2 PARTICIPANTI... 4 2.1 Výběr participantů... 4 2.2 Popis výsledné skupiny participantů... 5 3 NASTAVENÍ TESTU... 6 4 PŘEHLED ÚKOLŮ... 7 4.1 Změna jazyka uživatelského prostředí... 7 4.1.1 Cíl úlohy 4.1:... 7 4.2 Smazání přepisovatelného média... 7 4.2.1 Cíl úlohy 4.2:... 7 4.3 Vytvoření obrazu (ISO) ze souboru/souborů... 7 4.3.1 Cíl úlohy 4.3:... 7 4.4 Vypálení tohoto obrazu na optické médium... 7 4.4.1 Cíl úlohy 4.4:... 7 5 ANALÝZA TESTOVÁNÍ... 8 5.1 Zápisy z rozhovorů... 8 5.1.1 1. Participant:... 8 5.1.2 2. Participant:... 8 5.1.3 3. Participant:... 8 5.1.4 4. Participant:... 8 5.1.5 5. Participant:... 9 5.2 Pre-test... 9 5.3 Post-test... 11 6 SOUHRN PROBLÉMŮ A NÁVRH ŘEŠENÍ... 16 7 ZÁVĚR... 16-2 -
1 ÚVOD 1.1 Testování s uživatelem obecně Testování s uživatelem slouží k odhalení chyb testovaného softwaru pomocí nezávislých uživatelů. Testování začíná u výběru uživatelů (participantů). Pro jejich vybrání je vytvořen screener, dotazník který vyplní každý uživatel přihlášený k testování. Před zahájením testu je důležité sestavit seznam úkolů, které má participant provádět. Podle vybrané cílové skupiny uživatelů určí vhodné participanty výsledky screeneru. Před testem každý participant vyplní pre-test, po testu pak post-test. Pre-test slouží k tomu, abychom se o uživateli dozvěděli více, než nám řekl screener. V post-testu jsou uživatelem shrnuty dojmy z testovaného softwaru a dojmy obecně z celého testu. Testování probíhá nejčastěji ve speciální laboratoři. V jedné místnosti je pouze participant a počítač s důležitým příslušenstvím, jako jsou kamera, mikrofon, reproduktory. Tým, který test vede, je ve druhé místnosti. S participantem je možné komunikovat jak zvukově, tak i obrazově. Na participantově PC je speciální software, který slouží k záznamu pracovní plochy, v druhé místnosti je stejný software, který zobrazuje činnost a umožňuje týmu zapisovat log. Jeden člen týmu je moderátor, ten komunikuje s participantem, je velmi důležité aby participant komentoval vše, co dělá. 1.2 Popis testovaného SW Předmětem testování s uživatelem byly vypalovací SW. Na výběr bylo z šestice programů. Pro test jsme si zvolili Ashampoo Burning Studio ve verzi 6.80.4312. Ashampoo je software pro snadné a pohodlné vypalování CD, DVD i Blu-ray nosičů. Vypalovat lze téměř všechny typy těchto nosičů, datová CD/DVD, audio CD, filmová DVD, kopírovat disky a vytvářet image. Program je možno používat i k zálohování dat a k ripování hudby do audio souborů. 1.3 Cíle testování Cílem testování byla orientace v grafickém rozhraní Ashampoo Burning Studio pomocí participantů, kteří mají s tímto software minimální až žádné zkušenosti. V testu jsme se primárně zaměřili na intuitivnost menu a jeho popisků. Dalším bodem testování byl srozumitelný feedback od aplikace, očekávaný při jednotlivých úkonech. 1.4 Popis testovacího zařízení. K testování s uživatelem byl použit stolní počítač s touto konfigurací: Intel Core 2 Duo 4300 1.8GHz, 2 GB RAM, Windows 7 Enterprise SP1, Monitor Dell s rozlišením 1280x960 obrazových bodů. Jako logovací software byl použit program Morae Observer, který umožňuje vzdálené připojení na počítač, na kterém probíhá testování a řídit takto testovací sezení vzdáleně. Jedná se o jednoduchou aplikaci, která umožňuje nastavit začátek a konec testování, začátek a konec jednotlivých úloh a během testu přidávat do záznamu markery. - 3 -
2 PARTICIPANTI 2.1 Výběr participantů Jako cílovou skupinu participantů jsme volili studenty ve věku 18 30, kteří mají základní znalosti s ovládáním PC a znalosti anglického jazyka na orientační úrovni. Dalším kritériem byla základní znalost principu vypalování dat na optické médium jakýmkoliv dostupným softwarem. Pro náš test jsme se úzce zaměřili na takové uživatele, kteří mají s Ashampoo minimální nebo žádnou zkušenost. K výběru nám posloužil screener (Obr. 1) a jeho vyhodnocení v tabulce 1. Obrázek 1 Screener. - 4 -
Vaše pohlaví? Muž (5) Žena (0) Váš věk? <19 (0) 19-20 (0) 21-22 (4) 23-24 (0) 25-27 (0) 28-30 (0) >30 (1) Kolik hodin týdně cca používáte počítač? 0-5 (0) 6-8 (0) 9-12 (0) 13-20 (0) >21 (5) Jaký používáte program k vypalování dat? Ashampo Burning studio (0) DiscJuggler (0) ImgBurn (0) Jiný (5) Jakčasto používáte SW pro vypalování? Denně (0) Týdně (0) Mesíčně (0) Méně nebo vůbec (5) Již jste se někdy účastnili testu uživatelského rozhraní? Ano (0) Ne (5) Tabulka č. 1 - Screener (v závorce jsou uvedeny počty odpovědí k dané možnosti). 2.2 Popis výsledné skupiny participantů Výslednou skupinu 5 participantů tvořili mladí muži ve věku 21-22 let, jeden uživatel byl starší 30 let. Výsledná skupina se nikdy nesetkala s námi testovaným softwarem a málokdy používá vypalovací software. Zkušenost s jiným vypalovacím softwarem má alespoň základní a počítač používá každodenně. Výsledek tedy splnil naše očekávání. Participanti se nikdy nezúčastnili testu uživatelského rozhraní. Nevýhodou je, že nemají zkušenosti s tímto druhem testovaní, na druhou stranu nejsou nijak ovlivněni předchozími testy. - 5 -
3 NASTAVENÍ TESTU Test proběhl v Usability Labu znázorněném na obr. č. 2. Základní set-up spočíval v připravení laboratoře pro testera, což obsahovalo: Obrázek 2UsabilityLab Spustit veškerou techniku pro záznam a testování. Nainstalovat na PC testovaný software. Připravit data na ploše vytvořit složky vypalit a iso s kterými se pracovalo. Připravit RW médium. Připravit a spustit logovací SW. Spustit vzdálené ovládání logovacího SW. Vytvořit cílové adresáře pro záznam úkolů jednotlivých participantů. Spustit a nasměrovat kamery. Nastavit hlasitost mikrofonů. Připravit participantům přehled úkolů. Po prvotním nastavení tedy přijde participant k zapnutému PC a na ploše má připravené mimo jiné 2 složky. Složka vypalit obsahuje 3 soubory s obrázky, které chceme vypálit. Do složky iso chceme vytvořit obraz disku. - 6 -
4 PŘEHLED ÚKOLŮ 1. Změna jazyka uživatelského prostředí 2. Smazání přepisovatelného média 3. Vytvoření obrazu (ISO) ze souboru/souborů. 4. Vypálení tohoto obrazu na optické médium 4.1 Změna jazyka uživatelského prostředí Při instalaci nového SW je jedna z prvních operací změna jazyka uživatelského rozhraní na svůj mateřský. V tomto programu byla defaultně nastavena angličtina. Úkolem participanta tedy bylo změnit jazyk uživatelského rozhraní na češtinu. 4.1.1 Cíl úlohy 4.1: Cílem úlohy je ověřit, zda i uživatelé s nízkou znalostí angličtiny intuitivně zvládnou přepnout jazyk na svůj mateřský. 4.2 Smazání přepisovatelného média Pro dočasnou zálohu dat je nejvhodnější využít přepisovatelného média, které je často nutné před samotným úkonem vymazat. V této úloze je úkolem participanta smazat obsah předpřipraveného přepisovatelného média. 4.2.1 Cíl úlohy 4.2: Smazání přepisovatelného média je jednou ze základních funkcí programu. Cíl této úlohy tedy je, zda uživatelé zvládnou snadno a rychle zvládnou pomocí programu jednoduché a často prováděné operace. 4.3 Vytvoření obrazu (ISO) ze souboru/souborů Tvorba obrazu disku se uplatňuje např. při záloze instalačních disků. Další z mnoha obvyklých operací, a proto má participant za úkol vytvořit obraz disku z připravených souborů. 4.3.1 Cíl úlohy 4.3: Tato úloha má za cíl ověřit, zda je menu programu pochopitelné i pro složitější a hůře dostupné funkce. 4.4 Vypálení tohoto obrazu na optické médium Vypálení obrazu disku navazuje na předchozí úkoly, po úspěšném vytvoření obrazu musí participant obraz následně vypálit na již prázdné médium. 4.4.1 Cíl úlohy 4.4: Úloha ověří, zda je pochopitelná nejzákladnější funkce celého programu, tedy vypálení dat na médium. - 7 -
5 ANALÝZA TESTOVÁNÍ 5.1 Zápisy z rozhovorů V příloze na konci dokumentu jsou připojeny pre-testy a post-testy. Participanti souhlasili s nahráváním a uchováním záznamu na videu. Veškeré zápisky a záznamy jsou anonymní. Obtížnost úloh byla hodnocena na stupnici jako ve škole známkami od 1 do 5, kde 1 je nejlehčí a 5 je nejtěžší. Následuje krátké formální shrnutí jednotlivých participantů. 5.1.1 1. Participant: Tento účastník už se účastnil podobného testování, proto dobře popisoval průchod testem. První úkol vyřešil ihned. S druhým úkolem si také poradil bez problému, vše v menu programu rychle našel. Problém nastal při řešení třetí úlohy, kde participant očekával jiné chování od programu. Čtvrtou úlohou opět zvládl bez jediného zaváhání. Participant ohodnotil náročnost programu jako lehkou, označil známkou 2, jako nejtěžší hodnotil třetí úlohu známkou 4. Nejlehčí úloha pro něj byla první - známka 1. 5.1.2 2. Participant: Změnu jazyka zvládl tento participant dobře. Program je nutné pro projevení změn restartovat, tomuto participantovi chvíli trvalo, než na tento krok přišel. Druhá úloha proběhla bez problému. Potíže nastaly opět při řešení třetí úlohy, kde participant očekával jiné chování od programu. Když už našel správnou volbu v menu, špatné popisky ho zmátli. Úlohou prošel až po intervenci moderátora. Vypálení vytvořeného ISO souboru už participant zvládnul bez problému. Participant ohodnotil náročnost programu na začátku testu známkou 1 jako nejméně náročné, ale na konci testu už hodnotil známkou 3. Jako nejobtížnější mu připadala třetí úloha s hodnocením 4, naopak jako nejlehčí úlohu označil úlohu č. 1. 5.1.3 3. Participant: První úkol opět proběhl v pořádku, jen si nebyl jistý restartem programu pro změnu jazyka. Mazání přepisovatelného disku je v programu intuitivní, což dokazuje i to, že ani 3. participant neměl problémy. Hlavní problém nastal opět u třetí úlohy, kde díky špatným popiskům v menu pro vytvoření ISO souboru z disku nemohl najít řešení problému. Uživatel začal vytvářet projekt místo ISO souboru, což bylo úplně špatně. Poslední úkol nedělal participantovi opět žádný problém. Náročnost programu ohodnotil třetí participant na začátku i na konci stejně známkou 2. Nejtěžší úlohou pro něj byla úloha č. 3, kterou ohodnotil známkou 2. Nejlehčí pak úloha č. 1 - známka 1. 5.1.4 4. Participant: První úkol zvládnul participant dobře, pochopil i díky anglickému upozornění, že je nutno program restartovat. Smazání RW disku našel hned a bez problému. I tuto úlohu provedl celkem bez obtíží. Po dokončení této úlohy byl participant poměrně zmaten použitím tlačítka zpět, které ho podle jeho očekávání nevrátilo do hlavního menu, ale k nabídce dalšího smazání disku. Po návratu do menu pokračoval třetí úlohou. Našel správnou volbu pro vytvoření ISO souboru, ale práce v submenu je dost neintuitivní a i když kliknul na správnou - 8 -
položku, nebyl si tím vůbec jistý. Po vytvoření ISO souboru už jeho vypálení na RW disk proběhlo bez obtíží. Tomuto participantovi přišel na začátku program těžší - známka 2, než na konci testu - známka 1, všechny kroky ohodnotil známkou 1 i přes obtíže u třetí úlohy. 5.1.5 5. Participant: První úloha nebyla pro participanta žádným problémem. Smazání disku zvládnul participant taky v pořádku. Problém nastal opět až u vytváření ISO souboru. Participant si stěžoval, že menu není úplně lidsky popsaný, což potvrdili už zkušenosti z předchozího testování. Nejdřív nastal jistý problém s pochopením zadání, a potom stejně jako v předchozích případech, byl problém s pochopením popisků v submenu, kde opět metodou pokus-omyl došel participant ke zdárnému řešení. Vypálení samotného ISO souboru už proběhlo bez problémů. Pátý participant hodnotil náročnost ovládání programu po celou dobu testu známkou 2. Nejlehčí pro něj byla první úloha - známka 1, ostatní úlohy hodnotil stejně známkou 2. 5.2 Pre-test Pro pre-test byl použit formulář Google-Doc (viz Obr. 3). A jeho vyhodnocení je zaneseno v tabulce č. 2. Obrázek č. 3 Pre-Test - 9 -
1. participant 2. participant 3. participant 4. participant 5. participant Pokud studujete, jaké zaměření? ČVUT FEL- STM ČVUT FEL- STM ČVUT FS ČVUT FEL- STM UK MFF Pracujete? Ne Ano Ne Ano Ano Jaký druh SW preferujete? Je mi to jedno/nevím Je mi to jedno/nevím Je mi to jedno/nevím Shareware /Freeware Shareware/ Freeware S kolika vypalovacími programy jste již pracovali? 2-3 2-3 2-3 2-3 2-3 Zvažovali jste někdy nákup SW? Ano Ne Ne Ano Ano Tabulka č.2 - Pre-test. - 10 -
5.3 Post-test Pro vyplnění post-testu byl použit formulář z balíčku Google-Doc (Obr. 4 Obr. 6) Náplň otázek, jejich pořadí, i odpovědi od participantů jsou zaznamenány a vyhodnoceny v grafech (viz. níže). Všechny otázky byly povinné kromě otázky Jak byste hodnotili moderátora?. Obrázek 4 Post-Test část 1. Otázky na testovanou aplikaci. - 11 -
Obrázek 5 - Post-Test část 2. Otázky na průběh testu. - 12 -
Obrázek 6 - Post-Test část 3. Dodatečné otázky. - 13 -
Post-Test Jak byste hodnotili náročnost ovládání Jak byste hodnotili náročnost ovládání Ohodnoťte grafický design testované aplikace Ohodnoťte obtížnost kroku 1 Ohodnoťte obtížnost kroku 2 Ohodnoťte obtížnost kroku 3 Ohodnoťte obtížnost kroku 4 Jak byste hodnotili moderátora. 0 1 2 3 4 5 6 5 4 3 2 1 Graf č. 1- Souhrn otázek které bylo možné odpovědět v rozsahu 1 až 5(nejhorší). Ocenil/a by jste více nápovědy během testu? Možná; 1; 20% Ano; 1; 20% Ne; 3; 60% Graf č. 2 Vyhodnocení otázky Ocenil/a by jste více nápovědy během testu?. - 14 -
Máte pocit, že Vás test poškodil? Ano; 0; 0% Možná; 2; 40% Ne; 3; 60% Graf č. 3 Vyhodnocení otázky Máte pocit, že Vás test poškodil?. - 15 -
6 SOUHRN PROBLÉMŮ A NÁVRH ŘEŠENÍ Celkově je grafické prostředí Ashampoo kvalitně zpracováno, většinu úloh by dokázal odvodit i absolutní laik, bohužel je zde jedna veliká chyba, která by měla být odstraněna. Čili jako jediný, ale zároveň dosti závažný problém, jsme zaznamenali u úlohy č. 3 (Vytvoření obrazu (ISO) ze souboru/souborů), kde rozhraní naprosto selhalo. Popisek u interakčních prvků (Obr. 7) pro vytvoření ISO je dosti matoucí a tak většina participantů nejdříve váhala co vůbec zvolit, a poté volili jiné, špatné prvky a dostávali se k vytváření úplně jiných operací. Doporučovali bychom změnit popisky v menu, nebo ho lépe strukturovat. Obrázek 7 Základní menu, podmenu vytváření obrazů. 7 ZÁVĚR Byla úspěšně provedena úloha zadaná v rámci semestrální práce do předmětu A7B39TUR- Deliverable B1/B2: Test uživatelského rozhraní programu s uživateli. Jako testovaný program, jsme si z nabídky možných programů k otestování zvolili Ashampoo. Jako další krok jsme zvolili úlohy, které budou muset participaci splnit viz bod 4 nahoře, dále jsme pro potřeby úlohy jsme sestavili screener, pre-test a post-test. Screener jsme volili tak aby dotazy v něm byly relevantní pro případného zadavatele, ale nemohli jsme na jeho základě provádět vyřazování z technických důvodů nedostatku participantů. Pro pre-test jsme opět volili otázky, které by byly relevantní pro případného komerčního zadavatele testu, ale také jsme si chtěli doplnit informace o zkušenostech uživatelů s jinými obdobnými programy. - 16 -
Nakonec jsme v rámci post-testu sbíraly z pohledu testu nejdůležitější data a to jak sami uživatelé vnímaly jednotlivé části testu, program a samotný test. Při samotném testování došlo k několika drobným chybám, které byly způsobeny jako důsledek malých zkušeností s obdobnými testy. Navíc u posledního participanta došlo k závažnější chybě v testování, která si vyžádala restartování počítače. Tato chyba byla způsobena částečně participantem a částečně technikou. Teoreticky by této chybě šlo do budoucna předejít dodatečnými informacemi (zákazy) u zadání úkolu pro participanta. Při testování bylo nalezeno několik chyb v uživatelském rozhraní programu viz obr. 7. Dalšími kroky v testování by bylo rozšíření testu o větší počet účastníků (participantů), oprava či doplnění pre/post testů a případné nastavení screeneru pro větší počet participantů. Navíc by test mohl být rozšířen o počítačovou asistenci detekce emocí participantů pomocí sledování výrazů v obličeji a emocí v hlase a taktéž by mohla pomoci i heatmapa pohybu kurzoru při jednotlivých úkolech. - 17 -