ČESKÉ VYSOKÉ UČENÍ TECHNICKÉ V PRAZE FAKULTA ELEKTROTECHNICKÁ PŘEDMĚT TESTOVÁNÍ UŽIVATELSKÝCH ROZHRANÍ (A7B32TUR) 2011/2012 ÚLOHA B2 Deliverable B2 CDBurnerXP Vypracovali: Peter Smatana Michal Rodina Ondřej Krejčíř Tomáš Kocfelda Marián Vařecha Vedoucí práce: Ing. Ondřej Poláček
OBSAH 1 Úvod... 3 2 Popis procedury sběru dat... 4 2.1 Nastavení testu... 4 2.2 Výběr participantů... 4 2.2.1 Screener... 4 2.2.2 Popis výsledné skupiny participantů... 6 2.3 Popis úkolů pro participanty... 6 2.3.1 Vypálit soubor na disk (přepisovatelný)... 6 2.3.2 Smazat přepisovatelný disk... 6 2.3.3 Vytvořit a uložit projekt/kompilaci jako ISO image... 6 2.3.4 Vypálit disk dle ISO image na disku... 6 3 Popis nasbíraných dat... 7 3.1 Dotazníky... 7 3.1.1 Pre-test dotazník... 7 3.1.2 Post-test dotazník... 8 3.2 Logy... 9 3.2.1 Participant 1... 9 3.2.2 Participant 2... 9 3.2.3 Participant 3... 10 3.2.4 Participant 4... 10 3.2.5 Participant 5... 11 4 Soupis problémů a jejich řešení... 12 5 Závěr... 13 TUR 2011/2012, Deliverable B2 Strana 2
1 ÚVOD Tento dokument obsahuje nasbíraná data v rámci testování programu na vypaloání CD Burner XP. Úloha B1 se zabývá testováním s uživateli. Testování předchází výběr participantů na základě výběru ze vstupního dotazníku, tzv. screeneru. V den testování jsme se nejdříve seznámili s laboratoří. Ty tvoří dvě místnosti. V jedné participant pod dohledem moderátora provádí zvolené případy užití a ve druhé tzv. Observer room několik lidí pozoruje a zapisuje chování participanta. Participant kromě screeneru vyplňuje ještě další dva dotazníky. Jeden před testováním, tzv. pre-test, následně druhý po ukončení testování, tzv. post-test. Pre test rozšiřuje informace získané ve screeneru a přibližuje participantovo chování během testu. Při testování participant provádí úkol po úkolu podle scénáře, přičemž je nutné, aby participant podával verbální zpětnou vazbu o to, co dělá, jakým způsobem uvažuje a s čím má problémy. Moderátor nesmí napovídat, protože by ovlivnil průběh testu a informace by ztrácely na relevantnosti. Testovány byly základní funkce programu, u kterých je pravděpodobné, že je využije většina uživatelů. Po skončení testování vyplňuje uživatel Post-test dotazník. Jeho předmětem je zjistit, co se uživateli na programu líbilo či naopak. Důvody testování Testování uživatelského rozhraní s uživatelem, obecně, je velmi silným nástrojem při snaze pochopit jak a proč uživatelé používají počítačové aplikace. I návrhář s dlouholetou praxí, je ovlivňován svými vlastními znalostmi, které mu do jisté míry brání navrhnout rozhraní tak, aby bylo srozumitelné každému. Jedině konkrétní průchod nezávislým uživatelem, může poskytnou objektivní náhled na rozhraní jako celek i jeho jednotlivé části. K testování uživatelského rozhraní programu CD Burner XP, jsme přistoupili, jelikož jsou veřejně známé nedostatky v jeho návrhu a realizaci. Testováním jsme tedy chtěli zjistit, do jaké míry tyto nedostatky ovlivní (či dokonce zhatí) snahu uživatele splnit úkoly, u kterých se domníváme, že by je měl zvládnou každý, kdo vypalovací programy, alespoň čas od času, používá. Cíle testu Cílem testu bylo sestavit resumé, se soupisem, ohodnocením a návrhem řešení nalezených chyb a nedostatků. Jelikož testovaní probíhá s živými lidmi, lze do vyhodnocení zahrnout i subjektivní pocity uživatelů získané na základě souvisejících dotazníků, které mají význam pro budoucí vylepšování uživatelského rozhranní. Ze základních zásad HCI, totiž plyne, že dobře navržené UI umožní aplikaci nejen úspěšně používat, ale používat ji s přehledem, komfortně a v klidu. TUR 2011/2012, Deliverable B2 Strana 3
2 POPIS PROCEDURY SBĚRU DAT 2.1 Nastavení testu Testování probíhalo v Usability Labu v budově E ČVUT v Praze na Karlově náměstí. Participant room by měla navodit dojem běţného PC pracoviště. V místnosti byl s participantem přítomen pouze moderátor testu. Komunikace s Observer room probíhala pouze pomocí mikrofonů. Schematický nákres testovacích místností Fotografie participant místnosti Konfigurace testovaného PC Intel Core2 4300 1.8GHz 2GB RAM Windows 7 Enterprise LCD monitor 1280x960 2.2 Výběr participantů V testované skupině jsme chtěli mít rovnovážné zastoupení mužů a žen. Nakonec jsme testovali 3 muže a dvě ženy. Preferovali jsme uživatele, který mají dobrou uživatelskou zkušenost s PC a orientují se ve vypalování CD/DVD. Participanty jsme vybíraly z řad svých známých, přátel a učitelů. Potenciální participanty jsme oslovovali přímo. TUR 2011/2012, Deliverable B2 Strana 4
2.2.1 Screener S1: Do jaké věkové kategorie patříte? <15 let 16-19 20-25 26-35 >35 S2: Mohu se dostavit v čase: Testování proběhne v prostorách FEL dne 23.11.2011 15:00-15:40 15:40-16:20 16:20-17:00 Jiné: S3: Vaše dosažené vzdělání Základní Vyučen Střední s maturitou Vysokoškolské Jiné: S4: Povolání Student IT technik Žena v domácnosti Jiné: S5: Jak často používate počítač? Zaškrtněte prosím nejvyšší možnou kategorii, do které patříte Nikdy Méně jak jednou měsíčně Méně jak jednou týdně Méně jak třikrát týdně Denně Neustále S6: Jaký operační systém používáte? Windows XP či starší Windows Vista Windows 7 Linux (a jiné OS založené na UNIX) MacOS Jiné: S7: Jakým způsobem zálohujete data CD, DVD, BlueRay Diskety 3,5 či diskety ZIP Flash paměti Externí disky Nezálohuji Jiné: S8: Absolvoval/a jste někdy podobný test za poslední rok? * Ano Ne TUR 2011/2012, Deliverable B2 Strana 5
2.2.2 Popis výsledné skupiny participantů P1 P2 P3 P4 P5 S1 26-35 20-25 26-35 16-19 26-35 S2 15:00-15:40 15:00-15:40 15:00-15:40 15:00-15:40 15:40-16:20 S3 Výzkumník Student logistik Student Stolař S4 Neustále Denně Denně Denně Denně S5 Windows XP či starší Windows 7 Windows 7 Windows 7 Windows 7 S6 Ano Ano Ne Ne Ne S7 Vysokoškolské Střední s Vysokoškolské Střední s Střední s S8 CD, DVD, BlueRay, Flash paměti, Externí disky, online (FTP / dropbox apod.) maturitou CD, DVD, BlueRay, Externí disky maturitou maturitou Externí disky Flash paměti Externí disky 2.3 Popis úkolů pro participanty 2.3.1 Vypálit soubor na disk (přepisovatelný) Vložte přepisovatelný disk (CD/DVD-RW) do mechaniky a spusťte program CDBurnerXP umístěný na ploše. Pokuste se vypálit soubor tur.txt umístěný na ploše ve složce TUR_DATA na přepisovatelný disk. Soubor vypalte nejnižší možnou rychlostí a nezapomeňte, abyste neuzavřeli přepisovatelný disk (CD/DVD-RW) pro další vypalování. 2.3.2 Smazat přepisovatelný disk Data na přepisovatelný disk (CD/DVD-RW), které jste vypálili, se pokuste smazat z disku opět pomocí programu CDBurnerXP. Přesvědčte se, že přepisovatelný disk (CD/DVD-RW) máte v mechanice (po vypalování se mohla mechanika vysunout). Přepisovatelný disk (CD/DVD-RW) odeberte z mechaniky. 2.3.3 Vytvořit a uložit projekt/kompilaci jako ISO image Nyní prosím vytvořte ISO image ze souboru image.txt, který je umístěný na ploše. Výsledný ISO image uložte na plochu. Přepisovatelný disk (CD/DVD-RW) v mechanice není potřeba. 2.3.4 Vypálit disk dle ISO image na disku Vložte přepisovatelný disk (CD/DVD-RW), ze kterého jste ve druhém úkolu smazali soubor tur.txt. Výsledný ISO image (image.iso) vypalte opět na přepisovatelný disk (CD/DVD-RW). Soubor vypalte co nejnižší rychlostí a nezapomeňte, abyste neuzavřeli přepisovatelný disk (CD/DVD-RW) pro další vypalování. TUR 2011/2012, Deliverable B2 Strana 6
3 POPIS NASBÍRANÝCH DAT 3.1 Dotazníky 3.1.1 Pre-test dotazník Pohlaví Jak často vypalujete CD/DVD? Znáte nějaký z těchto vypalovacích programů? o Free Easy CD DVD Burnet o ImgBurn o CDBurnerXP o DeepBurnerXP o DiscJuggler o Ashampoo Burning Studio Jaký vypalovací program používáte? o Free Easy CD DVD Burnet o ImgBurn o CDBurnerXP o DeepBurnerXP o DiscJuggler o Ashampoo Burning Studio o Jiné: 3.1.1.1 Souhrn Participant 1 Participant 2 Participant 3 Participant 4 Participant 5 Pohlaví Muž Žena Muž Žena Muž Jak často Častěji jak Častěji jak Častěji jak Častěji jak Méně jak vypalujete jednou ročně jednou ročně jednou ročně jednou ročně jednou ročně CD/DVD Znáte nějaký z těchto vypalovacích programů? žádný Ashampoo Burning Studio žádný žádný Ashampoo Burning Studio Jaký vypalovací program používáte? Jiné: Nero Ashampoo Burning Studio, Alcohol Jiné: Nero Jiné: Nero Jiné: Nero TUR 2011/2012, Deliverable B2 Strana 7
3.1.2 Post-test dotazník Jak jste se během testování cítil/a? Zaujal Vás něčím Vámi testovaný program? Jak jste se v programu orientoval/a? 3.1.2.1 Souhrn Jak jste se během testování cítil/a? Zaujal Vás něčím Vámi testovaný program? Jak jste se v programu orientoval/a? Participant 1 Participant 2 Participant 3 Participant 4 Participant 5 Normálně, Měla jsem Velmi dobře. Klidně, bez Velmi dobře. dlouho jsem pocit, že musím Uživatelské problému četl, co dělat. vše udělat prostředí rychle. Byla aplikace jsem z uzpůsobeno i programu hlece pro zmatená jeho absolutního nepřehledností. laika v této činnosti. Ne Ničím Program mě Jednoduchý, Příjemným zaujal svou čitelný, snadno uživatelským jednoduchostí se v něm prostředím. při ovládání. orientuje. Jednoduchou Nepřehledný Moc jsem se neorientovala, program byl nepřehledný, ikony nejasné. Nelogický vstup do horního menu Orientace výborná, s ničím nebyly problémy. Snadno. obsluhou. Obtížnější převádění ISO souborů. TUR 2011/2012, Deliverable B2 Strana 8
3.2 Logy 3.2.1 Participant 1 První participant navenek vystupoval jako úplný lajk. Spolupráce s ním probíhala bez problémů, kromě nedostatečného slovního komentáře během testování. Nezávisle na participantovi se bohužel vyskytla komplikace, kdy program zamrznul. Čas Popis 0:03:11 Task 1 0:03:25 Správně vybral vypálit datový disk 0:04:14 Nastavení parametrů, předpokládá, že rychlost vypalování se nastaví dále. 0:04:22 Vypaluje se, překvapen, že rychlost vypalování není k nastavení 0:05:47 Task 2 0:09:13 Nebyl žádný problém s mazáním disku, program jen trochu zamrzl. 0:10:39 Task 3 0:11:21 Špatná cesta (výběr vypálení souboru.iso) 0:13:59 Správná cesta nalezena 0:14:52.iso soubor vytvořen 0:16:49 Task 4 0:17:06 Výběr vypálení souboru.iso 0:19:48 Hotovo 3.2.2 Participant 2 Tento participant se již v minulosti (nedávné) s testováním UI setkal, spolupráce tedy byla o to lehčí. Čas Popis 0:29:06 Task 1 0:32:49 Neví jak cd vypálit. 0:35:29 Pořád neví. 0:35:39 Asistent musel poradit. 0:36:05 Úspěšně vypalujeme. 0:36:52 Task 2 0:38:30 Task 3 0:39:52 Měla vybrat iso, vybrala nový disk. 0:40:21 Jde hned iso vypalovat - špatně. 0:40:52 Asistent trochu radí. 0:41:15 Asistent radí jak otevřít a najít iso. 0:42:14 Nakonec se podaří. 0:42:18 Task 4 0:43:02 Hotovo TUR 2011/2012, Deliverable B2 Strana 9
2.3 Participant 3 Tento participant měl výrazné problémy s přemýšlením nahlas a bylo třeba jej často žádat o komentář. Čas Popis 0:45:37 Task 1 0:49:57 Neví jak na to. 0:52:59 Zobrazila se mu nabídka na vypálení disku, neví jak dál. 0:53:36 Nakonec se vypaluje. 0:54:48 Neví co s uložením konfigurace. 0:55:25 Task 2 0:55:43 CD smazáno v pořádku. 0:57:10 Task 3 0:57:57 Jde na to špatně, dal vypalovat iso disk. 0:58:55 Neví jak vytvořit iso disk. 1:00:17 Jde na to dobře. 1:00:37 Úspěšně vytvořil projekt. 1:00:46 Task 4 1:01:20 Hotovo 3.2.4 Participant 4 Participant po celou dobu testu, komentoval všechny své kroky. Čas Popis 1:08:34 Task 1 1:11:59 Zvolila správně datový disk. 1:12:58 Chápeš kam přidávat soubory. 1:13:35 Není si jistá dalším krokem. 1:14:51 Task 2 1:15:59 Mazání proběhlo v pořádku 1:16:04 Task 3 1:16:56 Špatná cesta, dává vypalovat iso disk. 1:17:39 Stále špatná cesta. 1:17:50 Hledá. 1:18:26 Asistent radí. 1:18:45 Nalezla cestu. 1:19:08 Hledá možnost uložit jako iso místo vypalování 1:20:25 Task 4 1:20:57 Hotovo TUR 2011/2012, Deliverable B2 Strana 10
3.2.5 Participant 5 Poslední participant opět velmi stroze komentoval své kroky při testování. Pokud však narazil na problém, ihned jej začal slovně popisovat. Čas Popis 1:26:10 Task 1 1:27:03 Uživateli není jasné jak se dostat do menu vytváření disku. 1:27:26 Uživatel se nakonec zorientuje v seznamu souborů i v rozvržení programu. 1:27:43 Uživatel začal vypalovat soubor. 1:28:57 Task 2 1:29:18 Bez problému nalezena odpovídající nabídka menu. 1:29:34 Zahájeno mazání disku. 1:30:21 Task 3 1:31:04 Špatná cesta, uživatel chce vypálit iso disk. 1:32:13 Uživatel se pokouší najít kontextovou nabídku programu na souboru. 1:32:40 Uživatel zvolil správnou možnost z nabídky. 1:33:17 Uživatel přehlédnul možnost uložení souboru z nabídky Soubor. 1:33:28 Uživatel zvolil možnost uložit jako. 1:34:17 Špatná cesta 1:35:35 Uživatel našel správnou volbu. 1:35:42 Uživatel pravděpodobně netuší, proč iso ukládá. 1:35:59 Nepoznal úspěšné ukončení úlohy. 1:36:12 Task 4 1:36:31 Uživatel bez problému nachází nabídku pro vypálení iso souboru. 1:37:07 Uživatel prochází možnosti programu. 1:37:17 Hotovo TUR 2011/2012, Deliverable B2 Strana 11
4 SOUPIS PROBLÉMŮ A JEJICH ŘEŠENÍ V celém našem testování se objevily dva hlavní problémy. První se kterým se naši participanti potýkali bylo to, že nedokázali nastavit rychlost vypalování. Myslíme, že by bylo vhodné zařadit někam těsně před zahájením vypalování volbu, která by umožňovala vybírat si rychlosti vypálení daného media. Toto umístění bychom volili hlavně proto, že většina participantů očekávala podobný druh volby právě v této části. Druhým a o dost větším problémem bylo vytvoření.iso souboru. Naši participanti si bez vyjímky nevěděli rady s vytvořením tohoto souboru. Jakmile zaregistrovali zmínku o ISO (což bylo v menu pouze jako položka Vypálit ISO soubor na disk), okamžitě vybrali tuto volbu, i přesto, že daný ISO soubor předtím nevytvořili. Proto by podle mého názoru bylo vhodné sloučit nabídku pro ISO soubory pod jednu položku menu. Takto to výrazně stěžuje orientaci. A dokonce i pokud participaci věděli, že daná položka menu, vůbec neodpovídá tomu, co chtějí udělat. Zkoušeli na toto kliknout protože je jiný logický postup nenapadl. Pár participantům se sice povedlo vytvořit.iso bez užití rady, ale tito na to přišli pouze "šťastnou náhodou". Správný průchod nejproblémovějším scénářem TUR 2011/2012, Deliverable B2 Strana 12
5 ZÁVĚR Vzhledem k časovému rozvrhu nám velmi vyhovovalo, že testování probíhalo překvapivě rychle. Pomohlo nám taky, že jsme s jednotlivými participanty pracovali paralelně (jeden vyplňoval pre-test, druhý byl mezitím testován a další zakončoval testování post-testem). Díky testování jsme v programu nalezli několik chyb. Nejsou příliš zásadní, mohou ovšem uživatele odradit v používání daného programu. Pro lepší srozumitelnost a přístupnost programu uživatelům, by bylo záhodno tyto chyby napravit. Funkčnost programu ale nenarušují a uživatel, kterému by nevadilo strávit hledáním komponent více času, by určitě přišel na řešení problémů, které jsme nalezli. TUR 2011/2012, Deliverable B2 Strana 13