Dokument B2 k testování s uživatelem v ULABu

Transkript

1 Dokument B2 k testování s uživatelem v ULABu Test proběhl ve úterý od 14 hodin. Tým složený ze studentů čtvrtečního cvičení od 18h. Cvičící, pan Ing. Ondřej Poláček. polacond@fel.cvut.cz Odevzdání dne Tým: Luboš Vonásek - vonaslub@fel.cvut.cz Jakub Dlouhý - dlouhjak@fel.cvut.cz

2 Obsah 1 Úvod Participanti Jakou skupinu participantů jsme plánovali získat Způsob výběru participantů Popis výsledné skupiny participantů Nastavení testu Popis úkolů pro participanty Vypálit CD dle ISO image na disku Smazat přepisovatelný disk Vypálit data na CD bez uzavření Vypálit soubor (soubory) na disku Analýza plnění úkolů Participant Participant Participant Participant Participant Soupis problemů a návrh řešení Tlačítko pro vypálení Feedback po dokončení vypalování Podpora Drag&drop Tlačítko pro vymazání disku Úplné/rychlé formátovaní Logy Participant Participant Participant Participant Participant Přílohy Screener Pre-test dotazník Post-test dotazník Závěr...18

3 1 Úvod Zabývali jsme se testováním programu DeepBurner. Testování probíhalo tak, že jsme pozorovali uživatele, který měl několik úkolů v tomto programu. Tímto způsobem testování se obvykle naleznou nedostatky softwaru, které testováním bez uživatele nenalezneme. Cílem testu bylo zhodnotit výše uvedený software. Tento úkol byl zadán katedrou HCI v rámci předmětu Testování uživatelského rozhraní. 2 Participanti 2.1 Jakou skupinu participantů jsme plánovali získat Jako cílovou skupinu jsme zvolili vysokoškolské studenty, naším základním požadavkem bylo, aby ovládali práci na PC a měli představu, jaké jsou běžné operace při vypalování CD/DVD. 2.2 Způsob výběru participantů Všichni členové týmu oslovili co nejvíce možných participantů. Bohužel většina participantů musela odmítnout, protože v čas testování neměli volno. Ostatním jsme různými formami doručili screener a podle jejich vyplnění jsme provedli výběr. Screener je k dispozici na konci dokumentu. 2.3 Popis výsledné skupiny participantů Výsledná skupina participantů se skládá z vysokoškolských studentů různorodých zaměření, která používá PC denně. Ve skupině se nacházejí participanti, kteří hrají hry a zároveň používají PC k práci. Každý člen ve skupině má zkušenosti s vypalováním CD/DVD v různých programech. Žádný z nich však nepoužívá námi testovaný DeepBurner. 3 Nastavení testu Test probíhal v Praze na Karlově náměstí v Usability Labu v budově ČVUT. Testování programu probíhalo v uzavřené místnosti, kde se nacházel pouze počítač a několik kusů nábytku, které měli vzbuzovat v uživateli dojem, že se nachází u někoho známého doma. Místnost byla akusticky propojená s vedlejší místností pomocí nenápadného mikrofonu na stole a hlasitého reproduktor, pomocí kterého jsme s uživatelem komunikovali během testu. Během testování byl pořizován záznam toho, jak práce s programem probíhala a to dvěma způsoby. Prvním bylo zaznamenávání obrazovky z počítače a druhým záznam videokamerou, kterým jsme mohli sledovat uživatelovo reakce na program. Konfigurace počítače, na kterém probíhal test byla následující: Intel Core GHz, 2GB RAM Windows 7 Enterprise sp1 Monitor Dell, rozlišení 1280x960

4 Testovací místnost vypadala následovně: Obr.1 Pozorovací část Ulabu(převzato ze zdroje 4 Popis úkolů pro participanty Úkoly pro participanty byly zvoleny tak, aby vycházeli z reálných situací, aby bylo jasné, co se po něm/ní chce. Úkoly jsou vybrány a seřazeny tak, aby uživatel použil pouze jedno médium během celého testování a aby po skončení stav média byl stejný jako na začátku. 4.1 Vypálit CD dle ISO image na disku Vžijte se do situace, že Vám známý dal na flash disku soubor typu ISO a vás požádal, abyste mu tento image vypálil na CD. Otevřete si program DeepBurner a vypálit ISO soubor. Tento ISO soubor je umístěný na ploše a jmenuje se data.iso. Po dokončení vypalování program zavřete a prozkoumejte, co se vypálilo na CD. 4.2 Smazat přepisovatelný disk Zjistili jste, že na CD nejsou žádná potřebná data. Rozhodli jste se tedy, že CD smažete. Znovu si otevřete stejný program a smažte CD, po dokončení operace zkontrolujte, že se CD opravdu smazalo. 4.3 Vypálit data na CD bez uzavření Na ploše je dokument, který potřebujete vypálit. CD po vypálení nechcete uzavřít, aby bylo možné na médium přidat v budoucnu další soubory. V DeepBurneru založte nový projekt a vypalte z plochy soubor dokument.pdf. 4.4 Vypálit soubor (soubory) na disku Představte si situaci, že si potřebujete vypálit MP3 písničky na CD, abyste je mohli poslouchat v autě. Opět si otevřete DeepBurner a vypalte na CD složku MP3, která je umístěná na ploše. Na CD mohou být nějaká data, MP3 k datům přidejte a poté disk smažte.

5 5 Analýza plnění úkolů 5.1 Participant 1 Tento participant se již zúčastnil jednoho testování jiného týmu, ale nikoliv programu DeepBurner. Jasně popisoval problémy, které při používání programu nastaly. Některé hodnotil až příliš negativně. Při plnění úkolů měl problém najít v programu tlačítko na vypálení na disk. Dále hodnotil feedback programu jako nedostačující a akustický feedback při vypálení disku ho spíše vyděsil. Po vypálení ISO obrazu se disk jevil jako prázdný. 5.2 Participant 2 Stejně jako předchozí i tento participant se zúčastnil jiného testování, nicméně netestoval a ani nezná program DeepBurner. Participant byl velice výřečný, možná až příliš, moderátor nemusel skoro vůbec zasahovat do průběhu vypalování. Měl stejný problém s nalezením tlačítka na vypálení a hodnotil záporně feedback softwaru. Při vypalování DVD bez uzavření měl problém tuto volbu zadat do programu, protože nepochopil, že je to myšleno výrazem vícesektorový disk. Vypálený ISO obraz se jevil jako neprovedený, ačkoliv program potvrdil úspěšné vypálení. 5.3 Participant 3 Další participant preferoval klávesové zkratky a rychlé volby typu drag&drop, ale program tyto volby nepodporuje. Při hledání tlačítka na mazání disku strávil poměrně dlouhý čas, než danou volbu nalezl. Jako ikona pro mazání je v programu DeepBurner ikona se šipkami, která spíše připomíná ikonu aktualizace. Dále se mu nelíbilo, že program se zastaví při vypalování na 100 procentech, odhadovaný čas do konce vypalování je 0:00, ale strávený čas pořád běžel a program nedává informaci o tom, co právě dělá. 5.4 Participant 4 Další participant měl velké potíže s GUI programu, založil nový projekt a pak teprve chtěl načíst ISO soubor, při tom program dává volbu ISO hned na začátku. Dále při selhání vypalování se snažil DVD otevřít, aby zjistil, co se na DVD vypálilo. Stejně jako ostatní participanti měl problém s nalezením tlačítka na vymazání DVD. Dále byl znepokojen nedostatečným feedbackem, např. při vypalování, kdy program ukáže 100% hotovo a program stále pracuje. Dále nevěděl, pokud chce vypálit MP3 do CD přehrávače s MP3, jestli nemá zvolit audio CD. 5.5 Participant 5 Poslední participant očekával feedback programu již po založení projektu. Po vypálení ISO obrazu zavírá program a ten jí zobrazí hlášku, jestli chce projekt uložit. Participant je touto hláškou zmaten. Při úkolu smazání disku zakládá nový projekt a při vymazání zvolí úplný formát. Na toto formátování program nedá žádné varování, že trvá velice dlouho a není zde volba zrušit. Při dalším vypalování participant zbystří při stavu 100% a snaží se kliknout na neaktivní tlačítka.

6 6 Soupis problemů a návrh řešení 6.1 Tlačítko pro vypálení Téměř každý měl problém s nalezením tlačítka pro vypálení nebo byl jinak matoucí. To shledáváme, u vypalovacího programu, jako zásadní nedostatek. Tato ikonka by měla být jednou z prvních volem v menu. Měla by být znázorněna zřejmější ikonkou. 6.2 Feedback po dokončení vypalování Program má obecně problém se znázorněním statusu. Při vypalování se nezřídka objevil status 100%, zbývající čas 00:00, ale časomíra průběhu vypalování stále běžela. Toto se jeví jako implementační chyba. Stav vypalování by měl být zřetelnější. Určitě by se neměl dostat do stavu, kdy uživatel neví, co program provádí. 6.3 Podpora Drag&drop Program příliš nepodporuje pohodlné přesouvání souborů z plochy, či jiného místa, do seznamu vypalovaných souborů. Dle našeho názoru by měl program tuto možnost implementovat všude tam, kde je to možné, protože uživatelé jsou na tuto funkcionalitu zvyklí a často ji v DeepBurneru postrádali. 6.4 Tlačítko pro vymazání disku Podobný problém jako u tlačítka pro vypálení. Navíc je ikonka mimořádně nevhodná a v uživateli evokuju tlačítko pro aktualizaci. Do ikonky pro vymazání disku by měl být zahrnut motiv gumy či štětce. 6.5 Úplné/rychlé formátovaní Při čištění disku má uživatel na výběr z úplného či rychlého formátování. Není však zřejmý rozdíl mezi těmito valbami. Rychlé formátování je řádově rychlejší a volba úplného formátování uživatele nepříjemně překvapí svojí délkou. Navíc je zde opět problém se statusem čištění a akce nelze zastavit. Doporučujeme doplnit tento dialog o informaci o rozdíl mezi úplným a rychlým formátováním.

7 7 Logy 7.1 Participant 1 U prvního participanta je záznam bohužel pouze z jednoho observeru a chybí tu jeho část, kvůli nečekaným technickým problémům v kombinaci s nedostačující znalostí observeru. Event Note Task Time Observer Task Started Task 1 0:00:47 Observer1 otevira program Task 1 0:00:52 Observer1 dava vypalit ISO Task 1 0:00:54 Observer1 vybira soubor Task 1 0:01:08 Observer1 dava vypalit Task 1 0:01:14 Observer1 uzivatel nevi kam kliknout k vypaleni DVD Task 1 0:01:24 Observer1 uzivatel se lekl feedbacku Task 1 0:02:20 Observer1 pocitac se zasekl Task 1 0:02:28 Observer1 ceka na nacteni disku Task 1 0:02:57 Observer1 na disk se ocividne nic nevypalilo Task 1 0:03:38 Observer1 znovu dava vypalit Task 1 0:04:13 Observer1 uzivatel nedokazal zapsat data na disk Task 1 0:05:02 Observer1 uyivatel klikl na zapsat ISO Task 1 0:06:19 Observer1 DVD se vypalilo Task 1 0:06:42 Observer1 Task Stopped Task 1 0:06:49 Observer1

8 7.2 Participant 2 Event Note Task Time Observer Task Started zapina program Task 1 0:01:59 Observer1 dava vypalit ISO Task 1 0:02:22 Observer1 nemuze najit tlacitko k vypaleni Task 1 0:02:49 Observer1 nasel tlacitko zapsat na disk Task 1 0:03:35 Observer1 ceka na dokonceni vypaleni Task 1 0:03:44 Observer1 kouka se pres souborovy manazer, zda se Data zapsala Task 1 0:03:53 Observer2 ceka na nacteni DVD Task 1 0:04:06 Observer1 disk se jevi jako prazdnz Task 1 0:04:22 Observer1 Task Stopped zjistuje, ze nic nezapsal Task 1 0:04:40 Observer2 Task Started TASK 2 Task 2 0:04:58 Observer2 dava rychle vycistit DVD Task 2 0:05:03 Observer1 nasel mazani Task 2 0:05:10 Observer2 lekl se zvukoveho feedbacku Task 2 0:06:10 Observer1 Task Stopped smazano uspesne Task 2 0:06:12 Observer2 Task Started TASK3 Task 3 0:06:21 Observer2 zmatli ho sektory Task 3 0:06:29 Observer1 nevi co jsou sektory Task 3 0:06:29 Observer2 pridava soubor Task 3 0:06:41 Observer2 snazi se vypalit data na disk bez sektoru Task 3 0:06:45 Observer1 hleda moznosti!!! Task 3 0:07:16 Observer2 po napovede chtel stejne udelat pouze Jednosektorovy Task 3 0:07:52 Observer1 znovu byl upozornen na chybu Task 3 0:08:15 Observer1 mysli si ze DVD se uzavre i kdyz dal Vicesektorovy Task 3 0:08:46 Observer1 napoveda moderatora, ze vicesektorovy Znamena neuzavreny Task 3 0:09:00 Observer2 po napovede dal vypalovat Task 3 0:09:29 Observer1 program mu nedava feedback Task 3 0:09:51 Observer1 program se rozbehl Task 3 0:10:02 Observer1 zapisuji se data Task 3 0:10:23 Observer2 program nejevi znamku cinnosti Task 3 0:11:08 Observer1 dokonceno vypalovani Task 3 0:11:37 Observer1 Task Stopped znovu otevira program Task 3 0:11:54 Observer1 Task Started TASK4 Task 4 0:12:10 Observer2 nevi, zda ma pridat sektor Task 4 0:12:14 Observer1 pridava mp3 soubory Task 4 0:12:29 Observer2 vybira slozku k vypaleni Task 4 0:12:31 Observer1 dava vypalit Task 4 0:12:45 Observer1 Task Stopped komentuje, ze by mu nedoslo pridat sektor Task 4 0:13:03 Observer1

9 7.3 Participant 3 Event Note Task Time Observer Task Started otevira program Task 1 0:05:33 Observer1 dava vypalit ISO Task 1 0:05:44 Observer1 zkousi DRAG and DROP Task 1 0:05:46 Observer2 zkousi pretahnout ikonu drag and drop Task 1 0:05:54 Observer1 nefunguje Task 1 0:06:05 Observer2 vybira mechaniku Task 1 0:06:13 Observer1 kontroluje jednotku pro DVD Task 1 0:06:15 Observer2 vybira iso obraz Task 1 0:06:30 Observer1 vybral soubor iso Task 1 0:06:33 Observer2 dava zapsat ISO Task 1 0:06:38 Observer1 zapisuje ISO Task 1 0:06:44 Observer2 program vyhodnotil ciste DVD jako neciste Task 1 0:06:54 Observer1 cisteni disku Task 1 0:07:01 Observer2 zacina vypalovat Task 1 0:07:06 Observer1 hotovo - zapsano Task 1 0:07:53 Observer2 hotovo Task 1 0:07:54 Observer1 ceka na nacteni DVD Task 1 0:08:04 Observer1 kontrola, zda byl soubor zapsan Task 1 0:08:07 Observer2 DVD se jevi jako prazdny Task 1 0:08:26 Observer1 soubor nebyl nahran Task 1 0:08:28 Observer2 omylem v pruzkumnikovi zformatoval DVD Task 1 0:09:10 Observer2 Task Stopped pokracuje dalsim ukolem Task 1 0:09:34 Observer1 Task Started TASK2 Task 2 0:10:02 Observer2 hleda mazani Task 2 0:10:08 Observer1 znovu otevira program Task 2 0:10:15 Observer1 program mu nabizi nove vypalovani Task 2 0:10:19 Observer1 program se zakousl Task 2 0:10:37 Observer1 dal vytvorit Task 2 0:11:12 Observer1 vytvoril novy disc, ale chtel mazat Task 2 0:11:12 Observer2 Task Stopped dvd uspesne vymazano Task 2 0:11:26 Observer1 Task Started TASK3 Task 3 0:11:36 Observer2 jde na vypalovani DVD Task 3 0:11:55 Observer1 soubor pridan Task 3 0:12:36 Observer2 vypalovani Task 3 0:12:46 Observer2 vypaleno Task 3 0:13:18 Observer1 hotovo Task 3 0:13:27 Observer2 kontroluje vypaleny soubor Task 3 0:13:44 Observer1 otevira soubory na mechanice Task 3 0:13:44 Observer2 Task Stopped soubor byl nahran Task 3 0:13:53 Observer2

10 Event Note Task Time Observer Task Started TASK4 Task 4 0:14:02 Observer2 jde na dalsi ukol Task 4 0:14:03 Observer1 zkusi pridat mp3 Task 4 0:14:03 Observer2 zaklada novy projekt Task 4 0:14:14 Observer1 dava pridat sektor Task 4 0:14:28 Observer1 drag and drop pridal mp3 Task 4 0:14:49 Observer2 pretahuje MP3 z plochy Task 4 0:14:51 Observer1 dava zapsat Task 4 0:15:00 Observer1 zapisuje Task 4 0:15:03 Observer2 ceka na dokonceni 100% Task 4 0:15:48 Observer1 procent Task 4 0:16:00 Observer1 soubory zapsanz Task 4 0:16:05 Observer2 jde znovu smazat disk Task 4 0:16:10 Observer1 dvd se nechce otevrit Task 4 0:16:56 Observer2 ceka na otevreni dvd Task 4 0:17:02 Observer1 vybehl obsah DVD Task 4 0:19:16 Observer1 soubory byly nahrany Task 4 0:19:27 Observer2 neni moznost smazat DVD Task 1 0:19:35 Observer1 nemuze najit smazani disku Task 4 0:19:52 Observer1 hleda moznost pro smazani Task 4 0:20:03 Observer2 nasel VYCISTI PREPISOVATELNE MEDIUM Task 4 0:20:17 Observer2 nasel ikonku se sipkami, kde je vycistit Medium Task 4 0:20:19 Observer1 vybehla nabidka k cisteni Task 4 0:20:51 Observer1 zvolil rychle cisteni Task 4 0:20:59 Observer2 dal vycistit DVD Task 4 0:21:18 Observer1 cekaaaaniiii Task 4 0:21:22 Observer2 program nedava feedback Task 4 0:21:38 Observer1 Task Stopped uspesne smazano Task 4 0:22:36 Observer2

11 7.4 Participant 4 Event Note Task Time Observer Task Started spousti program Task 1 0:02:53 Observer1 dava vypalit ISO Task 1 0:03:21 Observer1 otevrel program Task 1 0:03:34 Observer2 zalozil novy projekt Task 1 0:03:36 Observer2 nemuze najit vyber obrazu Task 1 0:04:07 Observer1 pridal iso soubor Task 1 0:04:16 Observer2 dava zapsat ISO Task 1 0:04:26 Observer1 zapis selhal Task 1 0:04:37 Observer2 kontroluje CD Task 1 0:04:38 Observer2 zapis selhal Task 1 0:04:41 Observer1 ucastnik presto kontroluje DVD Task 1 0:04:48 Observer1 objevilo se prazdne DVD Task 1 0:05:13 Observer1 Windows: Jak chcete pouzit tento disk? Task 1 0:05:35 Observer2 Task Stopped dalsi ukol Task 1 0:05:50 Observer1 Task Started TASK 2 Task 2 0:05:50 Observer2 nabidlo se mu vyber noveho projektu Task 2 0:06:02 Observer1 Uvodni nabidka je nevyhovujici Task 2 0:06:07 Observer2 mazani DVD nasel az napodruhe Task 2 0:06:19 Observer1 Nabidka vycistit Task 2 0:06:22 Observer2 aplikace nedava feedback Task 2 0:06:57 Observer1 dokonceno mazani Task 2 0:07:38 Observer1 cekani na smazani Task 2 0:07:38 Observer2 uspesne smazano Task 2 0:07:43 Observer2 Task Stopped dalsi ukol Task 2 0:07:52 Observer1 Task Started TASK3 Task 3 0:07:52 Observer2 nevi co jsou sektory, ale nakonec vybira Vicesektorovy Task 3 0:08:16 Observer1 dava kopirovat vlozit, ale vyskoci okno Pro vyber souboru Task 3 0:08:57 Observer1 dava zapsat DVD, ale dlouho se nic Nedeje Task 3 0:09:55 Observer1 uzivatel ocekava informaci o cinnosti Programu Task 3 0:09:59 Observer2 100procent a program zamrz Task 3 0:10:17 Observer1 uzivatel je nervozni, ze se nic nedeje Task 3 0:11:23 Observer1 uzivatel je pobaven odezvou Task 3 0:11:42 Observer1 Task Stopped dalsi ukol Task 3 0:11:43 Observer2 Task Started TASK4 Task 4 0:11:57 Observer1 nevi, jestli vypalit jako data nebo audio Task 4 0:12:34 Observer1 vybira MP3 Task 4 0:13:04 Observer1 vybral pouze soubor, ale ne slozku Task 4 0:13:19 Observer1 dal zapisovat Task 4 0:13:36 Observer1 open 100procent a program nereaguje Task 4 0:14:08 Observer1 hotovo Task 4 0:14:31 Observer2 ukol splnen Task 4 0:14:35 Observer1 dava mazat DVD Task 4 0:15:07 Observer1 program nedava dostatecny feedback Task 4 0:15:24 Observer1 Task Stopped hotovo Task 4 0:16:05 Observer1

12 7.5 Participant 5 U posledního participanta jsme museli restartovat počítač, kvůli zvolení úplného formátování a proto nesouhlasí jsou časy v logu nejdříve od prvního videa a poté od druhého. Event Note Task Time Observer Task Started uživatel všechno odklikává Task 1 0:05:42 Observer1 Prubeh vypalovani. Na progresbaru 100% Ale ve statusu jinak Task 1 0:08:07 Observer2 Task Stopped uživatel očekává nejakou reakci programu Task 1 0:08:38 Observer1 Task Started task 2 Task 2 0:09:37 Observer1 uživatel neví jaké zmeny chce ulozit Task 2 0:10:09 Observer1 Dialog na ulozeni zmen, nejasny duvod Ani vysledek Task 2 0:10:10 Observer2 uživatel vytvari novy projek i kdyz ma Smazat disk Task 2 0:10:32 Observer1 Rozdil mezi rychle cisteni a uplne by mohl Byt zretelnejsi. Casovy udaj Task 2 0:11:39 Observer2 uživatel dal uplne cisteni, chybi varovani Ze to trva dlouho Task 2 0:11:22 Observer1 uzivatel se nudi Task 2 0:11:42 Observer1 čisteni rychle Task 2 0:00:29 Observer1 cekani Task 2 0:00:36 Observer1 Task Stopped smazano Task 2 0:01:13 Observer1 Task Started task 3 Task 3 0:01:18 Observer1 kontroluje zda ma neco na disku Task 3 0:01:40 Observer1 uzivatel pridal spravny soubor Task 3 0:03:38 Observer1 zapis na dvd Task 3 0:04:14 Observer1 klika opet na zapsat, protoze program Hlasi 100 procent al eporad na necem Pracuje Task 3 0:05:14 Observer1 Task Started task 4 Task 4 0:06:39 Observer1

13 8 Přílohy 8.1 Screener Váš věk méně než 20 let 20 až 26 let 27 až 40 let více Kolik je ve vaší domácnosti počítačů žádný jeden dva až tři více Kolik času strávíte u počítače méně než 2 hodiny týdně mezi 2 a 5 hodinami týdně 1 až 2 hodiny denně 2 až 5 hodin denně více Počítač používám nejvíce k brouzdání na internetu ke sledování filmů k hraní her k práci k jiné činnosti

14 8.2 Pre-test dotazník Kolik CD/DVD vypálíte žádné méně než 10 kusů za rok 1 až 10 kusů za měsíc 1 až 10 kusů týdně více Jaký používáte vypalovací program CloneCD Nero jiný vypaluji přes prohlížeč souborů žádný K záloze fotek z dovolené bych z uvedených médií použil DVD-R přepisovatelné CD flashdisk CD-R Které z uvedených médií má nejvyšší kapacitu: DVD disketa CD BlueRay Disk

15 8.3 Post-test dotazník Jak byste ohodnotil(a) testovaný program vynikající normální špatný nepoužitelný Bylo ovládání programu intuitivní ano spíše ano spíše ne ne nevím, nedokáži ohodnotit Co Vám nejvíce znepříjemnilo ovládání programu Vaše připomínka k testování(můžete nechat prázdné)

16 9 Závěr Program má závažné nedostatky, které donutí uživatele použít jiný program. Zjistili jsme, že program dostatečně neinformuje uživatele o aktuálním stavu programu. Dále program nesprávně informuje o úspěšnosti operaci. Bylo by vhodné program otestovat ještě kognitivnim pruchodem a heuristickou evaluaci. Feedback od participantů z dotazníků není k dispozici z důvodu nedostupnosti člena teamu.