TESTOVÁNÍ S UŽIVATELEM Ashampoo Burning Studio - 1 - Luboš Doležal Michael Drdlíček Pavel Reiter Tomáš Velechovský Michal Vlček 2.12.2011
Obsah 1 ÚVOD... 3 1.1 Testování s uživatelem obecně... 3 1.2 Popis testovaného SW... 3 2 PARTICIPANTI... 4 2.1 Výběr participantů... 4 2.2 Popis výsledné skupiny participantů... 4 3 ÚKOLY... 5 3.1 Změna jazyka uživatelského prostředí... 5 3.2 Smazání přepisovatelného média... 5 3.3 Vytvoření obrazu (ISO) ze souboru/souborů... 5 3.4 Vypálení tohoto obrazu na optické médium... 5 4 NASBÍRANÁ DATA... 6 4.1 Zápisy z rozhovorů... 6 4.2 Pre-test... 7 4.3 Post-test... 8-2 -
1 ÚVOD 1.1 Testování s uživatelem obecně Testování s uživatelem slouží k odhalení chyb testovaného softwaru pomocí nezávislých uživatelů. Testování začíná u výběru uživatelů (participantů). Pro jejich vybrání je vytvořen screener, dotazník který vyplní každý uživatel přihlášený k testování. Před zahájením testu je důležité sestavit seznam úkolů, které má participant provádět. Podle vybrané cílové skupiny uživatelů určí vhodné participanty výsledky screeneru. Před testem každý participant vyplní pre-test, po testu pak post-test. Pre-test slouží k tomu, abychom se o uživateli dozvěděli více, než nám řekl screener. V post-testu jsou uživatelem shrnuty dojmy z testovaného softwaru a dojmy obecně z celého testu. Testování probíhá nejčastěji ve speciální laboratoři. V jedné místnosti je pouze participant a počítač s důležitým příslušenstvím, jako jsou kamera, mikrofon, reproduktory. Tým, který test vede, je ve druhé místnosti. S participantem je možné komunikovat jak zvukově, tak i obrazově. Na participantově PC je speciální software, který slouží k záznamu pracovní plochy, v druhé místnosti je stejný software, který zobrazuje činnost a umožňuje týmu zapisovat log. Jeden člen týmu je moderátor, ten komunikuje s participantem, je velmi důležité aby patricipant komentoval vše, co dělá. 1.2 Popis testovaného SW Předmětem testování s uživatelem byly vypalovací SW. Na výběr bylo z šestice programů. Pro test jsme si zvolili Ashampoo Burning Studio. Ashampoo je software pro snadné a pohodlné vypalování CD, DVD i Blu-ray nosičů. Vypalovat lze téměř všechny typy těchto nosičů, datová CD/DVD, audio CD, filmová DVD, kopírovat disky a vytvářet image. Program je možno používat i k zálohování dat a k ripování hudby do audio souborů. - 3 -
2 PARTICIPANTI 2.1 Výběr participantů Jako cílovou skupinu participantů jsme volili studenty ve věku 18 30, kteří mají základní znalosti s ovládáním PC a znalosti anglického jazyka na orientační úrovni. Dalším kritériem byla základní znalost principu vypalování dat na optické médium jakýmkoliv dostupným softwarem. Pro náš test jsme se úzce zaměřili na takové uživatele, kteří mají s Ashampoo minimální nebo žádnou zkušenost. K výběru nám posloužil screener v tabulce 1. Tabulka č. 1 - Screener (v závorce jsou uvedeny počty odpovědí k dané možnosti): Vaše pohlaví? Muž(5) Žena(0) Váš věk? <19() 19-20() 21-22(4) 23-24() 25-27() 28-30() >30(1) Kolik hodin týdně cca používáte počítač? 0-5(0) 6-8(0) 9-12(0) 13-20(0) >21(5) Jaký používáte program k vypalování dat? Ashampo Burning studio(0) DiscJuggler(0) ImgBurn(0) Jiný(5) Jakčasto používáte SW pro vypalování? Denně(0) Týdně(0) Mesíčně(0) Méně nebo vůbec(5) Již jste se někdy účastnili testu uživatelského rozhraní? Ano(0) Ne(5) 2.2 Popis výsledné skupiny participantů Výslednou skupinu 5 participantů tvořili mladí muži ve věku 21-22 let, jeden uživatel byl starší 30 let. Výsledná skupina se nikdy nesetkala s námi testovaným softwarem a málo kdy používá vypalovací software. Zkušenost s jiným vypalovacím softwarem má alespoň základní a počítač používá každodenně. Výsledek tedy splnil naše očekávání. Participatni se nikdy nezúčastnili testu uživatelského rozhraní. Nevýhodou je, že nemají zkušenosti s tímto druhem testovaní, nadruhou stranu nejsou nijak ovlivněni předchozími testy. - 4 -
3 ÚKOLY 1. Změna jazyka uživatelského prostředí 2. Smazání přepisovatelného média 3. Vytvoření obrazu (ISO) ze souboru/souborů. 4. Vypálení tohoto obrazu na optické médium 3.1 Změna jazyka uživatelského prostředí Při instalaci nového SW je jedna z prvních operací změna jazyka uživatelského rozhraní na svůj mateřský. V tomto programu byla defaultně nastavena angličtina. Úkolem participanta tedy bylo změnit jazyk uživatelského rozhraní na češtinu. 3.2 Smazání přepisovatelného média Pro dočasnou zálohu dat je nejvhodnější využít přepisovatelného média, které je často nutné před samotným úkonem vymazat. V této úloze je úkolem participanta smazat obsah předpřipraveného přepisovatelného média. 3.3 Vytvoření obrazu (ISO) ze souboru/souborů Tvorba obrazu disku se uplatňuje např. při záloze instalačních disků. Další z mnoha obvyklých operací, a proto má participant za úkol vytvořit obraz disku z připravených souborů. 3.4 Vypálení tohoto obrazu na optické médium Vypálení obrazu disku navazuje na předchozí úkoly, po úspěšném vytvoření obrazu musí participant obraz následně vypálit na již prázdné médium. - 5 -
4 NASBÍRANÁ DATA 4.1 Zápisy z rozhovorů V příloze na konci dokumentu jsou připojeny pre-testy a post-testy. Participanti souhlasili s nahráváním a uchováním záznamu na videu. Veškeré zápisky a záznamy jsou anonymní. Obtížnost úloh byla hodnocena na stupnici jako ve škole známkami od 1 do 5, kde 1 je nejlehčí a 5 je nejtěžší. 1.Participant: Tento účastník už se účastnil podobného testování, proto dobře popisoval průchod testem. První úkol vyřešil ihned. S druhým úkolem si také poradil bez problému, vše v menu programu rychle našel. Problém nastal při řešení třetí úlohy, kde participant očekával jiné chování od programu. Čtvrtou úlohou opět zvládnul bez jediného zaváhání. Participant ohodnotil náročnost programu jako lehkou, označil známkou 2, jako nejtěžší hodnotil třetí úlohu známkou 4. Nejlehčí úloha pro něj byla první - známka 1. 2.Participant: Změnu jazyka zvládl tento participant dobře. Program je nutné pro projevení změn restartovat, tomuto participantovi chvíli trvalo, než na tento krok přišel. Druhá úloha proběhla bez problému. Potíže nastaly opět při řešení třetí úlohy, kde participant očekával jiné chování od programu. Když už našel správnou volbu v menu, špatné popisky ho zmátli. Úlohou prošel až po intervenci moderátora. Vypálení vytvořeného ISO souboru už participant zvládnul bez problému. Participant ohodnotil náročnost programu na začátku testu známkou 1 jako nejméně náročné, ale na konci testu už hodnotil známkou 3. Jako nejobtížnější mu připadala třetí úloha s hodnocením 4, naopak jako nejlehčí úlohu označil úlohu č. 1. 3.Participant: První úkol opět proběhl v pořádku, jen si nebyl jistý restartem programu pro změnu jazyka. Mazání přepisovatelného disku je v programu intuitivní, což dokazuje i to, že ani 3. participant neměl problémy. Hlavní problém nastal opět u třetí úlohy, kde díky špatným popiskům v menu pro vytvoření ISO souboru z disku nemohl najít řešení problému. Uživatel začal vytvářet projekt místo ISO souboru, což bylo úplně špatně. Poslední úkol nedělal participantovi opět žádný problém. Náročnost programu ohodnotil třetí participant na začátku i na konci stejně známkou 2. Nejtěžší úlohou pro něj byla úloha č. 3, kterou ohodnotil známkou 2. Nejlehčí pak úloha č. 1 - známka 1. 4.Participant: První úkol zvládnul participant dobře, pochopil i díky anglickému upozornění, že je nutno program restartovat. Smazání RW disku našel hned a bez problému. I tuto úlohu provedl celkem bez obtíží. Po dokončení této úlohy byl participant poměrně zmaten použitím tlačítka zpět, které ho podle jeho očekávání nevrátilo do hlavního menu, ale k nabídce dalšího smazání disku. Po návratu do menu pokračoval třetí úlohou. Našel správnou volbu pro vytvoření ISO souboru, ale práce v submenu je dost neintuitivní a i když kliknul na správnou - 6 -
položku, nebyl si tím vůbec jistý. Po vytvoření ISO souboru už jeho vypálení na RW disk proběhlo bez obtíží. Tomuto participantovi přišel na začátku program těžší - známka 2, než na konci testu - známka 1, všechny kroky ohodnotil známkou 1 i přes obtíže u třetí úlohy. 5.Participant: První úloha nebyla pro participanta žádným problémem. Smazání disku zvládnul participant taky v pořádku. Problém nastal opět až u vytváření ISO souboru. Participant si stěžoval, že menu není úplně lidsky popsaný, což potvrdili už zkušenosti z předchozího testování. Nejdřív nastal jistý problém s pochopením zadání, a potom stejně jako v předchozích případech, byl problém s pochopením popisků v submenu, kde opět metodou pokus-omyl došel participant ke zdárnému řešení. Vypálení samotného ISO souboru už proběhlo bez problémů. Pátý participant hodnotil náročnost ovládání programu po celou dobu testu známkou 2. Nejlehčí pro něj byla první úloha - známka 1, ostatní úlohy hodnotil stejně známkou 2. 4.2 Pre-test Pro pre-test byl použit formulář Google-docs, originál formuláře je dostupný na této adrese: (https://docs.google.com/spreadsheet/viewform?formkey=ddnxnvphunhhmnriq3hyvus 5bmpWOXc6MQ#gid=0) Otázky o koupi SW a o tom zda uživatelé pracují nebyly povinné. Tabulka č.2- Pre-test 1. 2. 3. 4. 5. Pokud studujete, jaké zaměření? ČVUT FEL- STM ČVUT FEL- STM ČVUT FS ČVUT FEL- STM UK MFF Pracujete? Ne Ano Ne Ano Ano Jaký druh SW preferujete? Je mi to jedno/nevím Je mi to jedno/nevím Je mi to jedno/nevím Shareware /Freeware Shareware /Freeware S kolika vypalovacími programy jste již pracovali? Koupili/zvažovali jste někdy nákup SW? 2-3 2-3 2-3 2-3 2-3 Ano Ne Ne Ano Ano - 7 -
4.3 Post-test Pro vyplnění post-testu byl použit formulář z balíčku Google-docs, originál formuláře je dostupný na adrese (https://docs.google.com/spreadsheet/viewform?formkey=derunxnyuemtvkdyuhduslh sxzhqree6mq) Náplň otázek, jejich pořadí i odpovědi od participantů jsou zaznamenány a vyhodnoceny v Graf č. 1., Graf č. 2 a Graf č. 3. Všechny otázky byly povinné kromě otázky Jak byste hodnotili moderátora Jak byste hodnotili náročnost ovládání programu, na začátku testu? Jak byste hodnotili náročnost ovládání programu, na konci testu? Ohodnoťte grafický design testované aplikace Ohodnoťte obtížnost kroku 1 Ohodnoťte obtížnost kroku 2 Ohodnoťte obtížnost kroku 3 5 4 3 2 1 Ohodnoťte obtížnost kroku 4 Jak byste hodnotili moderátora. 0 1 2 3 4 5 6 Graf č. 1 Na Graf č. 1 jsou vyhodnoceny otázky, na které bylo možné odpovědět v rozsahu 1 až 5, kde 1 bylo nejlepší hodnocení a 5 bylo nejhorší. - 8 -
Ocenil/a by jste více nápovědy během testu? Možná; 1; 20% Ano; 1; 20% Ne; 3; 60% Graf č. 2 Máte pocit, že vás test poškodil Ano; 0; 0% Možná; 2; 40% Ne; 3; 60% Graf č. 3-9 -