Testování aplikace PureSync

Transkript

1 Testování aplikace PureSync Semestrální práce z předmětu Y39TUR 2011 Deliverable B2 Jakub Peisar Tomáš Hlavnička Lukáš Vydržel Petr Košatka

2 Popis aplikace Aplikace JumpingBytes PureSync je program pro synchronizaci souborů a složek určený pro platformu Windows. Navíc dokáže provádět zálohování. Daná aplikace je zdarma pro osobní využití. Placená verze zpřístupňuje několik funkcí navíc a je určena pro firemní použití. Pro test jsme použili volně dostupnou verzi aplikace. Pomocí tohoto testování jsme se snažili odhalit možné usability problémy s uživatelským rozhraní aplikace a celkovým workflow. Popis cílové skupiny Cílovou skupinou byli vysokoškolští studenti ve věku mezi lety, kteří běžně pracují s PC a porozumí alespoň základům anglického jazyka. Popis výsledné skupiny participantů Výsledná skupina participantů sestávala z pěti vysokoškolských studentů. U každého se přepokládala znalost práce s PC a znalost anglického jazyka alespoň na úrovní porozumění psanému textu (pro aplikaci neexistuje lokalizace do češtiny). Tyto přepoklady se promítly do výsledné podoby screeneru viz dále. Participanti konkrétně : P1, 22 let, 3. rocnik ČVUT FEL STM Softwarové Inženýrství P2, 22 let, 3. ročník ČVUT FEL STM Web a Multimédia P3, 22 let, 3. ročník ČVUT FEL STM - Softwarové Inženýrství P4, 22 let, 2. ročník ČZU TF Silniční a městská automobilová doprava P5, 23 let, 1. ročník ČVUT FEL MGR Sdělovací Technika Popis testování Testování proběhlo v Usability labu. Tato laboratoř je rozdělena do dvou místností a to místností pro participanty a místností pro pozorovatele. Místnost pro participanty je vybavena stolním PC s konfigurací : Intel Core Duo 1,8 GHz 2GB operační paměti 17 LCD monitor QWERTY klávesnice, optická myš Bohužel konfigurace participantova PC nesplňovala minimální požadavky aplikace Morae Recorder (aplikace použitá pro snímání obrazovky PC během testování), což se projevilo například na výsledných videích malým frameratem. Vlastní testování probíhalo tak, že participant seděl za PC a plnil jednotlivé úlohy v dané aplikaci. Vedle něj seděl moderátor, který byl zodpovědný za vedení testování a navádění uživatele, pokud ten byl v koncích. V druhé, pozorovatelské místnosti mezitím seděli pozorovatelé a zaznamenávali participantovy aktivity s aplikací. 2

3 Screener Cílem screeneru bylo odfiltrovat potenciální participanty, kteří by svou úrovní znalostí nebo zkušeností znehodnocovali výsledky testování. Pro zajištění hladkého průběhu testování bylo proto nutné se hned ze začátku ujistit, že potenciální participant dokáže přečíst anglicky psaný text aplikace, zná základy práce na PC a alespoň zběžně se orientuje v problematice synchronizace souborů a zálohování dat. Níže jsou uvedené konkrétní otázky screeneru. 1. Dokážete porozumět běžnému anglicky psanému textu? ano ne Požadovaná odpověď byla ano. 2. Používáte PC v průměru alespoň 15 minut denně? ano ne Požadovaná odpověď byla ano. 3. Synchronizujete někdy soubory? ano ne nevím o co se jedná Požadované odpovědi byly alespoň 50% ano a žádná nevím o co se jedná. Pre-test dotazník Pre-test dotazník byl jednotlivým participantům položen před vlastním testováním. Cílem tohoto dotazníku bylo vytvořit si zběžný obrázek o participantově pozadí a dovednostech vzhledem k úlohám testování. Před vyplněním dotazníku byli participanti seznámeni s testovacím prostředím, byl jim vysvětlen průběh testování a zodpovězeny případné dotazy. Po vyplnění dotazníku přešli moderátor s participantem k vlastnímu testování. Otázky pre-test dotazníku jsou vypsány níže. 1. Udržujete synchronizované kopie některých souborů na více místech (na různých PC nebo i jednom PC)? 2. Zálohujete data? Pokud ano, jak často? 3. Používáte nějaký synchronizační nebo zálohovací software? Pokud ano, jaký? 3

4 Post-test dotazník Post-test dotazník byl participantům předložen k vyplnění ihned po skončení testování. Cílem tohoto dotazníku bylo posbírat názory, hodnocení a dojmy participantů z práce s aplikací. Níže jsou uvedené otázky post-test dotazníku. 1. Jak se vám s aplikací pracovalo? Ohodnoťte v rozsahu 1-5 stejně jako ve škole. 2. Jaká věc se vám na práci s aplikací nebo aplikaci samotně líbila? 3. Jaká věc se vám na práci s aplikací nebo aplikaci samotně nelíbila? 4. Které části aplikace vám přišly nevhodně navržené? Jak byste je řešili? 5. Doporučili byste program svým známým? Popis úloh Úlohy pro testování aplikace byly zaměřeny na typické činnosti, které potenciální uživatelé budou každodenně provádět. Při započetí každé úlohy se vycházelo ze stavu, který nastal úspěšným dokončením předcházející úlohy. Výchozí stav byl : ve složce C:/PrvniSlozka byly soubory test.avi, test2.pdf a test3.doc, složka C:/DruhaSlozka byla prázdná. Přesný popis jednotlivých úloh viz níže : 1. Instalace software - nainstalujte software PureSync pomocí instalátoru umístěného na ploše - všude použijte výchozí hodnoty, které vám instalátor nabídne optimální průchod : Uživatel spustí instalátor umístěný na ploše, prokliká se jednotlivými kartami instalátoru nechajíce defaultní hodnoty a takto nainstaluje aplikaci. 2. Nastavení synchronizace - sesynchronizujte obsah složky C:/PrvniSlozka se složkou C:/DruhaSlozka - na konci bude v obou složkách stejný obsah a bude vytvořena synchronizace, která toto zajistí optimální průchod : Uživatel spustí aplikaci a v menu v levé části aplikace zvolí New synchronization. V okně které mu následně aplikace zobrazí nadefinuje obě složky které chce synchronizovat, na další kartě případně nastaví chování při smazání některého ze souborů a poté odkliká zbytek wizarda pomocí tlačítka Next a na závěrečné kartě spustí synchronizaci stiskem tlačítka Finish. 4

5 3. Provedení synchronizace - smažte ve složce C:/PrvniSlozka soubor test.avi - sesynchronizujte složky pomocí aplikace tak, aby v žádné z daných složek nebyl soubor test.avi optimální průchod : V úvodní obrazovce aplikace uživatel najede na jím v předchozím kroku vytvořenou synchronizaci a v závislosti na jejím nastavení buďto spustí rovnou synchronizaci tlačítkem Start (toto udělá v případě, že nastavil v synchronizaci mazání souborů pokud je daný soubor smazán v některé složce) nebo nejdříve spustí porovnání rozdílů ve složkách pomocí tlačítka Compare (toto udělá v případě, že v nastavení synchronizace nezaškrtl volby pro mazání). Pokud bude uživatel nejdříve porovnávat rozdíly tak mu aplikace na další obrazovce zobrazí rozdíly mezi složkami. Zde uživatel klepne pravým tlačítkem myši na nalezený rozdíl (konkrétně smazaný soubor test.avi) a zvolí Delete file(s).poté spustí synchronizaci tlačítkem Synchronize. Synchronizace smaže soubor i ve druhé složce a informuje uživatele o provedené akci pomocí dialogového okna. Toto smazání by bylo provedeno také v prvním výše uvedeném případě (nastavené mazání souborů a stisk tlačítka Start). 4. Kolize - ve složce C:/PrvniSlozka smažte soubor test2.pdf - ve složce C:/DruhaSlozka přejmenujte soubor test3.doc na test4.doc - sesynchronizujte složky pomocí aplikace tak, aby ani v jedné složce nebyl soubor test2.pdf a v obou složkách byl soubor test4.doc (soubor test4.doc přepíše soubor test3.doc ve složce C:/PrvniSlozka) optimální průchod : Situace se smazáním souboru je totožná s předchozí úlohou. Tentokrát ale navíc uživatel přepisuje soubor v jedné složce souborem z druhé složky. V úvodní obrazovce uživatel vybere danou synchronizaci a porovná rozdíly v obou složkách. Na další obrazovce vybere rozdíl souboru test2.pdf a po kliknutí pravým tlačítkem zvolí možnost Delete file(s). Dále v této obrazovce uvidí rozdíl souboru test4.doc směrem do první složky a rozdíl souboru test3.doc směrem do druhé složky. U rozdílu souboru test3.doc na něj klepne pravým tlačítkem a vybere možnost Delete file(s). Následně spustí synchronizaci pomocí tlačítka Synchronize. Proběhne synchronizace a po jejím skončení aplikace informuje uživatele o výsledku pomocí dialogového okna. 5. Zálohování - nastavte zálohování složky C:/PrvniSlozka na FTP server ftp.myserver.com - uživatelské jméno a heslo pro FTP server si zvolte libovolné, pouze nastavte zálohování a nepřipojujte se k serveru optimální průchod : V úvodní obrazovce aplikace zvolí uživatel v levé části aplikace volbu New backup. V zobrazivším se okně ponechá defaultní volbu backup a v dalším okně vybere zdrojovou složku. Po klepnutí na tlačítko Next v následujícím okně klepne na ikonku nového FTP připojení, kde vyplní údaje o FTP připojení. Po potvrzení údajů o připojení se mu takto vzniklé připojení zobrazí v listu cílových složek kde ho uživatel také zvolí jako cílovou destinaci zálohování. Následujících několik obrazovek uživatel odkliká s defaultními hodnotami a po zadání jména zálohování se ho pokusí spustit. Aplikace zobrazí výzvu k použítí placené verze programu pro možnost zálohování na FTP server, ale v tento moment už je úkol splněný. 5

6 Odpovědi na dotazníky Participant P1 Screener : 1. Dokážete porozumět běžnému anglicky psanému textu? 2. Používáte PC v průměru alespoň 15 minut denně? 3. Synchronizujete někdy soubory nebo zálohujete data? Pre-test dotazník : 1. Udržujete synchronizované kopie některých souborů na více místech (na různých PC nebo i jednom PC)? 2. Zálohujete data? Pokud ano, jak často? Ano, denně. 3. Používáte nějaký synchronizační nebo zálohovací software? Pokud ano, jaký? Live Mesh, Team Foundation Server. Post-test dotazník : 1. Jak se vám s aplikací pracovalo? Ohodnoťte v rozsahu 1-5 stejně jako ve škole Jaká věc se vám na práci s aplikací nebo aplikaci samotně líbila? Design. 3. Jaká věc se vám na práci s aplikací nebo aplikaci samotně nelíbila? Roztahané GUI. 4. Které části aplikace vám přišly nevhodně navržené? Jak byste je řešili? Program by mohl mít integrovány základní funkce do průzkumníka. 5. Doporučili byste program svým známým? 6

7 Participant P2 Screener : 1. Dokážete porozumět běžnému anglicky psanému textu? 2. Používáte PC v průměru alespoň 15 minut denně? 3. Synchronizujete někdy soubory nebo zálohujete data? Pre-test dotazník : 1. Udržujete synchronizované kopie některých souborů na více místech (na různých PC nebo i jednom PC)? 2. Zálohujete data? Pokud ano, jak často? 3. Používáte nějaký synchronizační nebo zálohovací software? Pokud ano, jaký? Post-test dotazník : 1. Jak se vám s aplikací pracovalo? Ohodnoťte v rozsahu 1-5 stejně jako ve škole Jaká věc se vám na práci s aplikací nebo aplikaci samotně líbila? Intuitivní GUI. 3. Jaká věc se vám na práci s aplikací nebo aplikaci samotně nelíbila? Nevýrazná ikonka FTP. 4. Které části aplikace vám přišly nevhodně navržené? Jak byste je řešili? Navrhnout jednoznačný postup nastavení synchronizace. 5. Doporučili byste program svým známým? 7

8 Participant P3 Screener : 1. Dokážete porozumět běžnému anglicky psanému textu? 2. Používáte PC v průměru alespoň 15 minut denně? 3. Synchronizujete někdy soubory nebo zálohujete data? Pre-test dotazník : 1. Udržujete synchronizované kopie některých souborů na více místech (na různých PC nebo i jednom PC)? 2. Zálohujete data? Pokud ano, jak často? Ano, denně. 3. Používáte nějaký synchronizační nebo zálohovací software? Pokud ano, jaký? SVN. Post-test dotazník : 1. Jak se vám s aplikací pracovalo? Ohodnoťte v rozsahu 1-5 stejně jako ve škole Jaká věc se vám na práci s aplikací nebo aplikaci samotně líbila? GUI (design). 3. Jaká věc se vám na práci s aplikací nebo aplikaci samotně nelíbila? FTP - přehlednost. 4. Které části aplikace vám přišly nevhodně navržené? Jak byste je řešili? Vybraný FTP folder - automaticky. 5. Doporučili byste program svým známým? 8

9 Participant P4 Screener : 1. Dokážete porozumět běžnému anglicky psanému textu? 2. Používáte PC v průměru alespoň 15 minut denně? 3. Synchronizujete někdy soubory nebo zálohujete data? Pre-test dotazník : 1. Udržujete synchronizované kopie některých souborů na více místech (na různých PC nebo i jednom PC)? Ano, provádím ruční synchronizaci některých souborů. 2. Zálohujete data? Pokud ano, jak často? Občas, většinou tak jednou za rok něco vypálím na DVD. 3. Používáte nějaký synchronizační nebo zálohovací software? Pokud ano, jaký? Post-test dotazník : 1. Jak se vám s aplikací pracovalo? Ohodnoťte v rozsahu 1-5 stejně jako ve škole Jaká věc se vám na práci s aplikací nebo aplikaci samotně líbila? Přehledné uživatelské rozhraní. 3. Jaká věc se vám na práci s aplikací nebo aplikaci samotně nelíbila? Při nastavování mazání souborů není zřejmé, jestli 0 minutes znamená okamžité smazání. Pak ještě přímo v synchronizaci pojmenování složek, mohlo by být source a destination. 4. Které části aplikace vám přišly nevhodně navržené? Jak byste je řešili? Malá ikonka pro FTP, chce to aby byla větší. 0 minutes bych přepsal na okamžitě. 5. Doporučili byste program svým známým? Každopádně. 9

10 Participant P5 Screener : 1. Dokážete porozumět běžnému anglicky psanému textu? 2. Používáte PC v průměru alespoň 15 minut denně? 3. Synchronizujete někdy soubory nebo zálohujete data? Pre-test dotazník : 1. Udržujete synchronizované kopie některých souborů na více místech (na různých PC nebo i jednom PC)? 2. Zálohujete data? Pokud ano, jak často? Ano, jedenkrát za měsíc na externí HDD. 3. Používáte nějaký synchronizační nebo zálohovací software? Pokud ano, jaký? Post-test dotazník : 1. Jak se vám s aplikací pracovalo? Ohodnoťte v rozsahu 1-5 stejně jako ve škole. 1,5 2. Jaká věc se vám na práci s aplikací nebo aplikaci samotně líbila? Přehledné nastavení, hlavní menu bez nadbytečností. 3. Jaká věc se vám na práci s aplikací nebo aplikaci samotně nelíbila? FTP ikonka je nevýrazná. 4. Které části aplikace vám přišly nevhodně navržené? Jak byste je řešili? Chybějící čeština do programu. 5. Doporučili byste program svým známým? 10

11 Analýza jednotlivých úkolů 1. Instalace software - nainstalujte software PureSync pomocí instalátoru umístěného na ploše - všude použijte výchozí hodnoty, které vám instalátor nabídne S tímto úkolem neměl žádný z participantů problémy. Všichni zvládli bez potíží nainstalovat aplikaci pomocí instalátoru umístěného na ploše. Jenom u participanta P5 instalace zabrala trochu déle, neboť mu chvíli trvalo, než si pročetl instalační pokyny v angličtině. Vhodná by byla lokalizace do češtiny (která neexistuje). 2. Nastavení synchronizace - sesynchronizujte obsah složky C:/PrvniSlozka se složkou C:/DruhaSlozka - na konci bude v obou složkách stejný obsah a bude vytvořena synchronizace, která toto zajistí Daný úkol nečinil nikomu žádné potíže, všichni participanti hned pochopili, že musejí použít wizarda New sycnhronization a v něm nastavili parametry synchronizace dvou složek dle zadání. Pouze participant P2 si po spuštění wizarda nebyl 100% jistý co se bude synchronizovat a participanta P4 mátla volba Do delete after 0 minutes nebyl si jistý, jestli znamená okamžité smazání nebo že se soubor nikdy nesmaže. 3. Provedení synchronizace - smažte ve složce C:/PrvniSlozka soubor test.avi - sesynchronizujte složky pomocí aplikace tak, aby v žádné z daných složek nebyl soubor test.avi Tento úkol už způsoboval drobná zaváhání u participantů. Všichni ho zdárně dokončili, ale participanti P2 a P5 nemohli nějakou dobu najít možnost jak se vrátit do nastavení synchronizace pro provedení drobných úprav (tato možnost je schovaná v nabídce po pravém kliknutí na synchronizaci). Všichni participanti dosáhli smazání souboru pomocí zaškrtnutí možnosti mazání souborů ve složkách, pokud je soubor smazán v některé z nich v nastavení synchronizace. 4. Kolize - ve složce C:/PrvniSlozka smažte soubor test2.pdf - ve složce C:/DruhaSlozka přejmenujte soubor test3.doc na test4.doc - sesynchronizujte složky pomocí aplikace tak, aby ani v jedné složce nebyl soubor test2.pdf a v obou složkách byl soubor test4.doc (soubor test4.doc přepíše soubor test3.doc ve složce C:/PrvniSlozka) Po provedení změn mazání souborů v nastavení synchronizace v předchozím úkolu neměla většina participantů s tímto úkolem žádné problémy. Výjimku tvořil participant P4. Ten v úvodním nastavení synchronizace zaškrtl automatickou synchronizaci pokud se soubory jakýmkoliv způsobem změní. Soubor test2.pdf se mu tedy podařilo smazat v obou složkách bez problému, ale pokaždé když přejmenoval soubor test3.doc v druhé složce na test4.doc tak než se stihl vrátit do aplikace a provést synchronizaci tak mu aplikace ihned přepsala test4.doc zpět na test3.doc. Participantovi P4 trvá několik minut než si uvědomí problém v nastavení synchronizace. Odškrtne 11

12 automatickou synchronizaci, ale stále se mu nedaří splnit úkol. Participant P4 nakonec vytvoří celou synchronizaci znovu a tentokrát už je úspěšný. 5. Zálohování - nastavte zálohování složky C:/PrvniSlozka na FTP server ftp.myserver.com - uživatelské jméno a heslo pro FTP server si zvolte libovolné, pouze nastavte zálohování a nepřipojujte se k serveru Tento úkol způsobil participantům největší problémy a v případě participanta P5 ani nebyl úspěšně dokončen, neboť musel dvakrát zasahovat moderátor. Všichni uživatelé správně začali tvorbou nového zálohování pomocí wizarda New Backup (participant P5 až po zásahu moderátora). Ale v momentě, kdy měli zvolit za cílovou destinaci FTP server ani jeden z nich nepřišel ihned na správné řešení ikonka nového FTP připojení. Po chvíli ji všichni participanti až na participanta P5 našli (u něj musel zasáhnout moderátor) a nastavili správně připojení. Všichni participanti si stěžovali na malou velikost a špatnou viditelnost ikonky. Soupis nalezených problémů a návrhy jejich řešení Níže jsou uvedené nalezené problémy seřazené od nejdůležitějších až po drobné včetně návrhů jejich možných řešení. Problém s ikonkou FTP připojení Priorita : Vysoká Pro výběr FTP serveru jako zdrojového nebo cílového adresáře je třeba vytvořit FTP připojení. Toto se provede nastavením nového FTP připojení pomocí spuštění nastavovacího dialogu. Problém je ale v tom, že tento dialog se spouští ikonkou, která je velmi malá, nevýrazná a nevhodně umístěná. Viz níže přiložený obrázek, ikonka je červeně zakroužkováná : 12

13 Návrh řešení : Zvětšit ikonku pro FTP připojení nebo místo ikonky použít dostatečně veliké tlačítko s popiskem New FTP Connection. Problém s nastavováním synchronizace Priorita : střední V průběhu úkolů 3 a 4 museli participanti často upravovat svoje nastavení synchronizace. Většina z nich měla problém ihned indentifikovat tlačítko pro nastavení v obrazovce synchronizace. Toto tlačítko je v horní nabídce s popiskem Settings. Viz přiložený obrázek : 13

14 Návrh řešení : Přidat velké tlačítko s popiskem Settings do dolní lišty vedle tlačítek Compare a Synchronize. Problém s dohledáním opětovného spuštění wizadra synchronizace Priorita : střední Není zřejmé, jak uživatel opětovně spustí wizarda pro danou synchronizaci. Nyní se toto děje tak, že uživatel klepne pravým tlačítkem na synchronizaci a vybere volbu Run setup wizard viz obrázek níže : 14

15 Návrh řešení : Přidat volbu Run setup wizard do pravého panelu ke Start, Compare atd. Volba Settings totiž pouze zobrazí nastavení synchronizace, ale nespustí wizarda. Problém s nejednoznačností rychlosti mazání Priorita : nízká Není zřejmé, jestli se soubory smažou ihned nebo nikdy, neboť volba zobrazuje 0 minutes. Viz níže přiložený obrázek, daná volba je červeně zakroužkováná : 15

16 Návrh řešení : Místo input boxu použít combo box s variantami : Immediately, Never, Specify s tím, že při zvolení volby Specify se zobrazí input box pro zadání konkrétního počtu minut. Problém s chybějící lokalizací do češtiny Priorita : nízká Pro program Jumping Bytes PureSync neexistuje lokalizace do češtiny. Pro námi danou cílovou skupinu toto neznamená problém, ale může to ovlivnit jiné potenciální uživatele aplikace. Návrh řešení : Vytvořit lokalizaci do češtiny a zpřístupnit volbu tohoto jazyka v instalátoru aplikace. 16

17 Závěr Provedli jsme usability testování aplikace Jumping Bytes PureSync za účelem zjištění možných nedostatků v návrhu uživatelského rozhraní a celkového workflow. Našeho testování se zůčastnilo 5 participantů spadajících do cílové skupiny. Až na úkol číslo 5 u participanta P5 byly všechny úkoly dokončeny úspěšně. Většina úkolů nečinila participantům problémy, jenom u posledního z nich byl objeven závažný nedostatek viz soupis nalezených problémů. Z našeho testování a posttestovacích dotazníků bychom doporučili provést ještě testování zaměřené na nastavování možností synchronizace/zálohování, neboť úkony s tím spojené zabraly participantům nejvíce času. Po grafické i organizační stránce je aplikace na dobré úrovni. Participanti po testování chválili jasné a přehledné GUI (s jedním drobným nedostatkem opět viz soupis nalezených problémů). 17