Semestrální práce C1 Testování webové aplikace www.mordent.cz Jakub Kopřiva, Jakub Poukar, ČVUT FEL koprija6@fel.cvut.cz, poukajak@fel.cvut.cz, rejthedv@fel.cvut.cz, balonvac@fel.cvut.cz 31. 11. 2012
Obsah 1. Úvod... 4 1.1. Popis aplikace... 4 1.2. Cílová skupina uživatelů... 4 2. Způsob výběru participantů... 5 2.1. Screener otázky... 5 2.2. Výběr cílové skupiny... 5 2.3. Výsledná cílová skupina... 6 2.3.1. Participant č. 1... 7 2.3.2. Participant č. 2... 7 2.3.3. Participant č. 3... 8 2.3.4. Participant č. 4... 8 2.3.5. Participant č. 5... 8 3. Průběh testu... 9 3.1. Pre-test dotazník... 9 3.2. Post-test dotazník... 10 3.3. Úkoly pro participanty... 10 3.3.1. Úkol 1 - Na hlavní stránce aplikace nalezněte videotutoriál.... 10 3.3.2. Úkol 2 - Naleznete píseň "UseCase 1-6" a editujte ji.... 10 3.3.3. Úkol 3 - Nastavte Metadata a píseň uložte na disk.... 10 3.3.4. Úkol 4 - Naleznete nápovědu k editoru a zobrazte ji.... 10 3.3.5. Úkol 5 - Upravte noty akordu D7... 10 3.3.6. Úkol 6 - Vytvořte nový akord "Cblabla" a nastavte mu noty.... 11 3.3.7. Úkol 7 - Zapněte přehrávání po jedné notě (nikoliv tedz po celém řádku) 11 3.3.8. Úkol 8 - Upravte rytmus jednoho řádku... 11
3.3.9. Úkol 9 - Generujte PDF své nové písně... 11 3.4. Výsledky testu... 11 3.4.1. Participant 1... 11 3.4.1. Participant 2... 12 3.4.1. Participant 3... 13 3.4.1. Participant 4... 14 3.4.1. Participant 5... 14 4. Závěr a nálezy... 15 4.1. Detailní přehled nálezů... 15 4.1.1. Export písně do formátu obrázku a uložení na disk.... 15 4.1.2. Uložení metadat písně... 16 4.1.3. Vytvoření nového akordu... 17 4.1.4. Úprava existujícího akordu... 17 4.1.5. Export písně z editoru Save tlačítko... 18 4.1.6. Přehrání řádků not... 18 4.1.7. Změna rytmu řádku... 19
1. Úvod Testování s uživatelem je test, ve kterém se aplikace testuje na cílové skupině uživatelů. Tito uživatelé (dále participanti) se vyberou pomocí formuláře, tzv. screeneru a jsou nejprve podrobeni dotazníku před testem. Díky tomuto dotazníku by si organizátoři testu měli udělat lepší představu, s kým mají tu čest. Následně je participantovi představen seznam úkolů, které by měl splnit, tyto úkoly by měly simulovat skutečnou situaci, se kterou se budoucí uživatel aplikace může setkat. Celý test je sledován skupinou organizátorů, kteří si dělají v průběhu poznámky k pozdějšímu vyhodnocení. Po testu je participantovi položeno ještě několik otázek za účelem bezprostřední odezvy po testu. 1.1. Popis aplikace Testována byla webová aplikace Mordent, k nalezení na http://mordent.cz/, studentská aplikace vyvíjená studentem ČVUT. Aplikace by měla usnadnit muzikantům zápis notové osnovy, akordů a textů. Obr 1 - Hlavní strana aplikace 1.2. Cílová skupina uživatelů Cílovou skupinou jsou uživatelé běžně používající internet, s mírným hudebním vzděláním, znalostí notového zápisu a hrající na hudební nástroj. Uživatelé musí mít základní znalosti anglického jazyka. Strana: 4 / 19 31. 11. 2012
2. Způsob výběru participantů Na testu se podílelo celkem pět participantů, tito participanti se nejprve podrobili Screener dotazníku, který obsahoval několik otázek na pochopení, zda participant spadá do cílové skupiny aplikace a do které její části konkrétně. 2.1. Screener otázky Pohlaví o [M] o [Ž] Věk o [<15] o [15-18] o [19-22] o [23-25] o [>25] Znalost cizího jazyka o [Anglicky] o [Německy] o [Jiné] Znalost notového zápisu o [Ne] Hrajete či jste někdy hráli na nějaký hudební nástroj o [Ne] Na jaký nástroj hrajete nebo jste hráli o [ ] Jak často hrajete na hudební nástroj o [Několikrát do roka (< 12x do roka)] o [Několikrát do měsíce (< 4x měsíčně)] o [Několikrát do týdne (2x - 6x týdně)] o [Denně] Chodili jste někdy do hudební umělecké školy? o [Ne] Jak dlouho jste chodil/chodíte do hudební umělecké školy? o [ ] 2.2. Výběr cílové skupiny Pro test jsme chtěli vybrat 5 participantů podle následujícího klíče screeneru. Strana: 5 / 19 31. 11. 2012
Pohlaví (Stejné množství mužů a žen) o [M] 3x o [Ž] 3x Věk (Chtěli jsme získat uživatele různého věku, ale především mladé lidi) o [<15] 1x o [15-18] 1x o [19-22] 1x o [23-25] 1x o [>25] 1x Znalost cizího jazyka (Pro ovládání aplikace je nutná znalost angličtiny) o [Anglicky] 4x o [Německy] 1x o [Jiné] *x Znalost notového zápisu (Aplikace usnadňuje zápis notové osnovy) 4x o [Ne] 1x Hrajete či jste někdy hráli na nějaký hudební nástroj (Aplikace je určena zejména hudebníkům) 3x o [Ne] 2x Na jaký nástroj hrajete nebo jste hráli (Kytaristé jsou zvyklí na jiný zápis než pianisté) o [ ] Kytaristé 2x, pianisté 1x Jak často hrajete na hudební nástroj (Pokud už participant hraje na nástroj, chceme, aby hrál aktivně) o [Několikrát do roka (< 12x do roka)] o [Několikrát do měsíce (< 4x měsíčně)] o [Několikrát do týdne (2x - 6x týdně)] 2x o [Denně] 1x Chodili jste někdy do hudební umělecké školy? (Hudební vzdělání by uživateli mělo vštípit hudební základy, proto by si měl s aplikací poradit lépe) 2x o [Ne] 3x Jak dlouho jste chodil/chodíte do hudební umělecké školy? o [ ] 2.3. Výsledná cílová skupina Některé podmínky Screeneru se nám podařilo splnit, některé nikoliv, vybírali jsme převážně spolužáky či kamarády, kteří mají hudební vzdělání nebo hrají na nějaký hudební nástroj. Strana: 6 / 19 31. 11. 2012
2.3.1. Participant č. 1 Pohlaví o [M] Věk o [23-25] Znalost cizího jazyka o [Anglicky] Znalost notového zápisu Hrajete či jste někdy hráli na nějaký hudební nástroj Na jaký nástroj hrajete nebo jste hráli o Housle, Kytara Jak často hrajete na hudební nástroj o [Několikrát do týdne (2x - 6x týdně)] Chodili jste někdy do hudební umělecké školy? Jak dlouho jste chodil/chodíte do hudební umělecké školy? o 10 let 2.3.2. Participant č. 2 Pohlaví o [M] Věk o [19-22] Znalost cizího jazyka o [Anglicky] Znalost notového zápisu Hrajete či jste někdy hráli na nějaký hudební nástroj Na jaký nástroj hrajete nebo jste hráli o Elektrická kytara Jak často hrajete na hudební nástroj o [Několikrát do roka (< 12x do roka)] Chodili jste někdy do hudební umělecké školy? Jak dlouho jste chodil/chodíte do hudební umělecké školy? o 2 roky Strana: 7 / 19 31. 11. 2012
2.3.3. Participant č. 3 Pohlaví o [M] Věk o [>25] Znalost cizího jazyka o [Anglicky] Znalost notového zápisu Hrajete či jste někdy hráli na nějaký hudební nástroj Na jaký nástroj hrajete nebo jste hráli o Klávesové nástroje Jak často hrajete na hudební nástroj o [Několikrát do týdne (2x - 6x týdně)] Chodili jste někdy do hudební umělecké školy? Jak dlouho jste chodil/chodíte do hudební umělecké školy? o 5 let 2.3.4. Participant č. 4 Pohlaví o [M] Věk o [19-22] Znalost cizího jazyka o [Anglicky] Znalost notového zápisu o [Ne] Hrajete či jste někdy hráli na nějaký hudební nástroj o [Ne] 2.3.5. Participant č. 5 Pohlaví o [M] Věk o [23-25] Znalost cizího jazyka o [Anglicky] Znalost notového zápisu Hrajete či jste někdy hráli na nějaký hudební nástroj Strana: 8 / 19 31. 11. 2012
Na jaký nástroj hrajete nebo jste hráli o Flétny alt, soprán, kytary, basová kytara Jak často hrajete na hudební nástroj o [Denně] Chodili jste někdy do hudební umělecké školy? o [Ne] 3. Průběh testu Participant nejprve vyplnil Pre-test dotazník, díky kterému jsme si udělali jasnější představu, s kým se setkáváme. Následně byl umístěn do laboratoře, kde dostal zadané úkoly, které simulovaly skutečnou práci s aplikací. Po průchodu skrz tyto úlohy byl participant podroben Post-test dotazníku, ve kterém nám měl za úkol shrnout své pocity a názory. 3.1. Pre-test dotazník Účastnil/a jste se někdy testování uživatelského rozhraní? o [Ne] Využíváte nějaký počítačový program, mobilní aplikaci či webovou službu pro zpracování not či jiného zápisu hudby? o [Ne] Jaký/é program/y, mobilní aplikace či webové služby pro zpracování notové osnovy či jiného zápisu hudby používáte? o [ ] Jak často využíváte tyto/tento program(y)? o Několikrát do roka o Několikrát do měsíce o 1-2x týdně o 3-4x týdně o > 5x týdně o Denně Strana: 9 / 19 31. 11. 2012
o Jiné Jaké funkce využíváte nejčastěji? o [ ] Co by podle Vás měl takovýto program umožňovat? o [ ] Popište prosím jedním slovem, jak se dnes cítíte. o [ ] 3.2. Post-test dotazník Bylo jednoduché používat tuto aplikaci? Jak se cítíte po testu? Bylo testování frustrující? Můžete tuto aplikaci doporučit svým známým? Jak na vás test působil? Zdály se vám popisky k jednotlivým tlačítkům dostatečně srozumitelné? Myslíte si, že pro uživatele bude jednoduché používat tuto webovou aplikaci? Zdály se vám instrukce k jednotlivým úkolům srozumitelné? Provedl software přesně to, co jste od něj očekávali? Co byste navrhovali zlepšit či přidat? 3.3. Úkoly pro participanty 3.3.1. Úkol 1 - Na hlavní stránce aplikace nalezněte videotutoriál. Pro uživatele, jenž navštíví tuto stránku poprvé, je důležité, aby se rychle dostal k obsahu, jenž jej naučí pracovat s aplikací. 3.3.2. Úkol 2 - Naleznete píseň "UseCase 1-6" a editujte ji. Jedná se o úkol, kdy uživatel hledá konkrétní píseň a chce s ní provádět další operace. 3.3.3. Úkol 3 - Nastavte Metadata a píseň uložte na disk. Nastavení metadat, kterými jsou jméno autora a další, je nedílná součást aplikace, která umožňuje přehlednou správu písní v databázi. 3.3.4. Úkol 4 - Naleznete nápovědu k editoru a zobrazte ji. Nápověda u editoru písně vysvětluje práci s editorem. 3.3.5. Úkol 5 - Upravte noty akordu D7 Jedná se o úkol, kde uživatel mění noty vybraného akordu. Strana: 10 / 19 31. 11. 2012
3.3.6. Úkol 6 - Vytvořte nový akord "Cblabla" a nastavte mu noty. Úkol vytváří nový akord, který není v databázi aplikace. 3.3.7. Úkol 7 - Zapněte přehrávání po jedné notě (nikoliv tedz po celém řádku) Nastavení režimu přehrávání 3.3.8. Úkol 8 - Upravte rytmus jednoho řádku Upravení rytmu jednoho řádku 3.3.9. Úkol 9 - Generujte PDF své nové písně 3.4. Výsledky testu 3.4.1. Participant 1 Jednalo se o muže ve věku 23-25 let se znalostí angličtiny a notového zápisu, který hraje několikrát do týdne na kytaru či housle. S aplikací Mordent se již dříve setkal. Participant očekával, že aplikace bude umožňovat zápis not stejně, jak to lze na notový papír. Během testu uživatel nemůže ihned najít tutoriál a chvíli tápe, jak se ze stránky s tutoriálem vrátit zpět. Dále uživatel předpokládá, že ukládání písně na disk počítače probíhá přes tlačítko save v editoru. Obr 2 - Tlačítko save v editoru písně Strana: 11 / 19 31. 11. 2012
Ukládání písně na disk ve formě obrázku uživatel nepochopil napoprvé, u vygenerovaného obrázku hledal uživatel odkaz či tlačítko pro uložení. Až po chvíli uložil obrázek přes pravé kliknutí myši a Uložit obrázek jako. Nápovědu k editoru písní hledal uživatel u tutoriálů, po nalezení a zobrazení nápovědy nevěděl jak nápovědu zavřít. Při upravení not akordu se snažil najít takovouto položku v menu. Zbytek úkolů zvládl uživatel bez problémů. K aplikaci neměl uživatel žádné výhrady a cítil se dobře, aplikaci by doporučil svým známým a aplikace reagovala tak, jak předpokládal. 3.4.1. Participant 2 Muž ve věku 19-22 let se znalostí angličtiny a notového zápisu. Hraje několikrát do roka na elektrickou kytaru. Nepoužívá žádné aplikace, které by umožňovaly zápis notové osnovy. Očekával by možnost vytvářet kytarové TABy, psaní akordů a textů písniček. Během testu má uživatel problém nalézt tutoriál na hlavní straně, po jeho nalezení přistupuje k editaci metadat. Metadata vyplní, ale nenalézá ukládací tlačítko OK. Obr 3 - Tlačítko pro uložení metadat Při exportování do formátu obrázku opět nastává problém s uložením na disk, uživatel hledá tlačítko nebo odkaz pro uložení. Po radě observera ukládá obrázek přes pravé kliknutí myši. Strana: 12 / 19 31. 11. 2012
Dlouho hledá nápovědu k editoru, poté nalézá okamžitě, kde upravit noty akordu. Po jejich úpravě ovšem nepoznal, že se noty akordu uložily. Chvíli tápal, jak se vytváří nový akord, nakonec to zkusil; nebyl si sice jistý výsledkem, ale podařilo se mu vytvoření akordu. Nepodařilo se vyplnění not nového akordu. Pokusil se změnit rytmus not na 3 3 3 ale rytmus noty 3 není povolen, proto se rytmus neuložil. Po testu nám participant sdělil, že aplikaci nebylo jednoduché používat. Chyběla mu nápověda pod ukazatelem, aplikaci by doporučil svým známým, navrhoval by zrušit animaci létajících not a aplikace prováděla to, co očekával. 3.4.1. Participant 3 Muž ve věku nad 25 let se znalostí angličtiny i notového zápisu. Aktivní hráč na klávesové nástroje. Několikrát v životě použil aplikaci k přehrávání MIDI tónů not. Očekává, že aplikace bude umožňovat zvolení tempa, zápis not, přehrání not, zvolení nástroje, který noty přehraje. Participant během testu nalezl hned několik problémů, nemohl nalézt tutoriál, po jeho nalezení se nemohl dostat z tutoriálu na hlavní stránku aplikace. Dále nemohl nalézt seznam písní, po nalezení seznamu nemohl nalézt požadovanou píseň, očekával vyhledávání. Editace akordu nebyla participantovi zřejmá, musel dostat radu od pozorovatele. Ani po této radě si nevěděl rady a nebyl schopný editovat akord. Po nalezení akordu D7 chvíli hledal, kde editovat noty akordu - a po jeho editaci nepochopil, zda je akord uložen. Participant nevěděl jak vytvořit nový akord, během pokusů omylem přidal řádek, což mělo za následek chybová hlášení celé aplikace, nemožnost uložení a nemožnost exportu. U Participanta je vidět frustrace, neví, co má dělat. Pozorovatel mu byl nucen poradit a opravit tak chyby, které participant napáchal. Zároveň participant vzdal vytvoření nového akordu. Dlouho hledal, kde má přehrát řádek not či jednotlivé noty. Očekával přehrávání po kliknutí na notovou osnovu. Rytmus řádku byl schopen změnit, ale nepochopil, že má být stejný počet číslic jako je not na řádku. Musel dostat radu od pozorovatele. Uložení do PDF hledal participant přímo v editaci písně. Ale po několika minutách se dokázal dostat na exportovací stránku a soubor úspěšně exportoval do PDF. Participant si nemyslí, že je používání aplikace jednoduché, po testu se cítil jako hlupák, takže aplikace na něj měla vyloženě špatný vliv. Aplikaci by nikomu nedoporučil, popisky k tlačítkům se mu nezdály srozumitelné. Aplikace se nechovala vždy tak, jak Strana: 13 / 19 31. 11. 2012
očekával. Navrhoval by zlepšení grafického návrhu, editaci písně formou DRAG&DROP, možnost nastavení taktu. 3.4.1. Participant 4 Muž ve věku 19-22 let se znalostí angličtiny, jedná se o participanta, který nehraje na žádný hudební nástroj a není nijak hudebně vzdělán. Od aplikace očekává, že bude přehledná, bude umožňovat zápis, editaci a přehrávání zapsaných not. S nalezením tutoriálu neměl problém. Nemůže ovšem nalézt seznam písniček a rozptylují jej poletující noty na pozadí. Uživatel má problém s uložením písně jako obrázku, opět hledá tlačítko pro uložení. Uživatel neví, co je formát exportu ly. Nakonec ukládá obrázek s pomocí internetového prohlížeče. Uživatel má problémy vyznat se v aplikaci, neví, kde má editovat noty akordu. Vytvoření nového akordu hledá v menu, dále hledá vytvoření nového akordu pod kliknutím na již vytvořený akord. Po radě od pozorovatele vytvoří akord a upraví noty bez problému. Změna rytmu řádku a generování do PDF proběhla bez potíží. Uživatel potřeboval chvíli na pochopení, jak aplikace funguje a občas hledal kde uskutečnit požadovaný úkol. Popisky tlačítek hodnotil dobře, pouze u vytvoření nového akordu by očekával nápovědu nebo tlačítko pro jeho vytvoření. Aplikaci by doporučil svým známým a aplikace prováděla téměř to, co očekával. 3.4.1. Participant 5 Muž ve věku 23-25 let se znalostí angličtiny a dalších jazyků. Má znalost notového zápisu, hraje denně na hudební nástroje (flétny alt, soprán, kytary, basová kytara). Několikrát do měsíce používá aplikaci GuitarPro (konkrétně funkce: přehrávání obsahu, převod do tabulatur, několikastopová kompozice). Od aplikace očekává multitrack, přehrávání, mute/solo na konkrétní stopu, udání tempa. Tutoriál a seznam písní nalezl bez problémů, upravil metadata bez problémů, ale nevšiml si uložení metadat OK tlačítko. Exportoval písničku bez problémů, dále provedl snadno editaci písně, kde narazil na problém, že si chtěl přehrát akord, ale nevěděl jak. Po náhodném kliknutí přehrál celý řádek. Zjistil, že aplikace je schopná přehrát jednotlivé tóny, nikoliv akordy. Po poradě s pozorovatelem vytváří akord zapsáním do prvního řádku textového pole. Měl za úkol vytvořit akord z tónů, místo toho vytvořil akord z jiných akordů. Strana: 14 / 19 31. 11. 2012
Při ruční úpravě tempa omylem kliknul na obrázek nabízeného tempa a zrušil tak svoji úpravu. Uložení do PDF očekává pod položkou Save v menu editoru. Aplikaci by doporučil svým známým, ale chybí mu v aplikaci multitracking, kladně hodnotil popisky a tooltip nad menu. 4. Závěr a nálezy Nalezené problémy jsem seřadil podle priority, která udává důležitost odstranění problému. Priorita má hodnoty 1 5, kde 1 znamená nejvyšší prioritu a 5 nejnižší, zároveň jsem u každého problému navrhl nápravu. Největší problém způsobovalo uživatelům: Export písně do formátu obrázku a uložení na disk Uložení metadat písně Vytvoření nového akordu Úprava existujícího akordu Export písně z editoru Save tlačítko Přehrání řádků not Změna rytmu řádku 4.1. Detailní přehled nálezů 4.1.1. Export písně do formátu obrázku a uložení na disk. Priorita => 1 Problém je zejména v grafickém návrhu, není zřejmé, že se jedná o odkazy pro stažení souboru. Aplikace by po kliknutí na formát měla nabídnout stažení souboru, případně být rozdělená do dvou skupin: PNG náhled / stáhnout. Uživatel by nejdříve mohl zvolit náhled, kde by se zobrazil obrázek či požadovaný formát. Z tohoto náhledu by měl mít možnost návratu zpět a poté by mohl zvolit možnost stažení souboru na disk. Strana: 15 / 19 31. 11. 2012
Obr 4 - Exportovací menu Obr 5 - Obrázek po exportu 4.1.2. Uložení metadat písně Priorita => 1 Tlačítko pro uložení metadat je špatně zřetelné, navrhoval bych jej zvětšit, barevně zvýraznit a umístit na střed, či vpravo pod formulář. Zároveň podle mne není dostačující popisek OK, popisek by měl být vysvětlující, např. Uložit metadata. Strana: 16 / 19 31. 11. 2012
Obr 6 - Úprava metadat 4.1.3. Vytvoření nového akordu Priorita => 2 Vytvoření nového akrodu probíhá vepsáním do textového pole. Velice intuitivní, ale aplikace nemůže zpracovat akord, který nezačíná písmenem tónu např. Ytat. Protože to není zcela zřejmě, hodila by se rozšířená nápověda, popisující vytvoření nového akordu, včetně postupu pro zapsání not. 4.1.4. Úprava existujícího akordu Priorita => 2 Strana: 17 / 19 31. 11. 2012
Stejně jako v minulém případě chybí dostatečná nápověda, uživatelé, kteří nezvládli vytvořit nový akord, si s tímto problémem poradili bez problémů, ale pouze díky tomu, že již věděli, jak editovat nový akord. 4.1.5. Export písně z editoru Save tlačítko Priorita => 4 Tlačítko Save v editoru písně je matoucí a nemusí být zřejmé, že se export písně provádí po stisknutí položky Done v menu. Obr 7 - Tlačítko "Save" a "Done" v editoru 4.1.6. Přehrání řádků not Priorita => 4 Někteří uživatelé hledali přehrávání jednotlivých not, i celého řádku po kliknutí na notovou osnovu v editoru. Noty se přehrávají pouze umístěním kurzoru k tónu v textovém poli. Navrhoval bych oba způsoby, případně možnost nápovědy v menu a spuštění přehrávání přímo z menu. Strana: 18 / 19 31. 11. 2012
4.1.7. Změna rytmu řádku Priorita => 3 Změna rytmu řádku probíhá buď kliknutím na nabízený rytmus, což je celkem intuitivní a uživatelé si tuto možnost velice chválili. Ačkoliv jeden uživatel si ručně přepsal rytmus not a poté omylem klikl na řádek s rytmem not a jeho uživatelské nastavení se změnilo. Protože je to zásadní operace, navrhoval bych implementovat takový způsob potvrzení změn, který uživateli zabrání, aby si rytmus řádku nechtěně rozhodil. Strana: 19 / 19 31. 11. 2012