ČESKÉ VYSOKÉ UČENÍ TECHNICKÉ V PRAZE FAKULTA ELEKTROTECHNICKÁ SEMESTRÁLNÍ PRÁCE C NA PŘEDMĚT A4B39TUR KVALITATIVNÍ TEST S UŽIVATELEM TESTOVÁNÍ PROGRAMU WINAMP Vypracovali: Marek Přitasil, Kryštof Šplíchal, Marek Timr, Matěj Židek 2014
Obsah 1. - Cíl testování...3 2. - Cílová skupina...3 3. - Příprava - dotazníky...3 3.1. - Screener...3 3.1.1 - Veřejná část...3 3.1.2 - Neveřejná část...3 3.1.3 - Pre-test dotazník...4 3.1.4 - Post-test dotazník...4 4. - Popis testování...5 4.1 - Popis místností a vybavení...5 4.2 - Průběh testování...5 4.3 - Seznam úkolů...5 4.4 - Bonusové úkoly...6 5. - Vlastní testování...6 5.1 - Participant 1...6 Use case 3 - Změna metadat...6 5.1.1 - Nálezy...8 5.1.2 Společné nálezy...8 5.1.3 - Dotazníky...8 5.2 - Participant 2...9 5.2.1 - Nálezy...10 5.2.2 - Společné nálezy...10 5.2.3 - Dotazníky...10 5.3 - Participant 3...11 Use case 4 - Ověření změny dat...11 5.3.1 - Nálezy...12 5.3.2 - Společné nálezy:...12 5.3.3 - Dotazníky:...12 5.4 - Participant 4...13 5.4.2 - Nálezy...14 5.4.3 - Dotazníky:...15 5.5 - Participant 5...15 5.5.1 - Nálezy...16 5.5.2 - Společné nálezy...16 5.5.3 - Dotazníky:...17 6. - Závěr...17 7. - Přílohy...18 7.1 - Screener...18 7.2 - Screener odpovědi...20 7.3 - Pre-test dotazník...21 7.4 - Post-test dotazník...22 2
1. - Cíl testování Cílem našeho testování byl program Winamp. Jedná se o známý a volně dostupný přehrávač audiovizuálního obsahu, zejména však hudby. Program disponuje pokročilou možností správy hudební knihovny, včetně tvorby playlistů, dále přístupem k internetovým službám, jako je internetové rádio a stahování podcastů. Značnou výhodou je i velké množství tzv. pluginů, které funkcionalitu programu dále rozšiřují. 2. - Cílová skupina Cílová skupina našeho testování byli studenti různých VŠ ve věku 19 až 24 let. Testu se účastnily 3 participantky a 2 participanti. Nikdo z participantů program aktivně nepoužíval, pouze ho zkoušeli nebo o něm slyšeli. 3. - Příprava - dotazníky 3.1. - Screener 3.1.1 - Veřejná část Účastníky testu nám pomohl vyfiltrovat screener. Požadavky na participanty jsme volili tak, aby test podával co nejvěcnější a nejméně zaujaté výsledky. Screener je součástí přilohy. 3.1.2 - Neveřejná část Tato část slouží pro přesné určení omezovacích kritérií. Měla by obsahovat dotazník s očekavaným počtem odpovědí. My jsme však měli na výběr participantů málo času a vzhledem k tomu, že jsem všechny participanty osobně znali, vybírali jsme je tak, aby nám splnili následující kritéria: alespoň 2 ženy a 2 muži musí poslouchat hudbu věk participantů mezi 18 a 29 lety, protože tito lidé poslouchají nejvíce hudbu novými způsoby alespoň jeden člověk, který posluchá hudbu výhradně z internetu, aby neměl zkušenosti s desktopovou aplikací, jakou je právě Winamp alespoň jeden člověk, který využívá streamovací služby alespoň dva lidé, kteří někdy použili Winamp Tabulka níže tedy nezobrazuje očekávané odpovědi participantů, ale výtah ze skutečných odpovědí. Kompletní odpovědi si lze prohlédnout v příloze. 3
Pohlaví 2x muž, 3x žena Věk 5x 20-29 let Poloucháte hudbu? 5x ano Jak hudbu posloucháte? 1x Youtube, 1x streamovací služby, 1x Hifi věže a jiné, 4x Desktopové aplikace Nakupujete hudbu 4x ne,1x na internetu Který z programů jste někdy použili? 3x Winamp 3.1.3 - Pre-test dotazník Tento dotazník byl předložen již vybraným participantům. Jeho účelem bylo seznámit moderátora se zkušenostmi particpinata jak s testováním, tak s programem Winamp. Moderátor tak mohl své počínání lépe přizpůsobit potřebám participanta. Dotazník si je možno prohlédnout v příloze. 3.1.4 - Post-test dotazník Po skončení testu byl participantům předložen post-test dotazník. jeho účelem bylo zíksat zpětnozu vazbu, lépe porozumět tomu, s čím měl participant problémy. Většina otázek byla formulována tak, aby participant odpovídal celou větou, mohl zde také připsat své návrhy na zlepšení. Dalším účelem bylo zjistit, zda test proběhl v pořádku i z naší strany. Dotazník je též součástí přílohy. 4
4. - Popis testování 4.1 - Popis místností a vybavení Program jsme testovali metodou testování použitelnosti. Tato metoda funguje na principu testování s uživateli, kdy v jedné místnosti sedí participant s moderátorem a vykonává test a v druhé místnosti jsou testeři, kteří zaznamenávají průběh testu. Test jsme prováděli v Usability Labu FEL ČVUT na Karlově Náměstí. Místnost pro participanta byla zařízena pro jeho pohodlí a uvolnění, pro samotné testování zde byl jeden počítač s jednou obrazovkou, jedna kamera s mikrofonem přímo na stole a poté další dvě kamery v rozích místnosti. Na počítači byl nainstalován program Morae Recorder, který přeposílal obsah obrazovky a stolní kamery do místnosti pro testery (Observer room). Místnost pro testery byla vybavena monitory pro sledování obrazu z kamer a pro práci s programem Morae Observer, který zaznamenával video a umožnil testerům psát tzv. logy (záznamy) z průběhu testování. Tyto logy jsou k dispozici v příloze. 4.2 - Průběh testování Testování jsme započali přípravou obou místností. Po zapnutí všech potřebných zařízení jsme na počítač v místnosti pro participanta nainstalovali nejnovější verzi programu Winamp (v5.666 Full Build 3516) a připravili ho na případy užití, které jsme chtěli testovat. Toto bylo třeba znovu opakovat před každým jednotlivým testováním. Samotné testování začalo příchodem participanta, kterému byl předložen pre-test dotazník. Poté odešel s moderátorem do místnosti pro participanta a po představení programu začal průchod jednotlivými případy užití. Participant byl vždy na začátku testování instruován, aby nahlas komentoval své aktuální akce a pocity z vykonávání use case, u některých participantů bylo třeba toto několikrát zopakovat v průběhu testování. Participant před sebou měl vytištěný seznam úkolů a postupně jimi procházel. Brali jsme v úvahu možnost některý use case přeskočit v případě, že by s ním participant měl příliš velké problémy a trvalo by příliš dlouho jej splnit, nicméně tato situace v průběhu testování nenastala. Po uplynutí času 45min pro testování jsme participantovi dali k vyplnění post-test dotazník, vrátili stav programu Winamp zpět a připravili jej pro další testování. 4.3 - Seznam úkolů 1. Spusťte Winamp 2. V Media Library vyberte některou skladbu a přehrajte 5 vteřin, poté skladbu zastavte 3. U Vámi vybrané skladby otevřete dialog pro změnu metadat 4. V tomto dialogu změňte název skladby a rok na libovolnou hodnotu, poté dialog zavřete, ověřte, že se data změnila 5. Změňte skin na Winamp Classic 6. Změňte skin zpět na Big Bento 7. Najděte ekvalizér, zapněte ekvalizér a vyberte pro něj Preset "Full Bass" 8. Přepněte okno ekvalizéru zpět na "File Info" 9. Najděte na ploše ve složce Skladby album XY a přidejte ho do hudební knihovny. 5
10. Vytvořte nový playlist a vložte do něj 3 (libovolné) skladby z hudební knihovny 11. Přidejte skladby z Vámi vytvořeného playlistu do fronty skladeb na přehrání 12. Otevřete soubor unknown.mp3, který je na ploše 13. Automaticky zjistěte informace o souboru pomocí Auto-Tag a poté uložte 4.4 - Bonusové úkoly B1. Zjistěte číslo verze Winampu B2. Aktivujte klávesové zkratky - hotkeys B3. Změňte klávesovou zkratku pro přehrání na Shift + E B4. Vstupte do nabídky SHOUTcast Radio a najděte internetové rádio Venice Classic Radio Italia, spusťte toto rádio B5. Nastavte neprůhlednost na 50% B6. Nastavte jazyk na maďarštinu 5. - Vlastní testování 5.1 - Participant 1 Use case 1 - Zapnutí Use case 2 - Přehrání skladby Use case 3 - Změna metadat Use case 4 - Ověření změny dat Use case 5 - Změna skinu Participant hledá v nabídce View/Skin settings, nicméně vybírá položku Color Theme a přenastavuje pouze barevné schéma GUI. Participant nemůže najít vhodnou nabídku. Je potřeba mu pomoci. Use case 6 - Změna skinu zpět Use case 7 - Použití equalizéru Participant nastaví equalizér, nicméně nedokáže zkontrolovat, jestli se mu úkol zdařil. Participant neví, jestli je nastavený správný preset. 6
Use case 8 - Zobrazení File Info Use case 9 - Přidání alba do knihovny Participant přidal album přetažením skladeb z File Exploreru. Neví, jestli se tam opravdu přidali. Zopakuje proces podruhé pomocí možnosti Add media to library. Nedostane žádnou odpověď. Use case 10 - Vytváření playlistu Use case 11 - Fronta Participant si není jistý, kde se mu přehrávají písničky. Není si jistý, kde je fronta skladeb. Participant je zmatený z toho, že fronta obsahuje po přidání skladeb i jiné skladby (písničky byly zařazeny do existující fronty). Use case 12 - Přehrání neznámé Bez problému. Use case 13 - Použití Auto-tag Participant potřebuje mírnou pomoc najít správnou nabídku. Participant neví, jak si zobrazit nalezený tag. Use case B1 - Číslo verze Use case B2 - Klávesové zkratky Use case B3 - Změna zkratek Use case B4 - SHOUTCast Participant neví, jestli je v nabídce SHOUTCast. Use case B5 - Průhlednost Participant systematicky prochází všechny nabídky. Participant položku nemůže najít v Nastavení. Use case B6 - Jazyk Participant očekává položku v General preferences. 7
5.1.1 - Nálezy P1N1 - Skin settings V menu View/Skin settings se nedá změnit skin. P1N2 - Equalizer Po zapnutí eqalizéru nedostane uživatel žádnou zpětnou vazbu, že je equalizer aktivní. P1N3 - EQ preset Uživatel na první pohled nevidí, jaký má nastavený preset equalizéru. P1N4 - Přidání alb Uživatel nedostane žádnou informaci o tom, zda se mu podařilo přidat skladby do knihovny. P1N5 - Fronta Fronta skladeb není označená. Není intuitivní, že po poklepání na jednu písničku v seznamu se do fronty zařadí všechny ostatní písničky ze seznamu. P1N6 - Autotag V okně Winamp auto tagger uživatel neví, že program sám začal hledat data. Nedá mu dostatečnou zpětnou vazbu. Pro zobrazení nalezených dat musí uživatel kliknout znovu na písničku v seznamu tagovaných skladeb. Když je tam pouze jedna, uživatel si myslí, že se nic neděje. P1N7 - SHOUTCast Stránka SHOUTCast není řádně označená. Chybí jí například nadpis. P1N8 - Průhlednost Přestože se jedná o globální nastavení, je ukryto v podnabídce Modern Skins. Uživatel přeskakuje tuto možnost 5.1.2 Společné nálezy 5.1.3 - Dotazníky PARTICIPANT 1, MODERÁTOR: Marek T. Pre-test: A-N-N Post-test: 1. 1. Nepřehledný, složitý, 33% funkcí zbytečných 2. Smazat 99% zbytečných funkcí 2. Ne, viz 1. 3. Líbila se mi klasická hudba z rádia Venice něco 8
5.2 - Participant 2 Use case 1 - Zapnutí Use case 2 - Přehrání skladby Use case 3 - Změna metadat Use case 4 - Ověření změny dat Use case 5 - Změna skinu Use case 6 - Změna skinu zpět Participant hledá nabídku. Use case 7 - Použití equalizéru Participant neví, jestli je equalizér zapnutý. Hledá jeho zobrazení. Participant neví, jestli po výběru presetu proběhla nějaká změna. Use case 8 - Zobrazení File Info Use case 9 - Přidání alba do knihovny Participant přetahuje skladby z průzkumníku. Use case 10 - Vytváření playlistu Participant přidával písničky do playlistu přetažením z knihovny. Use case 11 - Fronta Participant se není jistý, kde je fronta skladeb. Use case 12 - Přehrání neznámé Use case 13 - Použití Auto-tag Participant hledá Auto tag v horní liště nabídek. Use case B1 - Číslo verze 9
Use case B2 - Klávesové zkratky Use case B3 - Změna zkratek Use case B4 - SHOUTCast Hledá v horní liště. Use case B5 - Průhlednost Systematicky prochází nabídky Options, ale nemůže to najít Hledá systematicky v horní liště. Vyhledává v nápovědě, ale nenachází odpověď. Moderátor radí. Use case B6 - Jazyk Hledá v General Preferences. 5.2.1 - Nálezy P2N1 - Hlavní nabídka Na některé funkcionality se nelze dostat z nabídek v horní liště. Například Auto tag a internetová média. 5.2.2 - Společné nálezy P1N3 P1N4 P1N8 5.2.3 - Dotazníky PARTICIPANT 2, MODERÁTOR: Marek T. Pre-test: N-N-N Post-test: 1. Celkový dojem není špatný, asi je to o zvyku, víceméně asi těch různých podoken působilo pro mě trochu nepřehledně. 2. Ne, jsem zvyklá na Windows Media Player. 3. Pozitivní; Úkoly v rámci možností zajímavé 10
5.3 - Participant 3 Use case 1 - Zapnutí Use case 2 - Přehrání skladby Use case 3 - Změna metadat Use case 4 - Ověření změny dat Use case 5 - Změna skinu Use case 6 - Změna skinu zpět Hledá, kde to nastavit, nicméně to úspěšně nachází. Use case 7 - Použití equalizéru Participantka si není jistá, zda se projevila změna nastavení equalizéru. Ověřuje to opakováním nastavení. Use case 8 - Zobrazení File Info Use case 9 - Přidání alba do knihovny Přetahuje složku z průzkumníka souborů do winampu. Participantka potřebuje radu moderátora. Use case 10 - Vytváření playlistu Use case 11 - Fronta Use case 12 - Přehrání neznámé Use case 13 - Použití Auto-tag Hledá auto tag ve file info a meta datech, poté v horní liště. Moderátor musí navádět. Přeskakuje možnost send this file to, kde se nachází možnost auto tag. 11
Use case B1 - Číslo verze Use case B2 - Klávesové zkratky Use case B3 - Změna zkratek Use case B4 - SHOUTCast Use case B5 - Průhlednost V nastavení systematicky prohledává možnosti sekce Skins. Měla problém rozeznat, zda je jezdec nastavení hodnoty aktivní. Use case B6 - Jazyk Hledá v General options, protože to je prý důležité nastavení. 5.3.1 - Nálezy P4N1 - Jazyk Participanti často hledali nastavení jazyka v obecných nastaveních. Nastavení jazyka má ale svou vlastní záložku v nastavení. 5.3.2 - Společné nálezy: P2N1 P1N8 5.3.3 - Dotazníky: PARTICIPANT 3, MODERÁTOR: Marek P. Pre-test: A-N-N Post-test: 1. Moc funkcí, které normální uživatel nevyužije, ale jinak pěkná možnost upravení vzhledu podle svých představ. 2. Ne, nevyužívá moc playlisty a podobný funkce hud. Přehrávačů, dávám přednost jednoduchým a přehledným... 3. V POHODĚ, byla to víceméně samostatní práce. Když jsem byla ztracená, byl mi poskytnut useful hint :) 12
5.4 - Participant 4 Use case 1 - Zapnutí Participantka omylem spouští soubor s konfigurací, jinak bez problémů. Use case 2 - Přehrání skladby Participantka si není jista, zda skladbu po přehrání zastavila nebo pozastavila. Use case 3 - Změna metadat Use case 4 - Ověření změny dat Bet problémů. Use case 5 - Změna skinu Hledá změnu skinu ve vlastnostech zástupce na ploše, po nasměrování do nabídek programu po chvíli hledání bez problémů změnila skin. Use case 6 - Změna skinu zpět Má problém najít nabídku pro změnu skinu - hledá v Music Library. Nabídka pravděpodobně bude někde po straně, není to jasné jako předtím. Dlouhou dobu prochází náhodně nabídky, nemůže najít správnou nabídku. Big Bento skin je daleko přehlednější. Vidím toho až moc, potřebuji jednoduchost použití. Use case 7 - Použití equalizéru Očekává fajfku v nabídce, která označuje, že je ekvalizér zapnut. Neví, jak jej zapnout. Prochází opět všechny nabídky. Správně nastavila preset, ekvalizér však stále není vidět a participantka neví, co přesně dělá, neboť nemá odezvu. Správně ověřila, že ekvalizér je nastaven. Use case 8 - Zobrazení File Info Use case 9 - Přidání alba do knihovny Bez problémů i s ověřením. Use case 10 - Vytváření playlistu Má problém nalézt přidání jedné skladby do určitého playlistu, po chvíli nachází. Use case 11 - Fronta Má problém nalézt správnou nabídku i samotnou frontu. Nabídku spíše z důvodu neporozumění anglické terminologii, po instruktáži nachází a bez problémů. Participantce vadí, že fronta není nějak označená. 13
Use case 12 - Přehrání neznámé Bez problémů Use case 13 - Použití Auto-tag Auto-tag se nedaří najít, přestože participantka tuto nabídku již někde viděla, jak tvrdí. Hledání v nápovědě nepomáhá. Použití v pořádku. Use case B1 - Číslo verze Prochází nabídky, hledala by nabídku ve File, ne v Help. Po nalezení je verze hned oznámena, tedy v pořádku. Use case B2 - Klávesové zkratky Nabídka je nalezena v rozumném čase. Use case B3 - Změna zkratek Není zřejmé, jak se nabídka používá, participantka tápe a komentuje nabídku jako velmi nepřehlednou, nechápe, jak zadat správnou kombinaci do programu. Use case B4 - SHOUTCast Participantka nenašla nabídku pro rádio, píše adresu do adresového pole. Po velmi dlouhé době nachází správnou nabídku, přehrání rádia je poté velmi rychle správně provedeno. Use case B5 - Průhlednost Opět není zřejmé, kde najít nabídku pro změnu průhlednosti. Hledala by v nastavení vzhledu, podobně jako byl skin. Po chvíli procházení nabídek dedukcí dochází ke správné nabídce. Use case B6 - Jazyk 5.4.2 - Nálezy P4N1 - Změna skinu Program je vzhledově přehlcený a nepřehledný, pro běžného uživatele složitý. P4N2 - Změna skinu zpět V classic skinu se dlouhou dobu nedaří nalézt hlavní nabídku, protože rozložení není intuitivní. P4N3 Ekvalizér V horním menu se nedaří zapnout ekvalizér, jelikož nabídky pro jeho ovládání jsou oddělené. 14
5.4.3 - Dotazníky: PARTICIPANT 4, MODERÁTOR: Šplíchal Pre-test: N-N-N Post-test: 1. Winamp mě nenadchnul, nevolila bych ho, jako svůj přehrávač hudby. přijde mi složitý, nepřehledný, zmatený. Nevhodný pro laického uživatele. 2. Ne; nepřehledný; složitý. 5.5 - Participant 5 Use case 1 - Zapnutí Use case 2 - Přehrání skladby Use case 3 - Změna metadat Je potřeba osvětlit, co jsou metadata. Use case 4 - Ověření změny dat Use case 5 - Změna skinu Bez problému. Use case 6 - Změna skinu zpět Hledá nastavení, ale v klasickém skinu se nemůže zorientovat. Postupně proklikává všechny ikonky. Nakonec náhodou klikl pravým tlačítkem na horní lištu, což zobrazilo správnou nabídku. Nyný již pohodlně změnil skin zpět na původní. Use case 7 - Použití equalizéru Nemůže najít equalizér,ale dostal se do nabídky změny preset. Zmení na požadovanou hodnoty, ale nedostane zpětnou vazbu. Na vyzvání najde vizualizaci equalizéru. Use case 8 - Zobrazení File Info Use case 9 - Přidání alba do knihovny Ověřuje přes Průzkkmníka kde se skladby nacházejí. Po té v programu celkem bez potíží najde správnou nabídku. Při ověření si neni jistý, zda přidání proběhlo správně nebo ne. V programu to není dobře naznačené. Use case 10 - Vytváření playlistu 15
Use case 11 - Fronta. Přidal správně do fronty, jen neví, kde pak zobrazenou frontu najít, také si není jistý, jestli přidání proběhlo. Use case 12 - Přehrání neznámé Use case 13 - Použití Auto-tag Nemůže najít funkci. Proklikává postupně všechny nabídky. Zřejme by očkával tuto funkci v nabídce FIle Info. Během hledání se tam několikrát vrací. Po chvíli spouští nápovědu programu, z ní ale také nic nevyčte. Nakonec mu poradí moderátor, kde přibližně by měl hledat. Participant kliká na Edit Metadata, ale ani tam požadovanou funkci nenachází. Nakonec se přece jen k funkci dokliká, ale je to spíše náhoda. Use case B1 - Číslo verze Bez problému. Use case B2 - Klávesové zkratky Bez problému. Use case B3 - Změna zkratek Rád by nastavil zkratku přímo v seznamu zkratek, nelíbí se mu, že musí kliknout na požadovanou zkratku, pak se přemístit do jiného řádku. Use case B4 - SHOUTCast Use case B5 - Průhlednost Dělá mu problémy poznat, zda má hledat v položce modern nebo classic skins, jinak bez problémů. Use case B6 - Jazyk 5.5.1 - Nálezy 5.5.2 - Společné nálezy P1N2 P1N3 P1N4 P1N6 16
5.5.3 - Dotazníky: PARTICIPANT 5, MODERÁTOR: Židek Pre-test: A-N-N Post-test : 1. Přijde mi, že se na obrazovce zobrazuje příliš mnoho věcí najednou, takže je obtížné se v programu ze začátku vyznat, ale po delším používání by to mohlo být naopak přínosné. 2. Ne, již jsem zvyklý na ovládání jiných programů, musel bych být nejdřív nespokojený s tím co používám a poté bych hledal, který přehrávač by pro mě byl nejlepší. 3. Nic mi nevadilo, nevím co bych dodal. 6. - Závěr Testování proběhlo bez problémů a všichni participanti nakonec zvládli i bonusové úkoly v časovém limitu. Z testování vyplynulo, že program Winamp je pro nového uživatele poměrně složitý a i když participanti k řešení úloh došli, v post-test dotaznících i během testu bylo vidět, že se v programu hůře orientuje a mohlo by to nové uživatele odradit. 17
7. - Přílohy 7.1 - Screener 18
19
7.2 - Screener odpovědi Participant Pohlaví: Věk: Posloucháte hudbu? Které z následujících možností používáte pro poslech hudby? Jakým způsobem nejčastěji nakupujete hudbu? Který z následujících programů jste někdy použili pro poslech hudby? Desktopový program (Windows media player, VLC player, etc.), Streamovací služby (Google V digitální podobě 1 Muž 20-29 Ano Music, Spotify, etc.) na internetu Winamp, itunes Desktopový program (Windows media player, VLC player, etc.), Youtube, 2 Žena 20-29 Ano Vimeo, etc. Hudbu nenakupuji Windows media player, VLC player Desktopový program (Windows media player, VLC player, etc.), Youtube, Vimeo, etc., Hi-fi věž či jiné audio 3 Žena 20-29 Ano soupravy Hudbu nenakupuji Youtube, Vimeo, 4 Žena 20-29 Ano etc. Hudbu nenakupuji Windows media player, VLC player, Winamp, itunes Windows media player Desktopový program (Windows media player, VLC player, etc.), Youtube, 5 Muž 20-29 Ano Vimeo, etc. Hudbu nenakupuji Windows media player, VLC player, Winamp 20
7.3 - Pre-test dotazník 21
7.4 - Post-test dotazník 22