České vysoké učení technické v Praze Fakulta elektrotechnická Semestrální práce C Testování uživatelského rozhraní - A4B39TUR Kvalitativní test s uživatelem - VLC Media Player Jakub Groll Jaroslav Skala Adam Paulík Ondřej Skoumal Letní semestr 2014/15
Obsah 1. Úvod... 3 2. Cílová skupina... 3 3. Výběr participantů... 3 4. Popis testování... 4 4.1. Usability lab... 4 4.2. Observer room... 4 4.3. Participant room... 4 4.4. Použitý software... 4 4.5. Průběh testování... 5 5. Popis nasbíraných dat... 5 6. Shrnutí problémů... 5 7. Přílohy:... 6 7.1. Scénář úkolů... 6 7.2. Screener... 7 7.3. Výsledky screeneru... 8 7.4. Pre-test dotazník... 8 7.5. Post-test dotazník... 8 2
1. Úvod Předmět tohoto testování je program na přehrávání multimédií VLC Media Player. Tento program je velice oblíbený pro náročnější uživatele díky veliké možnosti uživatelského nastavení. Cílem testování je zjistit, zda-li uživatel najde řešení k základnímu nastavení uživatelského rozhraní a jestli je schopen efektivně využít pokročilé funkce programu. 2. Cílová skupina Cílovou skupinou jsou mladí lidé ve věku 15-35 let, kteří sledují filmy na PC. Předpokládá se alespoň základní znalost s používáním podobných programů na přehrávání. 3. Výběr participantů Pro výběr participantů jsme použili Screener (viz příloha 7.2), který měl poskytnout důležité informace o vhodnosti uživatele pro testování. Pro účely testování byl vytvořen on-line formulář, který byl po předchozím oslovení rozeslán přes sociální sítě. Cílem bylo získat 5 participantů. U každé otázky je uvedena očekáváná odpověď. Odpovědi získané pomocí screeneru jsou uvedeny v příloze 7.3. Pohlaví? Kolik Vám je let? Studujete vysokou školu? Pokud ano, jakého je zaměření? Sledujete filmy na PC? Jaký software na přehrávání filmů nejčastěji používáte? Sledujete filmy/seriály: (v jakém znění) Sledujete filmy/seriály: (jak často) Zúčastnili jste se už podobného testování? Pro potřeby testování jsme chtěli účast alespoň jedné ženy. Očekávali jsme mladší skupinu, ve věku 20-35 let. Chtěli jsme raději studenty technických škol, u nichž se předpokládá znalost s podobným programem. Cílem bylo získat uživatele sledující filmy na PC (a tudíž potenciální uživatele KMPlayeru) Cílem byli především uživatelé jiných programů. Chtěli jsme získat uživatele, který využívá nastavení titulků. Chtěli jsme získat uživatele, který používá přehrávač často. Většina účastníků neměla mít zkušenost s podobným testováním. 3
4. Popis testování Testování probíhalo v laboratoři použitelnosti na Katedře počítačové grafiky a interakce na Karlově náměstí. Testování bylo domluveno na 27.4.2015 s pěti participanti. Každý participant plnil úkoly s předpokládanou obtížností 40 minut. 4.1. Usability lab Laboratoř tvoří dvě místnosti, observer room a participant room. 4.2. Observer room Místnost slouží pro organizátory testu a tzv. stakeholdery (např. vývojáře programu atd). Organizátoři sledují na obrazovkách průběh testování, a zapisují důležité okamžiky do logu. 4.3. Participant room Participant room je místnost určená pro samotné testování, ve které je přítomný participant spolu s jedním moderátorem. Místnost je navržena tak, aby se v ní účastník cítil přirozeně a nebyl ovlivněn zbytečným stresem z okolí. Jeho činnost je zaznamenávána pomocí několika kamer a mikrofonu. Součástí je také počítač, na kterém probíhá testování programu. 4.4. Použitý software K záznamu testování byl použit software Morae od firmy TechSmith. V místnosti s participantem byl na počítači již nainstalován program Morae Recorder, který byl zapnut současně s programem Morae Observer nainstalovaným v observer room. Testování samotného programu VLC Media Player probíhalo ve verzi 2.2.1 (Terry Pratchett) 4
4.5. Průběh testování Na počítači byl nainstalován program VLC Media Player (s vytvořeným zástupcem na ploše). Společně s ním byly na plochu umístěny složky s titulky a video soubory (každé zvlášť aby se titulky automaticky nenačítaly). Moderátor poté přivítal participanta v místnosti, vysvětlil mu průběh testování, obeznámil ho s použitím nahrávek, které nebudou nikde použity mimo účely předmětu TUR, dále mu nabídl občerstvení a požádal ho, aby v průběhu testování co nejvíce komentoval své kroky. Před zahájením testu mu položil otázky z pre-test dotazníku (viz příloha 7.4) a předložil mu vytištěný seznam úkolů (viz příloha 7.1). Každý participant procházel úkoly podle svých možností, moderátor se snažil zasahovat co nejméně (vyjma momentů, kdy uživatel již nebyl schopen splnit úkol). Po dokončení bylo participantovi položeno pár otázek z post-test dotazníku (viz příloha 7.5) týkajících se jeho bezprostředních pocitů a dojmů z programu a samotného testování. 5. Popis nasbíraných dat Doplníme příští odevzdání 6. Shrnutí problémů Doplníme příští odevzdání 5
7. Přílohy 7.1. Scénář úkolů 1. Zapněte program VLC media player 2. Otevřete soubor <název souboru> 3. Načtěte titulky 4. Nastavte zpoždění titulků +1.5 s (titulky budou přehrávány později, oproti normálnímu stavu) 5. Změňte barvu titulků na červenou 6. Přidejte do fronty přehrávání <název souboru>, <název souboru> 7. Přepněte na další soubor v playlistu 8. Zvětšete velikost titulků a přidejte jim pozadí 9. Změňte poměr stran videa na 4:3 10. Umlčte zvukovou stopu 11. Změňte rychlost přehrávání na 1.30x 12. Pozdržte zvukovou stopu +1.5 s (zvuk bude později než-li obraz) 13. Přidejte efekt videa Zrcadlení 14. Přejděte na určený čas 11 minut a 6 sekund 15. Zjistěte klávesovou zkratku funkce Dlouhý skok vpřed a vyzkoušejte její funkčnost 16. Nastavte adresář pro ukládání snímků videa na plochu 17. Vytvořte snímek videa 18. Přidejte tlačítko Ukončit do rozhraní přehrávače mezi ostatní tlačítka. 19. Zobrazte pokročilé ovládání 20. Nastavte nepřetržité přehrávání smyčky z času 15:00 do 15:10 (přibližně) 6
7.2. Screener 7
7.3. Výsledky screeneru Pohlaví * Kolik Vám je let?* 26 a více Studujete vysokou školu? Pokud ano, jakého je zaměření? Sledujete filmy na PC?* Ano Jaký software na přehrávání filmů nejčastěji používáte?* VLC Sledujete filmy/seriály:* znění Sledujete filmy/seriály:* Jednou týdně Zúčastnili jste se už podobného testování?* Ano 22-25 Fel - ČVUT Ano BsPlayer znění Více Ano 22-25 ČVUT OI Ano KMPlyer znění Jednou týdně Ne 18-21 Technického Ano KMPlyer znění s titulky Jednou za dva týdny Ne 18-21 ČVUT Ano Windows media player znění s titulky Jendou týdně NE 7.4. Pre-test dotazník 1. Používal jste někdy VLC Media Player? 2. K jakým činnostem využíváte počítač? 3. Nevadí vám zkoušet nové programy? 7.5. Post-test dotazník 1. Jak se Vám líbila aplikace? 2. Byl jste spokojen s náročností úkolů? 3. Jak se Vám líbilo samotné testování? 4. Zúčastnil byste se podobného testu ještě někdy v budoucnu? 8