Testování uživatelského rozhraní (A4B39TUR) C1 Testování webových stránek www.booking.com.
OBSAH 1 ÚVOD...3 1.1 Popis objektu testování...3 2 METODOLOGIE...3 2.1 Test použitelnosti...3 2.2 Usability lab...4 2.2.1 Observer room...4 2.2.2 Participants room...4 2.2.3 Použité softwarové programy...4 3 TESTOVÁNÍ...5 3.1 Cílová skupina uživatelů...5 3.2 Výběr účastníků testování screener...5 3.3 Pre-test...6 3.4 Seznam úkolů...7 3.5 Post-test...7 4 NASBÍRANÁ DATA...8 4.1 Participant č.1...8 4.1.1 Pre-test...8 4.1.2 Průběh testování...8 4.1.3 Post-test...9 4.2 Participant č.2...9 4.2.1 Pre-test...9 4.2.2 Průběh testování...9 4.2.3 Post-test... 10 4.3 Participant č.3... 10 4.3.1 Pre-test... 10 4.3.2 Průběh testování... 10 4.3.3 Post-test... 11 4.4 Participant č.4... 11 4.4.1 Pre-test... 11 4.4.2 Průběh testování... 11 4.4.3 Post-test... 12 4.5 Participant č.5... 12 4.5.1 Pre-test... 12 4.5.2 Průběh testování... 12 4.5.3 Post-test... 13 5 PŘEHLED NÁLEZŮ... 13
1 ÚVOD 1.1 Popis objektu testování Cílem semestrálního projektu je testování webových stránek www.booking.com (viz obrázek 1.1.1). Obrázek 1.1. 1 - Hlavní stránka servisu www.booking.com Webový servis poskytuje takové služby, jako celosvětové vyhledávání místa ubytování a následně jeho rezervace v případě zájmu. Navíc umí servis i poradit, kam se nejlépe vydat, kam se podívat, kde se lépe ubytovat atd. 2 METODOLOGIE 2.1 Test použitelnosti Hodí se k odstranění drobnějších problémů, kterých stále může být velké množství a přitom jsou obtížně odhalitelné. Uživatelské testování použitelnosti je však dokáže odhalit velice jednoduše. Testování probíhá pomocí speciálně stanovených úkolů, které je třeba otestovat, např. na webových stránkách si vybrat nějaké vhodné místo ubytování a poté ho zarezervovat. Tyto úkoly pak postupně budou předloženy určitému počtu průměrných uživatelů. Přitom celý postup testování uživatelem včetně všech zaváhání bude sledován a zaznamenán. Na výstupu testování bude získána zpráva s nalezenými problémy.
2.2 Usability lab Usability lab je laboratoř, ve které probíhá uživatelské testování použitelnosti. Laboratoř se obvykle skládá ze dvou místností: Observer room pozorovací místnost a Participants room místnost, kde probíhá samotné testování (viz obrázek 2.2.1). Obrázek 2.2. 1 - Usability lab ČVUT 2.2.1 Observer room Místnost slouží pro organizátory testu použitelnosti. Hlavním cílem oragnizátorů je sledování průběhu testování na obrazovkách a poznamenání důležitých okamžiků během testu. 2.2.2 Participants room Místnost pro samotné testování, ve které se nachází během testu použitelnosti participant a jeden moderátor. Činnost participanta je zaznamenávána pomocí několika kamer a mikrofonu. Součástí místnosti je také jeden počítač, pomocí kterého vlastně probíhá testování vybraného objektu. 2.2.3 Použité softwarové programy
K testování použitelnosti byl použit software Morae od firmy TechSmith. V participant room byl využit Morae Recorder, který zaznamenovoval celý průběh testování. V observer room byl současně využit Morae Observer, který sdílel obrazovku a také zaznamenovoval samotné testování. 3 TESTOVÁNÍ 3.1 Cílová skupina uživatelů Všichni, kteří rádi cestují po světě a přitom se rádi ubytovovají v hotelích. Navíc preferují hledání svých míst ubytování pomocí speciálních webových stránek, které tuto službu umožňují. 3.2 Výběr účastníků testování screener Výběr participantů byl proveden pomocí metody tzv. screener. Screener má podobu krátkého dotazníku, který ověřuje konkrétní vlastnosti či schopnosti potenciálních účastníků (viz obrázek 2.4.1).
Obrázek 2.4. 1 - Screener 3.3 Pre-test Dotazník před testem slouží jako lehký icebreaker a zároveň by v něm měly být zaznamenány informace, které mohou zásadním způsobem ovlivnit výsledek testu např. zkušenost uživatele s podobným typem programu, již získaná zkušenost s testem použitelnosti apod.
Otázka 1: Otázka 2: Otázka 3: Otázka 4: Otázka 5: Jak často používáte počítač? Jak často provádíte online rezervace ubytování? Máte zkušenosti s webovými stránkami www.booking.com? Používáte www.booking.com pro Vaše rezervace? Účastili jste se někdy nějakého testu použitelnosti? 3.4 Seznam úkolů Účastníci od nás dostali 5 úkolů, které měli vyplnit: 1. Vyhledejte nějaké místo ubytování/hotel podle svých potřeb. (později zadání bylo upřesněno: potřeby uživatele byly rozepsány). 2. Vyhledejte Vámi vybraný hotel na mapě přes touž stránku. 3. Prohlédněte recenze u vybraného hotelu. 4. Vyhledejte nejlevnější hotel v libovolně Vámi vybraném městě. 5. Vyhledejte nějaké tipy o libovolném městě (tipy na to, kam se vydat). 3.5 Post-test Dotazník po testu slouží ke shrnutí zkušenosti účastníka, k zakončení testu a k celkové reflexi. Otázka 1: Otázka 2: Otázka 3: Otázka 4: Otázka 5: Jak se Vám vzhledově líbily stránky www.booking.com? Co se Vám líbilo/nelíbilo na stránkách? Jak se Vám celkem orientovalo na stránkách? Jak obtížné Vám přišly zadané úkoly? Setkal/a jste se v průběhu řešení úkolů s nějakými problémy?
4 NASBÍRANÁ DATA Testování s 5 participanty proběhlo v usability lab na Katedře počítačové grafiky a interakce dne 6.5.2015. 4.1 Participant č.1 Muž ve věku 20-25, cestující několikrát ročně, který preferuje jiné ubytování než v hotelích. 4.1.1 Pre-test Počítač používá každý den. Někdy provádí i online rezervace, ale zkušenosti s objektem testování www.booking.com nemá. 4.1.2 Průběh testování 1. Vyhledejte nějaké místo ubytování/hotel podle svých potřeb. (později zadání bylo upřesněno: potřeby uživatele byly rozepsány). Participant neměl žádný problém s vyplněním formuláře pro hledání ubytování. 2. Vyhledejte Vámi vybraný hotel na mapě přes touž stránku. Participant byl překvapen tím, že servis www.booking.com poskytuje službu vyhledat hotel na mapě přes touž stránku. Jinak participant chtěl zkopírovat adresu vybraného hotelu a přejít na jiné mapové stránky, např. google maps. 3. Prohlédněte recenze u vybraného hotelu. Participant byl si jistý, že najde veškeré recenze na konci stránky dole, ale nenašel tam nic. Prohlédl stránku znova od shora dolů. Po několika vteřinách si všimnul potřebné tlačítko, které pak vlastně odkazovalo na recenze o hotelu. 4. Vyhledejte nejlevnější hotel v libovolně Vámi vybraném městě. Participant neměl žádný problém s tímto úkolem. Rychle našel potřebná tlačítka na seřazení a vybral si to seřadit podle ceny. 5. Vyhledejte nějaké tipy o libovolném městě (tipy na to, kam se vydat). Participant očekával tipy o městě přímo na stránce s možnostmi nabízených hotelů. Pak zkoušel hledat na hlavní stránce servisu. Pak po několika minutách zbytečného hledání byla poskytnuta nápověda od moderátora, a podle té nápovědy se to participantovi nakonec povedlo najít tipy o městě.
4.1.3 Post-test Participantovi se vůbec nelíbily stránky www.booking.com. Obtížně se mu na nich orientovalo. Hlavním problémem pro participanta bylo najít tipy o městě. Řekl, že by radši hledal ty tipy na stránce vybraného hotelu. A tlačítko by se podle něj mělo jmenovat spíše Zajímavosti o destinaci, než Objevit nové destinace. 4.2 Participant č.2 Muž ve věku 25-30, cestující několikrát měsíčně. Během cestování preferuje ubytování v hostelu či levnějším hotelu či zůstat u kamarádů. Rezervace ubytování většinou provádí přes Internet. 4.2.1 Pre-test Participant používá počítač každý den. Online rezervace ubytování provádí několikrát měsíčně. Zkušenosti s webovými stránkami www.booking.com má, ale obvykle pro svoje rezervace používá jiný rezervační servis. V testu použitelnosti se zúčastnil vícekrát. 4.2.2 Průběh testování 1. Vyhledejte nějaké místo ubytování/hotel podle svých potřeb. (později zadání bylo upřesněno: potřeby uživatele byly rozepsány). Participant neměl žádný problém s vyplněním formuláře pro hledání ubytování. 2. Vyhledejte Vámi vybraný hotel na mapě přes touž stránku. Během hledání mapy se neobjevil žádný problém. Participant rychle našel mapu zleva od popisu hotelu. 3. Prohlédněte recenze u vybraného hotelu. Najít rezence se participantovi podařilo jen na druhý pokus. Očekával najít všechny rezence na stránce dole. Ale i když participant změnil jazykový kontext stránky na anglický (původně se stránka zobrazovala v češtině), stejně se pokoušel najít rezence na stránce dole. Pak se mu nakonec podařilo si všimnout tlačítka See all verified reviews vedle fotografií. 4. Vyhledejte nejlevnější hotel v libovolně Vámi vybraném městě. S vyhledáváním nejlevnějšího hotelu v zadaném městě participant žádné problémy neměl. Našel seřazovací panel a seřadil podle ceny. 5. Vyhledejte nějaké tipy o libovolném městě (tipy na to, kam se vydat).
Participant pro splnění tohoto úkolu chtěl použít jinou webovou stránku, kterou běžně pro tento účel používá. Tipy o městě participant hledal docela dlouho. Na hlavní stránce se snažil najít nějaká pomocná slova, např. tipy, rady, kam se vydat atd. Jen na třetí pokus se mu povedlo si všimnout tlačítka Objevit nové destinace, pak už všechny tipy byly nalezeny. 4.2.3 Post-test Testované stránky www.booking.com se participantovi líbily. Orientovalo se mu jednoduše, a úkoly splnil rychle a bez jakýchkoli problémů. V průběhu řešení úkolů participantovi nebylo jasné, jak funguje vyhledávání turistických zajímavostí, též tipů, a říkal, že by je spíš na těchto stránkách nehledal. 4.3 Participant č.3 Muž ve věku 30-40, cestující několikrát ročně. Během cestování preferuje ubytování v hotelu. Rezervace ubytování občas provádí i přes Internet. 4.3.1 Pre-test Participant používá počítač každý den. Pokud cestuje, obvykle bydlí v hotelu. Pokud je možnost, ubytování si rezervuje přes Internet. Stránky www.booking.com zná, ale ubytování přes ně nikdy nerezervoval. S testem použitelnosti zkušenosti nemá. 4.3.2 Průběh testování 1. Vyhledejte nějaké místo ubytování/hotel podle svých potřeb. (později zadání bylo upřesněno: potřeby uživatele byly rozepsány). Participant bez problémů vyplnil formulář. Pozastavuje se nad specifikací, zda-li je účel návštěvy dovolená nebo business. Hledá význam dané specifikace, ale nenachází jej. 2. Vyhledejte Vámi vybraný hotel na mapě přes touž stránku. Vyhledávání na mapě proběhlo bez problému, mapu našel na první pohled. 3. Prohlédněte recenze u vybraného hotelu. Na první pohled recenze nevidí. Scrolluje dolů, ale recenze očekává někde na očích, tak se vrací zpět nahoru, kde celkem rychle recenze nachází. 4. Vyhledejte nejlevnější hotel v libovolně Vámi vybraném městě.
Bez problémů nachází řazení hotelů od nejlevnějších. Použil jej intuitivně již v prvním úkolu. 5. Vyhledejte nějaké tipy o libovolném městě (tipy na to, kam se vydat). Tipy by na těchto stránkách vůbec nehledal. Pokud by věděl, že na stránkách někde jsou, hledal by je v rámci vyhledávání hotelů v konkrétním místě, případně u jednotlivých hotelů. Tlačítko "Objevit nové destinace" nachází, ale s cílem si jej nespojí. Na tipy se nakonec dostane přes ikonu v pravém horním rohu, ale není si jistý, jestli je to ono. 4.3.3 Post-test Participant si o stránkách myslí, že jsou komplikované. Tlačítko "Objevit nové destinace" se mu zdá nelogicky umístěné. Na samostatné najití hotelu mu stránky přijdou velmi vhodné, formulář rozhraní se mu líbí. Subjektivně největší problém měl s hledáním tipů tam, kde byly. 4.4 Participant č.4 Muž ve věku 20-25, cestující několikrát ročně. Během cestování nebydlí ani v hostelech, ani v hotelech. Rezervace přes Internet provádí zřídka. 4.4.1 Pre-test Participant používá počítač každý den. Stránky www.booking.com zná, ale rezervace přes ně nikdy neprováděl. S testem použitelnosti zkušenosti má. 4.4.2 Průběh testování 1. Vyhledejte nějaké místo ubytování/hotel podle svých potřeb. (později zadání bylo upřesněno: potřeby uživatele byly rozepsány). S vyplněním formuláře se žádný problém neobjevil. 2. Vyhledejte Vámi vybraný hotel na mapě přes touž stránku. Participant chtěl hledat na mapě přes jinou nějakou mapovou stránku. Pak se dozvěděl, že by to šlo i přes testovanou stránku. Potřebné na to tlačítko našel bez problémů. 3. Prohlédněte recenze u vybraného hotelu.
Recenze se snažil hledat dole na stránce. Znovu prohlédl stránku od shora dolů. Nevídí to, a říkal, že by to už přestal hledat. Podle nápovědy moderátoru našel to nepatrné označení recenzí. 4. Vyhledejte nejlevnější hotel v libovolně Vámi vybraném městě. Bez problémů seřadil podle ceny, ale pak chtěl najít u vybraného hotelu hodinovou sazbu. 5. Vyhledejte nějaké tipy o libovolném městě (tipy na to, kam se vydat). Tipy se snažil najít podle města, které zadával do hledacího políčka. Moc se mu to nedařilo, protože políčka mají omezená kritéria. Snažil se najít tipy podle názvu hor, ale políčko fungovalo jen podle názvu měst. Tipy se objevily jen po správném zadaní vybraného města. 4.4.3 Post-test Participant si o stránkách myslí, že jsou komplikované. Příliš moc informací na stránkách. Nelíbila se participantovi navigace na hledání tipů o městě. Špatně se na stránkách orientovalo, ale zadané úkoly nebyly moc složité. 4.5 Participant č.5 Žena ve věku 20-25, cestující několikrát ročně. Když cestuje, preferuje ubytování u kamarádů. Hostely či hotely nikdy přes Internet nerezervovala. 4.5.1 Pre-test Participant používá počítač každý den. Během cestování bydlí spíš u kamarádů. Stránky www.booking.com zná, ale nikdy je nepoužívala. Testu použitelnosti se nikdy předtím nezúčastňovala. 4.5.2 Průběh testování 1. Vyhledejte nějaké místo ubytování/hotel podle svých potřeb. (později zadání bylo upřesněno: potřeby uživatele byly rozepsány). Úkolem bylo najít ubytování pro 4 osoby. Poprvé přehlédla tlačítko Více možností v boxu s výběrem počtu hostů. Zkoušela najít nastavení počtu osob v Pokročilém vyhledávání. 2. Vyhledejte Vámi vybraný hotel na mapě přes touž stránku. Neměla žádný problém s vyhledáváním hotelu na mapě.
3. Prohlédněte recenze u vybraného hotelu. Předpokládala, že najde recenze dole na stránce s hotelem. Prohlédla stránku shora dolů a zpět. Pak rychle našla potřebné tlačítko nahoře. 4. Vyhledejte nejlevnější hotel v libovolně Vámi vybraném městě. Nesetkala se se žádným problémem při hledání nejlevnějšího hotelu. 5. Vyhledejte nějaké tipy o libovolném městě (tipy na to, kam se vydat). Poprvé hledala tipy o městě u jednotlivých hotelů v tomto městě. Pak podle nápovědy moderátora se jí podařilo najít tlačítko Objevit nové destinace. Nezabralo to moc času. 4.5.3 Post-test Participantovi se testované stránky líbily. Orientovalo se jí dobře. Navíc se jí líbilo, že ve formuláři je mnoho možností nastavení vyhledávání. 5 PŘEHLED NÁLEZŮ Každý problém použitelnosti bude hodnocen na základě odpovědí na tři výše uvedené otázky podle priorit ve stupnici 0-4: 0 not a usability problem 1 cosmetic problem (need not be fixed unless extra time is available on project) 2 small usability problem (fixing this should be given low priority) 3 usability problem, important to be removed (important to fix, so should be given high priority) 4 red flag problem, must be removed (imperative to fix this before product can be released)