Usability test aplikace Talking Head. Závěrečná zpráva

Podobné dokumenty
Kvalitativní test s uživatelem - VLC Media Player

1. Začínáme s FrontPage

Talking Head ala Weather Man Usability testing

Zpravodajský web pro televizi Michal Hanzlík

Zjišťování spokojenosti s pečovatelskou službou v Kolovči a na Zichově

Source Filmmaker a Windows Movie Maker. Josef Kaftan ZŠ nám. Bří. Jandusů

Kategorie vytvořené na základě RVP a projektu Evaluace inf. gramotnosti žáků ZŠ.

Přehled metod UX výzkumu. Jan Rudinský

ZŠ STOLIŇSKÁ DOTAZNÍKOVÉ ŠETŘENÍ 2016/17

Uživatelský test desktopové aplikace Google Maps

15 odpovědi. Souhrn Zobrazit úplné odpovědi. 1) Jsem Žena 12 80% Muž 3 20%

TESTOVÁNÍ UŽIVATELSKÉHO ROZHRANÍ VIDEO PŘEHRÁVAČE VLC

DOTAZNÍK V. v rámci projektu LIFE10 ENV/CZ RESTEP

ZŠ STOLIŇSKÁ DOTAZNÍKOVÉ ŠETŘENÍ 2017

Počítačové formy projekce jsou: promítání snímků na obrazovce počítače, promítání snímků z počítače na plátno,

Multimediální prezentace MS PowerPoint I

Vyhodnocení dotazníkového šetření

Test s uživatelem - Synkron

Vyhodnocení dotazníkového šetření 2016

Dotazníky pro rodiče vyhodnocení Žlutá třída - Motýlci

Označte, který stupeň Vaše dítě/ děti navštěvuje/ navštěvují:

Trénink komunikačních a prezentačních dovedností v oblasti veletrhů, zkráceně Komunikace v praxi

na některé otázky všichni neodpověděli Dotazník pro rodiče a) určitě ano 67,5 % b) spíše ano 30 % c) nevím, nedokážu posoudit 0 % d) spíše ne 2,5 %

Vyhodnocení dotazníkového průzkumu

Scénář; Storyboard Mgr. Jakub Němec VY_32_INOVACE_Mul4r0117

45 odpovědi. Souhrn Zobrazit úplné odpovědi. 1) Jsem Muž 9 20% Žena 36 80%

DOTAZNÍK PRO URČENÍ UČEBNÍHO STYLU

Hodnocení zpravodajství

Průzkum spokojenosti uživatelů do 15 let

Bohuslav Mach, Správce úkolů. pro informační systém firmy s-cape.cz 1/6

Vyhodnocení dotazníkového šetření

Měření efektivity informačního vzdělávání. Mgr. Gabriela Šimková KISK, Filozofická fakulta MU

Testování mobilní aplikace Servis24. Semestrální práce z předmětu A7B39TUR Autor: Peter Šourek sourepet@fel.cvut.cz

Příloha 1f Evaluace Tréning pozorování, MŠ Přibyslav,

Mobilní zpravodajská aplikace idnes. A7B39PDA - Principy tvorby mobilních aplikací

PowerPoint Kurz 2, 3. Inovace a modernizace studijních oborů FSpS (IMPACT) CZ.1.07/2.2.00/

VZOR POPTÁVEK VZOROVÉ POPTÁVKY NA VYHLEDÁVÁNÍ SLUŽEB V RÁMCI PORTÁLU EASYTASK.CZ

87 - OTIC - Turistické informační centrum, č.p. 150, Harrachov, Service Excellence Report. Váš výkon. Špatný 28%

Etapa I první kontakt

Záznamník trasy. Michal Sluštík Y39PDA ČVUT, FEL, Popis aplikace. Specifikace požadavků

Semestrální práce C1- Test s uživatelem

Registrační číslo projektu: CZ.1.07/1.5.00/ Název projektu: Moderní škola 21. století. Zařazení materiálu: Ověření materiálu ve výuce:

Metodika poradenství. Vypracovali: Jiří Šupa Edita Kremláčková

Mobilní informační průvodce - RegTim

Průzkum názoru blanenské veřejnosti na úklid sněhu v Blansku

1. Statistické šetření návštěvnosti na Pražském hradě

Návod na vytvoření vlastního videa. Publikace je chráněna autorským právem Pavel Fara 2013

Dobrodružství vápna a písku

SRSW4IT Inventarizační SW. Prezentace aplikace. Vedoucí DP: ing. Lukáš Macura Autor: Bc. Petr Mrůzek

Výsledky dotazníkového průzkumu neprofesionálních knihoven okresu Uh. Hradiště. Seminář neprofesionálních knihoven a 17.8.

1. Chodí Vaše dítě do MŠ:

Asi to takhle doopravdy vypadalo, šedý nevýrazný snímek, ve kterém je ale ukryta velmi pěkná fotografie.

Zjišťování spokojenosti s pečovatelskou službou dotazníková akce proběhla v lednu 2018

Operační systémy 1. zápočtový úkol Stanislav Kaska 5. dubna 2006

Miroslav Adamec, ARAS: JUDr. Jiří Srstka, DILIA:

Vyhodnocení dotazníkového šetření pro uživatele služby sociální rehabilitace ke kvalitě poskytované služby za rok 2017

TESTOVÁNÍ S UŽIVATELEM Ashampoo Burning Studio

I. JAK SI MYSLÍM, ŽE MOHU BÝT PRO TÝM PROSPĚŠNÝ:

Evaluace Semináře ke zpřístupňování šedé literatury

Tvorba prezentací. Mgr. Ing. Marek Martinec

DOBRODRUŽSTVÍ KOCOURA BROWNFIELDA

Hodnocení vzdělávací akce.

Závěrečná zpráva 22. Veletrhu

Gymnázium Vincence Makovského se sportovními třídami Nové Město na Moravě

Školní rok 2013/ číslo Reklama

ČESKÉ VYSOKÉ UČENÍ TECHNICKÉ V PRAZE

DOTAZNÍK PRO KLIENTY SOCIÁLNÍCH SLUŽEB ČESKÁ ZPRÁVA

Vyhodnocení dotazníkového šetření

Udělá to, proč přišel/najde co hledal? Navštivte nás na adrese

Vítejte v SocialSprinters Academy

,,Škola nás baví CZ. 1.07/1.4.00/ VY_32_INOVACE_Inf.Ma.10

Vysoká škola báňská Technická univerzita Ostrava Fakulta strojní. Prezentace. Personální kompetence 2. přednáška 1/14

Existuje celá řada volně dostupných nástrojů, které jsou pro účel projektu vhodné, např.

Návod k použití aplikace Reliview

Vyhodnocení dotazníků spokojenosti se stravováním ve školní jídelně Základní školy Klenovice na Hané, okres Prostějov, příspěvková organizace

Předmět: ANGLICKÝ JAZYK Ročník: 1.

Základní pravidla pro tvorbu prezentací

DOTAZNÍK PRO PODPOŘENÉ OSOBY V PROJEKTECH OPZ

9_AB_tabulky. Jak odhaduješ časovou náročnost absolventské práce? týden až dva týdny asi měsíc více jak měsíc

Digitální učební materiál

Vyhodnocení dotazníku spokojenosti rodičů se službami v MŠ Hluk (květen 2015)

Kapitola Kapitola 2 29

Pro koho děláme web. Adam Fendrych, Dobrý web

Škola: Střední škola obchodní, České Budějovice, Husova 9

ETICKÝ KOMPAS 2016/2017

MS PowerPoint Každá prezentace by se měla skládat ze tří klíčových částí: 1. Obsah

Výběr kandidátů na finanční pozice z pohledu personalistů

Mezinárodní šetření počítačové a informační gramotnosti ICILS 2013

1. Video vládne internetu

Vyhodnocení dotazníku a závěry:

Přepínání zobrazení Použijte zobrazení kalendáře, které nejlépe vyhovuje vašemu pracovnímu postupu. Přepínejte tak často, jak chcete.

Strategie rozvoje obce Žatčany

1. Informovanost o akci (1 - nejlepší, 5 - nejhorší)

Výzkum spokojenosti klientů s Městským úřadem Velké Meziříčí

Renáta Bednárová, Petr Sládek. Pedagogická fakulta MU Brno, Univerzita obrany Brno

Výstupní hodnocení projektu pracovníků OU a PrŠ. Podpora studia pomocí E-learngových aplikací CZ. 1.07/1.2.03/

Projekt Brána do vesmíru. Hvězdárna Valašské Meziříčí, p. o. Krajská hvezdáreň v Žiline

Testování Set-top boxu Motorola VIP Úvod Popis přístroju

Lukáš Beneš (kvarta) Barbora Jindrová (kvarta) Kateřina Jindrová (kvarta) Julie Machoňová (kvarta) Daniel Jančařík (prima) Filip Mašek

Naučte se víc... Microsoft Office PowerPoint 2007 PŘÍKLADY

Transkript:

Usability test aplikace Talking Head Závěrečná zpráva Radek Zitta Lukáš Křivský

1. Popis testované aplikace Projekt Talking Head je vyvíjen na katedře počítačů FEL za velké podpory společnosti IBM. Cílem je vytvořit model avatara v podobě člověka, který by byl schopen interpretovat různé druhy informací človeku co nejpřirozenějším způsobem. Avatar se tudíž musí umět pohybovat, dělat různá gesta a měnit mimiku. Za pomoci syntézy řeči pak dokáže na základě čistého textu předvést mluvený projev. K ovládání gest, mimiky a řeči slouží XML jazyk, který byl vytvořen speciálně pro tento účel. Projekt tvoří 2 aplikace client a server. Talking Head Client čte příkazy a texty z XML souboru a posílá je pomocí protokolu TCP/IP programu Talking Head Server. Talking Head Server pak tento XML skript interpretuje na uživatelském počítači. 2. Cíle usability testu Cílem usability testu projektu Talking Head s avatarem v podobě člověka je zjistit do jaké míry by byla tato aplikace schopna konkurovat "živým" televizním moderátorům nebo zda by byla použitelná jako průvodce v různých automatických infocentrech. Snažili jsme se tedy alespoň částečně odhalit jak lidé tohoto avatara coby virtuálního moderátora přijímají a co jim na něm nejvíce vadí. 3. Příprava testované aplikace K testu byla použita běžná verze aplikace Talking Head s avatarem v podobě moderátorky jménem Sarah. Rozdílem oproti předchozím verzím byl pouze ten, že avatar nebyla pouze hlava, ale hlava s celým tělem. V rámci přípravy na test byly pro tuto aplikaci vytvořeny 3 nové scénáře. Krátké zprávy o počasí, informace o pražské dopravě a stručná prezentace projektu Talking Head. Tyto scénáře pak byly pouštěny testovaným jako videozáznamy, nebo přímo v aplikaci Talking Head. Scénář s počasím byl inspirován relacemi o počasí na ČT. Pro potřeby scénáře byly upraveny obrázky map s informacemi o počasí z webu http://www.ct24.cz/pocasi/. Z téhož webu byla převzata i předloha pro mluvené slovo. Scénář s informacemi o dopravě byl z části převzat z předchozího testování aplikace Talking Head. V tomto předchozím testu byly vytvořeny 3 scénáře prezentující různým způsobem informace o dopravě. Do našeho testu jsme převzali ten, který byl testujícími hodnocen jako nejlepší a obohatili jsme ho o mapy a další grafiku, jejíž absence testovaným nejvíce chyběla. Bližší informace o tomto testu se nalézají na adrese http://ibm-cvut.felk.cvut.cz/~theadusab06/thead4/. Poslední scénář prezentující poslední změny v aplikaci Talking Head ( rozšíření avatara o tělo ) byl námi vytvořen v rámci předmětu 36NUR jako výstupní prezentace projektu Talking Head ala Weather Man. Máme představu, že podobně by aplikace Talking Head mohla sloužit k prezentaci i jiných projektů na jejich webových stránkách. Nakonec byl pro test vytvořen dotazník, na který bylo možné odpovídat buď v tištěné formě, nebo ve formě webového formuláře. Dotazník a testové materiály byly pak následně distribuovány přes webové stránky http://sarah.kvalitne.cz, které byly vytvořeny speciálně k tomuto účelu. 1

4. Výběr osob pro testování Strategie pro výběr osob byla velice jednoduchá. K testu jsme potřebovali co největší počet lidí, kteří mají různé zájmy i různou zkušenost s prací na počítači. Jediné kritérium pak bylo, aby testované osoby měli alespoň elementární znalost anglického jazyka. Druhé kritérium ( aby testovaní byli alespoň stručně obeznámeni s tím, jak vypadají televizní zprávy) je v lokalitě ČR prakticky irelevantní. Vzhledem k tomu, že na testované osoby byl kladen jen jediný požadavek, bylo ustoupeno od vytváření složitého dotazníku pro výběr osob, neboť by sestával pouze z jediné otázky týkající se znalosti anglického jazyka. Tento dotaz byl pak proveden pouze ústní formou. 5. Průběh testu Průběh testu byl veden následovně. Vybrané testované osoby shlédly postupně jednotlivé scénáře (ať již ve formě videa či prostřednictvím aplikace Talking Head) a následně vyplnily dotazník. Díky tomu, že byl průběh testu takto jednoduchý, dovolili jsme si vytvořit webovou prezentaci pro distribuci tohoto testu. Díky tomu jsme pak byli schopni oslovit větší množství lidí, kteří by se jinak testu nemohli zúčastnit. Na stránky jsme umístili videa a samotnou aplikaci s nejnutnějšími soubory umožňujícími její chod, drobný návod jak v testu postupovat a samotný dotazník. Prezentace je umístěna na adrese http://sarah.kvalitne.cz. Webová distribuce testu byla umožněna také díky faktu, že aplikace Talking Head zatím neumožňuje téměř žádnou interakci s uživatelem, nebylo třeba požadovat po uživateli jakékoliv složitější operace s aplikací. 6. Dotazník po testu Díky tomu, že nás zajímalo, zda virtuálního moderátora vnímají lépe spíše technicky či humanitně zaměření jedinci, vložili jsme na začátek dotazníku také několik otázek týkající se testované osoby. Dotazník je připojen k tomuto dokumentu jako příloha A. 2

7. Výsledky získané z dotazníků Celého testu se zúčastnilo a dotazníky vyplnilo celkem 18 osob. Všichni využili dotazník ve formě webového formuláře na již zmíněných internetových stránkách. 1) Jsem muž 14 žena 4 78% muž žena 22% 2) Považuji se za introverta 11 extroverta 7 39% introverta 61% extroverta 3) Moje zaměření je humanitní 5 technické 13 3

28% humanitní technické 72% 4) Svoji znalost angličtiny hodnotím anglicky vůbec neumím 1 na škole jsem se učil(a) 4 rozumím, ale nemluvím 6 dorozumím se 5 umím, běžně angličtinu používám 1 anglicky vůbec neumím 29% 6% 6% 24% na škole jsem se učil(a) rozumím, ale nemluvím dorozumím se 35% umím, běžně angličtinu používám 5) Pracuji vůbec 0 manuální práce 1 v oblasti IT 6 v administrativní sféře 2 jsem vedoucí pracovník 0 jsem podnikatel 0 student 8 jiné 1 4

44% 6% 0% 6% vůbec manuální práce v oblasti IT v administrativní sféře jsem vedoucí pracovník 0% 0% 11% 33% jsem podnikatel student jiné 6) Většinou pracuji v terénu 0 doma 8 ve své kanceláři sám/sama 0 v místnosti s více spolupracovníky 10 0% v terénu 44% doma 56% 0% ve své kanceláři sám/sama v místnosti s více spolupracovníky 7) Počítač používám co to je? 0 nevyužívám vůbec 0 sem tam něco 3 běžně 5 jádro mé práce spočívá v práci na 10 PC 5

0% 0% 17% co to je? nevyužívám vůbec 55% 28% sem tam něco běžně jádro mé práce spočívá v práci na PC 8) Moje předchozí zkušenosti s usability testy jsou nikdy jsem se žádného nezúčastnil 15 již jsem se zúčastnil usability testu 3 jako testovaná osoba podílel jsem se na přípravě a 0 uskutečnění usability testu 17% 0% nikdy jsem se žádného nezúčastnil 83% již jsem se zúčastnil usability testu jako testovaná osoba podílel jsem se na přípravě a uskutečnění usability testu 9) Jak hodnotíte poskytnuté informace v předpovědi počasí? Oznámkujte jej jako ve škole. 1 7 2 7 3 3 4 1 5 0 6

17% 39% 6% 0% 38% 1 2 3 4 5 10) Ohodnoťte informační grafiku předpovědi počasí. 1 4 2 9 3 4 4 1 5 0 22% 6% 0% 50% 22% 1 2 3 4 5 11) Co by bylo dobré změnit nebo vylepšit na předpovědi počasí? Odpověď Uvítala bych informace o aktuálním počasí pro celou Evropu. Asi trochu vylepšit tu grafiku té paní a pak se zaměřit na informace, které si člověk nemůže přečíst na obrazovce, aby to jen neopakovala... Není co zlepšovat. Moc dlouho mluví na začátku (takové ty uvítací řečičky), než začne mluvit o počasí - nikoho dnes nezajímají začáteční řečičky, dnes je rychlá doba. Celá ta osoba působí v kontrastu s mapou malinko neohrabaně a uměle. Sarah by potřebovala víc přirozených tvarů a vylepšit hlas.. Nic mě nenapadá. Informace jsou v pořádku. Vylepšete grafiku Sarah a bude to ok. Plynulý pohyb rosničky. V některých momentech není dobře rozumět. Přechod moderátorky bych doporučil udělat nějakým efektem (třeba fade-out), takhle to ošklivě přeskočí. Rozsáhlejší informace o počasí. Zlepšit pozadí, je moc statické. Chce to nějaké dynamické prvky. 7

Možná přidat takové ty biometeorologické předpovědi, ozon, tlak vzduchu, ale mně osobně to tam nechybělo. Více specifické a srozumitelnější Přemísťování Sarah by mohlo být plynulejší. Možná by mohla být lépe vidět mapa - občas má dáma tlusté sklo. :o) 12) Jak hodnotíte poskytnuté informace u hlášení dopravní situace? 1 7 2 9 3 1 4 1 5 0 6% 6% 0% 1 39% 2 3 49% 4 5 13) Ohodnoťte informační grafiku hlášení dopravní situace. 1 3 2 8 3 6 4 0 5 1 33% 0% 6% 17% 44% 1 2 3 4 5 8

14) Co by bylo dobré změnit nebo vylepšit na hlášení dopravní situace? Odpověď Neomezit se pouze na Prahu, ale shrnout situaci v celé ČR. Ten se mi zdál v pohodě. Zas jen tu grafiku. Hezčí holku :-) Chyběla mi informace o objezdových cestách. Nebylo by dobré říci, kudy ty bouračky a zácpy nejlépe objet? Mapky výborné, ale nebylo by možné výsek mapy nejprve lokalizovat na mapě celé Prahy? /jako že tam bude mapka Prahy, kde bude tečka, na které bude vidět, kde tak ten daný dopravní problém je/. Toto jsou připomínky Ne- Pražáka... Sarah by potřebovala víc přirozených tvarů a zlepšit hlas. Oznamovací tabulku na pravé straně přesunout k oznamovací tabulce na levé straně a Sarah přesunout doprava. Sarah. Vylepšit grafické prostředí, je poměrně strohé. Zde bych infografiku obohatil. Například upozornění na nehodu může být označeno vykřičníkem namísto bílého obdélníku. A opět není moderátorce chvílemi rozumět, ale to může být chyba jinde ;) Méně mrtvých :-) Grafika není moc pěkná. Chybí dynamika... Nesedlo mi pozadí a divné značky pod mapami. 15) Jak hodnotíte poskytnuté informace o projektu Talking Head ala Weather Man? 1 5 2 7 3 5 4 1 5 0 28% 6% 0% 38% 28% 1 2 3 4 5 9

16) Ohodnoťte informační grafiku prezentace projektu Talking Head ala Weather Man. 1 5 2 10 3 3 4 0 5 0 0% 17% 55% 0% 1 28% 2 3 4 5 17) Co by bylo dobré změnit nebo vylepšit na prezentaci s informacemi o projektu? Odpověď Nechala bych to tak, jak to je. Je to v pohodě,už se i víc hýbe. Je jí i celkem dobře rozumět. Uvítal bych informaci o tom, k čemu vlastně celý projekt slouží. Jaksi mi chybělo, k čemu to vlastně tak bude sloužit... /jinak dřepy umí pěkně.../ Sarah by potřebovala víc přirozených tvarů a vylepšit hlas.. Nic mě nenapadá. Sarah. Tady mě nic nenapadá, mává, cvičí, to je pěkný :) Vtipná prezentace :-) Bohužel opět velmi slabá grafika na pozadí. Pozadí příliš statické, text a loga by mohla být v lepší kvalitě, antialiasing a tak... Více podrobností o něm a na co je to vlastně dobrý. Více informací. 18) Jak byl pro Vás verbální projev Sarah srozumitelný? 1 3 2 8 3 5 4 1 5 1 10

28% 6% 6% 17% 43% 1 2 3 4 5 19) Co Vám na slovním projevu Sarah vadilo? Odpověď Nic, ona je jedna z mála lidí, kteří mluví anglicky a já rozumím. Asi nic. Verbální projev je jednoznačně srozumitelný. Hlas zněl velmi strojově - skoro jako by to byl pan Sarah, ale to pak nesedí ta prsa...že by travestita? Angličtina. Musí být více přirozená. Hlas stále působí dosti bzučivě. Monotónnost. Kovový zvuk hlasu. Předpovědi počasí ani dopravní situace v angličtině nesleduji, ale chvílemi mi přišlo, že mluví nepřirozeně (větné konstrukce, které se takto nepoužívají). A občas nebylo rozumět (nepočítám názvy a jména), ale občas spojuje předložky se slovama (to jsou prostě místa, kde jsem se nechytal). Občas jí není vůbec rozumět. Používání příliš emočně zabavujících výrazů při hlášení dopravní situace, huhňání. Strašná umělost. Není jí moc rozumět. Nic. Bylo jí dobře rozumět. 20) Jak hodnotíte neverbální projev Sarah výrazy obličeje, pohyb postavy, 1 0 2 6 3 10 4 2 5 0 11

0% 56% 11% 0% 33% 1 2 3 4 5 21) Co Vám na neverbálním projevu vadilo resp. chybělo? Odpověď Nebylo by špatné, kdyby se Sarah občas prošla. Docela trhané pohyby. Špatná grafika. Pohyb je přeci jen strojený, Sarah by mohla například přecházet z kraje obrazovky na prostředek a nemusel se používat střih - ale to asi bude trošičku náročné, že? :-) Jenom trošku umělé, ale tak to asi býti musí... Více přirozených pohybů to chce. Postava působí strnule. Přirozenější pohyb. V detailu to vypadá, že Sáře chybí zuby. Ale možná je to dané kompresí a tu a tam nějaký pixel vypadne). Opět je moc statická. Gesta obličeje a pohyb hlavy je celkem OK, ale tělo se moc nehýbe. Asi za to může komprese, ale mimiku jsem příliš nepozoroval. A určitě by bylo lepší zapojit do pohybu i spodní část těla. Při gestikulaci by se mohla lehce natáčet na stranu (ale to by možná vypadalo blbě, nevím). Nepřirozené, křečovité. U počasí více gest. Plynulejší pohyb celé postavy. 22) Jak se vám líbí vzhled moderátorky? 1 4 2 3 3 8 4 2 5 1 12

11% 44% 6% 22% 17% 1 2 3 4 5 23) Co byste na jejím vzhledu vylepšili? Odpověď Mohla by si pořídit něco na krk, mám na mysli náhrdelník, korále,... Co se týče oblečení, trocha barev by rozhodně neuškodila. Hezčí dívka, menší zadek, větší prsa. Myslím,že vhled nemá chybu. Dlouhé vlasy. Lépe nasvítit postavu - zejména ruce, které jsou zepředu skoro černé. Postavu. 90-60-90 :) Barevnější oblečení? :) Na těle by se určitě dalo ještě hodně zapracovat, nevypadá moc pěkně. Lepe vymodelovat prsa:] Všechno :-D Vylepšení tvaru prs. Ty jsou strašný. Na mě byla příliš anglicky vypadající - konzervativní. Možná by ji měla nahradit nějaká mladice! :o) 24) Preferujete raději muže nebo ženu v roli moderátora/moderátorky? muže 0 ženu 6 je mi to jedno 12 13

67% 0% 33% muže ženu je mi to jedno 25) Dovedete si představit Sarah jako náhradu živých osob poskytujících užitečné informace (hlášení počasí, dopravy, atd.)? ano 4 ne 2 možná 10 jiné, prosím upřesněte 2 11% 22% ano 56% 11% ne možná jiné, prosím upřesněte Jiné: U hlášení počasí určitě ne, živé osoby jsou zatím přece jen lepší, v jiných případech možná ano. Zatím ještě ne :] 26) K čemu by se podle Vás dala testovaná aplikace ještě použít mimo hlášení počasí a dopravy? Odpověď Napadají mě jen televizní hlasatelé, ale ty už také zrušili... Nevím. Mohla by uvádět televizní pořady či upoutávky na filmy. Co třeba rady turistům, kde najdou záchody, památky. Mám na mysl prezentaci hlavních památek ve městě, když tam přijde nějaký cizinec a bude se chtít dozvědět, co může navštívit... 14

Jako tlumočnice do znakové řeči. Třeba k moderování televizních pořadů. Průvodce ovládáním aplikací apod. Napadá mě náhrada kancelářské sponky v MS Office :-D Na předčítání zpráv na internetu, případně pro nějaké legrácky na humoristických webech. K zaplnění prázdného disku. Třeba by mohla nahradit psanou formu nápovědy u programů. 27) Jak se Vám líbil tento usability test? 1 6 2 6 3 4 4 2 5 0 22% 11% 0% 33% 34% 1 2 3 4 5 28) Co byste na tomto testu zlepšil(a)? Odpověď Zrušila bych otázku č.28. Nemohu hodnotit, můj první test. Nic mě nenapadá. Nic. Rozhodně kvalitnější videa s lepším obrazem a zvukem. Takto se člověk musí ohlížet na případné nedostatky způsobené kompresí. Dát k dispozici videa v lepší kvalitě, případně poskytnout k otestování skutečnou aplikaci. 15

8. Vyhodnocení výsledků Prvních 8 otázek z dotazníku se více či méně týkalo samotné testované osoby. Původní záměr byl získat doplňkovou informaci o tom, zda se nějak výrazněji liší názory na virtuálního moderátora například ve skupinách s různým zaměřením (humanitní vs. technické). Bohužel vzorků není dostatečné množství na to, aby se daly takto jemněji dělit a dále z nich vyvozovat další závěry. Otázky 9-17 s týkaly jednotlivých scénářů.ke každému scénáři byli 3 otázky. První se týkala míry informací poskytnutých ve scénáři, druhá grafického pozadí a třetí otázka byl dotaz na to co se testované osobě na scénáři nelíbilo a co by bylo třeba vylepšit. Otázky týkající se scénáře s předpovědí počasí dopadly následujícím způsobem. Informační hodnotu tohoto scénáře hodnotila většina hodnotících vesměs pozitivně. Někteří dotazovaní by nicméně uvítali i informace o počasí v Evropě, což pro daný scénář nebylo klíčové, ale pro případné vytváření nového scénáře s předpovědí počasí je to podmětná poznámka. Podstatně hůře dopadlo hodnocení grafické stránky scénáře s předpovědí počasí. Asi nejvíce negativních ohlasů bylo namířeno proti rušivému "přeskočení" avatara doprostřed obrazovky a zase zpět. Odstranit by se tento neduh dal více způsoby. Například vytvořením speciálního pohybu "úkrok stranou", což je ale zbytečně specifický pohyb, který by v jiných scénářích už nemusel najít uplatnění. Jiný způsob vedoucí k odstranění problému by bylo umožnění plynulého přechodu avatara při změně polohy. Tento plynulý přechod by mohl být závislý na atributu v XML jazyce, který by byl použit při změně polohy avatara. Další nedostatek ve scénáři "Předpověď počasí" viděli dotazovaní ve statickém pozadí aplikace. Možná by stálo za pokus implementovat na pozadí přehrávání krátkých videosekvencí. Scénář s informacemi o Pražské dopravě dopadl velmi podobně jako scénář o počasí. Informační složka byla hodnocena víceméně pozitivně a grafická složka jako průměr. Mnohým respondentům se příliž nelíbilo grafické pozadí, které jsme vybrali pro informace o dopravě. Příště zkrátka vybereme jiné. Jedna testovaná osoba, ale vyslovila názor, že by bylo vhodné přesunout okno s textem doprostřed a avatera na levý kraj, aby informace (mapa a text) byly pohromadě. Bohužel na problém s pohybem s textovým boxem jsme narazili i my při vytváření scénáře. Textové okno je umístěno pevně a nelze s ním pomocí skriptu pohybovat a navíc ani nelze jakkoliv měnit velikost fontu, který jsme potřebovali upravit, kvůli změně velikosti okna aplikace. Bylo by tedy dobré doplnit atributy textboxu o možnost určit polohu tohoto boxu a možnost měnit velikost fontu alespoň staticky. Poslední scénář se týkal krátkého představení Sarah s novým tělem a několik maličkostí o projektu Talking Head. Zde by většina respondentů uvítala trochu obsáhlejší informace o projektu. Pro příště nemáme být tak struční. Naopak co se týče grafické stránky, tato dopadla mnohem lépe než předchozí scénáře. Je to zřejmě dáno tím, že se avatar více hýbe a je o něco dynamičtější než v předchozích scénářích. Otázky 18-25 se týkaly celkového dojmu ze Sarah ( jméno avatara ), jejího verbálního a neverbálního projevu, vzhledu a dalších možností použití aplikace. Velmi zajímavá byla otázka o verbálním projevu Sarah. Zatímco jedna polovina dotazovaných její, byť trochu kostrbaté, mluvě rozuměla velmi dobře a byla s ní vcelku spokojena, druhá rozuměla velmi špatně a požadovala pokud možno okamžité zlepšení projevu. Z usability testů, které byly provedeny již dříve vyplývá, že je více těch, kteří rozumí hůře a bylo by tedy vhodné pokusit se o nápravu. 16

Neverbální projev Sarah byl kritizován ještě více a intenzivněji než projev verbální. Co se týče hodnocení tohoto projevu, byl označen spíše jako podpůměrný. Většině se Sarah zdála příliš statická a mnozí by byli rádi, kdyby se Sarah po scéně prošla. Pokud se Sarah hýbala, označili respondenti tento pohyb jako nepřirozený. Výtky ohledně pohybu Sarah se objevovaly už u jednotlivých scénářů, včetně jejího "poskakování" po obrazovce. V tomto ohledu je tedy na aplikaci ještě stále co zlepšovat. Zejména v oblasti jednotlivých pohybů. Vzhled virtuální moderátorky byl hodnocen velmi podobně jako neverbální projev - průměrný až podprůměrný. Zde padlo nejvíce kritiky stran jejího tvaru poprsí (pouze muži) a postavy jako celku. Dále se objevilo několik negativních ohlasů na barvu jejího oblečení a módních doplňků (ženy). Je tedy zkrátka třeba na modelu postavy ještě řádně zapracovat. Velmi nás pak zajímali odpovědi na otázku: "Dovedete si představit Sarah jako náhradu živých osob poskytujících užitečné informace (hlášení počasí, dopravy, atd.)?". Pouze 4 dotazovaní by si ji dovedli představit jako náhradu živých osob, 2 rozhodně ne a zbytek je na rozpacích. Zřejmě Sarah ještě nedosahuje takových kvalit, aby přesvědčila veřejnost o svém potenciálu. Otázka č. 26 prověřila představivost respondentů na použití aplikace Talking Head. Asi nejvíce by si ji testované osoby dovedly představit jako nápovědu, nebo průvodce různých programů. Dále by si ji představily jako turistického průvodce nebo moderátorku pořadů. Asi nejzajímavější nápad byl použít Sarah jako překladatelku do znakové řeči, ale tento nápad nebude, dle našeho názoru, příliš užitečný, neboť do znakové řeči se překládá mluvené slovo, které neslyšící nemohou slyšet a pokud je něco v textové podobě, je celkem zbytečné, aby se toto překládalo do znakové řeči. 9. Návrhy na zlepšení aplikace (shrnutí) 1) Možnost plynulého přechodu avatara při změně polohy avatara. Bylo by dobré, aby byl umožněn plynulý přechod avatara z místa na místo. Nejlépe pomocí nového atributu v XML jazyce, který by pro již stávající atributy head_x, head_y elementu gesture inicioval plynulý přechod do nové polohy. 2) Možnost přehrávání videosekvencí na pozadí. Když bude možné přehrávat videa na pozadí, stanou se některé prezentace dynamičtější a tudíž i divácky atraktivnější. 3) Možnost určit polohu texboxu a možnost měnit velikost fontu v texboxu. Texboxu by se výrazně zvýšila použitelnost. 4) Upravit strojovou mluvu Sarah. 5) Vylepšit model postavy. Postava je místy disproporcionální a kostrbatá. 17

10. Závěr Tento usability test projektu Talking Head sice nebyl zcela klasický usability testem, ale přesto splnil svůj účel. Odhalil některé chyby, které nelze přejít pouze s tím, že by lidem při použití aplikace nemusely vadit. Zjistil také, že lidé by byli ochotni přijmout virtuálního moderátora namísto živého, ale tento by musel být o mnoho dokonalejší než je stávající Sarah. Mnohé je tedy třeba ještě zlepšit, ale každopádně, tento projekt má budoucnost. Velký prostor pro vylepšování aplikace Talking Head je interakce s prostředím. Mohla by zde být například možnost pozastavit přehrávání XML scénáře, nebo možnost jeho opakování. V tomto bodě máme dojem, že řešení client/server není z nejšťastnějších. Pokud by například program sloužil jako virtuální televize, měl by se program dotázat na příslušný server, zda jsou k dispozici nové zprávy v podobě XML scénáře. Tento scénář pak případně stáhnout včetně fotografií a videí k dokreslení atmosféry a lokálně zprávu přehrát. To vše je ovšem zatím hudba budoucnosti. Prozatím je vhodné se soustředit na opravu a vylepšení chyb, na které upozornil tento test. 18

11. Zdroje 1) Internetové stránky počasí ČT, http://www.ct24.cz/pocasi/. 2) Starší usability testy aplikace Talking Head, http://ibm-cvut.felk.cvut.cz/~theadusab06/thead4/. 12. Seznam příloh 1) Příloha A Dotazník. 2) Příloha B - Archiv s testovací aplikací a scénáři (DISTRIBUTE.zip). 3) Příloha C - Archiv s testovacími videozáznamy (VIDEO.zip). 19

Příloha A - Dotazník 1) Jsem muž žena 2) Považuji se za introverta extroverta 3) Moje zaměření je humanitní technické 4) Svoji znalost angličtiny hodnotím anglicky vůbec neumím na škole jsem se učil(a) rozumím, ale nemluvím dorozumím se umím, běžně angličtinu používám 5) Pracuji vůbec manuální práce v oblasti IT v administrativní sféře jsem vedoucí pracovník jsem podnikatel student jiné, prosím upřesněte:...

6) Většinou pracuji v terénu doma ve své kanceláři sám/sama v místnosti s více spolupracovníky 7) Počítač používám co to je? nevyužívám vůbec sem tam na něco běžně jádro mé práce spočívá v práci na PC 8) Moje předchozí zkušenosti s usability testy jsou nikdy jsem se žádného nezúčastnil již jsem se zúčastnil usability testu jako testovaná osoba podílel jsem se na přípravě a uskutečnění usability testu 9) Jak hodnotíte poskytnuté informace v předpovědi počasí? Oznámkujte jej jako ve škole. 1 2 3 4 5 10) Ohodnoťte informační grafiku předpovědi počasí. 1 2 3 4 5 11) Co by bylo dobré změnit nebo vylepšit na předpovědi počasí?

12) Jak hodnotíte poskytnuté informace u hlášení dopravní situace? 1 2 3 4 5 13) Ohodnoťte informační grafiku hlášení dopravní situace. 1 2 3 4 5 14) Co by bylo dobré změnit nebo vylepšit na hlášení dopravní situace? 15) Jak hodnotíte poskytnuté informace o projektu Talking Head ala Weather Man? 1 2 3 4 5 16) Ohodnoťte informační grafiku prezentace projektu Talking Head ala Weather Man. 1 2 3 4 5 17) Co by bylo dobré změnit nebo vylepšit na prezentaci s informacemi o projektu? 18) Jak byl pro Vás verbální projev Sarah srozumitelný? 1 2 3 4 5 19) Co Vám na slovním projevu Sarah vadilo? 20) Jak hodnotíte neverbální projev Sarah výrazy obličeje, pohyb postavy, 1 2 3 4 5

21) Co Vám na neverbálním projevu vadilo resp. chybělo? 22) Jak se vám líbí vzhled moderátorky? 1 2 3 4 5 23) Co byste na jejím vzhledu vylepšili? 24) Preferujete raději muže nebo ženu v roli moderátora/moderátorky? muže ženu je mi to jedno 25) Dovedete si představit Sarah jako náhradu živých osob poskytujících užitečné informace (hlášení počasí, dopravy, atd.)? ano ne možná jiné, prosím upřesněte: 26) K čemu by se podle Vás dala testovaná aplikace ještě použít mimo hlášení počasí a dopravy?

27) Jak se Vám líbil tento usability test? 1 2 3 4 5 28) Co byste na tomto testu zlepšil(a)?