Martin Fous A4M39NUR OP - KINECT Vstup textu pomocí gest Zadání: Popis Cílová skupina Low -fid prototyp - navrhněte a otestujte sadu gest pro vstup textu pomocí ovladače Kinect - netechnicky vzdělaní mladí lidé - definice použitých gest - definice mapování gest na jednotlivé znaky Mid-High-fid prototyp - funkční prototyp vstupu textu - ovladač Kinect i software pro rozpoznání kostry člověka k dispozici Zadavatel Ondřej Poláček (polacond@fel.cvut.cz) Úvod Kinect pro Xbox 360 nebo jen Kinect je vstupní zařízení detekující pohyb. Bylo vyvinuto Microsoftem jako doplněk pro videoherní konzoli Xbox 360. Umožňuje uživateli interagovat s konzolí bez klasického ovladače skrze gesta a hlasové povely. Projekt byl zaměřen na rozšíření uživatelské základny Xboxu mimo typickou hráčskou komunitu. i Hardwarově toto vstupní zařízení obsahuje RGB kameru, senzor měřící hloubku prostoru a dvojici mikrofonů. Vše je umístěno na motorizovaném pivotu. Senzor měřící hloubku prostoru se skládá ze zdroje infračerveného záření a monochromatického CMOS senzoru. To umožňuje zařízení
zachycovat 3D záznam pohybu celého těla, rozpoznávání obličeje a hlasu osoby popř. osob stojících před zařízením. Po svém uvedení na trh se Kinect stal velkým hitem, kvůli příznivé ceně a možnostem které poskytuje pro zdokonalení herního zážitku. Mnoho vývojářů také začalo zkoumat možné využití Kinectu mimo jeho původní účel, hraní her. Reverzním inženýrstvím bylo zpřístupněno API a posléze i Microsoft uvedl SDK pro Kinect. Mnoho demonstrací možných aplikací se dá nalézt na serveru http://www.youtube.com. Mě nejvíce zaujala možnost změny interakce s PC. Příklad, jak by takové futuristické ovládání počítače mohlo vypadat, byl k vidění ve filmu Minority Report. Nedílnou součástí běžné práce s PC je zadávání textu. Proto cílem této práce bude navrhnout sadu gest pro rozpoznání pomocí zařízení Kinect. Psaní dlouhých textů, případně rychlost záznamu asi nikdy nebude doménou zadávání pomocí gest, ale v mnoha případech využitelné bude, například při tagování fotografií, zadávání nicků uživatele ve hrách na konzoli. Ve spojení s inteligentní predikcí textu by tento způsob mohl být i rychlostně srovnatelný s klávesnicí, gamepadem, atd. User Research Vymezení cílové skupina Cílem práce je rozšíření zařízení Kinect o možnost zadávání textu na herní konzoli, televizí, PC atd. Proto cílovou skupinu nebudu omezovat věkem, jako spíše přístupem k novým technologiím. Zástupce mé cílové skupiny je člověk, který se nežene bezhlavě za nejnovějšími výstřelky, ale zároveň se těchto technologií nebojí využívat, pokud mu mohou usnadnit/zpříjemnit život. Navržené řešení by mělo být minimálně konkurenceschopné k ostatním metodám vstupu textu. To by mělo usnadnit také použití prediktivního slovníku s automatickým učením nových slov. Primer Používáte ve volném čase herní konzoli / počítač? Kolikrát týdně obvykle? Kdo se ve Vaší domácnosti stará o správu počítače (IT techniky)? (Ano) (1-4x týdně) (Já ne) Témata Účelem interview je zjistit potřeby, zvyklosti, chování, zkušenosti předpokládané cílové skupiny. Témata: Co dotazovaná osoba používá za zařízení? Jaké má zařízení možnosti (internet, hry)? Jak často toto zařízení využívá? Při jaké příležitosti? Co se užívá k ovládání zařízení? Je při ovládání zařízení nutno někde zadávat textový vstup? Jak je tento vstup textu realizován?
Interview První osoba žena 28 let, svobodná, bezdětná, bydlí sama, běžná uživatelka PC, pracuje v administrativě, o správu domácího PC obvykle požádá někoho z kamarádů Dotazovaná osoba vlastní pro svou potřebu herní konzoli Nintendo Wii a stolní počítač pro přístup k internetu. Herní konzoli využívá obvykle jednou, dvakrát týdně, přes zimu častěji. Obvykle hraje po práci na odreagování nebo jako náhradu místo venkovního sportu v případě nepříznivého počasí. Na konzoli hraje obvykle hry Wii Sports a Wii Fit. V její domácnosti ji využívají ještě neteř a synovec ve věku 13 a 9. K ovládání se používá bezdrátový ovladač snímající pohyb vybavený několika tlačítky. Pro některé hry se přidává kabelem ještě ovladač pro druhou ruku. Hra Wii Fit vyžaduje balanční podložku, která se dodává jako příslušenství ke hře. Dotazovaná osoba zmiňovala jako nevýhodu nutnost výměny tužkových baterií v ovladači. Nutnost zadávat text se vyskytuje pouze při vytváření nové postavy pro hru. Text se zadává pomocí potvrzovacího a směrového čtyřtlačítka. Abeceda se zobrazí na televizi a uživatel z ní vybere požadované znaky. Tyto znaky se postupně vkládají do zadávacího řádku. Při zadání chybného znaku je možné vymazat znak a vložit na jeho místo jiný. Dotazovaná osoba zmínila, že toto zadání je trochu komplikované a mohlo by být snazší a rychlejší. Na internetu jsem se dočetl o možném využití konzole Wii pro přístup na internet. Dotazovaná osoba se ale o této možnosti nezmiňovala. Využívá zařízení čistě jednoúčelově na hry. Druhá osoba muž 30 let, svobodný, bezdětný, běžný uživatel PC, pracuje v marketingu, správu osobního PC dělá jeho bratr, se kterým bydlí
Dotazovaná osoba vlastní a pravidelně používá svůj osobní počítač, obvykle po práci, popř. přes víkend, obvykle 3x-4x týdně. Náplň času na PC je surfování na internetu, občasné hraní her a sledování televize, filmů, seriálů. Ovládání PC je klasické přes myš a klávesnici. Ke své oblíbené hře FIFA 2011 si občas připojuje herní gamepad. K zadávání textu vždy používá klávesnici. Počítač není vždy využíván jen k zábavě, občas ho dotazovaný používá k vzdálenému přihlášení do firemní sítě, vyřizování emailů, popř. jiná práce. Nutnost zadávání textu je na PC všudypřítomná a má různé podoby od kratších spojení pro vyhledávání po psaní delších textů. Dotazovaný uživatel je naprosto spokojen s ovládáním svého PC pomocí klávesnice, myši popř. gamepadu. Vzhledem k občasnému využití PC coby multimediálního centra domácnosti by se nabízela možnost využití Kinectu co by multifunkčního dálkového ovládání. Analýza Dva zástupci potenciální cílové skupiny ukázali, že další způsob zadávání textu by mohl být přínosem, zvláště ve spojení s dalšími možnostmi, kterými zařízení Kinect obohacuje možnosti ovládání PC/konzole. Hlavním využitím zadávání textu pomocí gest je ovládání zařízení z větší vzdálenosti, např. při stání před televizí na které běží hra z konzole nebo při sledování filmu na počítačovém monitoru. Z rozhovorů vyplynuly také nutné požadavky na vývoj této nové funkcionality. Mezi netechnicky orientovanými uživateli je kladen velký důraz na snadnost a rychlost ovládání. Zadávaná gesta by měla být, co možno nejjednodušší, aby umožňovala vstup textu a ovládání všem věkovým skupinám včetně dětí. Většinový uživatel nepožaduje vzhledem k určení aplikace žádné zvláštní možnosti nastavení, ale důležitou funkci by měla hrát interaktivní nápověda s možností přehrání gest a ověření správnosti jejich zadávání. Nutnou součástí systému pro zadávání textu pomocí gest by měl být prediktivní slovník, automaticky vkládající nová slova pro urychlení vstupu textu. Navržená gesta by měla reflektovat četnost výskytu znaků v daném jazyce a být alespoň v rámci možností intuitivní kvůli snadné zapamatovatelnosti.
Design formuláře pro zadávání textu může být maximálně jednoduchý, obsahující pouze zadávací řádek, možnost vstupu do interaktivní nápovědy, potvrzovací a zavírací tlačítko. Potvrzovací a zavírací tlačítko bych v designu prostředí ponechal, aby i uživatel, který se do zadávání textu dostal náhodou byl schopen prostředí opustit, buď přímým navedením kurzoru nebo pomocí gamepadu. Vzhledem k velikosti trhu a tudíž potenciálnímu uplatnění tohoto rozšíření by prototyp aplikace a následná první komerční verze měl vzniknout pro anglický jazyk. i Volně přeloženo z http://en.wikipedia.org/wiki/kinect