Ovládání počítače pomocí gest

Transkript

1 Mendelova univerzita v Brně Provozně ekonomická fakulta Ovládání počítače pomocí gest Diplomová práce Vedoucí práce: Ing. David Procházka, Ph.D. Bc. Lucie Tyksová Brno 2014

2 ZADANI ZADANI 2

3 Na tomto místě bych chtěla poděkovat vedoucímu práce, panu Ing. Davidu Procházkovi, Ph.D., za velkou trpělivost, ochotu, cenné rady a podnětné připomínky, které mi během zpracování této diplomové práce poskytl. Dále bych chtěla poděkovat i studentům, kteří se zúčastnili testování. Velké díky patří hlavně mým rodičům a bratrovi, kteří mě za celou dobu studia velice podporovali a bez jejich podpory by práce nevznikla. Také děkuji všem mým přátelům, kteří mi zpříjemňovali studijní léta a byli mi oporou.

4 Čestné prohlášení: Prohlašuji, že jsem práci Ovládání počítače pomocí gest vypracovala samostatně a veškeré použité prameny a informace uvádím v seznamu použité literatury. Souhlasím, aby moje práce byla zveřejněna v souladu s 47b zákona č. 111/1998 Sb., o vysokých školách ve znění pozdějších předpisů a v souladu s platnou Směrnicí o zveřejňování vysokoškolských závěrečných prací. Jsem si vědoma, že se na moji práci vztahuje zákon č. 121/2000 Sb., autorský zákon, a že Mendelova univerzita v Brně má právo na uzavření licenční smlouvy a užití této práce jako školního díla podle 60 odst. 1 autorského zákona. Dále se zavazuji, že před sepsáním licenční smlouvy o využití díla jinou osobou (subjektem) si vyžádám písemné stanovisko univerzity, že předmětná licenční smlouva není v rozporu s oprávněnými zájmy univerzity, a zavazuji se uhradit případný příspěvek na úhradu nákladů spojených se vznikem díla, a to až do jejich skutečné výše. V Brně, dne 2. ledna

5 5 Abstract Tyksová, L. Controlling computer by gestures. Master thesis. Brno, This diploma thesis deals with controlling computers by gestures. It contains a description of motion capture and available technologies, a more detailed description of the Microsoft Kinect sensor and a summary of available libraries for developing applications controlled by Kinect. Part of this thesis is also a list of projects from various areas that are working with Kinect. The output of this thesis is an application controllable by natural hand gestures, to allow common tasks such as selecting elements, browsing through images, etc. Data from the Kinect sensor are processed through the Microsoft Kinect SDK. The application is implemented in C#. key words: motion capture, motion capture technology, Kinect sensor, Microsoft Kinect SDK, C# Abstrakt Tyksová, L. Ovládání počítače pomocí gest. Diplomová práce. Brno, Tato diplomová práce se zabývá ovládáním počítače pomocí gest. Obsahuje popis snímání pohybu a dostupných technologií, podrobnější popis zařízení Microsoft Kinect a shrnutí dostupných knihoven pro vývoj aplikací ovládaných pomocí Kinectu. Součástí této práce je také přehled projektů z různých oblastí, které pracují se zařízením Kinect. Výstupem práce je aplikace ovládána pomocí přirozených gest ruky umožňující běžné úkony jako je výběr prvků, prohlížení obrázků aj. Data ze senzoru Kinect jsou zpracována prostřednictvím Microsoft Kinect SDK a celá aplikace je implementována v jazyce C#. klíčová slova: snímání pohybu, technologie snímání pohybu, senzor Kinect, Microsoft Kinect SDK, C#

6 OBSAH 6 Obsah 1 Úvod a cíl práce Úvod Cíl práce Snímání pohybu Oblast využití Klíčové vlastnosti Optické snímání pohybu Další technologie snímání pohybu Elektromechanické Elektromagnetické Akustické Inerční Zhodnocení Microsoft Kinect Hardware PrimeSense Alternativa ASUS Xtion Knihovny pro práci se senzorem Kinect OpenKinect Project (Libfreenect) OpenNI Microsoft Kinect SDK Srovnání Projekty založené na technologii Kinect Ovládání počítače pomocí gest Počítačová grafika Metodika 38 7 Vlastní aplikace První návrh aplikace a použitých gest Konečný návrh aplikace Konečný návrh použitých gest Implementace Senzor Kinect a detekce člověka Rozpoznání gest mávnutí

7 OBSAH Provedení gest Testování Příprava Popis průběhu testování Účastníci testování Rozdíly mezi studenty se zkušenostmi a bez nich Shrnutí výsledků po testování Diskuze Vyhodnocení realizovaného projektu Možnosti využití ve firemním prostředí Návrh budoucího rozvoje Závěr Použitá literatura 59 Přílohy 63 A Ukázka aplikace 64

8 1 ÚVOD A CÍL PRÁCE 8 1 Úvod a cíl práce 1.1 Úvod Ovládání počítače je v dnešní době téměř nezbytnou dovedností každého člověka. Lidé je využívají k zábavě, práci, komunikaci s lidmi či učení. Ovládání počítačů jen pomocí klávesnice a myši se stává již postupem času zastaralým. Nové funkce a větší nároky uživatelů na jednoduchost a možnost přizpůsobit si počítače svým potřebám, donutilo firmy zabývat se vývojem univerzálního ovládání počítačů, ale i jiných zařízení, které by bylo jednoduší a přitom použitelné i na více zařízeních. V herním průmyslu se využívají herní konzole (Playstation Move, Nintendo Wii), které umožňují pomocí jednoduchého ovladače ovládat hry na televizorech. Ovšem zcela novou myšlenku využila společnost Microsoft a vytvořila senzor Microsoft Kinect, který umožňuje uživatelům ovládat konzoli Xbox bez nutnosti použití herních ovladačů. Další vývoj přinesl i dotykové monitory umožňující přirozený dotyk prvků na obrazovce. S touto souvislostí se setkáváme s pojmem přirozená interakce (Natural Interaction). Což je koncept, ve kterém je komunikace člověka s počítačem založena na lidských smyslech. Uživatel pak dokáže ovládat zařízení jen pomocí hlasu či pohybu těla. Elementy přirozené interakce člověk s počítačem jsou: rozpoznání hlasových příkazů a ovládání pomocí nich, rozpoznání předem definovaných gest a reakce na ně, sledování pohybu těla a přenesení jednotlivých pohybů uživatele na virtuální postavu. Lidé si nejčastěji pod pojmem gesto, či gesto ruky představí právě řeč lidského těla, které je běžnou součástí každodenního života. Gesta lze vyjádřit celým tělem nebo i různými částmi (kývnutí hlavou, mrknutí očí, mávnutí rukou aj.). Gesta patří mezi prvky neverbální komunikace, které používají podvědomě a které vnímají i u ostatních. Každé gesto je předem definované a má svůj význam. Způsob ovládání počítačů pomocí gest, pohybu nebo hlasu, při kterých není potřeba žádných dalších ovladačů, umožní uživateli se hlouběji ponořit do virtuálního světa. Velkou výhodou tohoto senzoru Kinect je možnost připojit se přes USB port k jakémukoliv přístroji a vývojáři, pomocí softwarových ovladačů mohou vyvíjet ovládání jednotlivých aplikací, či celého operačního systému. Kinect má ovšem velký potenciál ve využití i v jiných oblastech, jako jsou medicína, robotika, marketing, ale i v počítačové grafice a animaci. V budoucnu i možné další nové oblasti.

9 1 ÚVOD A CÍL PRÁCE Cíl práce Cílem této práce bude prozkoumat možnosti ovládání počítače pomocí gest a navrhnout aplikaci, která bude využívat zařízení Kinect k jejímu ovládání. Pro splnění tohoto cíle bude nutné seznámit se s problematikou snímání pohybu, technologií zařízení Kinect a splnit i cíle dílčí: Provést srovnání knihoven, které umožňují přistoupit k obrazovým datům senzoru Microsoft Kinect Vytvořit přehled projektů zabývajících se ovládáním počítače pomocí přirozených gest v různém odvětví, zejména v oblasti ovládání počítačů Navrhnout metodu interakce člověka s aplikací pomocí přirozených gest Vytvořit vlastní aplikaci a vyhodnotit její uživatelskou přívětivost

10 2 SNÍMÁNÍ POHYBU 10 2 Snímání pohybu Pro snímání pohybu (anglicky Motion Capture, zkratka MoCap) existuje řada definic. Například (Wikipedie, 2012) definuje snímání pohybu jako proces nahrávání pohybu skutečného objektu a jeho převedení na digitální model. Furniss ve svém článku definuje, že snímání pohybu zahrnuje měření pozice a orientace objektu ve fyzickém prostoru a následné zaznamenání těchto informací do počítačem zpracovatelné polohy. (Furniss, 2004) MoCap je proces zaznamenání pohybu a přeložení do použitelných matematických vzorců pomocí trackování klíčových bodů v prostoru a čase, jejich kombinováním získat 3D reprezentaci výkonu. Stručně řečeno, je to technologie, která umožňuje proces nahrávání skutečného výkonu do digitálního. Zachyceným objektem může být cokoliv, co existuje v reálném světě a pohybuje se. Klíčové body jsou oblasti, které nejlépe reprezentují pohyb objektu a jeho různých pohybujících se částí. Tyto body by měly být otočné (pivot) nebo spojené mezi pevnými částmi objektu. Například u člověka jsou těmito částmi klouby, které se chovají jako pivot a spojují kosti. Umístění každého z těchto bodů je identifikováno jedním nebo více senzory, markery nebo potenciometry, které jsou umístěny na subjekt a slouží, jedním nebo oběma směry, jako kanál informací do hlavního sběrného zařízení. (Menache, 2000), (Srikanth, 2012) 2.1 Oblast využití Nejvíce se snímání pohybu využívá v odvětví zábavního průmyslu, jak už digitální modely v počítačových hrách, či v animovaných filmech. Kdy tato technologie usnadňuje práci animátorům nebo designérům v jejich práci na filmech a hrách. MoCap se využívá při animaci jednotlivých pohybů postav, nebo při vytváření jednotlivých video sekvencí her. V současnosti jsou velmi populární filmy, které jsou vytvořeny pomocí počítače (animované filmy). Pohyby herců se snímají a následně jsou převedeny na protějšek ve filmu. Vznikají tak postavy, které působí velmi reálně. Dále se motion capture využívá v situacích, které jsou pro herce velmi náročné či nebezpečné (např. pád z výšky). Filmy, ve kterých se tato technologie využívá, je spousta, např. Avatar, Lord of the Rings (postava Gluma), The Polar Express, Rise of the planet of the Apes 1. Také se využívá technika snímání mimiky tváře pomocí speciální kamery, která je umístěna před obličejem herce. První systémy snímání pohybu byly vyráběny pro armádní účely, počátky jejich používání spadají do druhé poloviny 70. let minulého století. Technologie snímání pohybu se využívá i pro lékařské účely, kdy se analyzuje pohyb pacienta a hodnotí 1

11 2 SNÍMÁNÍ POHYBU 11 se vývoj rehabilitace poškozeného nervového nebo motorického ústrojí. Např. aplikace OrthoTrak 2 provádí analýzu chůze. Mezi další obory patří zoologie, strojírenství, virtuální realita, sport a další. (King, 2007), (Kitagawa, 2012), (Wikipedia, 2012) Obrázek 1: Technika snímání pohybu ve filmu Avatar, zdroj: Klíčové vlastnosti Pro správné zajištění sledování pohybu a polohy, je potřeba znát nejlepší dostupnou trackovací technologii. Tracker je zařízení (SW a HW), které je schopné detekovat polohu a pohyb objektu. Výběr nejvhodnější technologie závisí na klíčových vlastnostech daných technologií, jelikož každá má své výhody i nevýhody. Mezi tyto klíčové vlastnosti patří: přesnost, rozsah snímání pohybu, rychlost zaznamenání pozice, vlivy způsobující rušení, omezenost pohybu či cena (Procházka, 2012), (Johnson, 2011) Pro vyjádření rozsahu sledovaného pohybu se využívají tzv. stupně volnosti Degrees of Freedom (DOF). Počet stupňů volnosti je minimální počet nezávislých souřadnic, potřebných k popisu polohy v každém okamžiku. Rotující nebo přímo pohybující se částice má jeden stupeň volnosti. Dvou stupňů volnosti se využívá ve dvou-rozměrném prostředí (válcové nebo kulové ploše), je to například myš, tablet nebo joystick. Pohyb tělesa v 3D prostoru má šest stupňů volnosti. 6DOF tedy znamená rotaci a translaci po 3 osách. Lidská ruka má cca 22DOF a celé lidské tělo pak 100DOF. (Access Science, 2012), (Johnson, 2011) 2 Více informací na

12 2 SNÍMÁNÍ POHYBU 12 Pro práci ve virtuální realitě je tedy potřeba alespoň 3DOF tracker, ale optimální je 6DOF. Lze použít i kombinace více 3 a 2DOF trackerů (např. Wanda). (Procházka, 2012) Obrázek 2: Degrees of Freedom, zdroj: Procházka, 2012 Dalším z klíčových vlastností je přesnost. Podle Procházky je přesnost definována jako rozdíl mezi naměřenou a skutečnou pozicí, která často roste se vzdáleností od počátku souřadnic. Dalšími parametry, které se vztahují k přesnosti jsou rozlišení, které udává minimální zachytitelnou změnu pohybu a rozkmit (jitter), který vyjadřuje změnu hodnot, pokud je objekt bez pohybu. (Procházka, 2012), (Johnson, 2011) Další vlastností, která má vliv na kvalitu snímání pohybu je slícování (registration), která je definována jako obecná schopnost překrytí reálného a umělého objektu. Ovšem postupem času chybovost snímače roste tzv. posun (drift). (Procházka, 2012), (Johnson, 2011) Latence (zpoždění, anglicky accuracy) představuje dobu, za kterou tracker zachytí změnu pohybu, tzn., jestli jsou sledované body nepohyblivé, pak prodleva nepředstavuje žádné chyby ve slícování. Pokud dochází ke snímání pohybu, pak může docházet ke zpoždění (např. see-through HMD a pohyb hlavy). U systémů pracujících v reálném čase musí být latence pod 10 ms (okem nepozorovatelná, jinak může způsobit nevolnost; latence nad 50 ms je už nepoužitelná). (Procházka, 2012), (Dorfmüller-Ulhaas, 2002), (Johnson, 2011)

13 2 SNÍMÁNÍ POHYBU Optické snímání pohybu Většina optických systémů byla prvně navržena pro aplikace na lékařské účely. Prvním komerčním dostupným systémem byl Vicon 8. (Kitagawa, 2008). Optická technologie používá ke zjištění pozice a orientace kamery. Uživatel se pohybuje uvnitř prostoru pokrytého zorným úhlem všech kamer. Jejich počet není pevně dán, záleží na účelu použití a velikosti snímaného prostoru. Typicky se používá od 2 do 32 kamer, ale pro lepší přesnost je lépe použít třech a více kamer. Např. 2 8 kamer se používá pro lékařské aplikace, pro video hry, ale jsou i takové systémy, které využívají přes 200 kamer (filmy a vizuální efekty). (Tobon, 2010) Umístění kamer v prostoru je důležitým parametrem. Jelikož se ke krajům snímaného prostoru schopnost zachycení pohybu snižuje, je nutné projekci kamer nastavit tak, aby každý bod v prostoru, který chceme snímat, snímali alespoň 3 kamery. Na základě informací získaných z více kamer, je systém schopen vypočítat polohu každého markeru přes geometrickou triangulaci. Uvažujme tři paprsky vycházející z kamer a protínající se v jednom bodě (reflexní značce). Pokud známe úhly paprsků a 3D souřadnice zdrojů, jsme schopni vypočítat vzdálenost průsečíku od všech tří kamer a určit tak polohu bodu v prostoru. Pokud jsou více než dva markery seskupeny, je možné určit orientaci snímaného objektu. (Iotracker, 2010) Obrázek 3: Princip triangulace, zdroj: (Iotracker, 2010) U optického snímání pohybu uvažujeme dva přístupy outside-in jsou senzory připevněny na fixních místech v okolí snímaného prostoru a sledovaný objekt má na sobě umístěny pasivní reflexní markery (orientační body). U inside-out přístupu jsou senzory umístěny na sledovaném objektu a orientační body v okolí. Optické snímání založené na markerech rozlišujeme na aktivní nebo pasivní. (Mehling, 2006). Pasivní markery nejsou samy o sobě luminiscentní. Často jsou označovány jako retro-reflexivní markery, protože jsou potahovány reflexivním materiálem, který odráží světlo. Kamery jsou vybaveny odpovídajícím filtrem, tak aby byly vzorkovány pouze pasivní markery a vše ostatní bylo ignorováno. Na snímcích z kamery

14 2 SNÍMÁNÍ POHYBU 14 se pak zobrazí jako světlé tečky. Na druhou stranu aktivní markery, někdy označované jako infračervené, samy emitují světlo. Většinou se používají LED diody. Pokud se pracuje s infračerveným světlem, používají se IR LED diody a pak není potřeba žádné další osvětlení scény. Aktivní markery jsou lépe rozpoznatelné než pasivní (na snímcích světlejší). Tato technologie umožňuje sledovat pohyb ve větších vzdálenost a prostoru. Ke snímání dochází při rozsvícení jedné nebo skupiny diod. Při sekvenčním rozsvícení v rámci skupiny může jednotlivé diody snadno identifikovat. Avšak nevýhodou aktivních markerů je nutnost elektrického zdroje (např. baterie). (Mehling, 2006), (Srikanth, 2012) V poslední době se objevují také optické systémy, které nepoužívají ke sledování pohybu předem definované značky tzv. markerless. Tento typ trackování pracuje na principu vyhledání si záchytných bodů přímo z obrazu kamery. Systém je schopen si analyzovat optický vstup a identifikovat lidskou postavu, kterou pak dále rozdělí do segmentů a tyto segmenty samostatně sleduje. Nevýhodou tohoto způsobu trackování je problém s rozpoznatelností menších pohybů, jak je pohyb prstů, mimika obličeje či pohyb zápěstí. (Wikipedia, 2012) Výhodou optických systémů je tedy vysoká přesnost a rychlost snímání (rychlejší než ultrazvukové), může se použít velký počet markerů, které se dají jednoduše měnit. Další výhodou je možnost současně snímat několik subjektů naráz a uživatelé nejsou limitování připojením k nějaké centrální jednotce, proto mají úplnou volnost pohybu. Dále velikost snímaného prostoru je podstatně větší než u ostatních typů technologií (vše záleží na počtu kamer, které máme k dispozici). Na druhou stranu nevýhodou je okluze, protože optické systémy vyžadují ke správnému snímání přímou viditelnost markerů, tzv.line of sight. Řešením toho problému je právě použití více kamer. Pro většinu optických systémů je nezbytné kontrolovat osvětlení, hlavně pro pasivní systémy. Jednou z nevýhod může být taky nutnost časté kalibrace kamer, protože kamery musí snímat obraz ve stejný čas, jinak může docházet k odchylkám. Optické snímání poskytuje až 6DOF. (Kitagawa, 2008), (Srikanth, 2012) 2.4 Další technologie snímání pohybu Microsoft Kinect, který budeme v této práci využívat, je založen na výše popsané technologii snímání pohybu. Pro přiblížení i ostatních typů jsou v následující části vysvětleny i další technologie Elektromechanické Elektromechanická technologie patří mezi kontaktní, kde konstrukce tohoto systému má pevnou strukturu na těle člověka tzv. exoskeleton. Části exoskeletu bývají z kovu nebo plastu a jsou propojeny mechanickými vazbami a hýbou se přesně podle sní-

15 2 SNÍMÁNÍ POHYBU 15 mající osoby. Tento systém nabízí relativně rychlé a levné řešení, jak zaznamenávat pohyb člověka. Aby bylo dosaženo co nejlepších výsledků, je exoskeleton přizpůsobitelný výšce a tělesným proporcím. Nejmodernějším systémem tohoto druhu je Gypsy7. Obrázek 4: Gypsy7, zdroj: Exoskeleton je konstruován tak, aby pevné části odpovídaly jednotlivým končetinám a spojení mezi nimi korespondovalo s klouby člověka a v ideálním případě mezi sebou svíraly stejné úhly. Stejné úhly mezi klouby se sledují pomocí elektromagnetických senzorů (transduktorů). Měření jsou poslána do počítače a pomocí jednoduchých výpočtů, které jsou prováděny v reálném čase, se z těchto dat vypočítá pozice a rotace jednotlivých končetin a určí se postoj celého těla. Někdy je ale nutné připojit exoskeleton k externímu pozičnímu systému nebo zkombinovat s jinou technologií pro sledování polohy (např. akcelerometry). Je to z toho důvodu, že pomocí této technologie se nedá určit absolutní pozice vůči okolnímu světu. (Welch, 2002), (MetaMotion, 2012) Výhodou této technologie je relativně jednoduché použití (bezdrátovost), nízká cena, nízký rozkmit a latence (méně než 5 ms) a vysoká odolnost na rušení, tzn. nezávislost na okolních podmínkách. Nevýhodou na druhou stranu je omezenost použití díky velikosti obleku, omezenost pohybu díky váze a náročná instalace skeletu na subjekt. Nevýhodou také je nemožnost snímat pohyb zvířete či předmět, který člověk bere do ruky. Tento systém ovšem bývá nahrazen v dnešní době spíše optickým snímáním pohybu, jelikož uživatel má větší volnost v pohybu. (Procházka, 2012), (Srikanth, 2012) Elektromagnetické Elektromagnetické snímání pohybu patří mezi nekontaktní technologie. Tato metoda používá k určení polohy a orientaci v prostoru jednotlivých senzorů elektromagnetického pole generovaného stacionárním vysílačem. (Burdea, 2003) Zařízení pracuje tak, že se měří síla magnetického pole vytvořené zasláním proudu přes 3 malé drátěné cívky, orientované kolmo k sobě. Tyto 3 cívky jsou umístěny v malé jednotce,

16 2 SNÍMÁNÍ POHYBU 16 která je připojena na jakýkoliv systém, který potřebuje trackování (typicky na uživatele). Každá cívka se změní na elektromagnet díky proudu. Postupnou aktivací cívek a měřením magnetických polí generovaným elektromagnety je pak možné určit polohu a orientaci v prostoru. (Baratoff, 1993), (Srikanth, 2012) Vzhledem k tomu, že ani lidská tkáň, ani nekovové předměty nebrání šíření elektromagnetického pole, nevzniká zde problém častý například u optického snímání, při kterém v důsledku zakrytí sledovaných bodů dojde na určitý čas k přerušení sledování pozice a rotace daného objektu tzv. line of sight issue. Na druhou stranu tato technologie má problémy s elektromagnetickou vodivostí kovů umístěných poblíž vysílače. Při generování magnetického pole dochází v kovových předmětech vyskytujících se v bezprostřední blízkosti k indukci elektromagnetického náboje, což má za následek vytváření nových elektromagnetických polí, která snižují přesnost. Rozsah snímané oblasti je obvykle do 5 metrů, s větším rozsahem pak ale klesá přesnost snímání. Jednou z výhod této metody je nízká latence. Systém poskytuje 6DOF. (Welch, 2002), (Menache, 2000) Procházka uvádí dělení elektromagnetických polí na AC (alternující) a DC (pulsující). AC má oproti DC lepší parametry, je přesnější, rychlejší, má lepší rozlišení a zpoždění je velmi malé. Navíc je schopna využívat časový i frekvenční multiplexing při trackování více snímačů. Jedinou výhodou DC je velikost, v ostatních případech je horší. (Procházka, 2012) Nejznámějším výrobcem elektromagnetických snímačů je firma Polhemus a Ascension Technology Corporation. Systémy firmy Polhemus poskytují extrémně nízkou latenci a mají možnost sledovat více objektů současně. Produktem společnosti Ascension Technology Corporation je generátor DC magnetického pole Flock of Birds 3 a snímač Wanda. Wanda je navigační zařízení s joystickem a třemi programovatelnými tlačítky. Jelikož má 6 stupňů volnosti, může být použita ve volném prostoru narozdíl od typické myši nebo joysticku. Wanda je ideální pro práci v CAVE 4 prostředí. Pomocí níž se dá manipulovat s 3D objekty ve virtuálním prostředí. Nejnovějším produktem společnosti je TrakSTAR 5, který je rychlejší 3D snímač pohybu. (WWW společnosti Ascension Technology Corporation) Obrázek 5: Flock of Birds, Wanda, TrakSTAR, zdroj:

17 2 SNÍMÁNÍ POHYBU Akustické Zařízení snímající pohyb akusticky využívá krátké ultrazvukové signály, které jsou vysílány z generátoru a jsou zachyceny snímajícími mikrofony. Získání polohy je založené na triangulaci tzn., že tři reproduktory v trojúhelníku postupně vyšlou signál zachycený třemi mikrofony v trojúhelníku. Akustické trackování poskytuje 6 DOF. Velkou výhodou tohoto typu systému je vcelku malá cena a nízká váha zařízení, které na sobě musí uživatel mít. Nevýhodou této technologie je nevelký rozsah pohybu (cca 1,5 metru) a požadavek přímé viditelnosti. Přesnost je lehce ovlivněna přítomností akusticky odrazových materiálů v blízkosti sledovaného objektu. Data pořízená touto technikou mívají rozptyl a šum, jelikož trpí na jakékoli externí zvuky. (Procházka, 2012) Existují dva principy akustického snímání: time-of-flight tracking a phasecoherence tracking. Time-to-flight funguje tak, že měří čas, za který dorazí ultrazvukový signál od emitoru umístěného na objektu do přijímače, který je na fixních pozicích. Vysílač vyzařuje zvuk v předem známý čas a pouze jeden je aktivní v daný okamžik. Měřením času, který urazí signál od vysílače k přijímači, se dá určit vzdálenost od cíle ke každému ze senzorů. Při znalosti vzdálenosti od 3 a více snímačů lze dopočítat polohu a orientaci subjektu (pro polohu je zapotřebí pouze jeden z vysílačů, orientace je určena na základě rozdílů mezi 3 senzory). Nevýhodou této metody je nízká obnovovací frekvence, další nevýhodou je ovlivnění rychlosti zvuku různými faktory, jako jsou teplota, tlak a vlhkost. Phase-coherence(fázová soudružnost) pracuje na principu porovnávání fáze zvukového signálu získaného při vyslání od vysílače k přijímači a signálu vyslaného z určitého referenčního bodu. Fáze zvuku představuje pozici zvukové vlny a je měřena ve stupních (360 se rovná rozdílu jedné vlnové délky). (Baratoff, 1993), (Srikanth, 2012) Inerční Dalším typem technologie snímání pohybu je inerční. Zde se uplatňuje řada inerčních měřících zařízení, jako jsou gyroskopy a akcelerometry. Gyroskopy slouží pro zaznamenání změny úhlů (měří náklon), zatímco akcelerometry zaznamenávají pohybovou změnu rychlosti (měří zrychlení, výpočet posunu). (Menache, 2000) Hlavní výhodou inerčního přístupu je, že použití nevyžaduje žádné složité výpočty (hodnoty jsou generovány přímo z použitých zařízení), a v případě bezdrátového přenosu dat i přenositelnost a velký prostor pro rozsah pohybu. Velkou výhodou oproti ostatním systémům je absence dalších zařízení nutných pro provoz systému, jako jsou kamery či generátory magnetických polí aj. Odpadá zde také line of sight problém, senzory navíc mají velmi nízkou latenci a disponují vysokými obnovovacími frekvencemi. Nevýhoda systému plyne z odchylek měřících zařízení, protože

18 2 SNÍMÁNÍ POHYBU 18 odchylka mezi naměřenými a skutečnými hodnotami se zvyšuje lineárně s dobou měření. Další nevýhodou je možný šum v pořízených datech. (Welch, 2002), (Srikanth, 2012) Neocenitelnou výhodou inerčních systémů je použití v kombinaci s jinými technologiemi pro snímání pohybu. V současnosti jedním z nejpoužívanějších inerčních systémů je Xsens MVN od společnosti XSENS, který se používá při natáčení her a filmu (např. filmy Ted, Avengers, Paul a hry Counter Strike, FIFA 11). (Xsens MVN, 2012) Obrázek 6: Vývoj hry Two Wolds Vault pomocí Xsens MVN, zdroj: Zhodnocení V následujících třech tabulkách jsou shrnuty nejdůležitější vlastnosti zmíněných druhů snímání pohybu podle rozsahu pohybu, použití a hardwaru. Dá se říci, že největší potenciál mají optické a elektromagnetické technologie. Obě tyto technologie se mohou využít při snímání více subjektů a mají velký dosah snímaného prostoru. Rychlost snímání u elektromagnetického je nižší a může zde docházet k elektromagnetickému rušení. Na druhou stranu optické trackování vyžaduje přímou viditelnost a dobré světelné podmínky. V následujících kapitolách se už dále seznamujeme se senzorem Kinect, který využívá právě optické trackování.

19 2 SNÍMÁNÍ POHYBU 19 Tabulka 1: Zhodnocení technologií snímání pohybu - Rozsah pohybu Technologie Elektromechanické Zhodnocení Při bezdrátové technologii je prostor snímání pohybu neomezený Nezávislé na okolních podmínkách (rušení) Elektromagnetické Problém s vodivostí kovů Možnost bezdrátové verze Možnost snímat více subjektů s různým nastavením Velký dosah (až do 5 metrů) Akustické Dosah až 1,5 m Velikost snímaného prostoru závisí na umístění jednotlivých přijímačů Optické Velikost snímaného prostoru závisí na počtu snímajících kamer Inerční Neomezují snímání subjektu v pohybu Nejsou citlivé na elektromagnetické rušení

20 2 SNÍMÁNÍ POHYBU 20 Tabulka 2: Zhodnocení technologií snímání pohybu - Použití Technologie Elektromechanické Zhodnocení Omezenost použití díky exoskeletonu Poměrně nízké pořizovací náklady Použití jen u lidských postav Rychlost snímání je nižší Elektromagnetické Relativně levná technologie Přesné s vysokým rozlišením Nedochází k občasnému zakrytí senzorů jako u optických systémů Rychlost snímání je nízká Akustické Systém není závislý na světelných podmínkách Nedochází k zakrytí senzorů jako u optických systémů Odrazy mohou způsobit nepřesnosti Rychlost snímání je poměrně nízká (limitována rychlostí zvuku) Citlivost i na povětrnostní podmínky Optické Úplná volnost pohybu bez omezení V porovnání s ostatními technologiemi je rychlost vysoká Lze snímat více subjektů najednou Nutná přímá viditelnost i dobré světelné podmínky Inerční Nedochází k zakrytí senzorů jako u optických systémů Schopnost pracovat velmi rychle Velký problém s akumulací chyb Dobré využití v kombinaci s jinou technologií

21 2 SNÍMÁNÍ POHYBU 21 Tabulka 3: Zhodnocení technologií snímání pohybu - Hardware a příklad Technologie Elektromechanické Zhodnocení Pevná kostra na těle Výpočty v reálném čase určí postoj celého těla Nelze určit absolutní pozice postavy vůči okolnímu světu Např. Gypsy7 Elektromagnetické Na těle umístěny senzory s cívkami Cívky napájeny elektrickým proudem a generují tak magnetické pole Pomocí řídící jednotky se určí relativní pozice a orientace senzoru vůči přijímači Schopnost pracovat v reálném čase Napájecí kabely mohou omezovat pohyb Např. Flock of Birds, snímač Wanda, TrakSTAR Akustické Senzory na těle vysílají ultrazvukové impulzy Pomocí triangulace a měření lze zjistit pozici senzorů Optické Založeno na sledování odraženého či vyzařovaného světla Použití kamer ve viditelném nebo infračerveném světle Markery umístěny na postavě Např. OptiTrack Inerční Systém složený z gyroskopů a akcelerometrů Nutnost znát počáteční polohu Není potřeba žádný další hardware (kamery aj.) Např. Xsens MVN

22 3 MICROSOFT KINECT 22 3 Microsoft Kinect Kinect, společnosti Microsoft, lze považovat za revoluci ve způsobu interakce uživatele a ovládaného zařízení (herní konzoli Xbox 360 nebo osobní počítač). 1. června 2009 byl Kinect oficiálně představen na herní konferenci E3 (Electronic Entertainment Expo) pod jménem Project Natal. Generální ředitel herní divize Microsoftu Shane Kim prohlásil, že vytyčuje nový způsob ovládání her pomocí řeči, gest a celého těla. (Nitescu, 2012). Ovšem první zmínka padla na D5 konferenci již na konci května 2007, kdy Steve Jobs a Bill Gates diskutovali o možnosti využití kamery a reálných objektů pro ovládání toho, co se děje na obrazovce. Opět na E3 konferenci v roce 2010 Microsoft oznámil, že Project Natal je uveden pod názvem Kinect. Slovo Kinect vzniklo spojením 2 klíčových slov kinetic (pohybový) a connect (propojit). Prodávat se začal 4. listopadu 2010, o týden později byl uveden v Evropě a na konci listopadu v Japonsku a Austrálii. (CNet, 2011) Kinect je periferní zařízení, které pomocí RGB kamery a pole čtyř mikrofonů zaznamenává obraz a zvuk a hloubkový senzor umožňuje určovat vzdálenost jednotlivých objektů ve scéně. Na základě analýzy ze získaných dat dokáže identifikovat postavy ve scéně, sledovat pohyb jednotlivých částí těla, rozpoznat předem definovaná přirozená gesta a hlasové příkazy. (LaBelle, 2011) K ovládání aplikací pak uživatel nepotřebuje žádné markery či speciální obleky, jak je tomu u jiných typů snímání pohybu. Kinect využívá optickou metodu trackování pohybu. Kinect je také zapsán v Guinessově knize rekordů v kategorii nejrychleji prodávaná spotřební elektronika, kdy během 2 měsíců bylo prodáno 8 milionů kusů tohoto zařízení. (BBCNews, 2011) 3.1 Hardware Součástí Kinectu je RGB kamera, pole čtyř mikrofonů, motorek a hloubkový senzor složený z IR projektoru a IR kamery. Obrázek 7: Popis senzoru Kinect, upraveno autorkou zdroj:

23 3 MICROSOFT KINECT 23 RGB kamera zachycuje dvourozměrný obraz scény, pomáhá k identifikaci obličeje a snímání celého těla a detekuje základní 3 barevné složky. Standardním výstupem kamery je video o snímkové frekvenci 30 Hz a využívá rozlišení pixelů. (Webb, 2012) Na okrajích Kinectu se nachází pole čtyř mikrofonů, z nichž jeden se nachází na levé straně a 3 na pravé. Mikrofony umožňují identifikovat různé zvuky a směr odkud zvuky přicházejí. Kinect navíc dokáže rozlišovat příkazy od jednotlivých uživatelů, a tím ovládat aplikace, filtrovat okolní šum a eliminovat ozvěny. (Webb, 2012) Pomocí motoru umístěného v základně zařízení, je možné naklonit Kinect ve vertikální rovině až 43 (±27 ) a horizontální rovině až 57. Díky naklonění dokáže Kinect kompenzovat rozdíly ve výšce a zajistit tak, aby se sledovaný uživatel nacházel v zorném poli kamer. (Webb, 2012) Obrázek 8: Obraz z infračervené kamery, zdroj: Nejdůležitější součástí celého zařízení je hloubkový senzor, který se skládá z projektoru (laseru) a kamery (CMOS senzoru), které jsou citlivé na infračervené světlo. Infračervená kamera snímá obraz o maximálním rozlišení pixelů při frekvenci 30 snímků za sekundu. Hloubkový senzor využívá tzv. strukturované světlo. Neviditelný infračervený laserový projektor generuje statický mrak proměnlivě intenzivních teček podle náhodných vzorů. Infračervený laser narážející do difrakční mřížky vytváří každou tečku rozdělením paprsku do tisíců jednotlivých světelných

24 3 MICROSOFT KINECT 24 bodů. Je odhadováno, že do scény se může promítnout od až po teček. Vytvoří se hloubková mapa, kde hodnota v každém pixelu na mapě odpovídá vzdálenosti objektu od senzoru. Výpočet hloubky se provádí v SoC PS1080 firmy PrimeSense. (Kean, 2012) V něm je integrována paralelní výpočetní technika, která přijímá infračervený obraz s kódovanou informací, ze které se vypočítá hloubkový obraz scény. Tento proud se navíc synchronizuje s výstupem z RGB kamery a zvukem. A výsledná data jsou předána cílovému zařízení pomocí USB 2.0 rozhraním. (Buchanan, 2010) Detekce osoby probíhá na základě pořízeného obrazu z hloubkové kamery, který porovnává v reálném čase databázi 20 milionů obrazů s 200 různými pózami. Po analýze obrazů udělá optimální odhad, kde se jednotlivé části těla nachází a na výsledných datech vygeneruje kostru. (Buchanan, 2010) Obrázek 9: Rozpoznání postav (Kinect for Windows, 2012) Zařízení Kinect pro Xbox 360 je nejlépe schopno snímat z m, ve vzdálenosti m je ještě stále schopno pohyb zachytit, některé informace se ale mohou ztrácet a výsledek tak může být zkreslen. Dále se uvádí, že počet osob rozpoznaných ve scéně je 6 avšak jen u 2 osob lze snímat pohyb. Kinect pro Windows může snímat objekty už ze vzdálenosti od 40 centimetrů. Přesnost snímané pozice je v ose Z (hloubková osa) cca 1 cm, ve zbývajících dvou osách X a Y se přesnost udává v milimetrech. (Kinect for Windows SDK, 2012) V následující tabulce jsou uvedeny technické specifikace senzoru Kinect.

25 3 MICROSOFT KINECT 25 Tabulka 4: Technické specifikace senzoru Kinect Technická specifikace Zorné pole 43 svisle 57 vodorovně Rozsah naklánění ± 27 svisle Rozsah hloubkového senzoru Kinect pro Xbox: 1.2 m 3.5 m Kinect pro Windows: 0.8 m 4 m, režim z blízka 0.4 m 3 m Počet snímků za sekundu 30 FPS Rozlišení obrazu Výchozí rozlišení Další možnosti: , Formát audio 16-kHz, 24-bit mono PCM Audio vstup Pole 4 mikrofonů, 24-bit ADC, potlačení šumu a akustické ozvěny Akcelerometr 2G/4G/8G konfigurován pro rozsah 2G Horní hranice přesnosti 1 Snímání Snímání až 6 lidí, 2 rozpoznání koster Ve stoje 20 kloubů V sedě 10 kloubů 3.2 PrimeSense PrimeSense je izraelská firma, která patří mezi průkopníky v oboru prostorových snímacích a rozpoznávacích řešení. Tato firma vytvořila novou technologii 3D snímání, kterou Microsoft využil v Kinectu. Produktem této společnosti je The PrimeSensor Reference Design, což je koncové řešení, které umožňuje počítači představit si svět ve 3D a přeložit tyto vjemy do synchronizovaného obrazu, stejným způsobem, jak to dělají lidé. Toto řešení zahrnuje snímač komponent, který pozoruje scénu a komponentu vnímání mozek, který chápe interakci s uživatelem. Referenční návrh generuje hloubku, barvu a zvuk ve scéně. PrimeSensor design zahrnuje pokročilé vizuální zpracování dat tzv. NITE middleware a uvnitř se nachází PS1080 SoC (system on chip). Firma PrimeSense pro získání 3D informací o objektech využívá metodu Light Coding, která umožňuje vytvářet hloubkové mapy scény popisující scénu v reálném čase. Hloubkovou mapu lze interpretovat jako obraz, v němž každý pixel nese informaci o vzdálenosti objektu od samotného senzoru. (PrimeSensor, 2010), (Kean, 2012)

26 3 MICROSOFT KINECT 26 Obrázek 10: Schéma tvorby hloubkové mapy (Kean, 2012) Jak už bylo výše zmíněno PrimeSence SoC obsahuje v sobě vysoce paralelní výpočetní logiku, která vypočítává hodnotu hloubky každého pixelu na základě signálu z SMOS snímače. Kromě toho v sobě obsahuje rozhraní pro barevný snímač CMOS, integrovaný ADC, USB a ovladač pro běžící firmware, a tím poskytuje flexibilní a rozšiřitelné ovládání systému. NITE překládá nezpracovaná vizuální data, jako je hloubka a barva, do užitečných aplikačních příkazů. (PrimeSensor, 2010) Obrázek 11: Architektura PrimeSense hloubkového senzoru, zdroj (Kean, 2012) 3.3 Alternativa ASUS Xtion Xtion je pohybový senzor konkurenční firmy ASUS. Stejně jako Kinect i tento senzor je založen na technologii snímání pohybu společnosti PrimeSense. Existuje více variant tohoto zařízení. Xtion Pro má pouze hloubkový senzor, není tam RGB kamera,

27 3 MICROSOFT KINECT 27 takže do počítače se dostanou pouze hloubková data, ale ne reálný obraz. Dále zde chybí mikrofon a otáčení senzoru. Varianta Xtion Pro Live už v sobě RGB kameru a 2 mikrofony obsahuje. Tento senzor dokáže snímat postavy lidí v rozmezí od 0.8 m až do vzdálenosti 3.5 m a to při efektivním úhlu 58 horizontálně, 45 vertikálně a 70 diagonálně. K počítači se připojí přes USB 2.0. Zařízení běží pod operačním systémem Microsoft Windows XP, Vista, Windows 7 32/64 bit, Linux Ubuntu 10.10: X86 32/64 bit. VGA rozlišení hloubkového obrazu při frekvenci 30 snímků za sekundu a programovacími jazyky budou C++ a C# pro Windows a C++ pro Linux a také JAVA. Další možností využití Xtion Pro je ve variantě s bezdrátovým zařízením WAVI tzv. WAVI Xtion. Bezdrátové zařízení má dosah až 25 metrů s frekvencí 5 GHz, takže je možné spojit PC a televizor s kamerou a užít si zábavy v obývacím pokoji. (Asus, 2012) Obrázek 12: Zařízení ASUS WAVI Xtion, zdroj:

28 4 KNIHOVNY PRO PRÁCI SE SENZOREM KINECT 28 4 Knihovny pro práci se senzorem Kinect V této kapitole jsou stručně popsány a na závěr srovnány knihovny, které pracují se senzorem Kinect. Největší pozornost je věnována oficiální Microsoft Kinect SDK. Další knihovny jsou OpenKinect Project a jejich Libfreenect software a jako poslední OpenNI. 4.1 OpenKinect Project (Libfreenect) Obrázek 13: Logo OpenKinect (OpenKinect, 2012) OpenKinect je komunita lidí, která vznikla v listopadu 2010 a má přes 2000 členů. Tito členové pracují na vytvoření open-source knihoven, které umožní používat kinect ve Windows, Linux i ios. Primárně se tato skupina zaměřuje na vývoj libfreenect ovladače, který spadá pod dvojí licenci Apache 2.0 nebo GPL v2 licenci a zahrnuje všechny potřebné kódy pro aktivaci, inicializaci a předávání dat s Kinectem. Jak už bylo zmíněno, patří mezi multiplatformní software a podporuje jazyky/platformy: C, C++,.NET (C#/VB.NET), Java, Python a další. Libfreenect pro Kinect byl jako první ovladač k dispozici pro obecné použití a byl základem pro řadu projektů. Jakmile vyšel OpenNI framework, mnoho projektů přešlo na OpenNI, protože byl flexibilnější a odolnější. Libfreenect umožňuje přistupovat k obrazovým datům z hloubkové mapy to je také jediný způsob, jak poskytuje hloubkové informace pro aplikaci. Obraz z hloubkové mapy v odstínech šedi lze zobrazit v rozdílných barvách pro vizuální rozlišení vzdálenosti od kamery. Ovladač používá přímý zdroj z infračervené kamery, která je navržena k hledání světelných bodů vytvořených IR kamerou. Nevýhodou tohoto ovladače je nutnost časté kalibrace. Naopak OpenNI poskytuje pro hloubková data kalibrované mapování RGB dat. Ovladač má také přístup k zabudovanému čipu akcelometru v zařízení Kinect. To je výhodou pokud se navrhují aplikace, které vyžadují manuální pohyb Kinectu. Dále může být senzor nakloněn pomocí motoru o 30 nahoru nebo dolů a LED světlo může svítit v různých barvách dle návrhu.(openkinect, 2012)

29 4 KNIHOVNY PRO PRÁCI SE SENZOREM KINECT OpenNI Firma PrimeSence založila v listopadu 2010 neziskovou organizaci OpenNI (Open Natural interaction) jejímž cílem je rozvíjet možnosti komunikace mezi uživatelem a počítačem pomocí přirozeného uživatelského rozhraní (Natural User Interface - NUI). OpenNI je open-source multiplatformní framework, který definuje rozhraní pro programování aplikací, jenž používá přirozené interakce a je napsán a distribuován pod licencí LGPL 6 Lesser general Public License. OpenNI podporuje platformy Windows XP a vyšší (32 bit) a Linux Ubuntu a vyšší (32 bit). Knihovna je dostupná pro programovací jazyky C#, C++. Hlavním úkolem OpenNI je tak vytvořit aplikace, které budou komunikovat s fyzickým zařízením, tak i s middleware. OpenNI má přístup ke všem údajům dostupných prostřednictvím ovladače Libfreenect. To také poskytuje výhody, jako jsou metody pro konverzi XY souřadnic hloubkové mapy zpět do XYZ souřadnic reálního světa v centimetrech. To usnadňuje získat mrak bodů a generovat alternativní pohledy ve scéně. Navíc poskytuje možnost sledovat více lidí naráz a získat jejich gesta z dat z kosterních bodů. Celkem ale může snímat celou kostru u 2 lidí a každá kostra se skládá z 20 kloubů. (OpenNI, 2012) Obrázek 14: Logo OpenNI (OpenNI, 2012) 4.3 Microsoft Kinect SDK Microsoft 16. června 2011 uveřejnil oficiální beta verzi svého vývojářského balíčku a systémového ovladače Microsoft Kinect Software Development Kit, který je určen pro nekomerční využití. Toho mohou využít nadšenci, či vývojáři neziskových aplikaci či akademické týmy pro vývoj zajímavých aplikací. SDK v sobě obsahuje systémové ovladače, API, rozhraní zařízení a velice kvalitní technickou dokumentaci včetně příkladů zdrojových kódů, což usnadňuje vývojářům práci. Aktuální verzí je Microsoft Kinect SDK ve verzi 1.8 (zveřejněn v září 2013), ale aplikace bude vyvíjena ve verzi 1.6 (zveřejněn v říjnu 2012). SDK lze zdarma stáhnout na oficiálních 6

30 4 KNIHOVNY PRO PRÁCI SE SENZOREM KINECT 30 stránkách Microsoftu. Tyto verze už jsou možné využít i pro komerční účely, ale jen za předpokladu použití se senzorem pro Windows. Na rozdíl od předchozích ovladačů, má Microsoft Kinect SDK několik zásadních hardwarových a softwarových požadavků. Jediným podporovaným operačním systémem je Windows (Windows 7, Windows 8 nebo Windows Embedded Standard 7). Při použití zařízení Kinect for Windows lze od verze SDK 1.6 programovat na operačních systémech ios, či Linux, nezbytné je ale pracovat na OS Windows běžícím ve VMWare, Microsoft HyperV nebo Parallels. Počítač, na kterém bude SDK nainstalován, by měl mít grafickou kartu podporující DirectX 9.0c, procesor 32-bit nebo 64-bit, minimálně 2 GB RAM (doporučeno je 4 GB), USB 2.0, 2 jádrový, 2.66 GHz nebo rychlejší procesor Nutností je také mít nainstalovaný Visual Studio 2010 nebo 2012, popř. verzi Express, která je zdarma, a také.net Framework 4 (při instalaci VS 2010) nebo.net Framework 4.5 (při verzi 2012), protože se vyvíjí jen v programovacích jazycích C#, C++ a Visual Basic. Na následujícím obrázku jsou znázorněny vrstvy architektury Microsoft Kinect SDK. Obrázek 15: Vrstvy architektury Microsoft Kinect SDK (Kinect for Windows SDK, 2012) 1. Nejnižší vrstva (HW vybavení) - motor pohybující se celým senzorem vertikálně, RGB kamera, hloubkový senzor, pole mikrofonu a USB výstup 2. Ovladače pro systém Windows, které jsou součástí instalace ovladače na řízení audia a videa, možnost připojení více zařízení Kinect naráz 3. Kinect NUI - aplikační rozhraní pro namapování a sledování kostry, hloubkového zobrazení, videa a zvuku 4. DirectX Media Objekt komponenta pro formování a filtrování zvukového vstupu a lokalizace jeho zdroje zachycených z pole mikrofonu

31 4 KNIHOVNY PRO PRÁCI SE SENZOREM KINECT Standardní API operační systém Windows 7 knihovny pro práci se zvukem, videem a zpracováním uživatelského hlasu Kinect SDK poskytuje podporu funkcí senzoru Kinect, včetně RGB a hloubkových obrazů, audio vstupů ze 4 mikrofonů a skeletální dat. Také je zde možnost pracovat na jednom počítači s více připojenými senzory a hloubkové obrazy jsou upravovány tak, aby obsahovaly informace o hloubce každého pixelu a index rozpoznaného člověka. V jedné scéně dokáže rozpoznat až 6 lidí, avšak pouze u 2 postav dokáže SDK rozpoznat celou kostru. U ostatních rozpozná jen celkovou vzdálenost od senzoru. Celá kostra postavy se skládá z kloubů, ve stoje z celkem 20, v sedě pouze 10. SDK poskytuje kromě snímání postavy i snímání tváře, k tomu je však potřeba mít nainstalovaný Face Tracking SDK. Zorné pole senzoru Kinect je určeno podle nastavení IR kamery. Výchozí nastavení je mezi 0.8 a 4 metry, v tomto rozmezí musí být uživatel schopen se pohybovat. Navrhovaný rozsah je tedy od 1.2 do 3.5 metrů. Kinect také disponuje režimem zblízka, kdy by uživatel měl stát ve vzdálenosti mezi 0.4 metrů až 3 metry (z praxe metru). Vše záleží na tom, kolik uživatelů senzor snímá. Pokud Kinect používá 1 2 osoby optimální vzdálenost je mezi 0.8 až 2.0 metry ale i dále, ve vzdálenosti 2 až 4 metry lze snímat až 6 osob. Obrázek 16: Zorné pole (Kinect for Windows SDK, 2012) SDK má i nějaké nevýhody. V některých případech může dojít k nepřesnému zjištění pozice končetiny - kloubu (např. ruka za zády či mimo zorné pole). To může vést k nepřesným informacím.(kinect for Windows SDK, 2012) 4.4 Srovnání Jak už bylo zmíněno Microsoft Kinect SDK je oficiálně vyvíjen společností Microsoft, která také vytvořila senzor Kinect, takže má interní informace o tom, jak zařízení

32 4 KNIHOVNY PRO PRÁCI SE SENZOREM KINECT 32 funguje. Vývojáři mají tedy k dispozici vysoce kvalitní technickou dokumentaci, včetně ukázkových kódů. Oproti tomu zbylé 2 knihovny byly vytvořeny na základě reversního inženýrství, ačkoliv byly zveřejněny o 8 měsíců dříve (OpenKinect dokonce den po zveřejnění) a žádná kvalitní dokumentace neexistuje, pouze nějaká fóra. Velkou výhodou neoficiálních knihoven je možnost vývoje aplikací v operačním systému Windows, Linux, či OS X v jakémkoliv programovacím jazyku (Python, C#, C++, Java aj.). Zatímco oficiální SDK je možné nainstalovat pouze na Windows 7 nebo Windows 8 a lze programovat jen ve Visual Studiu 2010 resp v programovacím jazyku C#, C++ nebo Visual Basic. Velký zvrat ale nastal při zveřejnění oficiální SDK v1.6, kdy je možné vyvíjet aplikace i na Linux či OS X prostřednictvím virtuálních strojů. To však platí jen pro senzor Kinect for Windows. Při použití Kinect for Xbox je tedy nutnost instalace přímo na počítač. Skeletální systém skládající se z 20ti nebo 15ti unikátních kloubů má jak Kinect SDK tak i OpenNI a také mohou snímat 2 postavy naráz. Proto rozhodujícím faktorem v tomto případě je inicializace snímání. U OpenNI uživatel musí vyčkat, až se systém identifikuje a kalibruje. Jak rychle bude kalibrace provedena, záleží na podmínkách v okolí a na kapacitě zpracování. To samé platí i u OpenKinect. Na druhou stranu, Kinect SDK používá speciální systém, který porovnává již známé obrazy člověka s příchozími daty z hloubkového senzoru, a tak rychle zjistí obrys lidského těla a vygeneruje kostru. Všechny 3 knihovny mají přístup k RGB kameře, Kinect SDK a OpenKinect jsou schopny využít plného rozlišení , zatímco OpenNI pouze rozlišení Dá se také říct, že oficiální SDK je lepší použít i při práci s rozpoznáváním zvuku, protože SDK poskytne přístup ke stejné knihovně, kterou využívá v implementaci Xbox (soubory v XML formátu).

33 4 KNIHOVNY PRO PRÁCI SE SENZOREM KINECT 33 Tabulka 5: Srovnání knihoven Microsoft Kinect SDK a OpenNI Microsoft OpenNI Kinect SDK Podpora více senzorů ano ano Snímání celého těla ano ano Pozice uzlů (kloubů) ano ano Počet dostupných uzlů (kloubů) RGB obrazy ano ano Hloubkové obrazy ano ano Dostupná oficiální dokumentace ano ne Možnost pohybu s motorem ano ne Využití pole mikrofonů ano ne Rozpoznávání řeči ano ne Rozpoznání jednotlivých prstů ne ano Nutnost kalibračního pohybu ne ano Licence pro komerční účely ne ano Jednoduchost instalace ano ne Platformy použití Windows 7 + Windows XP+ Linux Ubuntu MacOSX 10.6+

34 5 PROJEKTY ZALOŽENÉ NA TECHNOLOGII KINECT 34 5 Projekty založené na technologii Kinect Kinect lze využít v mnoha oborech, nejen jako způsob ovládání her a zábava pro celou rodinu. Poté, co byl vydán první ovladač s otevřeným zdrojovým kódem pro připojení senzoru k počítači, bylo vytvořeno nadšenci a akademiky mnoho zajímavých projektů a aplikací s velkým potenciálem. Jednou z oblastí využití Kinectu je robotika. Patrick Bouffar na University of California Berkerly vytvořil létající zařízení se čtyřmi rotory nazvané Quadrotor 7, na kterém je připevněn senzor. Helikoptéra je tak schopna autonomního pohybu podél předem definovaných bodů, pokud detekuje překážku, tak zastaví a po odstranění překážky pokračuje v letu. Výška letu se vypočítává na základě informací poskytovaných právě Kinect zařízením. Dalším z projektů je například Kinect Kuka 8, který vytvořil Rosario Barbagallo. V tomto případě pomocí senzoru je možné pohybovat s robotem Kuka R850. Systém pracuje při zdvihnutí levé ruky a vyslovení nějakého příkazu (Record, Translation, Rotation, First joint). Pomocí pravé ruky může s robotem pohybovat a přesunovat ho. Pokud uživatel zvedne levou ruku a vysloví record, systém uloží uživatelovu výchozí pozici. Systém akceptuje hlasové příkazy jen tehdy, pokud uživatel zvedl levou ruku. Za zmínku také stojí další projekty jako je např. JediBot 9, který vytvořili studenti na Stanfordské univerzitě nebo Smart Trashbox 10, který vytvořil japonský nadšenec Modder FRP. Kinect v dnešní době má také mnohé využití v lékařství, např. projekty KineMED 11, Virtopsy 12, nebo Touchless Interaction in Medical Imaging 13 pomáhají doktorům při operacích. Ti tak mohou manipulovat se snímky pacienta, 3D animacemi těla nebo jeho částí pomocí gest rukou a paží. Lékaři pomocí gest mohou posunovat snímky, nastavovat úrovně jasu a kontrast, rotovat a přibližovat 3D snímky. Bezdotykovou manipulací se tak zamezí riziku jeho kontaminace. Mnohé uplatnění má také při rehabilitacích a cvičení. Technologie Reflexion 14 byla vyvinutá kalifornským institutem West Health pro podporu rehabilitace pacienta. Software poskytuje odborníkům i pacientům interaktivní zpětné vazby a vzdělávací materiály, a tím se zlepšuje bezpečnost pacientů a správnost dodržování režimu a prováděných cviků

35 5 PROJEKTY ZALOŽENÉ NA TECHNOLOGII KINECT 35 Kinect způsobil novou éru v marketingu, protože je vhodným nástrojem propagace firem. Na internetu se objevila celá řada aplikací využívající tento senzor. Tuto možnost například využila firma Coca-Cola, která si tímto způsobem chtěla upevnit pozici na trhu jako nejlepší světová značka na trhu. Firma umístila do jednoho obchodního centra v Jižní Koreji automat na nápoje. Trikem je spojení Kinectu s jednoduchou taneční hrou, kdy si kolemjdoucí může vytančit coca-colu zdarma 15. Senzor snímá pohyby tancujících kolemjdoucích a po splnění získají malou láhve zdarma. Je dobrým nástrojem podpory prodeje. Některé oděvní společnosti spolupracují s firmami, které se zabývají rozšířenou realitou na tvorbě tzv. fitting room. Jedná se o virtuální zkušebnu oblečení a doplňků, zákazník si tak nemusí věci zkoušet, ale stačí si vybrat a na obrazovce se objeví ve zvoleném outfitu. Nevýhodou virtual fitting room pro společnost Topshop je např. nesprávné mapování oblečení na postavu či pouze jedna velikost oblečení 16. Lepším příkladem je Fitnect 17. Oproti předchozímu zmíněnému jsou oblečení ve 3D a každý model je ve vysokém rozlišení, možnost sdílení přes sociální sítě a zákazník má možnost si vyzkoušet více modelů naráz. 5.1 Ovládání počítače pomocí gest Existuje celá řada projektů a aplikací, které umožňují uživatelům PC se senzorem Kinect ovládat např. PowerPoint prezentace, Windows Media Center, mapy, obrázky, videa, internetové stránky i celý počítač. Jednou z nich je program WIN&I od německé firmy Evoluce, který nabízejí ve verzích od 29,90 EUR 18 (cca 750 Kč) a byl zveřejněn v březnu Program běží pod operačním systémem Windows 7, podporuje angličtinu a němčinu a jedna z verzí (Image and Video Viewer) umožňuje přehrávat videa ve formátu MP4, WMV a obrázky ve formátu BMP, PNG, JPG/JPEG s doporučeným rozlišením nebo vyšší a také PDF soubory. Verze PowerPoint Presenter umožňuje ovládat prezentace, jak ve formátu PPT, tak PPTX. Třetí verzí je Media Viewer (249 EUR), který v sobě má 2 předchozí verze. Program pracuje jen se senzorem Kinect for Windows (ne Kinect for Xbox) a pohyb snímá ve vzdálenosti od 0.8 m 3.5 m. Program rozpozná postavu při zamávání a ovládá se intuitivně pomocí pohybu ruky, např. pro potvrzení se přidrží ruka nad ovládacím prvkem, přechod na další snímek pohybem ruky doprava či doleva. (WIN&I, 2012) 15 Enabled-Vending-Machine ceny platné k listopadu 2012

36 5 PROJEKTY ZALOŽENÉ NA TECHNOLOGII KINECT 36 Další software od britské firmy So Touch Air Presenter Plus 19 využívá k ovládání prezentací opět Kinect for Windows. Výhodou je možnost vyzkoušení programu zdarma. Program umožňuje uživatelům si vytvářet prezentace z obrázků (JPG, GIF, BMP, Tiff a PNG formáty), z PDF souborů, PowerPoint prezentací, z Word a Excel souborů, videí (F4V, MP4, MOV, MP4V, 3GP a 3G2 formáty) a také z 3D objektů (DAE a F3D formát). Velkou výhodou oproti WIN&I je možnost použití obou rukou (např. pro přibližování či oddalování pomocí roztahování paží) a koncepce ovládání je podobná jako při hrách na konzoli Xbox. Air Presenter Plus se dá také ovládat i pomocí SoRemote aplikace z mobilu či tabletu (podpora ios i Android). Nevýhodou programu je cena za licenci, která stojí od 290 EUR. (So touch, 2012) Aplikace KinEmote 20 je dostupná zdarma v aktuální verzi KinEmote Palm Click & Drag v0.1 Beta. Ovládání u této aplikace probíhá rozdílně než u předchozích pomocí gest dlaně roztažením prstů umožňuje pohybovat s kurzorem, stažením prstů do dlaně se kliká. Pomocí KinEmote je možné ovládat PowerPoint prezentace, Windows Media Center, zařízení Boxee, populární Windows hry i internetové stránky. Velkou výhodou je možnost výběru ze 2 příkazů pro rozpoznání postavy (zamávání či pohyb dlaně dopředu), dále také umožňuje pro každý podporovaný pohyb si zvolit klíčový příkaz. Příkladem je také Universal Gesture Mouse 21 od americké firmy Alces Technology. Tato aplikace umožňuje intuitivně ovládat gesty rukou programy ve Windows 7, ať už hry, internetové prohlížeče či různé dokumenty. K vyzkoušení zdarma je k dispozici verze pro nekomerční použití. Jak i u předchozích příkladů je nutné mít senzor Kinect for Windows. Pro aktivaci aplikace je nutné zdvihnout primární ruku nad hlavu (určení primární ruky je možné v nastavení). Existuje několik možností ovládání programů klikni levé tlačítko, klikni a drž, klikni a táhni. IT konzultant Braud Mauk vytvořil projekt Kinect for Media Center 22, který ovládá Windows Media Center pomocí gest rukou a hlasových příkazů. Aktuální verzí je Beta 4. Aplikace umožňuje uživateli ovládat Media Center pomocí základních pohybů rukou pohyb ruky vpravo či vlevo, dolů nebo nahoru pro přepínání či listování, pro potvrzení pohyb rukou od sebe a pro zpět pohyb k sobě. Media Center lze také ovládat pomocí základních hlasových příkazů: left, right, up, down, ok, back, start, play, stop a speciálních příkazů: go to music, go to movie library, play artist. Program podporuje pouze senzor Kinect for Windows, nutnou součástí instalace je Media Center Remote Command Listener. Pomocí gest ruky a hlasu lze ovládat pluginy, které jsou součástí Media center Netflix, My Movies, Media Browser

37 5 PROJEKTY ZALOŽENÉ NA TECHNOLOGII KINECT Počítačová grafika Kinect připojený k počítači nemusí sloužit pouze k jeho ovládání, je možné využít i jeho další vlastnost hloubkový senzor a vytvářet tak kvalitní 3D modely objektů v reálném čase. Systémy umožňují snímat jakékoliv objekty i celé místnosti během několika sekund. Mezi ty nejznámější patří ReconstructMe 23 (vyvíjen rakouskou firmou PROFACTOR GmbH) a KinectFusion 24 (projekt Microsoft Research). Pracují na principu, kdy rekonstruovaný objekt je postupně otáčen v zorném poli kamery nebo naopak je pohybováno samotným zařízením Kinect a statický objekt je nasnímán ze všech stran. Vygenerovaný model lze exportovat do CAD formátů jako jsou STL, OBJ, 3DS a PLY a následně je s nimi možné pracovat v různých grafických programech (doopravit či nanést textury). PROFACTOR vytvořila ReconstructMe SDK pro jednodušší vyvíjení a kontrolu procesu vytváření 3D modelů, který lze pro nekomerční využití zdarma stáhnout a open-source ReconstructMeQt poskytující grafické uživatelské rozhraní pro konstrukci 3D modelů v reálném čase využívající SDK. KinectFusion byl původně výzkumným projektem v Microsoft laboratoři v Cambridge, jeho open-source variantu zvěřejnil Point Cloud Library 25. Pracuje tak, že vezme příchozí hloubková data ze senzoru a využívá sekvenci snímků (přes stovky či tisíce snímků) pro vytváření vysoce kvalitních 3D modelů. Výhodou tohoto způsobu modelování je možnost 3D objekty využít v rozšířené realitě, designu, hrách apod.. Obrázek 17: KinectFusion, zdroj:

38 6 METODIKA 38 6 Metodika K realizace aplikace, která bude využívat gesta k ovládání, je nutné nejprve splnit následující kroky: 1. rozdělit pohybová gesta do kategorií, 2. vybrat vhodné zařízení pro práci s aplikací, 3. vybrat vhodnou knihovnu pro zpracování obrazu ze senzoru dle stanovených faktorů. Zařízení, pomocí kterého bude ovládána aplikace, by mělo být na trhu dostupné s možností většího využití a samozřejmě i cenově přístupné. Existuje celá řada zařízení, která by mohla být využita při tvorbě této aplikace, např. samotná webkamera počítače a herní zařízení snímající postavy. Cílem diplomové práce je ovšem ovládání pomocí senzoru Microsoft Kinect. Velkou výhodou je tedy v možnosti sledování více postav naráz a volný pohyb bez nutnosti dalších zařízení. (detailní popis ve 2 a 3 kapitole) Pohybová gesta: Pohyby částí lidského těla před senzorem Kinect, které vyvolají jednotlivé akce, lze rozdělit do několika kategorií: statická, kontinuální a dynamická gesta. Do kategorie statických patří gesta, kde uživatel může použít jakoukoliv část svého těla, podmínkou je nehybnost. Možným řešením statických gest je nalezení souřadnic jednotlivých částí lidského těla a dle vzájemné interakce a stavu se snaží identifikovat gesta. Pracují vždy nad jedním obrazem sekvence. Jsou to gesta, kdy se snaží např. rukou označit nebo vybrat nějakou položku v aplikaci podržením ruky v relativní pozici k pozici dané položky dokud není označena či vybrána. Grafické uživatelské rozhraní by mělo uživateli dát přehlednou zpětnou vazbu, aby bylo jasné, že je položka ještě ve fázi výběru nebo již je vybrána. Další skupinou jsou gesta kontinuální, která dlouhodobě mapují uživatele. V tomto případě se jedná o přenos polohy těla uživatele do aplikace nikoli gesta příkazového charakteru. Jsou to například aplikace využívaná při rehabilitaci (viz. kapitola 5) Poslední skupinou jsou dynamická gesta, která jsou založená na pohybu a změně mezi jednotlivými obrazy sekvence a průběh gesta se sleduje po delší dobu. Aplikace reaguje na gesta v průběhu provádění - typickým příkladem může být přechod na další stránku nebo posun fotografií. V konečné fázi gesta se gesto ukončí. Pro vyhodnocení gest je možné využít několik metod, např. Template matching, Neuronové sítě nebo Hidden Markov Models. Templeta matching je metoda detekce gest na základě šablony, která je vytvořena ze sběru dat při výkonu daného gesta a je zaznamenáván celkový průběh (souřadnic částí kostry). Na základě toho vznikne šablona

39 6 METODIKA 39 reprezentující reálné gesto. Metoda Hidden Markov Models je založena na pravděpodobnostních přechodech mezi polohami částí těla v rozpoznané sekvenci. Tyto polohy jsou získávány staticky z jednotlivých obrazů sekvence, např. barevnou segmentací obrazu. Poslední metodou detekce dynamických gest je na základě neuronových sítí, které se skládají z neuronů. Tyto neurony jsou naprogramovány na rozpoznávání a vyhodnocení gest. Na základě neuronové sítě lze s určitou procentuální pravděpodobností určit gesto.(hig, 2012), (Mráz, 2010), (Webb, 2012) Výběr vhodné knihovny. Klíčovým bodem při tvorbě aplikace je vhodný výběr knihovny, která usnadní její implementaci. Jak zmiňují Procházka a Koubek (Procházka, Koubek, 2011) je důležité specifikovat tyto faktory: Podporované programovací jazyky: Dalo by se říci, že toto kritérium vývoj aplikace nijak neomezuje. Všechny 3 zmíněné knihovny podporují jazyk C#, C++ a Visual Basic, navíc OpenNI a OpenKinect lze programovat v jakémkoliv jiném jazyce Podporované platformy a architektury: Podpora platforem do jisté míry souvisí s jazyky. Tento faktor může být velmi omezující. OpenKinect a OpenNI mohou být vyvíjeny v jakémkoliv operačním systému, zatímco Microsoft Kinect SDK je podporován jen ve Windows 7 a vyšší. Naštěstí od verze 1.6 lze vyvíjet i v jiných operačních systémech prostřednictvím virtuálních strojů, podmínkou je ale mít Kinect pro Windows. Vývoj knihovny: Další kritérium, které může ovlivnit úspěšný vývoj. Pokud není projekt neustále vyvíjen a aktualizován, je pravděpodobné, že nebude podporovat novější zařízení a komunita uživatelů a vývojářů může klesnout. Dokumentace: Dokumentace by měla být co nejkvalitnější. U některých projektů se stává, že dokumentace je podceňována, tak může zpomalit vývoj. Ze zmíněných knihoven má nejlepší dokumentaci právě oficiální knihovna Microsoft Kinect SDK, kde lze nalézt i ukázkové kódy. U dalších dvou knihoven bohužel dokumentace chybí, lze najít jen fóra uživatelů a vývojářů, která se daným problémům zabývají. Množství podporovaných funkcí: Spektrum funkcí, které jsou v dané knihovně implementovány, ovlivňuje možnost jejího využití. Tento faktor je velmi důležitý. Může také usnadnit a urychlit vývoj aplikací rozšířené reality, kdy je založena např. na detekci objektů ve scéně.

40 7 VLASTNÍ APLIKACE 40 7 Vlastní aplikace Tato část diplomové práce se bude zabývat vlastní aplikací, která bude popsána od jejího návrhu, přes návrh gest až po konečnou implementaci aplikace. 7.1 První návrh aplikace a použitých gest Prvotním návrhem aplikace byl jednoduchý informační systém např. univerzity, ve kterém by uživatel mohl vyhledávat nezbytné informace (plán místností, kontakty, předměty), prohlížet si fotografie, listovat si aktualitami apod.. Aplikace by měla být ovládána pomocí gest ruky. Na úvodní straně by bylo několik tlačítek, po jejichž stisknutí se uživatel přesune dál. V aplikaci se nachází i ikony pro zavření aplikace a přechod na domovskou stránku. Tlačítka by měla být pro lepší manipulaci dostatečně velká a dobře viditelná. Uživatel by měl ovládat aplikaci pouze jednou rukou, která by měla nahrazovat klasickou myš na klávesnici a vybírání položek provádět podržením ruky na tlačítku po určitou, námi stanovenou dobu, která by neměla být příliš krátká, ani dlouhá. Tento typ patří mezi gesta statická. Poloha kurzoru na obrazovce se odvíjí od polohy ruky uživatele, pokud se uživatelova ruka pohne, pohne se i kurzor na obrazovce. Vybírání položek se provádí posunutím ruky nad tlačítko a následným podržením ruky do té doby, než je označeno a vybráno. Grafické rozhraní dá uživateli zpětnou vazbu, aby uživatel věděl, kdy nastane stisknutí tzv. Hover button. Uživatel má možnost změnit svoji volbu stisknutí. Procházení fotografií či aktualit by se mělo provádět pomocí mávnutí tzv. swipingu doprava nebo doleva. Vyhledávání informací pomocí zobrazené klávesnice, kterou uživatel ovládá opět pomocí ruky. Obrázek 18: Použití Hover button (HIG, 2012) Tento způsob ovládání měl však spoustu nevýhod. Jedním z nich bylo právě samotné ovládání kurzoru ruky, kde uživatel občas nevěděl, kde se kurzor v aplikaci nachází. Proto tento způsob byl pomalejší. Výběr položky bylo již pak jednoduché, a při správném nastavení času čekání i rychlé. Další nevýhodou se zdála být i nehybnost ruky, kdy uživatel s rukou přestal hýbat, a ruka se nacházela na pozici tlačítka, pak mohl nechtěně toto tlačítko zmáčknout. Dále je to i samotné vyhle-

41 7 VLASTNÍ APLIKACE 41 dávání na klávesnici, které bylo příliš pomalé s možností chyb při zadávání (hlavně v případě delších slov), nebo při zmíněném nepohybování ruky. Na druhou stranu tento návrh ukázal vhodnější možnost ovládání, a to pomocí mávnutí, které bylo využíváno při prohlížení fotografií a aktualit. Toto gesto bylo určeno k ovládání celkové aplikace. 7.2 Konečný návrh aplikace Navržená aplikace by měla vycházet ze současných nároků velkého počtů uživatelů. Uživatelé, jak počítačů, televizí tak i nejrůznějších monitorů, mají vysoké nároky na ovládání preferují jednoduchost, rychlost a hlavně intuitivnost ovládání. Jsou to většinou lidé se středoškolským či vyšším vzděláním, kteří jsou počítačově gramotní. Aplikace se bude ovládat pouze pomocí gest rukou, tedy ruka nebude nahrazovat klasickou myš klávesnice. Aplikaci by měli využívat účastníci běžící konference, pro které je důležité zobrazit celkový program konference i s podrobnějšími informacemi, zjistit aktuální program (místo, přednášející aj.). Také by měli být schopni zobrazit si stručný popis celé konference, aktuální novinky včetně tipů, co navštívit v Brně a možnosti stravování v okolí. Z každé úrovně by se měl uživatel dostat do hlavního menu a také o úroveň zpět. Obrázek 19: Mind mapa aplikace, narvrženo autorkou

42 7 VLASTNÍ APLIKACE Konečný návrh použitých gest Aplikaci bude moci ovládat pouze jedna osoba, ale při rozpoznání více postav by měla zvolit toho nejbližšího. Ovládat ji může pomocí levé a pravé ruky, popř. oběma. Aplikace by měla být také navržena tak, aby se uživatel nemusel pohybovat celým svým tělem (jako je vyžadováno při hrách), ale aby hýbal pouze rukama v jeho maximálním možném rozpětí. Důležité také je, aby implementovaná gesta byla dostatečně srozumitelná, tedy aby přirozeně malé pohyby nebyly klasifikovány jako gesta tím se zabrání nevyžádaným akcím uživatele. Navržená gesta by také měla být intuitivní a snadno opakovatelná, aby se uživatel rychle a snadno naučil ovládat danou aplikaci. Pro danou aplikaci budou zvolena gesta dynamická, která reagují v průběhu daného gesta, ale také i po dokončení daného pohybu. A pro další pohyb je nutné gesto zopakovat. Obrázek 20: Pohybové omezení uživatele při ovládání aplikace (HIG, 2012) Nejdůležitějším gestem, ze kterého budou vycházet i další gesta, je pro posun a prohlížení tzv. swiping (česky mávnutí). S tímto gestem se v reálném světě setkáváme např. při komunikaci s lidmi, v dopravní situaci, tedy v situacích, kdy nám další dávají najevo pokračování v chůzi či jízdě apod.. Toto gesto bude mít své využití při posouvání mezi položkami v menu nebo listování v hlavních částech aplikace. Gesto bude navrženo tak, aby uživatel posunul vždy jen jednu ruku ve vodorovné poloze zprava do leva a naopak, tím se po provedení daného gesta provede požadovaná akce. Pohyb se bude kontrolovat podle pozice dlaně a ramene. Měla by být brána v úvahu i malá odchylka od vodorovné pozice. Nutné bude zajistit cyklení při procházení, aby uživatel, pokud bude chtít jít opět na začátek, nemusel vše procházet ještě jednou. Pro potvrzení volby nebo pro přesun do další úrovně bude využíváno svislé mávnutí jednou rukou shora dolů, jak pravou, tak i levou. V reálném světě se s tímto

43 7 VLASTNÍ APLIKACE 43 gestem setkáváme např. při startování závodů. Gesto na rozdíl od klasického horizontálního lze lépe detekovat. K přístupu do požadované části menu se bude využívat kombinace gesta pro posun a právě již navrženého gesta pro potvrzení volby. Jako i v každém dotykovém telefonu nebo tabletu existuje tlačítko krok zpět a zpět na domovskou stránku, které zajišťují snadnější ovládání a uživatelé těchto zařízení jsou na ně již zvyklí, proto by se i v navržené aplikaci měly objevit. Ovšem ve zmíněných zařízeních jsou to tlačítka klikací. V našem případě tyto funkce musíme vyvolat nějakým gestem. Proto by bylo vhodné využít opačný pohyb ke gestu pro potvrzení mávnutí zdola nahoru. Krok zpět pouze jednou rukou a zpět do hlavního menu oběma rukama. Gesta by měla být prováděna plynule. Obrázek 21: Navržené gesto pro posun či prohlížení a potvrzení volby (HIG, 2012) 7.4 Implementace V předchozí části byla popsána navržená aplikace pro správu konferencí využívající Microsoft Kinect pro Xbox 360 a stanoveny gesta rukou pro ovládání aplikace. Pro aplikaci se bude využívat základní knihovna Microsoft Kinect SDK ve verzi 1.6, ke které je dostupná kvalitní dokumentace. Srovnání s dalšími knihovnami bylo popsáno již v kapitole 4. Jelikož knihovna vyžaduje min. operační systém Windows 7, bude aplikace vyvíjena v tomto operačním systému ve vývojovém prostředí Visual Studio 2012 (nainstalovaný.net framework 4.5) a vyvíjena v jazyce C# a bude využíván grafický framework WPF (Windows Presentation Foundation).

44 7 VLASTNÍ APLIKACE Senzor Kinect a detekce člověka Senzor Kinect využívá funkce z knihovny. Nejdůležitější třídou pro správné spuštění aplikace je třída KinectSensor, která přistupuje ke všem potřebným datům senzoru. Jelikož třída KinectSensor nemá veřejný konstruktor a aplikace sama ho nemůže vytvořit, proto SDK vytvoří objekt, pokud detekuje připojení Kinectu k počítači. Aby aplikace správně běžela, je nutné kontrolovat, jestli senzor Kinect je připojen k počítači nebo je odpojen a podle toho se správně zachovat. K tomuto účelu byla naimplementována metoda KinectSensors_StatusChanged a StartUsingKinect. K detekování kostry člověka je nutné zpřístupnit hloubkový obraz senzoru v rozlišení s rychlostí nasnímání 30 snímků za sekundu a zpřístupnit snímání kostry. K tomu slouží DepthStream.Enable a SkeletonStream.Enable, kde je ale nezbytné nastavit parametry pro vyhlazení a filtrování příchozích dat pro lepší rozpoznání. Jak už bylo řečeno dříve, SDK rozpozná 20 bodů na kostře těla a každý tento bod si ukládá informace o pozici do pole kostry pomocí metody frame.copyskeletondatato. Tyto hodnoty se při každém novém snímku aktualizují. Na následujícím obrázku jsou zobrazeny části lidské kostry, které je zařízení Kinect schopno detekovat, s vyznačením bodů, které v této aplikaci budeme využívat. Během sledování těchto částí těla je nutné kontrolovat, jestli jsou tyto části opravdu detekovány. K tomu slouží proměnná TrackingState. Obrázek 22: Detekované části těla s vyznačením námi použitých (Webb, 2012), upraveno autorkou

45 7 VLASTNÍ APLIKACE 45 Aby bylo možné určit člověka ovládajícího navrženou aplikaci, byla vytvořena metoda GetPrimarySkeleton, která zjišťuje pozici nejbližší postavy podle Z-souřadnic. // z í s k á n í primarní ( n e j b l i z s i ) k o s t r y postavy p o d l e j e j í Z souradnice p r i v a t e Skeleton GetPrimarySkeleton ( IEnumerable<Skeleton > s k e l e t o n s ) { var t r a c k e d S k e l e t o n s = s k e l e t o n s. Where ( s => s. TrackingState == SkeletonTrackingState. Tracked ). ToList ( ) ; return t r a c k e d S k e l e t o n s. F i r s t O r D e f a u l t ( s => s. P o s i t i o n. Z == t r a c k e d S k e l e t o n s. Min( s i => s i. P o s i t i o n. Z) ) ; } Rozpoznání gest mávnutí Pro detekci mávnutí byla vytvořena třída SwipeDetector, ve které je implementované samotné rozpoznávání gest rukou. Celá aplikace je postavena na šesti druzích mávnutí, které se dají provádět pouze jednou rukou. Jen při volbě domů je potřeba obou. Gesta mávnutí pak jsou: None, Right, Left, Down, Up, DoubleUp. Aby se zamezilo špatnému detekování, jsou navržená gesta dostatečně velká. Algoritmus pro rozpoznávání gest je založen pouze na souřadnicích ramen a rukou na detekované kostře člověka (jak je vidět na obrázku č. 22). Nutností ovšem je přiřadit levou ruku k levému rameni a pravou k pravému. K tomu nám slouží metoda GetShoulderJointTypeForHandJointType(), která přiřadí ke zvolené ruce odpovídající rameno (v jiném případě centrální bod tzv. Spine). Jak již víme, gesto mávnutí (swiping) vyžaduje ke svému provedení neustálé sledování aktuální pozice ruky uživatele, ale i předchozích. Tyto souřadnice se zaznamenávají do vytvořeného slovníku _detectionpoints, což je seznam obsahující bod na kostře a jeho aktuální pozice se zaznamenává do seznamu v každém okamžiku provádění gesta. Po skončení gesta (provedení či nedokončení) se seznam vymaže. Pro rozpoznání správného gesta byla vytvořena metody DetectSwipe() a s ní související DetermineDirection() a HasFinishedSwipe(). K vysvětlení těchto metod je potřeba znát i seznam _detecteddirections, který obsahuje právě bod na kostře (pravou či levou ruku) a směr, kterým se má ruka pohybovat. Určení daného pohybu je implementováno v metodě DetermineDirection(), kde se určuje pozice ruky vzhledem k pozici ramene, a tím se určí, jakým směrem se gesto musí provést. Pokud je ruka napravo od ramene je jasné, že lze provést jen gesto vlevo, pokud je ruka nad ramenem lze provést jen gesto dolů apod.. Ke správnému určení tohoto gesta je nutné nastavit hodnoty MinSwipeDirec tionmovement, která udává minimální rozdíl mezi rukou a ramenem tak, aby byl detekován pohyb a MaxNonSwipeDirectionMovement, který udává maximální pohyb, kde je gesto ještě detekováno. Na obrázku č. 23 je pak znázorněn navržený rozsah

46 7 VLASTNÍ APLIKACE 46 detekování gest, kde modrá oblast určuje rozsah a červený čtverec určuje minimální rozsah mávnutí. Obrázek 23: Rozsah rozpoznání navržených gest, vytvořeno autorkou // urcení smeru mavnuti s omezenim pohybu p r i v a t e Swipe DetermineDirection ( J o i n t hand, Skeleton s k e l e t o n ) { var shoulder = s k e l e t o n. J o i n t s. F i r s t O r D e f a u l t ( j => j. JointType == GetShoulderJointTypeForHandJointType ( hand. JointType ) ) ; var dx = hand. P o s i t i o n.x shoulder. P o s i t i o n.x; var dy = hand. P o s i t i o n.y shoulder. P o s i t i o n.y; i f ( dy >= MinSwipeDirectionMovement && Math. Abs ( dx ) <= MaxNonSwipeDirectionMovement ) { return Swipe. Down ; } i f ( dx <= MinSwipeDirectionMovement && Math. Abs ( dy ) <= MaxNonSwipeDirectionMovement ) { return Swipe. Right ; }... } return Swipe. None ; Následné rozpoznání gesta je implementováno v metodě DetectSwipe(). Pokud se v seznamu směru nenachází žádný směr mávnutí, přidá se do seznamu směr, který byl detekován v předchozí metodě DetermineDirecton(). Pokud už je nějaký

47 7 VLASTNÍ APLIKACE 47 směr detekován, do seznamu bodů se budou zapisovat v každém okamžiku provádění gesta souřadnice dané ruky a po ukončení gesta se seznamy resetují a provede se rozpoznané gesto. V ostatních případech se žádné gesto neprovádí. Aby bylo zajištěno, že se gesto ukončí, byla naimplementována metoda HasFinisedSwipe(). Tato metoda testuje, jestli se dané gesto ukončí a závisí na směru mávnutí. Proto byly k této metodě naimplementovány další: HasFinishedSwipeRight(), HasFinishedSwipeLeft(), HasFinishedSwipeUp() a HasFinishedSwipeDown(). Tyto 4 metody pracují obdobně. Pro každou pozici ruky v daném směru mávnutí se testuje, jestli bod přešel přes danou minimální hranici a nevychýlil se z rozsahu. Jak je vidět na následující ukázce při zjišťování ukončení mávnutí doprava, testuje, jestli se každý bod pozice ruky nachází napravo od ramene za hranicí minimální detekce gesta. // t e s t o v a n i ukonceni mavnuti vpravo p r i v a t e bool HasFinishedSwipeRight ( JointType handjointtype, J o i n t shoulder ) { var rightof = f a l s e ; f o r e a c h ( var point in _detectionpoints [ handjointtype ] ) { i f (Math. Abs ( shoulder. P o s i t i o n.y point.y) > MaxNonSwipeDirectionMovement ) { Reset ( handjointtype ) ; return f a l s e ; } rightof = point.x > s h o ulder. P o s i t i o n.x + MinSwipeDirectionMovement ; } return rightof ; } Provedení gest Po nahrání dat o kostře do pole koster se získá primární detekovaná kostra a pro každou jeho ruku (pravou a levou) se začne provádět metoda MoveHandPointer(). Tato metoda má na starosti provedení všech zmíněných gest včetně DoubleUp. Toto gesto může být provedeno, pokud rozdíl mezi časem provedení gesta Up jedné a druhé ruky je maximálně 200 milisekund. Rozpoznaná gesta každé ruky jsou ukládána do seznamu _detectedswipes, který se po každém provedení gest resetuje. Nejprve v metodě MoveHandPointer(), je nutné zajistit to, aby po vypršení lhůty 200 ms se provedlo gesto zpět (pokud se má provést) a seznam se vyresetuje.

48 7 VLASTNÍ APLIKACE 48 // k o n t r o l a p r e k r o c e n i casoveho l i m i t u, provedeni g e s t a Up a r e s e t o v a n i seznamu i f ( DateTime. Now > _ doubleupdetectbefore && _ doubleupdetectbefore!= default ( DateTime ) ) { i f ( ( _detectedswipes [ JointType. HandLeft ] == Swipe. Up _detectedswipes [ JointType. HandRight ] == Swipe. Up) && Swiped!= n u l l ) { Swiped ( t h i s, new SwipeEventArgs ( Swipe. Up) ) ; _detectedswipes [ JointType. HandLeft ] = Swipe. None ; _detectedswipes [ JointType. HandRight ] = Swipe. None ; } } _ doubleupdetectbefore = default ( DateTime ) ; Následně se po detekování gest zjišťuje, jestli při rozpoznání gesta Up druhá ruka provádí také Up, pak se provede gesto DoubleUp pro přesun do hlavního menu. V ostatních případech se provedou gesta další. // provedeni g e s t a DoubleUp a z b y v a j i c i c h i f ( hand. TrackingState == J ointtrackingstate. Tracked ) { var swipe = _swipedetector. DetectSwipe ( hand, s k e l e t o n ) ; i f ( swipe!= Swipe. None && Swiped!= n u l l ) { i f ( swipe == Swipe. Up) { _detectedswipes [ hand. JointType ] = swipe ; i f ( _detectedswipes [ OtherHand ( hand. JointType ) ] == Swipe. Up) { swipe = Swipe. DoubleUp ; } else { swipe = Swipe. None ; _doubleupdetectbefore = DateTime.Now. AddMilliseconds ( DoubleDetectWindow ) ; } } Swiped ( t h i s, new SwipeEventArgs ( swipe ) ) ; } }

49 7 VLASTNÍ APLIKACE 49 Může nastat problém při provádění gesta zpět, kdy po samotném provedení gesta by uživatel chtěl gesto ukončit dáním ruky dolů, tím se ale opět detekuje gesto pro potvrzení. Proto je nutné zajistit, aby mezi gesty Up a Down byl nastaven čas, kterým se tento problém vyřeší. Čas 2 sekundy se zdá jako optimální řešení. Potom se už každé gesto může přiřadit k jednotlívým pokynům nadefinované v hlavní části aplikace. i f ( _previousswipetime > DateTime. Now. AddSeconds( UpDownWait) && ( ( e. Swipe == Swipe. Up && _ previousswipe == Swipe. Down) ( e. Swipe == Swipe. DoubleUp && _ previousswipe == Swipe. Down) ( e. Swipe == Swipe. Down && _previousswipe == Swipe. Up) ) ) { return ; } i f ( _previousswipetime <= DateTime. Now. AddSeconds( UpDownWait) ) { _ previousswipe = Swipe. None ; _previousswipetime = default ( DateTime ) ; } i f ( e. Swipe!= Swipe. None ) { _ previousswipe = e. Swipe ; _previousswipetime = DateTime. Now; } 7.5 Testování K ověření funkčnosti navržených gest v aplikaci a zjištění jejich nedostatků, je nutné provést testování použitelnosti. Testování se provádí osobním sledováním uživatele testující danou aplikaci s vyplněním krátkého formuláře. Během procesu testování bude skupina uživatelů nahrávána, aby se zjistilo, jakým způsobem gesta provádí. Celé testování se skládá z několika části: příprava, samotné testování a následné vyhodnocení. (Koubek, Procházka, 2012) Příprava Aby testování dopadlo pozitivně, je nutné stanovit si testovací scénář, který se bude odvíjet od návrhu aplikace. Navržený testovací scénář se snaží využít všechny navržená pohybová gesta a všechny části aplikace. Každý účastník v průběhu testu bude provádět 3 z následujících:

50 7 VLASTNÍ APLIKACE Kdy má otevřeno nejbližší restaurace, která nabízí denní menu? 2. Kde se nachází nejbližší pizzerie? 3. Kam zajít na steak a kdy mají otevřeno? 4. Kdy vydává obědy menza? 5. Kam zajít do nekuřácké kavárny? 6. Jaké telefonní číslo je do A la carte restaurace? 7. Do jaké kavárny zajít, pokud chci platit kartou? 8. Do jaké kavárny zajít, pokud chci mít dostupné připojení WI-FI? 9. Jaká restaurace se nachází blízko Vily Tugendhat a jaké je telefonní číslo? 10. Kdy je otevřeno Arboretum univerzity? 11. Kolik stojí vstupné do Vily Tugendhat a kdy je otevřeno? 12. Jaké jsou internetové stránky hradu Špilberk? 13. Na jaké adrese se nachází Vila Tugendhat? 14. Jaký je přesný název konference a kde se koná? 15. Jací partneři podporují konferenci? 16. V jakém termínu se konference koná? 17. Kde se nachází marketingová / finanční / informatická část konference? 18. Jaká přednáška je v učebně QXY od 13:00? 19. Jaká přednáška je v učebně QZZ od 10:00? 20. Jaké přednášky bude přednášet pan Novák a v jaké učebně? Aby se dosáhlo lepších výsledkům, účastník testování vyplní před a po skončení krátký formulář, který bude zjišťovat základní informace o uživateli a další důležité informace týkající se testování včetně jeho připomínek a návrhů pro vylepšení. Pro testování budou vybráni studenti bakalářského stupně na Mendelově univerzitě v Brně. Studentů, kteří se zařízením Kinect ještě nepracovali, by mělo být podstatně více. Student bude pouze vědět, že se aplikace ovládá pomocí gest. Každý student tedy bude muset přijít na to, jakým způsobem se aplikace ovládá. Pro správné vyhodnocení testování aplikace je na závěr nutné zodpovědět následující otázky týkající se jak navržených gest, tak i celé aplikace: Jak rychle se skupina studentů s dřívějšími znalostmi přizpůsobí navrženému ovládání? Jakým způsobem studenti bez znalostí používání senzoru hledají gesta? Za jakou dobu se studenti (bez znalostí i se znalostmi) naučí efektivně zvládat aplikaci?

51 7 VLASTNÍ APLIKACE 51 Kolikrát museli studenti gesto opakovat? Přijdou studentům jednotlivá gesta intuitivní? Jakých chyb se nejčastěji studenti dopouští? Reaguje aplikace rychle na použité gesto (s jakým zpožděním)? Je aplikace dostatečně přehledná (Dokáží se v ní dobře orientovat)? Jaké jsou nejčastější výtky studentů na aplikaci, popř. jak by aplikaci vylepšili? Popis průběhu testování Před samotným spuštěním aplikace vývojář seznámí studenta s důvodem testování a s postupem, jakým se bude testovat. Obeznámí ho s tématem diplomové práce a samotnou aplikací (k čemu aplikace slouží). Student, jak již bylo řečeno, neví, jakým způsobem se aplikace ovládá (jaká přesně gesta použít). Následně se zeptá na základní informace o něm samotném - jaký studuje obor a hlavně jestli již někdy zařízení Kinect používal. V případě že ano, tak jak. Vývojář se zeptá na svolení nahrávat si průběh testování a potom se aplikace spustí. Student má nejprve možnost si vyzkoušet ovládat danou aplikace, následně se zadá první testovací scénář. V průběhu testování vývojář sleduje jeho pohyby a zaznamenává si důležité postřehy o průběhu ovládání, co mu dělá největší komplikace, co naopak zvládá jednoduše, za jakou dobu zadaný scénář zvládne, jak aplikace reaguje na jeho gesta, apod. Po splnění scénáře se zadá další. Každý testující splní 3 navržené scénáře. Po splnění všech vývojář se studentem diskutuje vhodnost navrženého ovládání, jeho připomínky k aplikaci a případné návrhy pro vylepšení Účastníci testování Testování se provádělo v termínu prosince 2013 v laboratoři virtuální reality a zúčastnilo se ho celkem 22 studentů (z toho 4 studentky) oboru Ekonomická informatika a Automatizace řízení a informatika. Pouze 6 studentů již někdy v minulosti zkusilo ovládat zařízení Kinect, nejčastěji při hrách u kamarádů nebo v obchodech, pouze jeden má Kinect doma. Zbývajících 16 studentů si senzor nikdy nevyzkoušelo. Všichni studenti věděli, že se Kinect dá využít při hraní her, ale pouze malá část věděla o dalších oblastech využití (lékařství, počítačová grafika, robotika) Rozdíly mezi studenty se zkušenostmi a bez nich Rozdíly mezi studenty, kteří již senzor vyzkoušeli (označení A), i když v některých případech minimálně, a studenty, kteří ještě nikdy Kinect nezkusili (označení N), nejsou tak výrazné, jak by se na začátku dalo předpokládat. Bylo ale velmi zajímavé sledovat, jakým způsobem účastníci gesta hledají. Skupina A velmi rychle

52 7 VLASTNÍ APLIKACE 52 přišla na gesta posunu vpravo a vlevo. Nejrychlejší čas od spuštění aplikace po rozpoznání tohoto gesta byl 7 sekund a nejpomaleji 30 sekund, nejčastěji ale sekund. Oproti tomu skupině N to trvalo podstatně déle, nejkratší čas byl 15 sekund, nejpomalejší dokonce přes 1 minutu, nejčastěji v rozmezí sekund. Studenti se znalostmi se naučili rychleji plynule ovládat navrženou aplikaci. Nejrychleji to zvládl student za 45 sekund a nejpomaleji za 2:30 minut (průměr byl kolem 1:30 minut). Studenti si rychleji osvojili navržená gesta a po zjištění správných, již nezkoušeli jiná. Po spuštění aplikace se studenti snažili různě přijít na to, jak ovládat aplikaci. Pět z těchto studentů se zkušenostmi používalo jen jednu ruku, jeden student se naopak snažil používat obě ruce. Jak už bylo zmíněno, všichni tito studenti zjistili gesto pro posun jako první. Gesto mávnutí dolů dělalo ale větší problém, čtyři z šesti studentů se snažili tlačítko stlačit a dva drželi ruku nad hlavou, popř. ji dali do pravého úhlu do strany. Dalším způsobem bylo poklepání zápěstím jako zmáčknutí tlačítka na myši. Tento typ gesta vyzkoušeli 2 studenti. Následně už přišli na pohyb shora dolů jako potvrzení a vzápětí zdola nahoru pro zpět. Pouze dva studenti se stále snažili pohybovat zdola nahoru jako gesto pro potvrzení (zvyklí z hraní her). Na správná gesta přišli po jednom či dvou různých pokusech. S gestem zpět měli studenti minimální problém, maximálně ho někteří občas opakovali 2x. S gestem dolů byl problém větší. S rukou moc rychle švihli nebo gesto bylo příliš krátké, popř. gesto prováděli do strany. Proto toto gesto museli někteří občas opakovat i 3x. Gesto vpravo a vlevo nikdo z nich opakovat nemusel. Studenti, kteří ještě senzor nevyzkoušeli, měli ze začátku větší problém s ovládáním než studenti se zkušenostmi. Ovšem nejrychleji student bez zkušeností zvládl ovládat aplikaci za 30 sekund (oproti tomu student se zkušenostmi 45 sekund) a nejpomaleji to student zvládl za 3:10 minut. Dvanáct studentů v rozmezí 1:15-2:30 minut a dva další za 55 sekund a 1:05 minut. Jak již bylo zmíněno dříve, i studenti bez zkušeností přišli na gesta posunu vpravo a vlevo nejdříve, i když jim to trvalo o něco déle. Pokud studenti přišli na gesto potvrzení, gesto zpět jim problém nedělalo. Studenti bez zkušeností ovšem hledali gesto pro potvrzení a zpět déle a zkoušeli více možností ovládání. Nejčastějším způsobem, jak tomu bylo i u skupiny A, bylo stlačení. Toto gesto vyzkoušelo dokonce 7 lidí z 16. Dále to byl šikmý pohyb (6 studentů), gesta jen prsty a zápěstím (zmáčknutí tlačítka na myši) zkoušelo 6 studentů, tleskání a chození dopředu 1 student, krouživý pohyb jednou rukou 3 studenti, roztahování rukou 3 studenti a držení ruky nad hlavou také 3. Většina studentů vyzkoušela 2 ze zmíněných možností, ale našli se i tací, kteří vyzkoušeli dokonce 3 5 možností. Stalo se také i to, že 2 studenti po správném určení gesta pro potvrzení a zpět při dalším použití použili gesto, které zkoušeli předtím a bylo špatně. S gestem pro potvrzení a zpět měli studenti nejčastěji problém. Důvodem pro nesprávné určení gest bylo to, že gesta dělali dost krátká, skoro až nerozpozna-

53 7 VLASTNÍ APLIKACE 53 telná, nebo gesta prováděli švihem. Tři studenti měli problém s gestem zpět a další 3 studenti naopak s gestem pro potvrzení. Proto tito studenti museli gesto někdy opakovat 4x či 5x, ostatní studenti opakovali občas některé gesto 2x popř. 3x. Byli i dva studenti, kterým dělal problém hlavně gesto pro posun vpravo a vlevo. Bylo to z toho důvodu, že po provedení gesta se opět vrátili a gesto nijak neukončili. Proto je aplikace posunula vpravo a vzápětí vlevo Shrnutí výsledků po testování Po ukončení testování více jak polovina studentů přiznala (přesněji 12), že gesta jsou navržena logicky a jsou intuitivní. Skoro všichni řekli, že pokud by s aplikací pracovali déle, bylo by pro ně ovládání čím dál lepší, jen s občasným opakováním gest. Pro dva z nich bylo těžké zapamatovat si gesta pro potvrzení a zpět a gesta zaměňovali, protože jsou zvyklí opačně. Našlo se ovšem i pár výjimek (celkem 2 studenti), kteří na konci testování řekli, že pro ně tento způsob ovládání aplikací není. Oba tito studenti vyzkoušeli snad všechny již dříve zmíněné možnosti ovládání a správná gesta prováděli chvíli správně, ale za chvíli opět špatně a také neukončovali gesta (mávali pořád vlevo a vpravo bez přerušení). Mezi nejčastější chyby, které obě skupiny účastníků prováděly, patří rychlý pohyb gest, skoro až švihání rukou, gesta příliš krátká, ukončení gest předčasně nebo provedení gesta šikmo. Další nejčastější chybou bylo mávnutí dolů, které musely nejčastěji opakovat. Naproti tomu s gestem zpět a vpravo či vlevo takový problém nebyl. U všech účastníků testování aplikace reagovala rychle na použitá gesta, pouze v některých případech došlo k malému zpoždění, které ovšem nemělo žádný negativní vliv na běh aplikace. Celkem 7 účastníků občas nevědělo, v jaké úrovni aplikace se nachází, jestli už jsou v hlavním menu nebo stále ještě v nižší úrovni. Zmínili návrhy na barevné odlišení nebo popis části aplikace. Jeden z těchto studentů by navrhl i změnu některých názvů částí (např. program). Ostatní studenti se o špatné orientaci nezmínili, zmínili i to, že se v navržené aplikaci dobře orientují. Spíše než výtky, studenti navrhovali vylepšení aplikace o přidání na úvod aplikace obrázky použitých gest s krátkým popisem, jak gesto provádět pro zkvalitnění a zefektivnění ovládání. Devět účastníků testování si myslí, že by bylo dobré vyznačit umístění postavy a v jaké vzdálenosti od senzoru stát, aby gesta reagovala dobře bez nutnosti některá opakovat.

54 8 DISKUZE 54 8 Diskuze Kapitola se bude zabývat vyhodnocením realizovaného projektu, zejména možným omezením dané hardwarem, knihovnami pro zpracování obrazu. Implementace byla popsána již v předchozí části. Dále se analyzují možnosti využití daného typu aplikace ve firemním prostředí, resp. pro komerční účely a bude navržen další rozvoj projektu. 8.1 Vyhodnocení realizovaného projektu Celý proces návrhu gest od prvotních pokusů až po finální způsob ovládání byl časově náročný. První implementace celé aplikace spočívala v pohybu rukou jako ovládání kurzoru myši na obrazovce a potvrzení volby pomocí dlouhého podržení tlačítka. Tento způsob ovládání měl mnoho nevýhod, které by uživateli ztížilo samotné ovládání aplikace. Uživatel by mohl neúmyslně stlačit tlačítko, popř. by mu mohlo dlouho trvat samotné vyhledání kurzoru myši v aplikaci. Kurzor může překážet při manipulaci v aplikaci. Proto byl následně navržen finální pohyb, který se odvíjel od prohlížení fotografií v prvním návrhu aplikace. Realizovaná aplikace se ovládá pomocí gest rukou. Tyto gesta mávnutí se využívají v mnohých oblastech, např. posun vpravo či vlevo v dopravních situacích, či mávnutí shora dolů při startování závodů. Byla navržena tak, aby pro mnoho uživatelů byla intuitivní a lehce zapamatovatelná. Aplikace využívá ke snímání pohybu senzor Kinect pro Xbox 360 a celá aplikace je naimplementována s použitím knihovny Microsoft Kinect SDK 1.6. Jak už senzor, tak i samotná knihovna mají svá omezení a nevýhody. Jelikož aplikace byla vyvíjena za pomocí zařízení sloužící pro Xbox 360, musí v tomto případě uživatel vždy stát. Tento senzor neumožňuje uživateli sedět, proto aplikaci nemohou využívat například handicapovaní lidé. Pokud by se ovšem využilo senzoru Microsoft Kinect for Windows, bylo by to možné. Aplikace však nebyla testována na použití při sezení. Velkým omezením je také samotná knihovna, kvůli které lze aplikaci spouštět jen v operačním systému Windows 7 a vyšší. Bohužel senzor Kinect neumožňuje s použitím vybrané knihovny spouštět aplikaci v jiném operačním systému. Na druhou stranu Microsoft Kinect SDK je oficiální knihovnou společnosti Microsoft a je tedy dostupná kvalitní dokumentace. Hardwarovým omezením kromě nutnosti operačního systému Windows 7 a vyšší, je mít minimálně 2 GB RAM (doporučeno je však 4 GB), USB 2.0, 2 jádrový, 2.66 GHz nebo rychlejší procesor a mít grafickou kartu podporující DirectX 9.0c. Navržená aplikace využívá ke svému ovládání gesta vpravo a vlevo k posunování mezi tlačítky a k prohlížení informací. Gesto shora dolů slouží k potvrzení a gesto mávnutí zdola nahoru jako zpět. Do hlavního menu se uživatel dostane při mávnutí

55 8 DISKUZE 55 zdola nahoru obouručně. Uživatel má možnost přepnout se mezi jazyky a stylem vzhledu (monitor a projektor) pomocí stisknutí tlačítka l a s. Aplikace slouží jako jednoduchý informační systém pro účastníky běžící konference, kde si mohou zjistit aktuální program jednotlivých částí konference dle oboru, základní informace o konferenci, jako je seznam partnerů a kontakty. Najdou zde možnosti stravování v okolí a tipy na návštěvu. Informace jsou v aplikaci zobrazeny jako obrázky, které se načítají z jednotlivých složek. Aplikace umožňuje i načtení textu ze souboru. Díky testování, kterého se zúčastnilo 22 studentů, bylo zjištěno, že se studenti naučili plynule používat aplikaci v průměru za 2 minuty. Některým to trvalo déle, někteří vše zvládli i pod 1 minutu. Studenti při zadání testování neměli informace o tom, jakým způsobem aplikaci ovládat. Všichni studenti nejprve zjistili gesta pro posun vpravo a vlevo. Studenti hledali další gesta déle a zkoušeli různé možnosti ovládání. Mezi nejčastější způsoby patří posun ruky od těla dopředu, poklepání zápěstím (podobné stisknutí tlačítka na myši) a šikmý pohyb. Studenti bez zkušeností zkoušeli více možností ovládání než studenti se zkušenostmi, kterým se podařilo správné gesto identifikovat po 1 nebo 2 různých pokusech. Testování prokázalo, že studenti bez zkušeností opakovali některá gesta vícekrát. Mezi nejčastější chyby, které studenti prováděli, patří krátká gesta, rychlý pohyb a předčasné ukončení gest. Největší problém měli s gestem pro potvrzení. Na druhou stranu jim gesto zpět a posun takový problém nedělalo. U všech účastníků testování aplikace reagovala rychle na správně provedená gesta, k žádnému zpoždění nedocházelo. Testováním se zjistilo optimální místo, kde by se uživatel měl nacházet. Toto místo se odvíjelo i od použití samotného senzoru Kinect pro Xbox 360, který nepodporuje ovládání zblízka. Proto uživatelům, kteří stáli blíž senzoru, dělalo ze začátku problém detekovat gesta. Optimální vzdálenost, kdy gesta byla nejlépe detekována, je metru od senzoru. Vše závisí i na samotném nastavení senzoru vzhledem k výšce uživatele. S tím souvisí i nastavení velikosti textu v aplikaci. Testování probíhalo na notebooku s úhlopříčkou 15.6 a pro některé studenty se špatným zrakem text mohl způsobit někdy problémy. Aplikace je navržena tak, aby se přizpůsobila velikosti každého monitoru nebo projektoru. Zobrazení na projektoru testováno nebylo. Testy prokázaly potřebu zobrazení obrazové nápovědy dostupných gest při spuštění aplikace. Uživatelům se tím usnadní hledání pohybových gest. Optimální ovládání a tipy: Vzdálenost od senzoru metru Gesta provádět plynule, rovně Gesta by neměla být příliš krátká Gesta pro posun mávnutí vpravo a vlevo

56 8 DISKUZE 56 Gesto potvrzení mávnutí shora dolů (začít nad úrovní ramene) Gesto zpět mávnutí zdola nahoru (začít pod úrovní ramene) Gesto zpět do hlavního menu mávnutí zdola nahoru obouručně 8.2 Možnosti využití ve firemním prostředí Podobný typ aplikací lze využít pro komerční účely při použití pouze senzoru Kinect for Windows. Tento typ aplikací je vhodné využít v situacích, kdy se uživatel snaží získat informace jednoduše, a za co nejkratší čas. Aplikace by našla uplatnění v řadě oblastí, zejména na různých větších konferencích či workshopech konaných na univerzitách a v nemocnicích. Účastníci by tak měli přehled o konaných seminářích. Další možností je navržení aplikace jako informační panel s informacemi pro občany, návštěvníky nebo turisty. Aplikaci by se dalo využít v dopravě a poskytnout cestujícím informace o odjezdech a příjezdech, turistům zobrazit informace o městu samotném, památkách, návštěvní době různých kulturních zařízení, populárních restaurací apod. Uplatnění by se našlo zajisté i v galeriích, muzeích a návštěvníkům zinteraktivnit strávený čas. Zavedením aplikace může dojít k modernizaci firemní značky, tím se zlepší image společnosti, která může vést k oslovení nového tržního segmentu. Uplatnění lze nalézt i na úřadech a jiných státních institucích, kde si mohou zobrazit aktuální novinky a nařízení, důležité informace, kontakty nebo navigační mapy. Hlavní výhodou při využití existujících knihoven při vývoji aplikací ovládaných pomocí zařízení Kinect je úspora času a snížení nákladů na vývoj. Spousta algoritmů a funkcí je již naimplementována, a tím se usnadňuje práce vývojářům, kteří tak mohou strávit více času nad vývojem ostatních částí. Vlastní vývoj by byl mnohem problematičtější a náročnější a nemusel by fungovat správně. Na druhou stranu náklady spojené s pořízením zařízení Kinect se mohou prodražit. Oproti senzoru Kinect, který lze využívat doma je senzor pro Windows dražší. Pořizovací cena tohoto senzoru je USD (cca Kč) oproti senzoru pro Xbox, který stojí USD. Jednotná investice není tak velká, ale při potřebě využití aplikace na více místech je potřeba více senzorů, obrazovek a počítačů. Aby informace v aplikaci byly dostatečně velké, je nutné pořídit velké monitory, které mají vyšší pořizovací hodnotu. Samotný počítač musí mít minimálně doporučené parametry, které jsou dány výrobcem senzoru. Před samotným využitím aplikace je nutné zaměřit se na testování uživatelské přívětivosti. Po uvolnění aplikace bez předchozího testování může způsobit další navýšení nákladů v případě, pokud aplikace nebude uživatelům vyhovovat. Vždy záleží na tom, za jakým účelem je aplikace vyvíjena.

57 8 DISKUZE Návrh budoucího rozvoje Navržená aplikace umožňuje mnoho možností rozšíření. Z pohledu budoucího rozvoje je to zejména naimplementování ovládání i pomocí hlasových příkazů a možnost ovládat aplikaci jak gesty, tak hlasem. V současné době senzor Kinect umožňuje rozpoznat příkazy v angličtině, němčině, francouzštině, které jsou pro nás využitelné. Další možností rozšíření je zobrazení informací, které by se mohly získávat nejen z textových a obrazových souborů. S možností využití na aktuální konferenci na univerzitě je to zejména i změna grafického uživatelského rozhraní dle stylu fakulty nebo univerzity a přidání dalších důležitých částí jako je navigace v místě konání apod.. Možným rozšířením je vylepšení aktuálních gest zejména gesto pro potvrzení, které dělalo uživatelům největší problém. Přidání i dalších pohybových gest na změnu jazyka či přiblížení textu popř. nápovědy při implementaci hlasových příkazů.

58 9 ZÁVĚR 58 9 Závěr V rámci této diplomové práce bylo nejprve popsáno snímání pohybu a jeho možné využití, vysvětleny klíčové vlastnosti a popsány různé druhy technologií snímání pohybu zejména optické snímání pohybu a potom všechny technologie srovnány. Následně bylo detailněji popsáno zařízení Microsoft Kinect, hlavně hardware a technologie 3D snímání od firmy PrimeSense. V souladu se zadáním byly analyzovány tři základní knihovny pracující se senzorem Kinect a porovnány jejich klíčové výhody a nevýhody. Před samotným návrhem gest a aplikace byly prozkoumány možnosti využití Kinectu v různých oborech např. v robotice, lékařství či počítačové grafice. Na základě nabytých znalostí byla stanovena metodika, která vedla k naplnění cíle práce. V této kapitole bylo popsáno i rozdělení pohybových gest do třech základních kategorií. V další kapitole byl na základě stanovených požadavků navržen způsob ovládání počítače pomocí pohybových gest a popsána celková implementace aplikace, která využívá ke svému ovládání senzor Kinect. Realizovaná testovací aplikace by měla poskytnout účastníkům běžící konference nejdůležitější informace a měl by ji ovládat jen pomocí gest, která se určují podle pozice dlaně a ramene. Aby se ověřila funkčnost navrhnutých gest, bylo provedeno testování použitelnosti realizované aplikace. Testování se zúčastnili studenti bakalářského stupně Provozně ekonomické fakulty, Mendelovy univerzity v Brně. V závěru práce bylo provedeno vyhodnocení realizovaného projektu včetně možnosti využití tohoto typu aplikace ve firemním prostředí resp. pro komerční účely. V závislosti na této analýze byl navržen možný budoucí rozvoj aplikace. Všechny cíle stanovené na začátku byly splněny. Práce splnila mé požadavky, reaguje na správně detekovaná gesta rychle bez zpoždění. Gesto pro potvrzení by se ovšem v budoucnu mohlo vylepšit, aby ho někteří účastníci nemuseli často opakovat. Můžeme ale říci, že navrhnuté ovládání aplikace pomocí gest je intuitivní, zapamatovatelné. Gesta se rozpoznají od vzdálenosti 1 metru, ale optimální vzdálenost, kdy gesta reagují lépe je kolem 2 metrů. Nelze ovšem navrhnout takové řešení, které by vyhovovalo všem uživatelům a mělo 100% úspěšnost rozpoznání gest bez nutnosti některá gesta opakovat.

59 10 POUŽITÁ LITERATURA Použitá literatura AccessScience. Encyklopedia Article. Degree of freedom (mechanics) [online] Dostupné z www: [ URL=http%3a%2f%2fwww.accessscience.com%2fcontent.aspx%3fSearchInputText% 3dDegree%2bof%2bfreedom%2b%28mechanics%29%26id%3d ]. Ascension Technology Corporation. Real-time applications [online] Dostupné z www: [ ]. Asus. Xtion Pro. Intuitive living room experience [online] Dostupné z www: [ ]. Asus. WAVI Xtion. Intuitive living room experience [online] Dostupné z www: [ ]. Baratoff, G., Blanksteen, S. Tracking devices [online] Dostupné z www: [ LaBella, K. Evaluation of Kinect joint cracking for clinical and in-home stroke rehabilitation tools. Thesis. Notre Dame, Indiana. Soubor ve formátu PDF Dostupné z www: [ Eval_of_Kinect_for_Rehab.pdf ]. BBCNews. Microsoft Kinect fastest-selling device on record [online] Dostupné z www: [ ]. Buchanan, M. Deep Inside Xbox 360 Kinect and Why It s the Future of Microsoft [online] Dostupné z www: [ ]. Buchanan, M. The Mystery of Project Revealed [online] Dostupné z www: [ ]. Burdea, G. C., Coiffet, P. Virtual Reality Technology (second edition). 2. vyd. John Wiley & Sons, Inc., s. ISBN CNet News. Timeline: A look back at Kinect s history [online] Dostupné z www: [ ]. Nitescu, D. Evaluation of pointing strategies for Microsoft Kinect sensor device. Final project report. University of Bern. Soubor ve formátu PDF Dostupné z www: [ REPORT_DARIA.pdf ].

60 10 POUŽITÁ LITERATURA 60 Dorfmüller-Ulhaas, K. Optical Tracking From User Motion to 3D Interaction. Wien, p. Dissertation. Vienna University of technology. Dostupné z www: [ rep1&type=pdf ]. Furniss, M. Motion capture[online] Dostupné z www: [ /comm-forum/papers/furniss.html ]. Hassan Ahmed, S. M., Alexander, T. C., Anagnostopoulos, G. C. Realtime, Static and Dynamic Hand Gesture Recognition for Human-Computer Interaction. University of Miami, Florida Insitute of Technology s. Dostupné z www: [ ]. Kinect for Windows Human Interface Guidelines v1.5.0.[online] Dostupné z www: [ ]. Iotracker. Basic Principles of Optical Tracking [online] Dostupné z www: [ ]. Johnson, D. E. Tracking for Virtual Environments [online] Dostupné z www: [ s6360/lectures/tracking.pdf ]. Kean, S., Hall, J., Perry, P. Meet the Kinect: An Introduction to Programming Natural User Interfaces. Apress, s., ISBN: Kinect for Windows Programming Guide [online] Dostupné z www: [ ]. Kinect for Windows Human Interface Guidelines v1.5.0 [online] Dostupné z www: [ ]. King, B. A., Paulson, L. D. Motion Capture Moves into New Realms. IEEE Computer, Volume 40, Sept. 2007, p. Dostupné z www: [ iel5/2/ / pdf?arnumber= ]. Kitagawa, M., Winsdor, B. MoCap for Artists: Workflow and Techniques for Motion Capture. Focal Press, s., ISBN Mehling, M. Implementation of a Low Cost Marker Based Infrared Optical Tracking System. Wien, p. Diplomarbeit im Studiengang Audiovisuelle Medien. Hochschule der Medien Stuttgart. Dostupné z www: [ media/documents/publications/diplomathesis-mehling.pdf ]. Menache, A. Understanding Motion Capture for Computer Animation and Video Games. Morgan Kaufmann Publishers. Academic Press, s. ISBN

61 10 POUŽITÁ LITERATURA 61 MetaMotion. Gypsy7 Electro-Mechanical Motion capture System[online] Dostupné z www: [ capturesystem.htm ]. Mráz, S. Rozpoznávání gest ruky v obraze. Diplomová práce. Vysoké učení technické v Brně, s. Dostupné z www: [ Microsoft Developer Network. Kinect for Windows Programming Guide [online] Dostupné z www: [ OpenKinect. OpenKinect Project [online] Dostupné z www:[ org/wiki/main_page ]. OpenNI. Programmer Guide [online] Dostupné z www: [ Documentation/ProgrammerGuide.html ]. Procházka, D., Koubek, T. Augmented Reality Implementation Methods in Mainstream Applications. Acta Universitatis Agriculturae et Silviculturae Mendelianae Brunensis sv. LIX, č. 4, s ISSN Dostupné z www: [ ]. Koubek, T., Procházka, D. Empirical evaluation of augmented prototyping effectiveness. Acta Universitatis Agriculturae et Silviculturae Mendelianae Brunensis sv. 60, č. 2, s ISSN Dostupné z www: [ ]. Procházka, D. Virtuální realita 2: trackery. Mendelova univerzita v Brně, Doplňkové materiály k přednáškám kurzu Pokročilá uživatelská rozhraní. Procházka, D. Multi-touch a gesta. Mendelova univerzita v Brně, Doplňkové materiály k přednáškám kurzu Pokročilá uživatelská rozhraní. SouVR. PrimeSense PrimeSensor [online] Dostupné z www: [ com/product/201004/6180.html ]. Skogstad, A., Nymeon, K., H, M. Comparing inertial and optical MOCAP technologies for synthesis control. University of Oslo s. Dostupné z www: [ ]. Srikanth, S. Motion capture technology.technical Seminar. Department of Electronics and Communication Engineering. Sreenidhi Institute of science and Technology. Yamnampet, Ghatkesar, Hyderabad, Dostupné z www: [ ]. Tobon, R. The Mocap Book: A Practical Guide to the Art of Motion Capture. Foris Force; 1st edition, s., ISBN

62 10 POUŽITÁ LITERATURA 62 Valli, A. Notes on Natural Interaction s. Dostupné z www: [ idemployee.id.tue.nl/g.w.m.rauterberg/movies/notesonnaturalinteraction.pdf ]. Welch, G., Foxlin, E. Motion Tracking: No Silver Bullet, but a Respectable Arsenal [online] Dostupné z www: [ racker/media/pdf /cga02_welch_tracking.pdf ]. Wikipedia, the free encyclopedia. Motion capture [online] Dostupné z www: [ ]. WIN&I Evoluce. WIN&I Software for Kinect for Windows [online] Dostupné z www: [ ]. Xsens. Xsens MVN: Inertial Motion Capture [online] Dostupné z www: [ ].

63 Přílohy

64 A UKÁZKA APLIKACE 64 A Ukázka aplikace Obrázek 24: Hlavní menu aplikace, čeština, zobrazení pro monitor Obrázek 25: Část program, angličtina, zobrazení pro projektor