Semestrální práce Ovládání okolí a domácích zařízení pomocí gest Martin Plaček placema1@fel.cvut.cz duben 2013 Předmět: Asistivní technologie a dohledové systémy (A6M33AST) Fakulta: Elektrotechnická České vysoké učení technické v Praze Úvod Ve vyspělích zemích dochází ke stárnutí populace, což ve střednědobém horizontu bude mít za následek, že starých lidí odkázaných na pomoc ostatních bude více, než lidí kteří budou pomoc poskytovat. Jedním z možných východisek, jak zajistit všem potřebnou pomoc, je použití inteligentních elektronických systémů které nemohoucím lidem budou pomáhat při běžných domácích činnostech, jako je například ovládání televize, pračky nebo klimatizace a zároveň budou monitorovat zdravotní stav pacienta a v případě problémů přivolají lidské doktory. Aby tyto systémy dokázaly správně pomáhat, musejí vhodným způsobem přebírat povely od pacienta. Běžné vstupní zařízení jako jsou dálkové ovladače, dotykové obrazovky nebo klávesnice nemusejí být pro asistenční systémy vhodné, protože vyžadují aby pacient měl v pořádku jemné motorické funkce. Ve stáří dochází k úpadku právě motoriky a proto je potřeba nalézt vhodnější způsoby ovládání. Problém s motorikou způsobují také některé ocemocnění jako je například Parkinsonova choroba a problematika ted zahrnuje další potenciální uživatele. Tato práce je zaměřena na jeden z možných alternativních způsobů ovládání a to pomocí gest. Lidé používají gesta při komunikaci mezi sebou jako doplněk verbální komunikace nebo i jako její úplnou náhradu. Pohyby rukama nebo i jiných částí těla jako zbůsob vyjadřování myšlenek je pro lidi přirozené a proto se použí gest pro rozhraní člověka a stroje zdá být jako správná cesta. 1
Historie Vývoj technologií a postupů pro převádění gest na elektrické signály probíhá bez přestávky přibližně od začátku 80. let 20. stol. a v posledních letech se o tuto oblast zvyšuje zájem jak mezi vývojovými centry, tak i v komerční sféře [1]. V počátcích se pro snímání gest používaly speciální rukavice (také náramky a stylusy) se senzory a mikrokontroléry, které byly k zařízení připojené drátem. Na přelomu tisíciletí se začalo testovat se snímáním gest pomocí kamery, které získalo na oblibě a postupně upozadilo systémy, které vyžadují nosit senzory na těle. Výzkum byl většinou zaměřen na běžné uživatele jakéhokoli věku, kteří by ovládání gesty používali pro práci na počítači, hraní nebo při prezentacích. Teprve v posledních deseti letech se vývoj zaměřil na seniory a hendikepované lidi. Na závěr jeden historický milník První komerční produkt využívající pro ovládání rozpoznávání gest je EyeToy od Sony, která se do prodeje dostala v roce 2003. Vytvořené systémy pro ovládání gesty Dalším textu představím několik projektů, jejichž cílem bylo vytvořit použitelný systém pro rozpoznávání gest a použití těchto gest jako rozhraní pro ovládání domácího elektrického vybavení. Výběr ovládaného zařízení V domácím prostředí typický bývá více než jedno zařízení, které nemohoucí obyvatel bude chtít ovládat. Aby se povely gesty předávaly do správného zařízení je nejprve potřeba provést jeho výběr. Jeden z možných způsobů výběru vyvinuli v KAIST (Korean Advanced Institute of Science adnd Technology) v rámci projektu Intelligent Sweet Home [2]. Zde využili pro člověka přirozené gesto ukázání na objekt. Pomocí tří kamer umístěných na stropě snímali prostor místnosti a ze znalosti pozic kamer a zařízení v místnosti dokázali určit, na co uživatel ukazuje (Obrázek 1Obrázek 1). Pro zjednodušení nalezení ruky v obraze nosil uživatel dvoubarevný náramek, který byl vyrobený z látky, takže nijak výrazně nenarušoval pohodlí. (Nutno podotknou, že tento projekt je z roku 2003. Dnes již existují lepší algoritmy a máme k dispozici větší výpočetní výkon, takže nošení náramku by už nebylo potřeba) Zpracování obrazu z kamer probíhá v několika krocích (Obrázek 2). Nejprve se provedla rgb normalizace, aby se potlačili efekty osvětlení a stínů. Následně se v kanálu r a b vyhledá náramek (náramek má červený a modrý pruh), pomocí kterého se již snadno dohledá ruka a ukazující prst. Pro výpočet pozice a orientace ruky v 3D prostoru se použije obraz ze dvou kamer (Obrázek 3). Nejprve se spočte vektor orientace ruky vzhledem ke kamerám a 2
následně se převede do globálních souřadnic, ve kterých jsou uloženy i pozice ovladatelných zařízení. Testování výběru objektů pomocí ukazování mělo v laboratorních podmínkách uspěšnost 95%. Obrázek 1 Systém pro rozpoznávání na jaký objekt uživatel ukazuje Obrázek 2 Detekce ruky v obraze 3
Obrázek 3 (levo) Vektor orientace ruky v globálních souřadnicích, (pravo) Detekované ruce ze tří kamer Gesta jako náhrada dálkového ovladače Způsob snímání gest pomocí na pevno umístěných kamer má nevýhodu v tom, že je omezen pouze na oblast kam kamery vidí. Pro osoby trvale připoutané na lůžko by to nebylo závažné omezení, ale pro osoby, které se můžou pohybovat po budově by bylo nutné mít mnoho kamer, aby pokryly celý prostor. Na univerzitě G H Patel College Of Enginnering & Technology v Indii přišli s možným řešením, jak zajistit ovládání gesty po celé budově a zároveň vystačit s jednou kamerou [3]. Navržené zařízení se skládá z IR kamery, IR přisvícení, vývojové desky Arduino (Obrázek 4) a počítače, který je nošen na zádech v batohu. Obrázek 4 Pohled na zařízení 4
IR přisvětlení je nastaveno, tak aby ozařovalo oblast ve které uživatel vytváří rukama gesta. Záření odražené od ruky se snímá kamerou a obraz je posílán do počítače, kde dojde ke zpracování obrazu, rozpoznání provedeného gesta a odeslání příslušného kódu do desky Arduino. Kódy reprezentující jednotlivé příkazy Arduino převádí na signál, který přes infračervený port posílá do ovládaného zařízení (Obrázek 5). Obrázek 5 Schéma funkce zařízení Autoři testovali úspěšnost tohoto zařízení na ovládání televize a dostali se na hodnotu 80% správně rozpoznaných gest. Vzhledem k tomu, že se jedná o prototyp je dosažená úspěšnost dobrá, ačkoli pro praktické využití bude potřeba systém ještě zpřesnit. Tento systém na ovládání okolí by kromě pohybově hendikepovaných lidí mohl být vhodný i pro lidi se zrakovým postižením. Není potřeba hledat, kde se nacházejí ovládací prvky, stačí k zařízení přijít nebo se k němu natočit čelem a ovládat pohyby rukou. Díky tomu, že infračervené záření z desky Arduino je vyzařováno pouze určitým směrem, je ovládáno pouze určité zařízení na které je uživatel natočen. Jedno gesto tedy může reprezentovat více příkazů a podle natočení se provede správná akce. Například pohyb rukou dolů před televizi znamená snížení hlasitosti, kdežto stejné gesto provedené před termostatem znamená snížení teploty. Značnou výhodou posílání příkazů přes IR port je skutečnost, že hodně domácích spotřebičů má již IR přijímač zabudovaný a tedy není potřeba jejich dodatečná úprava. Využití Microsoft Kinect Dva výše popsané systémy vyžadovali ke své funkci speciální hardware, což má negativní dopad na celkou pořizovací cenu. Využitím komerčně vyráběných zařízení, by bylo možné tuto cenu významně snížit a proto je i komerčním produktům věnována pozornost vývojářů. Jedním z vhodných zařízení pro zpracování gest je Microsoft Kinect, které dokáže vytvořit digitální model člověka, který se nachází před objektivem. Tento model je následně 5
zpracován v počítači nebo jiném zařízení a podle vývoje modelu v čase jsou rozpoznávána gesta. Kinect byl vyvinut jako vstupní zařízení pro ovládání her na Microsoft Xbox 360. Díky otevřenost si ale získal oblibu i u vývojářů mimo herní průmysl. Jedním ze zajímavých využití Kinectu jako asistivní technologie je rozpoznávání Přirozených gest, které vyvinuly na univerzitě v Pittsburghu [4]. Přirozené gesto je difinováno jako gesto, které udělá netrénované tělo, když se dostane do určité situace. Samozřejmě se taková gesta budou lišit mezi různými lidmi a částečně i mezi různými kulturami, ale existují i některá společná gesta která se vážou ke zdravotnímu stavu. Například člověk instinktivně uchopí otevřenou ránu nebo bolavou oblast. Rozpoznáváním takovýchto přirozených gest je možné určit, že uživatel má bolesti a přivolat pomoc. Navržený systém funguje na principu porovnávání postojů člověka získaných z Kinectu se seznam postojů, které můžou indikovat bolest. Jakmile je detekován bolavý postoj systém určí závažnost problému na základě místa, které pacient drží a jak dlouho místo drží (Obrázek 6). Aby systém fungoval, nemusí pacient zůstat nehybně stát. Například počáteční pozice je chycená hruď (indikováno jako bolest na hrudi a možný infarkt), následně může pacient popojít nebo klesnout na kolena a systém bude stále fungovat. Důležité je jen, aby měl stále ruku na hrudi. Obrázek 6 Pacient v pozici bolest hrudi 6
Závěr V oblasti výzkumu zaměřeném na rozpoznávání gest vnikají stalé nová řešení, které vylepšují staré postupy nebo i přinášejí úplně nový pohled na problematiku. Rozhodně nelze říci, že by se tématu nevěnovala pozornost. Spíše naopak. S vývojem snímacích zařízení jako jsou kamery nebo senzory polohy, vznikají i nové možnost jak gesta strojově zpracovávat, což přitahuje pozornost jak vývojářů, tak i firem zameřených na spotřební elektroniku. Příkladem je Smart TV od Samsungu, kterou je možné ovládat gesty rukama. Dříve bylo nutné nosit na rukou speciální vybavení, aby systém rozpoznávání fungoval. To byl pro uživatele výrazný omezují faktor, který znepříjemnil celé ovládání pomocí gest. V posledních letech se tuto překážku daří úspěšně odstraňovat a tím vytvořit ovládání více přirozené a pohodlné, které by mohla používat i širší veřejnost a ne pouze relativně malá skupina lidí. Zároveň by se sériovou výrobou bylo možné výrazně snížit pořizovací náklady a systém na ovládání domácnosti pomocí gest by se stal více dostupný lidem, kteří ho skutečně potřebují. Reference [1] Moniruzzaman Bhuiyan and Rich Picking, Gesture-controlled user interfaces, what have we done and what s next?, [2009] [2] Z. Zenn Bien, Jun-Hyeong Do, Jung-Bae Kim, Dimitar Stefanov, Kwang-Hyun Park, User-friendly interaction/interface control of intelligent home for movement-disabled people, [2003] [3] Utpal V. Solanki, Nilesh H. Desai, Hand gesture based remote control for home, [2011] [4] Mykolas Dapkus, Natural Gesture Recognition using the Microsoft Kinect System, [2011] 7