}w!"#$%&'()+,-./012345<ya

Transkript

1 }w!"#$%&'()+,-./012345<ya MASARYKOVA UNIVERZITA FAKULTA INFORMATIKY Rozšířená realita na Windows Phone 7 - aplikace hledající restaurace DIPLOMOVÁ PRÁCE Bc. Jiří Syrový Brno, podzim 2012

2 Prohlášení Prohlašuji, že tato diplomová práce je mým původním autorským dílem, které jsem vypracoval samostatně. Všechny zdroje, prameny a literaturu, které jsem při vypracování používal nebo z nich čerpal, v práci řádně cituji s uvedením úplného odkazu na příslušný zdroj. Bc. Jiří Syrový Vedoucí práce: RNDr. Jaroslav Škrabálek ii

3 Poděkování Rád bych poděkoval vedoucímu práce za odbornou pomoc a cenné rady. Dále děkuji své rodině a všem, kteří mě podporovali během tvorby této práce a celého studia. iii

4 Shrnutí Diplomová práce se zabývá rozšířenou realitou a jejím využitím v mobilních zařízeních. Jejím cílem je implementace rozšířené reality v aplikaci pro mobilní platformu Windows Phone. Tato aplikace bude schopna vyhledávat restaurace v okolí uživatele a zobrazovat jejich denní menu. iv

5 Klíčová slova Rozšířená realita, Windows Phone, virtuální kontinuum, vyhledávání restaurací v

6 Obsah 1 Úvod Rozšířená realita Virtuální kontinuum Virtuální realita Rozšířená virtualita Rozšířená realita Základní realita Smíšená realita Simulovaná realita Historie Typy rozšířené reality Rozšířená realita na bázi lokace Naváděcí značky Rozšířená realita bez naváděcích značek Příklady využití rozšířené reality Aplikace využívající rozšířenou realitu na bázi lokace 13 Layar Wikitude Junaio Yapf Acrossair Další vybrané aplikace Reklamní kampaň Heinz OnRoad Augmented Driving Lite AR Invaders Windows Phone Historie Vývoj aplikací Silverlight XNA Senzory Kamera Akcelerometr Geolokace Vykreslování trojrozměrných objektů Definice zorného pole Promítání

7 4.3 Matice Transformační matice Matice pohledu Projekční matice Použití Lunchtime.cz Historie Konkurence Mobilní Aplikace Programátorské rozhraní Implementované aplikace Vývoj aplikace SDK Vývojové prostředí Testovací zařízení Funkcionalita aplikace Hlavní menu Výpis denních menu Výpis restaurací Zobrazení restaurací na mapě Detail podniku Vyhledávání Jednoduché vyhledávání Pokročilé vyhledávání Přidání nové restaurace Implementace rozšířené reality Načítání restaurací Viditelnost restaurací Detekce budov Inicializace mapy Definice oblasti viditelných bodů Rozlišení restaurací Nevýhody popsaného řešení Definice popisků restaurací Převod souřadnic na vektor Tvorba popisků Vykreslení popisků Definice matic Překreslování popisků Způsob zobrazení popisků

8 8.5 Náhledová mapa Výkonnostní testy Nasazení aplikace Závěr A Obrazová příloha B Obsah CD

9 1 Úvod Již od pradávna lidé řeší stále stejnou otázku - kde sehnat potravu a kde se kvalitně najíst? Od dob, kdy tlupy pořádaly hony na mamuty se naštěstí již mnohé změnilo, avšak díky novým technologiím se naskýtá prostor pro další pokrok i v tomto směru. Dnes již máme možnost takového komfortu, že si nemusíme jídlo lovit, dokonce ani připravovat, ale stačí navštívit některou z hojného počtu restaurací, pohodlně se usadit a nechat si jídlo donést až na stůl. Restaurací je však stále více a s jejich počtem rostou také nároky zákazníků. Mámeli tu možnost, proč nejít na oběd tam, kde dobře vaří a kde mají to, na co máme zrovna chut? Zní to logicky a jednoduše. Velkým problémem dnešní doby je však věčný nedostatek času. Jak tedy rychle a efektivně zjistit, která z restaurací bude nejlépe vyhovovat našim požadavkům? Zde přichází ke slovu moderní technologie, a sice fenomén poslední doby chytré mobilní telefony. Není nic snazšího, než použít odpovídající aplikaci v našem mobilním telefonu a rychle zjistit, jaké se v nejbližším okolí nachází restaurace a jaké mají dnes menu. Nyní už tedy máme vybránu restauraci, kde bychom chtěli poobědvat a známe její adresu. Co když ale přijdeme na danou ulici a zjistíme, že je neuvěřitelně velká, rušná a nepřehledná? Než bychom se zorientovali a našli na ní onu restauraci, vypršel by čas, který jsme si na oběd vyhradili. V takovém případě by nám například pomohlo, kdyby naše aplikace podporovala rozšířenou realitu (augmented reality). Tímto pojmem označujeme jev, kdy je běžný obraz okolního světa doplněn o další digitálně zpracovaná data. Aplikace by nám pak pomocí fotoaparátu nabízela obraz ulice, doplněný o ukazatele na restaurace, které se na ní nachází, což by nám značně ulehčilo situaci. Vývojem právě takovéto aplikace se zabývá tato diplomová práce. Cílem je vytvořit aplikaci pro mobilní platformu Windows Phone, která bude disponovat všemi výše zmíněnými funkcemi. Aby byla aplikace v rozumné míře použitelná, je nezbytné mít přístup k dostatečně obsáhlé databázi restaurací. Tu poskytl internetový portál Lunchtime.cz, který se zabývá propagací restaurací a jejich denních menu. 4

10 2 Rozšířená realita Spojení reálného obrazu s počítačem zpracovanými daty či dokonce spojení počítače s člověkem samotným je již po mnoho let námětem nesčetného počtu vědeckofantastických filmů. Vhodným příkladem za všechny může být například velice známý film Matrix. Základní myšlenkou je fakt, že lidé jsou napojeni na počítač, který vytváří umělý obraz světa. Tento obraz se jim jeví tak reálný, že ani netuší, ˇze jde o pouhou iluzi a ˇzijí tak svůj běžný život. Dnes již není tato představa nikterak nereálná a nepatří pouze na papíry scénáristů. Díky moderním technologiím lze již něco podobného realizovat. Rozšířená realita je pouze jedním ze způsobů, jak zobrazovat virtuální objekty. K přesnému pochopení významu tohoto pojmu je dobré znát také ostatní způsoby a vědět, čím se od sebe liší. Právě to je tématem následující části, kde také podám definici rozšířené reality. 2.1 Virtuální kontinuum V současné době existuje mnoho systémů, které dokáží pomocí zobrazovacích zařízení uživateli zprostředkovat obraz v jakékoliv míře virtualizace. Může jít o obraz reálného světa, kde striktně platí veškeré zákony fyziky či o obraz počítačem zcela uměle vytvořený, který se může či nemusí řídit běžnými pravidly a zákony. Může to být ale také kombinace těchto dvou možností. [13] Abychom mohli tyto systémy rozlišovat, bylo nutné zavést vhodnou terminologii. Paul Milgram a Fumio Kishino proto v roce 1994 definovali koncept, který pojmenovali virtuální kontinuum (virtuality continuum). Tento termín byl později změněn na výstižnější reality-virtuality continuum [6]. Obrázek 2.1: Virtuální kontinuum. Zdroj: [13] Tento koncept je znázorněn na obrázku 2.1. Jde o kontinuum, které je z jedné strany ohraničeno reálným světem (abych dodržel již jednou zavedenou terminologii, kterou ve svém textu použila Eva Žáčková [6], budu 5

11 2. ROZŠÍŘENÁ REALITA dále tento pojem označovat jako základní realita) a ze strany druhé světem virtuálním (virtuální realitou - viz níže). Právě v rámci tohoto konceptu byl mimo jiné definován i pojem rozšířená realita, o kterém pojednává tato diplomová práce. Jak lze z obrázku 2.1 vytušit, čím více vpravo se na ose kontinua pohybujeme, tím jde o větší míru virtualizace. Jednotlivé pojmy, které se v obrázku vyskytují, vysvětlím v následujících podkapitolách. Začnu od nejvyšší míry virtualizace, protože se na ni budu v dalších částech odvolávat. Popíši také další pojmy, které s virtuálně-reálným kontinuem souvisí Virtuální realita Tento pojem (z angl. virtual reality) je patrně nejznámější. Ve virtuálním kontinuu se nachází na pravém konci (Virtual Environment) a jde o případ, kdy je obraz zcela generován pomocí počítače a neobsahuje žádné reálné objekty. Existuje mnoho definic pro tento pojem. Uvedu pouze tu, kterou zveřejnil v roce 1992 George Coates: Virtuální realita je elektronická simulace prostředí, kde může uživatel pomocí speciálních brýlí a oblečení interagovat s realistickými trojrozměrnými objekty. [19] Jde tedy o technologický systém, který dokáže uživateli pomocí speciálního hardwarového vybavení vykreslit umělý svět, jehož může být součástí a který je schopen reagovat na jeho pohyby v reálném čase. Může tedy například pohybovat virtuálními předměty apod. Virtuální realita našla uplatnění například v počítačových hrách, které tak dostaly nový rozměr a hráč může být přímo součástí hry, v lékařství, kde lze vytvářet celé modely lidského těla a simulovat tak operace, v armádě například pro výcvik pilotů, ve sportu a v mnoha dalších odvětvích Rozšířená virtualita Podstatu rozšířené virtuality (Augmented virtuality) lze snadno vytušit z její pozice ve virtuálním kontinuu (viz obrázek 2.1). Podobně jako v případě virtuální reality jde o prostředí, které je generováno počítačem. Rozdíl je však v tom, že v tomto umělém prostředí mohou figurovat také reálné objekty. [24] Příkladem rozšířené reality může být systém car/pe! [17]. Tento systém umožňuje uživatelům na různých místech zprostředkovat konferenci tak, 6

12 2. ROZŠÍŘENÁ REALITA jako by se skutečně sešli v jedné místnosti. Každý účastník má k dispozici svou stanici, která pomocí speciálního hardwarového vybavení snímá audiovizuální data, která přenáší na server. Systém vytvoří počítačový model místnosti s jedním stolem, kolem kterého sedí účastníci konference. Na stole navíc může být vykreslen trojrozměrný objekt, kterého se konference týká Rozšířená realita Rozšířená realita (augmented reality) je někdy označována jako opak virtuální reality [11]. Pokud bychom ale chtěli najít opak rozšířené reality mezi jednotlivými pojmy ve virtuálním kontinuu, pak to bude spíše rozšířená virtualita, což také vyplývá z obrázku 2.1. Jestliže v rozšířené virtualitě je prostředí tvořeno počítačem a jsou k němu přidávány reálné objekty, v rozšířené realitě je tomu skutečně právě naopak. Uživatel vidí reálný obraz nasnímaný kamerou, ke kterému jsou přidávány počítačově generované prvky. Rozšířenou realitou lze tedy označovat takové systémy, které splňují následující tři podmínky: [1] 1. Jde o kombinaci reálného prostředí s virtuálními objekty 2. Pracují v reálném čase 3. Objekty jsou trojrozměrné Ačkoliv je definice rozšířené reality poměrně jasná, jak uvidíme v kapitole 2.3, dosud mezi odbornou veřejností existují rozpory, jaké systémy lze za rozšířenou realitu považovat a které nikoliv Základní realita Jak již bylo naznačeno v úvodu této kapitoly, základní realita zahrnuje vše, co máme možnost vidět kolem sebe, at se již díváme přímo, či použijeme objektiv nějaké kamery či fotoaparátu. Jde tedy o obraz reálného světa bez jakýchkoliv počítačově přidaných dat Smíšená realita Jak je z obrázku 2.1 patrné, smíšená realita (mixed reality) pokrývá celé virtuálně-reálné kontinuum od rozšířené reality po rozšířenou virtualitu. Patří sem tedy jakákoliv aplikace, která kombinuje reálný svět s virtuálním. 7

13 2. ROZŠÍŘENÁ REALITA Simulovaná realita Simulovaná realita (simulated reality) je zatím pouze ve fázi konceptu. Jedná se o takové systémy, které by generovaly zcela umělý svět, avšak tento svět by byl pro člověka naprosto nerozlišitelný od světa reálného. Jinými slovy by tyto systémy byly schopny prostřednictvím nejmodernějších technologií vytvořit naprosto věrnou kopii reálného světa. [6] 2.2 Historie Ačkoliv rozšířená realita zaznamenala významný rozmach teprve v posledních letech, její počátky lze nalézt poměrně hluboko v historii. Pravděpodobně prvním, kdo publikoval myšlenku o zařízení, které bychom dnes označili jako rozšířenou realitu, byl Lyman Frank Baum. Tento americký spisovatel v roce 1901 napsal román The Master Key, ve kterém vystupuje démon, jež dá malému chlapci brýle. Tyto brýle chlapci pomohou určovat charakter lidí, které potká. Pokud se na někoho chlapec skrz brýle podívá, uvidí na čele dotyčné osoby značku, která určí jeho charakter. [5] Již tenkrát si byl Baum možná vědom, že pokrok jde stále dále a jeho myšlenky se možná někdy stanou skutečností, jelikož v úvodu románu uvedl: Tyto věci jsou nepravděpodobné, ale jsou nemožné? [5]. Obrázek 2.2: Sensorama. Zdroj: [20] Roku 1961 si nechal americký vynálezce Morton Heilig patentovat přístroj, který nazval Sensorama. Mělo jít o kino budoucnosti. Přístroj byl určen pro jednoho uživatele, kterému umožnil sledovat film a vnímat ho všemi 8

14 2. ROZŠÍŘENÁ REALITA smysly. Měl například možnost projíždět na motorce ulicemi, přičemž proti němu foukal vítr a sedadlo vibrovalo. Přístroj nebyl nikdy komerčně využit, jelikož náklady na výrobu filmů byly příliš vysoké. [20] [12] V roce 1966 profesor Harvardovy univerzity Ivan Sutherland vynalezl první zobrazovací zařízení, které bylo připevněné na hlavě uživatele a promítalo mu obraz přímo do očí (v angličtině označováno jako head-mounted display - HMD). Ve skutečnosti bylo zařízení však tak těžké, že muselo být připevněno na strop, díky čemuž si vysloužilo přezdívku Damoklův meč. [20] Sutherland tímto svým vynálezem položil základ vývoji zobrazovacích zařízení pro virtuální či rozšířenou realitu. HMD se v modernějším pojetí používá v tomto oboru doposud. Sutherland sám však v dalším vývoji nepokračoval, jelikož počítačové grafické systémy, které měl v tu dobu k dispozici byly příliš primitivní. [12] Obrázek 2.3: Sutherlandův Damoklův meč. Zdroj: britannica.com/ebchecked/topic/630181/virtual-reality- VR/253103/Early-work Od roku 1969 se začal Myron W. Krueger zabývat myšlenkou, že by mohl člověk s virtuálními objekty interagovat. Nakonec roku 1975 vytvořil systém Videoplace, který to skutečně umožňoval. [7] Pravděpodobně prvním, kdo použil termín rozšířená realita byl profesor Thomas Caudell [20] [6]. Bylo to v roce 1990, kdy spolupracoval na konstrukci letounů firmy Boeing. Hledal efektivní způsob, jakým by nahradil složité plány každého letounu a usnadnil tak výrobní proces. Řešením 9

15 2. ROZŠÍŘENÁ REALITA byl systém, který montážním pracovníkům pomocí speciálních brýlí vykresloval plány přímo v prostoru - tedy rozšířená realita (více viz kapitola 2.1.3). [2] Roku 1992 Luis B. Rosenberg vyvinul v Air Force Research Laboratory systém na bázi rozšířené reality, který nazval Virtual Fixtures. Tento systém snímal za pomoci haptických rukavic pohyby rukou uživatele a přenášel je na robotické rameno, přičemž uživatel používal HMD. Systém mu tak pomáhal daný úkol vyřešit co nejefektivněji. Testy potvrdily, že tento systém může zvýšit produktivitu až o sedmdesát procent. [18] Ve stejném roce vyvinuli pánové Steven Feiner, Blair MacIntyre a Dorée Seligmann systém, který využíval rozšířenou realitu a byl určen pro uživatele laserových tiskáren. Pomocí HMD jim zobrazoval návod, jak tiskárnu opravovat. Systém se orientoval v prostoru dle malých trojúhelníků, umístěných na těle tiskárny. [4] V roce 1994 Paul Milgram a Fumio Kishino definovali virtuální kontinuum, ve kterém rozlišili jednotlivé systémy pro virtuální vizualizaci (viz předchozí kapitola 2.1). [13] V roce 1994 byla rozšířená realita poprvé použita také v umění. Julie Martinová zrealizovala první divadelní představení, kdy umělci tančili s virtuálními tanečníky. [20] V roce 1998 byla na Univerzitě Severní Karolíny představena prostorová rozšířená realita. Tento typ rozšířené reality nepoužívá ke svému zobrazení žádný displej, ale je pomocí soustavy projektorů promítána přímo na fyzické objekty. [16] V roce 1999 Hirokazo Kato vyvinul sadu nástrojů pro vývoj aplikací s rozšířenou realitou. Nazval ji ARToolKit a nyní již existuje její verze pro téměř všechny platformy. Lze díky ní poměrně snadno implementovat rozšířenou realitu na bázi naváděcích značek (viz podklapitola 2.3.2). [29] Herní průmysl se dočkal své první hry, která využívá rozšířenou realitu v roce 2000, kdy byla na sympoziu ISWC (International Symposium on Wearable Computers) v Atlantě představena hra ARQuake. Šlo o rozšíření velmi úspěšné akční hry. [21] 2.3 Typy rozšířené reality V této části popíši jednotlivé typy rozšířené reality, které se používají při vývoji aplikací pro mobilní telefony.[11] 10

16 2. ROZŠÍŘENÁ REALITA Rozšířená realita na bázi lokace Tento typ rozšířené reality se v anglické literatuře označuje jako Gravimetric augmented reality či Location-based augmented reality. Aplikace, která ho využívá se také někdy označuje jako vyhledávač. Uživatel namíří kameru svého mobilního zařízení např. na nějakou budovu a aplikace mu o ní vypíše nějaké doplňující informace. Implementace přesně takového typu aplikace je součástí této práce. Tyto aplikace využívají dat, které poskytne mobilní zařízení prostřednictvím akcelerometru, kompasu a geolokace. Aplikace tedy přesně ví, kde se uživatel nachází a jakým směrem je jeho mobilní zařízení natočeno. Dále má typicky k dispozici databázi tzv. objektů zájmů (POIs - Points Of Interest), která obsahuje mimo jiné zeměpisné souřadnice každého objektu. Na základě všech těchto informací je aplikace schopna fungovat tak, jak bylo popsáno výše. Aplikace ve skutečnosti k zobrazování informací kameru mobilního zařízení nepotřebuje, jelikož všechny informace zná předem a nerozpoznává objekty na základě obrazové informace. Z tohoto důvodu někteří zastánci striktní definice rozšířené reality za ni tento typ aplikace nepovažují. Příklady aplikací, které využívají tento typ rozšířené reality jsou uvedeny v kapitole 2.4. Tento typ rozšířené reality je druh takzvané markerless Naváděcí značky Tento typ rozšířené reality již přesně odpovídá její definici. Aplikace, ve kterých je implementován, využívají kamery mobilního zařízení k rozpoznání tzv. naváděcích značek (Fiduciary Markers). Jde o speciální černo-bílé značky různých tvarů, které aplikaci slouží pro orientaci v prostoru a pro určení typu objektu, který se má vykreslit. Pokud aplikace takovou značku rozpozná, může na jejím místě vykreslit nějaký trojrozměrný objekt. Tvar značky navíc může určovat, jakým směrem má být objekt natočen. Příkladem aplikace, která tento typ rozšířené reality využívá může být jiˇz zmíněná hra ARQuake nebo aplikace ARGirl, která je určna pro mobilní telefon iphone. Tato aplikace pokud rozpozná značku, vykreslí na jejím místě virtuální dívku, která začne tancovat. 11

17 2. ROZŠÍŘENÁ REALITA Obrázek 2.4: Ukázka aplikace ARGirl. Vpravo je znázorněna naváděcí značka, která se v aplikaci používá. Špička této šipky určuje, jakým směrem má být dívka vykreslena čelem. Zdroj: com/argirl/ Rozšířená realita bez naváděcích značek Tento typ rozšířené reality (markerless augmented reality) pracuje podobně jako typ předchozí. Místo černobílých značek však rozpoznává běžné předměty v reálném světě. Patří sem například aplikace, která je schopna rozpoznat obličeje apod. 2.4 Příklady vyuˇzití rozšířené reality Existuje mnoho velmi praktických a užitečných aplikací, které využívají rozšířenou realitu. Podobně jako virtuální realitu, lze také tu rozšířenou nalézt v lékařství, armádě a v mnoha jiných odvětvích. Jde však většinou o specializovaná zařízení a tudíž je zde nebudu popisovat. Tato práce se zaměřuje na využití rozšířené reality v mobilních zařízeních, a proto zde uvedu příklady právě z této oblasti. 12

18 2.4.1 Aplikace vyuˇzívající rozšířenou realitu na bázi lokace 2. ROZŠÍŘENÁ REALITA V této části popíši nejznámější aplikace, které jsou svou funkcionalitou podobné aplikaci, kterou jsem vyvíjel v rámci této práce. Layar Layar je nizozemská společnost, založená v roce 2009, která se zabývá vývojem aplikací, využívajících rozšířenou realitu. Společnost zdarma distribuuje stejnojmennou aplikaci pro mobilní telefony s operačním systémem Apple ios nebo Android. Uživatel má v aplikaci k dispozici několik vrstev (layers), roztříděných do kategorií. Tyto vrstvy mohou být zdarma či placené. Vrstvou se rozumí databáze objektů, které se budou vykreslovat. Pro tvorbu těchto vrstev Layar poskytuje programátorské rozhraní, které lze do určité míry zdarma využívat. Dokumentace k tomuto rozhraní je dostupná na adrese V České republice sice zatím moc vrstev není, ale dá se předpokládat, ˇze jich bude přibývat. Jednou z prvních českých firem, která službu využila byl Mediatel se svou aplikací Zlaté stránky. [27] Aplikace také nabízí funkci tzv. Layar Vision, kterou firma prezentuje jako rozšíření tištěného světa. Princip je jednoduchý. Do systému se nahraje obrázek (nejčastěji např. stránka časopisu), kdy jsou určeny jeho referenční body, na základě kterých je pak mobilní aplikace daný obrázek schopna rozpoznat. Následně se k ní přiřadí nějaký multimediální obsah či grafika. Pokud tedy pak uživatel namíří fotoaparát svého mobilního telefonu na patřičnou stránku časopisu, aplikace ji rozpozná a zobrazí přiřazený obsah. Wikitude Wikitude je podobná aplikace jako Layar s tím rozdílem, že vrstvy jsou pojmenovány jako světy (worlds). Aplikace je vyvíjena rakouskou firmou Wikitude GmbH a je zdarma dostupná pro všechny nejrozšířenější mobilní platformy (Android, ios, Windows Phone a BlackBerry). Wikitude umožňuje vývojářům integrovat svou rozšířenou realitu do jejich vlastních aplikací. K tomuto účelu nabízí sadu nástrojů (SDK - software development kit), která je však zdarma pouze pro vzdělávací účely. SDK je však určené pouze pro operační systém Android a ios. 13

19 2. ROZŠÍŘENÁ REALITA Junaio Junaio je další aplikací, která je téměř identická se dvěma předchozími. Tuto aplikaci vyvíjí německá firma Metaio a lze ji zdarma stáhnout do mobilních zařízení s operačním systémem ios a Android. Stejně jako Wikitude mají vývojáři k dispozici SDK, díky kterému mohou ve svých aplikacích využívat rozšířenou realitu. Yapf Yapf (yet another POI finder) je aplikace, která je určena pouze pro mobilní platformu Windows Phone. Je poměrně pěkně zpracovaná, avšak Wikitude konkurovat nemůže. Jako jediný zdroj dat totiž používá vyhledávání zajímavých míst od společnosti Google. Po grafické stránce ja na tom Wikitude také o něco lépe. Acrossair Další aplikací tohoto typu je aplikace Acrossair, která je určena pro mobilní telefony iphone. Aplikace se zaměřuje hlavně na vyhledávání míst, kde lze nalézt konkrétní zboží. Dokáže však také například nalézt uživatelův zaparkovaný automobil Další vybrané aplikace Reklamní kampaň Heinz Rozšířená realita může být vhodným prostředkem pro upoutání potenciálního zákazníka. Příkladem za všechny je reklamní kampaň na kečupy od společnosti Heinz, která byla jednou z prvních a upoutala tak pozornost několika médií. Společnost si nechala vytvořit aplikaci pro mobilní telefony s operačním systémem Apple ios nebo Android, která měla jednoduchou funkcionalitu. Pokud uživatel namířil fotoaparát na etiketu kečupu, stala se z ní brožurka, která obsahovala recepty jídel, jejichž hlavní ingrediencí byl právě kečup. [10] Funkcionalita této aplikace je sice velmi specifická, ale lze si představit, že tento koncept lze využít také v obecnější rovině OnRoad Augmented Driving Lite Rozšířená realita může také pomáhat předcházet dopravním nehodám. Aplikace v chytrých telefonech se již dávno používají pro navigaci, avšak apli- 14

20 2. ROZŠÍŘENÁ REALITA kace OnRoad Augmented Driving Lite jde ještě dále. Pomáhá řidiči určit vzdálenost automobilu, který jede před ním. Vidí obraz silnice před jeho vozidlem, který je doplněn o barevnou signalizaci, zda je vzdálenost bezpečná či by měl raději snížit rychlost AR Invaders Také ve světě her je rozšířená realita hojně využívána. Příkladem takové hry může být AR Invaders, kde na hráče útočí nepřátelské lodě mimozemské civilizace. 15

21 3 Windows Phone Součástí této práce je aplikace pro zařízení s mobilní platformou Windows Phone. V této kapitole proto čtenáře s touto platformou seznámím. Jde o relativně nový operační systém od firmy Microsoft, který je určen pro mobilní telefony. Přichází se zcela novým designovým pojetím, které společnost Microsoft pojmenovala Metro styl. Systém je určen pro široké spektrum uživatelů a nesoustředí se pouze na podnikatelskou sféru. Společnost Microsoft si klade za cíl poskytnout co největší uživatelskou přívětivost. 3.1 Historie Prvním operačním systémem od firmy Microsoft, který byl určen pro mobilní zařízení byl Pocket PC Jak již jeho název napovídá, bylo to v roce Nešlo však o systém pro mobilní telefony, ale pro zařízení typu PDA (Personal Digital Assistance), tedy pro kapesní počítače. Systém pro mobilní telefony přišel až v roce Byl jím Windows Mobile 2003, který byl v roce 2005 následován další verzí Windows Mobile 5. Pro tuto verzi již mohli vývojáři vyvíjet aplikace v rámci platformy.net. Na vývoj nebyla kladena téměř žádná omezení a mohly tak vznikat aplikace, které byly velmi výkonnostně náročné a navíc jejich služby mohly běžet i když nebyla aplikace spuštěna. Tento fakt také později přispěl k rozhodnutí o osudu řady Windows Phone. Nicméně řada Windows Mobile byla poměrně úspěšná a cílila na podnikatelskou sféru. Pokračovala verzemi Windows Mobile 6 (2007) a Windows Mobile 6.1 (2008). Zlom přišel v roce 2007, kdy se na trhu objevil první mobilní telefon iphone od společnosti Apple, který byl vážnou konkurencí a způsobil velký odliv zákazníků. Přišel totiž s revolučním dotykovým ovládáním. Jeho kapacitní displej byl schopný detekovat dotek na více místech současně a nabízel tak velký uživatelský komfort. Společnost Microsoft v té době vyvíjela novou verzi Windows Mobile 7, avšak musela reagovat na silného protihráče, a proto rychle vydala verzi Windows Mobile 6.5, která upravovala uživatelské rozhraní pro snazší ovládání prstem. Tato verze však nesplnila očekávání. V roce 2008 vstoupila na trh s mobilními operačními systémy společnost Google se svým operačním systémem Android, což byla další velká konkurence. Společnost Microsoft se tedy odhodlala k radikálnímu kroku a pustila se do vývoje zcela nového systému. [28] 16

22 3. WINDOWS PHONE V říjnu roku 2010 byl nový systém s názvem Windows Phone 7 vypuštěn na asijský trh a postupně pak také do dalších zemí. Tento systém nebyl s Windows Mobile zpětně kompatibilní. V současné době je aktuální verze Windows Phone 8, která byla vydána v říjnu roku Vývoj aplikací Po zkušenostech s předchozí řadou mobilních operačních systémů, kde díky nekontrolovanému vývoji aplikací a velkému množství různě výkonných zařízení docházelo k výkonnostním problémům, se společnost Microsoft rozhodla specifikovat minimální hardwarové požadavky těch zařízení, na kterých může být operační systém Windows Phone instalován. Pro vývojáře to byl velmi vítaný krok, jelikož přesně ví, jakým hardwarovým vybavením bude každé zařízení disponovat a mohou tomu tak své aplikace přizpůsobit. Dalším omezením je, že vývojáři nemohou vytvářet takové aplikace, které by běžely na pozadí. Uživatel musí vždy přesně vědět, co se s jeho zařízením děje. Mohou však využít tzv. Push Notifications, což jsou krátké zprávy, které aplikace mohou příjímat i když nejsou spuštěné. Systém pak uživatele upozorní, že nastala nějaká událost, pro jejíž zpracování je třeba spustit konkrétní aplikaci. [28] Pro vývoj aplikací na operační systém Windows Phone jsou k dispozici dvě platformy, které popíši níže. Obě jsou součástí balíku.net framework Silverlight Silverlight je technologie, která byla původně navržena pro vývoj multimediálních internetových aplikací. Její potenciál se však uplatnil také pro vývoj aplikací pro operační systém Windows Phone. Jako programovací jazyk se zde používá C# nebo Visual Basic. K definici vzhledu uživatelského rozhraní (UI - user interface) slouží deklarativní značkovací jazyk XAML (Extensible Application Markup Language). Pomocí elementů se zde popisují jednotlivé UI komponenty, ke kterým pak lze ve zdrojovém kódu přistupovat a definovat či měnit tak jednotlivé atributy XNA Platfroma XNA je určena primárně pro vývoj her. Byla publikována v roce 2007 a měla sloužit k vývoji aplikací pro herní konzolu Xbox. Používá se 17

23 3. WINDOWS PHONE však také k vývoji počítačových her a nyní také pro vývoj aplikací pro operační systém Windows Phone. Knihovny platformy XNA lze však použít také v platformě Silverlight. Lze dokonce docílit kombinace těchto dvou platforem na takové úrovni, že například hlavní menu aplikace bude využívat platformu Silverlight, ale po výběru položky se spustí část aplikace, která je napsána v rámci platformy XNA. [8] 3.3 Senzory Protože se práce zabývá implementací rozšířené reality, uvedu v této kapitole senzory, které jsou pro tento účel nezbytné a kterými mobilní zařízení disponuje Kamera Jak jiˇz bylo řečeno, rozšířená realita doplňuje obraz reálného světa o grafické prvky. K získání tohoto obrazu se používá kamera, kterou musí každé zařízení, na němž je instalován operační systém Windows Phone, disponovat. Tato kamera musí mít minimální rozlišení pět megapixelů. [14] Akcelerometr Potřebujeme také vědět, jakým směrem je zařízení natočené. K tomuto účelu má mobilní zařízení k dispozici tzv. akcelerometr. Jde o zařízení, které slouží pro měření zrychlení. Je tedy schopné detekovat jakýkoliv pohyb zařízení. Aplikace má pak k dispozici vektor, ve kterém jsou uloženy hodnoty o aktuálním natočení zařízení.[14] Geolokace Posledním důleˇzitým údajem pro implementaci rozšířené reality je aktuální poloha uživatele. Také tento údaj je mobilní zařízení schopno poskytnout. Je totiž vybaveno modulem GPS (Global Positioning System), který je schopen za pomoci satelitního systému zjistit zemské souřadnice, na kterých se mobilní zařízení nachází. Tuto polohu je však zařízení schopno zjistit také pomocí internetového připojení či prostřednictvím mobilního operátora. Dle GPS je však lokalizace nejpřesnější.[14] 18

24 4 Vykreslování trojrozměrných objektů Jak již bylo řečeno, pro rozšířenou realitu je charakteristické, že systém, který ji využívá, musí být schopný vykreslit trojrozměrný objekt. V této kapitole proto krátce nastíním základy teorie vykreslování těchto objektů v souvislosti s rozšířenou realitou a využitím v mobilním zařízení. 4.1 Definice zorného pole Základním předpokladem je, že budeme vykreslovat pouze ty objekty, které jsou v zorném úhlu pohledu uživatele, resp. kamery jeho mobilního zařízení. Musíme tedy definovat prostor, ve kterém se tyto objekty mohou vyskytovat. Tento prostor bude tvaru komolého jehlanu (viz obrázek 4.1), který vznikne z čtyřbokého jehlanu, na jehož vrcholu je umístěna kamera (Camera). Menší podstava komolého jehlanu (Front Plane) určuje nejkratší vzdálenost od kamery, ve které se může vyskytovat objekt, který chceme vykreslit. Větší podstava (Back Plane) naopak definuje nejdelší možnou vzdálenost objektu. Tento definovaný prostor se v anglicky psané literatuře označuje jako View Frustum. [9] Obrázek 4.1: Zorné pole kamery tvaru komolého jehlanu (View Frustum). Zdroj: xna.framework.boundingfrustum.aspx 19

25 4. VYKRESLOVÁNÍ TROJROZMĚRNÝCH OBJEKTŮ 4.2 Promítání Víme-li v jakém prostoru se může objekt nacházet, potřebujeme ještě vědět, kde na obrazovce ho vykreslit. Jinak řečeno, musíme ho převést z trojrozměrného prostoru do dvourozměrného. Jde o proces, kdy pro každý bod objektu v prostoru, definujeme pomocí promítacího paprsku bod v rovině, kterou nazýváme průmětna (viz obrázek 4.2). Průmětnou bude v praxi obrazovka zobrazovacího zařízení. Tomuto procesu se v grafice říká projekce. Existují dva základní typy projekce [15]: 1. Středové (perspektivní) promítání - promítací paprsky vycházejí z jediného bodu. Odpovídá lidskému vnímání reálného světa, kdy při vzrůstající vzdálenosti dochází k proporcionálnímu zmenšování objektů. 2. Rovnoběžné promítání - všechny promítací paprsky mají stejný směr. Obrázek 4.2: Objekt a jeho průmět vzniklý promítáním rovnoběžným (vlevo) a středovým (vpravo). Zdroj: [15] Z výše uvedeného je tedy zřejmé, že pro účely využití v rozšířené realitě je vhodnější středové promítání, jelikož chceme objekty zasadit do reálného světa. Prostor, ze kterého lze středovým promítáním vykreslovat objekty také odpovídá komolému jehlanu, který jsem definoval v kapitole 4.1. Projekce je definována projekční maticí, pomocí které se provádí transformace jednotlivých bodů. Bod P = [x, y, z, 1], který se nachází v prostoru, bude pomocí následujícího vzorce transformován na bod P p = [x p, y p, z p, w p ], 20

26 4. VYKRESLOVÁNÍ TROJROZMĚRNÝCH OBJEKTŮ který lze vykreslit na průmětně. Ve vzorci je T p projekční matice velikosti 4x4. [15] x p y p z p w p = T p x y z 1 (4.1) 4.3 Matice Objekty jsou v grafických systémech reprezentovány pomocí vektorů či matic. Jak již bylo naznačeno výše, pokud chceme objekty nějakým způsobem transformovat (otáčet, posouvat či měnit velikost), děje se tak opět pomocí násobení matic. Bez matic se neobejdeme ani v případě, že chceme objekt pouze korektně vykreslit. [33] Transformační matice Transformační matice (Transformation matrix, častěji však nazývána World matrix) slouží k transformaci objektu z jeho lokálního souřadného systému do souřadnic okolního světa. Každý objekt má svou transformační matici, pomocí které se realizují veškeré jeho transformace. Jinými slovy každý objekt má definovány vlastní souřadnice, které se nemění. Veškeré transformace, které jsou na objektu prováděny se realizují modifikací jeho transformační matice. Tento přístup je mnohem efektivnější, než kdyby se musely vždy přepočítávat všechny body, ze kterých se objekt skládá Matice pohledu Podobně jako transformační matice také matice pohledu (View matrix) slouží k převodu mezi dvěma souřadnými systémy. Převádí objekt, který je definován pomocí souřadnic okolního světa do souřadného systému, který používá pozorovatel (kamera) Projekční matice Jak již bylo řečeno v kapitole 4.2, projekční matice (Projection matrix) se používá ke správnému zobrazení na displeji zobrazovacího zařízení a pro simulaci perspektivního pohledu. 21

27 4. VYKRESLOVÁNÍ TROJROZMĚRNÝCH OBJEKTŮ Pouˇzití Výše popsané matice není třeba ručně definovat, jelikož ve všech programovacích jazycích, které se pro tvorbu grafiky používají, jsou definovány knihovny, určené právě pro konstrukci těchto matic. Pro korektní zobrazení objektu na zobrazovacím zařízení je tedy nutné znát všechny tři výše definované matice, které se mezi sebou vynásobí následujícím způsobem, při čemž je třeba dodržet pořadí násobení. M transformace M pohledu M projekce (4.2) 22

28 5 Lunchtime.cz Lunchtime.cz je internetový portál, který se zabývá prezentací restauračních zařízení, barů, kaváren a dalších podniků podobného typu. Primárním účelem portálu však je, aby svým návštěvníkům nabídl ucelený přehled denních menu, které daný den restaurace nabízí. Uživatel má možnost nechat si vypsat restaurace i s jejich denní nabídkou v jakémkoliv větším městě. Může také zadat přesnou adresu a aplikace vypíše restaurace v jejím bezprostředním okolí. Tyto výpisy lze navíc filtrovat dle různých kritérií. Každý podnik má v aplikaci k dispozici svůj profil, kam může jeho administrátor vkládat podrobné informace o podniku, aktuální nabídku jídel či aktuality. Profil restaurace je pak viditelný každému návštěvníkovi, kde má také možnost využít rezervačního systému (pokud tuto funkcionalitu administrátor podniku povolí). Lunchtime.cz má v současné době v databázi přes 3300 podniků a jeho průměrná návštěvnost v roce 2011 byla unikátních návštěv denně. [30] 5.1 Historie Projekt vznikl v lednu roku 2008 v Třinci, odkud také pochází jeho zakladatelé. Šlo o jeden z projektů firmy Creactive.cz. Zpočátku projekt působil pouze lokálně, avšak ještě téhož roku se rozšířil také do Brna, kde je koncentrováno velké množství restauračních zařízení. Firma Creactive.cz zde proto založila pobočku, která sloužila výhradně pro účely administrace tohoto projektu. V roce 2009 se databáze projektu začala rozrůstat také o restaurace v dalších našich velkých městech. Šlo o Prahu a Ostravu. Postupně se pak projekt rozrůstal o další města a v současné době jich na Lunchtime.cz lze nalézt přibližně osmdesát. V září roku 2010 spatřil světlo světa sesterský projekt Pizzatime.cz. Byl to systém pro objednávání jídel prostřednictvím internetu. Uživatel si mohl v systému vybrat z nabídky jídel těch podniků, které nabízí rozvoz na adresu, kterou zadal. Systém pak jeho objednávku zpracoval a zaslal do vybrané restaurace. Projekt má nyní nového majitele a funguje pod novým jménem DameJidlo.cz. Počátkem roku 2012 byla firma Lunchtime.cz prodána slovenské firmě Creative Web [26]. Tato firma provozuje podobný projekt na Slovensku - Prodejem však projekt Lunchtime.cz nezanikl, ale nao- 23

29 5. LUNCHTIME.CZ pak se stal plnohodnotnou firmou se stejným názvem a sídlem v Brně. 5.2 Konkurence Lunchtime.cz byl prvním projektem podobného typu v České republice. Díky jeho úspěchu začalo vznikat mnoho konkurenčních projektů, avšak Lunchtime.cz si díky svému velkému náskoku stále drží prvenství. V roce 2009, kdy byl nárůst počtu portálů podobného typu na našem trhu největší, provedl zpravodajský server Lupa.cz průzkum této oblasti. Srovnal tři největší obědové portály : [25] Jdeme na oběd ( Lunchtime ( Poledníček ( Pouze projekt Lunchtime.cz zaznamenal od doby, kdy byl průzkum proveden nárust počtu podniků. U zbylých dvou, je tomu právě naopak. V současné době je největším konkurentem portál Dobresenajim.cz, který provozuje firma Mafra. 5.3 Mobilní Aplikace Programátorské rozhraní Nástupem chytrých mobilních telefonů se projektu Lunchtime.cz otevřely nové dveře. Jestliže internetová aplikace dokázala svým uživatelům rapidně usnadnit výběr podniku, kam se mohou jít najíst, pak pomocí aplikace v mobilním telefonu, který zná naši polohu a který má každý stále při sobě, to může být ještě mnohem snazší a rychlejší. Lunchtime.cz proto vyvinul programátorské rozhraní (API - Application Programming Interface) pro budoucí mobilní aplikace, které na základě HTTP požadavku vrátí odpovídající data ve formátu XML (Extensible Markup Language). Každá funkcionalita aplikace má vlastní HTTP požadavek, který může obsahovat určité parametry. API není veřejné, ale bylo mi poskytnuto pro účely implementace aplikace, která je součástí této diplomové práce. 24

30 5. LUNCHTIME.CZ Implementované aplikace První mobilní aplikace pro Lunchtime.cz, byla vyvinuta firmou ulikeit a byla určena pro mobilní telefony Apple iphone, která má nyní přes uživatelů. [30] Stejná firma zároveň posktyla aplikaci pro telefony s operačním systémem Samsung Bada. Další aplikací byla aplikace pro operační systém Android, kterou napsal Lukáš Petrák. Tu aktivně využívá uživatelů. [30] Po prodeji Lunchtime.cz si noví majitelé u firmy ulikeit objednali aplikaci také pro Windows Phone, která byla vydána v říjnu roku Tento fakt bude dále diskutován v kapitole 9. 25

31 Praktická část

32 6 Vývoj aplikace 6.1 SDK Vývoj aplikace jsem započal v lednu roku 2012, kdy byla aktuální verze operačního systému Windows Phone 7.5. Z toho důvodu jsem také používal starší Windows Phone SDK 7.1 (Software Development Kit), což je sada nástrojů, která je nezbytná pro vývoj aplikací pro Windows Phone. Sada obsahuje vše, co je potřeba a žádné další nástroje ani aplikace není třeba instalovat. V současné době je aktuální verze SDK 8.0 pro vývoj aplikací na Windows Phone 8. Všechny dostupné verze SDK jsou zpětně kompatibilní a lze je stáhnout na adrese en-us/downloadsdk. 6.2 Vývojové prostředí K vývoji aplikací pro Windows Phone je stejně jako pro všechny aplikace vyvíjených v rámci platformy.net určeno vývojové prostředí Microsoft Visual Studio. Vývojové prostředí není potřeba instalovat samostatně, protože je součástí SDK. SDK 7.1 obsahuje verzi Microsoft Visual Studio 2010 Express for Windows Phone, kterou jsem používal pro vývoj aplikace, jež je součástí této práce. SDK 8.0 již obsahuje verzi Microsoft Visual Studio Express 2012 edition for Windows Phone. 6.3 Testovací zařízení Součástí SDK je také Windows Phone Emulator (dále emulátor), což je aplikace, která je schopna substituovat fyzické zařízení a lze pomocí ní testovat vyvíjené aplikace. Emulátor co nejvěrněji simuluje chování fyzického zařízení. Lze nastavit lokalitu, ve které se zařízení pohybuje nebo simulovat různé jeho natočení a testovat tak aplikace, jež využívají akcelerometr. Pro účely testování aplikace, která má využívat rozšířenou realitu, je však emulátor nevhodný. Proto jsem aplikaci testoval na dvou fyzických zařízeních. Prvním a slabším zařízením byl mobilní telefon HTC 7 Trophy s frekvencí procesoru 1 Ghz a operační pamětí 576 MB RAM. Druhým zařízením, které jsem měl k dispozici, byl mobilní telefon No- 27

33 6. VÝVOJ APLIKACE Obrázek 6.1: Emulátor včetně dialogového okna pro nastavení lokality. kia Lumia 800. Tento model disponuje procesorem s frekvenci 1,4 Ghz a operační pamětí o velikosti 512 MB. 28

34 7 Funkcionalita aplikace Jak již bylo naznačeno v úvodu, cílem této práce je vytvořit aplikaci pro mobilní platformu Windows Phone, která bude určena k rychlému vyhledávání restaurací v nejbližším okolí. V této kapitole popíši základní funkcionalitu aplikace, popíši jednotlivé obrazovky a uvedu třídy, ve kterých jsou implementovány. Implementaci rozšířené reality v této kapitole však popisovat nebudu, jelikož se jedná o hlavní téma této práce a bude ji věnována celá kapitola následující. Ukázky jednotlivých obrazovek jsou k nalezení v příloze. 7.1 Hlavní menu Hlavní menu je úvodní obrazovka, která se uživateli zobrazí po spuštění aplikace a slouží jako rozcestník. Aplikace není sice striktně zasazena do klasického metro stylu, avšak obsahuje některé jeho základní prvky. Jedním z nich jsou charakteristické čtvercové dlaždice, které jsou zde použity jako tlačítka pro přechod k jednotlivým funkcím aplikace. Třída, ve které je hlavní menu implementováno, se nazývá MainPage. Při inicializaci této třídy se také asynchronně aktualizují data, která jsou potřebná pro pokročilé vyhledávání podniků (viz kapitola 7.6.2). 7.2 Výpis denních menu Tato funkcionalita je jednou z nejdůležitějších částí aplikace. Jedná se o výpis restaurací a jejich aktuální nabídky denního menu. Dále se uživatel hned dozví, jak je daná restaurace daleko a v jaké době podává denní menu. Pokud klikne na název restaurace, dostane se na obrazovku, která vypíše více detailů o dané restauraci (viz kapitola 7.5). Aplikace vypisuje primárně restaurace v okolí místa, kde se právě uživatel nachází. Stejná obrazovka se však používá také pro výpis oblíbených restaurací a pro výpis výsledků vyhledávání. Pro zajištění co nejrychlejší odezvy aplikace se vždy vypíše pouze deset restaurací, avšak pokud se uživatel dostane na konec výpisu, automaticky se začne načítat dalších deset restaurací. V dolní části obrazovky lze nalézt kontextové menu, které obsahuje tlačítka s následujícími funkcemi: aktualizace výpisu 29

35 přechod na výpis restaurací (viz kapitola 7.3) 7. FUNKCIONALITA APLIKACE přechod na výpis oblíbených restaurací a jejich denních menu vyhledávání Kontextové menu lze stiskem symbolu pro více, což je v mobilních zařízeních s operačním systémem Windows Phone znázorněno třemi tečkami (...) na pravém konci menu, rozšířit o další položky. V tomto případě zde lze nalézt tlačítko pro přechod na obrazovku, kde má uživatel možnost přidat novou restauraci (viz kapitola 7.7). Dále je zde tlačítko, pomocí kterého lze zobrazit informace o aplikaci. Praktická mobilní aplikace by měla být co nejjednodušším nástrojem, pomocí kterého uživatel rychle docílí požadovaného efektu. K tomuto účelu mohou pomoci tzv. gesta, což je určitá specifická akce, kterou uživatel se svým přístrojem provede a ten na ni nějakým způsobem reaguje. Touto akcí může být například otočení přístroje z vertikální do horizontální polohy. Právě na tuto akci aplikace reaguje v případě, že se uživatel nachází na výpisu denních menu. Detekuje-li tuto akci, přejde na obrazovku, která zobrazí právě vypsané restaurace na mapě (viz kapitola 7.4). Otočí-li uživatel přístroj zpět do vertikální polohy, přejde aplikace zpět na výpis. O zobrazování výpisu denních menu se stará třída DailyMenu, avšak data jsou zpracovávána ve třídě DailyMenuViewModel. 7.3 Výpis restaurací Výpis restaurací je v podstatě analogie výpisu denních menu, který je popsán v kapitole 7.2. Zásadním rozdílem však je, že výpis neobsahuje denní menu, takže se nemusí zpracovávat tolik dat a tudíž je výpis rychlejší. Díky tomu lze vypisovat více restaurací najednou bez újmy na rychlosti odezvy aplikace. Aplikace tedy restaurace vypisuje po padesáti. Ostatní funkcionalita je stejná, jako u výpisu denních menu, včetně kontextového menu a přechodu na mapu. Místo tlačítka pro přechod na výpis restaurací je však samozřejmě tlačítko pro přechod na výpis denních menu. Stejně tak stiskem tlačítka pro výpis oblíbených restaurací se tyto vypíšou bez denního menu. Výpis restaurací je implementován ve třídě Restaurants a data jsou zpracovávána ve třídě RestaurantsViewModel. 30

36 7. FUNKCIONALITA APLIKACE 7.4 Zobrazení restaurací na mapě Aby mohl uživatel snadněji restaurace nalézt, má možnost zobrazit si jejich polohu na mapě. Na tuto obrazovku se může dostat dvěma způsoby: 1. z hlavního menu, kde lze nalézt tlačítko s názvem Mapa 2. z výpisu restaurací či denních menu otočením zařízení do horizontální polohy Jak již bylo řečeno, pro platformu Windows Phone jsou nativní Bing mapy, a proto je pouˇzívám i zde. Na těchto mapách lze zobrazovat body na zadaných souřadnicích pomocí třídy Pushpin. Problém je však v tom, že pokud chceme zobrazit více bodů (cca 30 a více), překreslování mapy při jejím posunutí nebo změně přiblížení se značně zpomalí a práce s mapou se z uživatelského hlediska stane velmi nepříjemnou. Pokud má tedy mapa zobrazovat více restaurací, musel jsem implementovat jejich shlukování. K tomuto účelu jsem poupravil řešení podobného problému od Colina Eberhardta [3]. Na mapě se tedy mohou vyskytnout dva typy ukazatelů. Pro oba jsem upravil styl tak, aby vypadaly jako ukazatele restaurací na mapách ve webové aplikaci Lunchtime.cz. První typ ukazatele znázorňuje, že se v dané oblasti nachází více restaurací, které na mapě tento ukazatel reprezentuje. Uprostřed ukazatele se nachází číselný údaj, který říká, o kolik restaurací se jedná. Při stisku ukazatele se pak v pravé části obrazovky zobrazí jejich výpis a ukazatel se zvýrazní. Stiskem tlačítka některé z vypsaných restaurací se zobrazí její detail (viz kapitola 7.5). Druhý typ ukazatele znázorňuje, že na daném místě je pouze jedna restaurace. Kliknutím na tento ukazatel se zobrazí popisek dané restaurace s názvem, logem a vzdáleností od aktuální pozice uživatele. Stiskem tohoto popisku se uživatel opět dostane na obrazovku s detailem dané restaurace. Třída, která se stará o zobrazování mapy, se nazývá RestaurantsMap. Pro shlukování restaurací slouží třída PushpinClusterer, kde se pro každý ukazatel, který představuje více restaurací vytvoří kontejner, reprezentovaný třídou PushpinContainer. 7.5 Detail podniku Potřebuje-li uživatel o daném podniku zjistit více informací, poslouží mu k tomu právě tato část aplikace. Aby bylo docíleno co největší přehlednosti, 31

37 7. FUNKCIONALITA APLIKACE jde o soubor hned několika obrazovek. První obrazovkou (nazývejme ji hlavní), na kterou se uživatel dostane, je souhrnný přehled, který obsahuje ty nejpodstatnější informace o podniku. Jde o jeho název, typ (restaurace, bar atd.) a náhled mapy s označenou polohou podniku. Dále zde lze nalézt dvě tlačítka. První se nachází hned pod mapou a je na něm uvedena adresa podniku. Pokud uˇzivatel na toto tlačítko klikne, aplikace se dotáže uživatele, zda chce na tuto adresu navigovat. V případě kladné odpovědi se spustí nativní aplikace pro navigaci a zanesou se do ní údaje o uživatelově aktuální pozici a adrese podniku. Na druhém tlačítku je vypsáno telefonní číslo podniku. Po stisknutí tohoto tlačítka se aplikace opět uživatele dotáže, zda chce volat na toto číslo a případně hovor uskuteční. Dále se na hlavní obrazovce nachází náhled fotografií daného podniku (pokud nějaké má). Stisknutím některé z fotek se uživatel dostane na obrazovku s plnohodnotnou fotogalerii. Tato fotogalerie je implementována ve třídě PhotoGallery. Ve spodní části hlavní obrazovky je kontextové menu, které obsahuje tlačítka pro přechod k dalším obrazovkám. Stiskem prvního tlačítka se uživatel dostane na obrazovku, kde se mu vypíše denní menu daného podniku. Tato obrazovka je implementována ve třídě RestaurantDailyMenu. Druhé tlačítko je pro přechod na obrazovku s kontaktními údaji. Lze zde nalézt adresu podniku a všechny kontakty na něj. Kontakt může být telefonní číslo, odkaz na internetové stránky či . Kliknutím na jakýkoliv kontakt se provede odpovídající akce (např. kliknutím na se spustí ový klient). Implementaci této obrazovky lze nalézt ve třídě Contacts. Třetí tlačítko slouží pro přechod na obrazovku s dalšími informacemi o daném podniku, jako je například jeho popis, otevírací doba a další doplňující informace. Třída, která se stará o výpis této obrazovky se nazývá AboutRestaurant. Posledním tlačítkem v kontextovém menu hlavní stránky je tlačítko pro přidání či odebrání daného podniku k nebo ze seznamu oblíbených podniků. Pokud podnik patří mezi oblíbené, zobrazí se v pravém horním rohu symbol srdce. Implementace hlavní obrazovky detailu podniku je realizována ve třídě RestaurantDetail. 32

38 7. FUNKCIONALITA APLIKACE 7.6 Vyhledávání Vyhledávání podniků je také velmi důležitou funkcionalitou. Uživatel má na výběr ze dvou možností vyhledávání Jednoduché vyhledávání První možností, jak může uživatel vyhledávat podniky, je na základě jejich jména. Obrazovka obsahuje jedno textové pole, kam může uživatel jednoduše začít psát název restaurace. Aplikace vždy reaguje na každý zadaný znak tak, že odešle obsah textového pole na server, který vrátí ty podniky, jejichž název začíná na zadanou posloupnost znaků. Tyto podniky pak vypíše pod textovým polem. Uživatel si pak může vybrat kteroukoliv restauraci z tohoto výpisu a kliknutím zobrazit její detail. Má tedy k dispozici tzv. našeptávač. Jednoduché vyhledávání je implementováno ve třídě SimpleSearch Pokročilé vyhledávání Druhou možností vyhledávání je tzv. pokročilé, kde může uživatel zadat více parametrů vyhledávání. Prvním z těchto parametrů, které má uživatel možnost zadat je lokalita, ve které se má vyhledávat. Může zadat konkrétní město nebo zadat lokalitu přímo na mapě. Dále lze vyhledávat dle typu podniku. Uživatel tedy může zadat, zda má zájem o restauraci, čajovnu nebo jiný typ zařízení. Lze také zadat, jaké vlastnosti by měl podnik mít. Uživatel by například mohl požadovat, aby se mu vypsaly pouze podniky se zahrádkou či ty, kde se nekouří. Uživatel si navíc může vybrat, zda se má výsledek vyhledávání zobrazit jako výpis podniků i s jejich denní nabídkou (kapitola 7.2) nebo pouze podniků samotných (kapitola 7.3). Hlavní obrazovka pokročilého vyhledávání je implementována ve třídě AdvancedSearch. Výběr jednotlivých parametrů vyhledávání má však vždy také svoji obrazovku. Těmto obrazovkám odpovídají následující třídy: SelectLocality, SelectType a SelectProperties. 33

39 7. FUNKCIONALITA APLIKACE 7.7 Přidání nové restaurace Tato část aplikace je důležitá hlavně z pohledu společnosti Lunchtime.cz. Díky této funkcionalitě totiž mohou v jejich databázi přibývat další podniky. Jde o formulář, do kterého lze zadat údaje o podniku, který v databázi Lunchtime.cz ještě není. To může udělat jak uživatel, který by si rád ve své aplikaci prohlížel profil dané restauraci, tak majitel podniku, který by rád využíval služeb společnosti Lunchtime.cz. Po odeslání formuláře se vygeneruje , který se zašle obchodnímu oddělení společnosti Lunchtime.cz, které žádost následně zpracuje. Tato funkcionalita je implementována ve třídě AddRestaurant. 34

40 8 Implementace rozšířené reality V této kapitole detailně popíši, jakým způsobem je v aplikaci implementována rozšířená realita. Tato funkcionalita aplikace má být schopna uživateli nabídnout obraz, který zachytí kamera jeho mobilního zařízení, doplněný o popisky restaurací, které se v okolí aktuální pozice uživatele nachází. Popisek každé restaurace bude obsahovat její název, logo a její vzdálenost v metrech od místa, kde se uživatel právě nachází. Po kliknutí na tento popisek se v dolní části obrazovky zobrazí výpis denního menu, které restaurace daný den nabízí. Na začátku tohoto výpisu bude opět název restaurace, aby bylo patrné, že se jedná právě o její denní menu. Kliknutím na tento název se uživatel dostane na obrazovku s detailem dané restaurace. Celá tato funkcionalita je implementována ve třídě AugmentedReality. 8.1 Načítání restaurací Jak již bylo řečeno, pro načítání restaurací a informací o nich využívám API od společnosti Lunchtime.cz. Data jsou poskytována ve formátu XML. V aplikacích pro mobilní telefony se typicky pro stahování dat z internetu používají asynchronní metody. Požadavky na internetové spojení jsou totiž zpravidla nejvíce časově náročné, a pokud by se realizovaly ve stejném vláknu, jako v tom, které se stará o vykreslovaní grafického prostředí, aplikace by často zamrzala. V platformě Silverlight se požadavky na internetové spojení realizují prostřednictvím třídy WebClient, která obsahuje metody pro asynchronní zpracování. Dále tato třída obsahuje tzv. události, které nastanou, je-li spojení dokončeno. Těmto událostem lze přiřadit metodu, která se provede, pokud daná událost nastane. [8] Jelikoˇz XML je textový soubor, pouˇzívám v aplikaci nejčastěji metodu DownloadStringAsync, která slouží právě pro asynchronní načtení textu. Je-li text načten, vyvolá se událost DownloadStringCompleted. Aplikace vˇzdy pošle poˇzadavek na výpis restaurací v okolí, který obsahuje souřadnice aktuální pozice uživatele. Tyto souřadnice získá pomocí modulu GPS prostřednictvím třídy GeoCoordinateWatcher. Jelikož se však jedná o aplikaci pro mobilní telefon, předpokládá se, že se bude uživatel při používání aplikace pohybovat. Tento fakt je třeba zohlednit také při načítání restaurací. Proto aplikace sleduje o kolik metrů se uživatel pohnul 35

41 8. IMPLEMENTACE ROZŠÍŘENÉ REALITY od místa, kde se nacházel v okamžiku posledního načítání restaurací. Pokud je tato vzdálenost více jak 10 metrů, pošle nový požadavek a seznam restaurací v okolí se aktualizuje. 8.2 Viditelnost restaurací Ve směru, kterým se zrovna díváme, může být v daném okruhu více restaurací. Z daného místa na ně však nemusí být přímá viditelnost, protože mohou být zastíněny nějakou jinou budovou. Tyto restaurace sice aplikace může vykreslit, ale mohly by nás zbytečně mást. Nevěděli bychom totiž, zda je ona restaurace v budově, na kterou se zrovna díváme či až za ní. Tato skutečnost by se sice dala odhadnout z naši vzdálenosti od restaurace, kterou aplikace vypisuje, ale každé lidské oko tak dobrý odhad nemá. Navíc chceme mít ihned jasnou představu, kde restauraci hledat. Dalším důvodem, proč se zabývat touto otázkou je, že může nastat případ, kdy bude mnoho restaurací za sebou a obrazovka mobilního telefonu se stane velmi nepřehlednou, protoˇze bude vykreslovat velký počet popisků, které se budou navzájem překrývat. Chtěli bychom tedy, aby aplikace dokázala tento problém řešit. Chceme, aby se restaurace, které jsou v přímé viditelnosti zobrazovaly s klasickým popiskem a ty, které se sice nachází v dané vzdálenosti, ale jsou za nějakou budovou, se zobrazovaly s průhledným popiskem. Tím se vyřeší všechny výše diskutované problémy, aniž bychom přišli o informaci, že se za budovou skrývají další restaurace Detekce budov K tomu, abych mohl implementovat výše definovanou funkcionalitu, je nezbytně nutné určit pozici budov v nejbližším okolí - tedy ty, na které má uživatel přímou viditelnost. Jelikož mobilní zařízení nedisponují takovými senzory, které by byly schopny detekovat předměty v jejich okolí a určovat jejich vzdálenost, musel jsem využít mapových podkladů. Bing mapy jsou bohužel pro tento účel nevhodné, jelikož v klasickém zobrazení se budovy vykreslují pouze v některých lokalitách, a pokud bych je chtěl detekovat na základě mapy z leteckého pohledu, přesahovalo by to rámec této práce. Z tohoto důvodu jsem musel použít mapy od společnosti Google, kde jsou všechny budovy zakresleny. Pro mobilní platformu Windows Phone však bohužel prozatím neexistuje žádné API, díky kterému by se dalo s těmito mapami rozumně pracovat. Musel jsem tedy využít API pro statické mapy, díky němuž lze vygenerovat libovolnou mapu ve formátu 36

42 8. IMPLEMENTACE ROZŠÍŘENÉ REALITY bitmapového obrázku. V těchto mapách jsou všechny budovy vykresleny specifickou barvou, kterou není vykreslena žádná jiná komponenta mapy. Lze je tedy poměrně snadno detekovat analýzou barvy jednotlivých pixelů. Podrobněji je tato problematika popsána v kapitole Obrázek 8.1: Ukázka mapových podkladů. Vlevo je výřez z mapových podkladů Bing, kde nejsou zakresleny žádné budovy. Vpravo lze vidět ten stejný výřez z mapových podkladů společnosti Google, kde již budovy zakresleny jsou. Z obrázku je patrné, že budovy jsou vykresleny specifickou barvou Inicializace mapy Problém řešení pomocí statické mapy je v tom, že v takové mapě nelze určovat body dle zeměpisných souřadnic, jelikož se jedná o obrázek. Lze se však řídit dle jednotlivých pixelů, které jsou uspořádány v klasickém kartézském souřadném systému. Je tedy nutné definovat vztah mezi těmito dvěma systémy. Pro výpočet viditelné oblasti je potřebný čtvercový výřez mapy v jehož středu je aktuální poloha uživatele a horizontální vzdálenost od středu ke kraji výřezu mapy je rovna vzdálenosti, po kterou aplikace vypisuje restaurace (100m). Při zaslání požadavku na statickou mapu lze zadat požadovanou velikost mapy v pixelech, pozici a přiblížení. Tyto parametry však nestačí k definici výše popsaného výřezu, jelikož nevíme, kolik pixelů je potřeba na danou vzdálenost vykreslit. K tomu je nutné znát poměr mezi pixely mapy a vzdáleností na mapě. Aby byl algoritmus využitelný na jakémkoli místě na světě, je nutné k definici tohoto poměru brát v úvahu fakt, že v různé zeměpisné šířce, 37

43 8. IMPLEMENTACE ROZŠÍŘENÉ REALITY je vzdálenost mezi stupni zeměpisné délky různá. Počet metrů na jeden stupeň zeměpisné délky lze spočítat pomocí následujícího vzorce, kde rlat vyjadřuje zeměpisnou šířku v radiánech: [31] l lng = cos(rlat) 93.5 cos(3 rlat) (8.1) Dále je nutné vědět, kolik stupňů zeměpisné délky připadá na jeden pixel mapy. Toto číslo zůstává při stejném přiblížení mapy konstantní v jakékoliv zeměpisné šířce. Tento fakt jsem ověřil pomocí přiložené aplikace, která zobrazí potřebný výřez mapy pro zadanou pozici, počet pixelů této mapy, počet stupňů zeměpisné délky na pixel a další údaje potřebné pro jeho výpočet. Počet stupňů zeměpisné délky na jeden pixel mapy s přiblížením 17, které pro výpočet používám, tedy odpovídá následující hodnotě: p lng = (8.2) Na základě těchto hodnot lze vyjádřit počet pixelů na danou vzdálenost d, po kterou aplikace vypisuje restaurace: p d = d l lng p lng (8.3) Nyní je již snadné odvodit potřebnou velikost mapy. Jelikož potřebujeme zobrazit mapu, která bude zobrazovat území ve všech směrech v dané vzdálenosti d, stačí hodnotu p d vynásobit dvěma. Velikost mapy je však v pixelech a musí tedy jít o celočíselnou hodnotu. Zaokrouhlíme tedy tuto hodnotu dolů, pomocí funkce F LOOR. Následně přičteme jedničku, díky čemuž bude výsledek liché hodnoty, což je nutný předpoklad k tomu, aby byla vzdálenost od pixelu ve středu mapy k jejímu okraji stejná na obě strany ve vertikálním i horizontálním směru. M = F LOOR(2 p d ) + 1 (8.4) Pro následný přepočet pozice pixelu mapy zpět na zeměpisné souřadnice je potřebné znát ještě počet stupňů zeměpisné šířky na jeden pixel. Tuto hodnotu jsem zjistil tak, že jsem pomocí metody GetDistanceTo zjistil vzdálenost l tmp mezi aktuální pozicí a místem, které se nachází na stejné zeměpisné délce, ale zeměpisnou šířku má o 0.01 stupňů větší. Víme-li tedy, že l tmp odpovídá 0.01 stupňům zeměpisné délky, lze také zjistit, kolik stupňů zeměpisné délky odpovídá vzdálenosti d. Jelikož již víme kolik pixelů na mapě odpovídá d, můžeme vyjádřit i počet stupňů zeměpisné šířky na jeden pixel p lat : 38

44 8. IMPLEMENTACE ROZŠÍŘENÉ REALITY p lat = d 0.01 l tmp p d (8.5) Definice oblasti viditelných bodů Nyní tedy víme, jak detekovat okolní budovy a máme vygenerovánu odpovídající mapu. Dále je nutné definovat oblast, ve které se mohou vyskytovat restaurace, které vidíme. Do této oblasti bude spadat jak prostor před okolními budovami, které jsou v naši přímé viditelnosti, tak tyto budovy samotné. Budovy musí být zahrnuty, jelikož souřadnice jejich adres ve většině případů ukazují na nějaký bod uvnitř budovy. Oblast je definována pomocí polygonu, jehož vrcholy tvoří hraniční body této oblasti. K určení těchto bodů je nutné procházet a analyzovat pixely mapy postupně od jejího středu (pozice uživatele) k jejímu okraji. Tento postup se aplikuje ve všech směrech. Jak již bylo naznačeno výše, budovy detekujeme podle specifické barvy, kterou jsou v mapě zaznačeny. Provádíme tedy analýzu barvy jednotlivých pixelů. Barvu pixelu lze zjistit pomocí metody GetPixel(x, y), která je implementována ve třídě WriteableBitmap. Tato metoda vrátí barvu pixelu obrázku na daných souřadnicích (x, y). Tu pak stačí porovnat s barvou budov. Souřadnice procházeného pixelu zjistíme pomocí trigonometrických funkcí ze vzdálenosti j od středu mapy (center) a úhlu α právě procházeného směru vzhledem k ose x: center = M x = center + cos(α) j (8.6) y = center + sin(α) j (8.7) Barva, kterou jsou vyznačeny budovy, se však bohužel v mapách vyskytuje také v některých barevných přechodech, které bychom mohli chybně označit za budovy. Z tohoto důvodu je nutné v případě shody barev při analýze pixelu zkontrolovat také pixel následující. Pokud je i ten vykreslen stejnou barvou, je velmi velká pravděpodobnost, že se skutečně jedná o budovu, jelikož v barevných přechodech mapy se pixel stejné barvy vyskytuje pouze ve velmi ojedinělých případech. Tímto opatřením eliminujeme riziko chyby na minimum. Nalezneme-li tedy při analýze na budovu, pokračujeme dále v analýze 39

45 8. IMPLEMENTACE ROZŠÍŘENÉ REALITY Obrázek 8.2: Naznačení způsobu výpočtu právě procházeného pixelu pomocí trigonometrických funkcí. v daném směru, dokud nenarazíme na konec budovy nebo na konec mapy. Tento bod pak přidáme do polygonu. Na obrázku 8.3 lze vidět příklad vykresleného polygonu pomocí uvedeného algoritmu. Zelený bod znázorňuje pozici uživatele. Na obrázku jsou znázorněny pouze významné body polygonu. Ve skutečnosti jejich počet bude odpovídat počtu směrů, kterými bude algoritmus prohledávat obrázek. Obrázek 8.3: Polygon, vykreslený pomocí použitého algoritmu. Jelikož chceme následně rozpoznávat, které restaurace leží uvnitř polygonu a známe zeměpisné souřadnice jednotlivých restaurací, je nutné, aby i 40

46 8. IMPLEMENTACE ROZŠÍŘENÉ REALITY polygon byl definován pomocí zeměpisných souřadnic. Chceme-li proto do polygonu přidat bod, který jsme zjistili výše popsanou analýzou, musíme souřadnice tohoto bodu převést z kartézského souřadného systému obrázku zpět do zeměpisných souřadnic. To provedeme jednoduše tak, že k zeměpisné délce aktuální polohy uživatele přičteme hodnotu souřadnice x vzhledem ke středu obrázku vynásobenou konstantou l lng. Obdobným způsobem vypočteme zeměpisnou šířku bodu. V níže uvedeném vzorci u lat resp. u lng vyjadřuje zeměpisnou šířku resp. výšku pozice uživatele. lat = u lat + cos(α) l lat (8.8) lng = u lng + sin(α) l lng (8.9) V použitém algoritmu jsou dva cykly. První určuje úhel vzhledem k ose x, ve kterém se bude procházet. Každou iterací tohoto cyklu se úhel zvýší o pět stupňů. Druhý cyklus, který je vnořen do prvního určuje vzdálenost od středu mapy, která se v každé iteraci zvětšuje o dva metry přepočítané na pixely. Vzhledem k tomu, že se musí v každém úhlu projít určitý počet pixelů, má algoritmus kvadratickou složitost. Ve skutečnosti však bude mít první cyklus 72 průchodů (360 / 5) a vnořený cyklus pouze maximálně d/2 průchodů. Celý algoritmus je implementován v metodě CreatePolygon Rozlišení restaurací Nejvíce problematickou část máme již za sebou a nyní stačí pouze zkontrolovat, které restaurace leží uvnitř výše definovaného polygonu a které vně. K tomuto účelu jsem použil algoritmus pro vyhledávání v polygonu (Polygon search), který uvádí společnost Microsoft na svých internetových stránkách pro vývojáře MSDN (Microsoft Developer Network) [32]. Algoritmus kontroluje, kolik hran polygonu protíná přímku, která prochází v horizontálním směru analyzovaným bodem. Tento bod přímku dělí na levou a pravou polopřímku. Pokud na obou polopřímkách leží lichý počet průsečíku s polygonem, pak se analyzovaný bod nachází uvnitř polygonu. Princip algoritmu je znázorněn na obrázku 8.4. Le-ží bod vně polygonu, znamená to, že restaurace byla rozpoznána jako neviditelná. V takovém případě se popisek, který ji reprezentuje, nastaví jako průhledný. Detekce neviditelných restaurací se provádí vždy po jejich načtení. 41

47 8. IMPLEMENTACE ROZŠÍŘENÉ REALITY Obrázek 8.4: Princip algoritmu Polygon search. V levé části obrázku je znázorněn bod, který leží uvnitř polygonu - počet průsečíků vpravo i vlevo od bodu je lichý. Na pravé straně obrázku je ukázka bodu, který leží vně polygonu (po obou stranách sudý počet průsečíků). Zdroj: [32] Nevýhody popsaného řešení Nevýhodou popsaného řešení by se mohla zdát jeho těžkopádnost a teoretická neefektivita, jelikož se stahuje statický obrázek a analyzují se jeho pixely. Na obou testovacích zařízeních však popsaný algoritmus pracuje velice rychle a nezpůsobuje žádné zpomalení aplikace. Druhý problém, který v řešení vidím je ten, že algoritmus zahrnuje do polygonu celé budovy. Můˇze se tedy stát, že bude sice podnik v budově, kterou uživatel vidí, avšak bude mít vchod z její druhé strany. V takovém případě ho aplikace označí jako viditelný, avšak ve skutečnosti ho uživatel neuvidí. Teoreticky by šlo problém odstranit tak, že bychom do polygonu nezahrnuli budovu celou, ale např. pouze její polovinu. Toto řešení však není vhodné hned ze dvou důvodů: 1. Nevíme, kam přesně v budově souřadnice podniku ukazují a nelze tak přesně určit, jak velkou část budovy do polygonu můžeme zahrnout. 2. Omezíme-li vzdálenost, po kterou budovu do polygonu zahrnujeme a uživatel bude stát blízko této budovy, může nastat situace, že algoritmus do polygonu nezahrne bod i v případě, že nebude ukazovat příliš do nitra budovy, ale bude ležet na jejím okraji (viz obrázek 8.5). 42

48 8. IMPLEMENTACE ROZŠÍŘENÉ REALITY Obrázek 8.5: Znázornění špatně rozpoznané viditelnosti podniku v případě modifikovaného algoritmu pro výpočet polygonu. Algoritmus do polygonu zahrne pouze polovinu budovy, na kterou narazil (červeně vykresleno). Zelený bod znázorňuje pozici uživatele, černý pak podnik, který byl označen jako neviditelný (nespadá do polygonu), avšak ve skutečnosti jej uživatel vidí. 8.3 Definice popisků restaurací Máme-li k dispozici veškeré potřebné informace o restauracích, můžeme definovat, jednotlivé popisky Převod souřadnic na vektor Poloha každé restaurace je definována pomocí zeměpisného souřadného systému, který je pro práci v grafice nevhodný. Jedním z důvodů je např. fakt, že v tomto souřadném systému není poměr mezi osou x (zeměpisná délka - anglicky longitude) a osou y (zeměpisná šířka - anglicky latitude) stejný. Je tedy potřeba tento systém transformovat do klasického kartézského souřadného systému. Při transformaci budeme uvažovat za počátek nového souřadného systému aktuální polohu uživatele. Tomuto bodu tedy přiřadíme souřadnice [0, 0]. K výpočtu nových souřadnic polohy restaurace poslouží opět metoda GetDistanceTo, která vrátí vzdálenost v metrech z jednoho bodu do druhého (oba body jsou definovány pomocí zeměpisných souřadnic). Pro výpočet složky x v novém souřadném systému tedy stačí zjistit 43

49 8. IMPLEMENTACE ROZŠÍŘENÉ REALITY vzdálenost od aktuální polohy uživatele do bodu, jehož zeměpisná délka bude odpovídat zeměpisné délce právě transformovaného bodu a zeměpisná šířka bude stejná jako u uživatelovy polohy. Obdobným způsobem se vypočítá složka y. Celý výpočet je naznačen níže, kde lng je zeměpisná délka a lat zeměpisná šířka. uzivatel = [u lng, u lat ] restaurace = [r lng, r lat ] x = uzivatel.getdistancet o(r lng, u lat ) (8.10) y = uzivatel.getdistancet o(u lng, r lat ) (8.11) Celý výše definovaný proces převádění souřadnic je implementován v metodě RestaurantPositionToVector. Tato metoda vrací vektor se třemi složkami, jelikož dále budeme pracovat s body v prostoru. Třetí složka je nulová Tvorba popisků Popisek každé restaurace je v implementované aplikaci reprezentován třídou RestaurantLabel. Jde o třídu, která uchovává veškeré potřebné informace pro vykreslení daného popisku: Instanci třídy ContentControl - používá se pro zobrazení popisku. Nastaví se jí grafický styl, který je definován v XAML souboru. Vektor polohy restaurace - viz kapitola Vzdálenost restaurace od uˇzivatelovy aktuální polohy. Instanci třídy Restaurant, která reprezentuje restauraci a uchovává o ní veškerá data. Obrázek ukazatele na místo, kde se restaurace nachází - viz kapitola Informaci o tom, zda je restaurace viditelná či nikoliv - viz kapitola 8.2. Inicializace třídy je implementována v metodě AddLabel. Seznam instancí této třídy si aplikace drží po celou dobu běhu a aktualizuje se pouze při novém načítání restaurací. 44

50 8. IMPLEMENTACE ROZŠÍŘENÉ REALITY 8.4 Vykreslení popisků Nyní máme připravená veškerá data pro výpis popisků. Je však potřeba zajistit, aby každý popisek skutečně stále ukazoval na danou restauraci i za předpokladu, že se kamera mobilního zařízení bude pohybovat Definice matic Jak bylo řečeno v kapitole 4.3, pro vykreslování grafických objektů je nutné znát tři matice. Matice pohledu a projekční matice budou pro všechny popisky stejné, jelikož na všechny chceme pohlížet jednou kamerou. Proto tyto matice budou uloženy v paměti po celou dobu běhu aplikace. Transformační matice se definuje pro každý popisek zvlášt při každém jeho překreslení, a proto ji uvedu později. Pro definici těchto matic lze využít metody, které jsou implementovány v rámci frameworku XNA. Nejdříve je však nutné definovat velikost okna, ve kterém chceme objekty vykreslovat. K tomu slouží třída Viewport, při jejíž inicializaci se zadají rozměry tohoto okna. Matice pohledu lze definovat pomocí metody CreateLookAt. Této metodě se zadají jako parametry vektory, které určují její polohu a směr pohledu. XNA obsahuje metody pro definici matice perspektivního i rovnoběžného promítání. Jak však již bylo řečeno, pro účely aplikace je vhodnější perspektivní promítání, jelikož se tak docílí realistického vzhledu. Pro definici takové matice slouží metoda CreatePerspectiveFieldOfView. Této metodě je nutné zadat několik parametrů. Prvním z nich je úhel v radiánech, který je kamera schopna zabrat. Druhým parametrem je poměr stran okna, ve kterém se mají objekty vykreslovat. Tento poměr lze zjistit z instance třídy Viewport. Následují dva parametry, které udávají vzdálenost základen kosoúhlého jehlanu (definovaného v kapitole 4.1) od kamery. Všechny výše uvedené úkony jsou provedeny v metodě InitViewport Překreslování popisků K překreslení popisků dojde vždy v okamžiku, když uživatel pohne svým mobilním zařízením. Je tedy nezbytně nutné tuto skutečnost detekovat a patřičným způsobem na ni reagovat. K tomuto účelu nám pomůže třída Sensor, kterou lze nalézt v balíčku Microsoft.Devices.Sensors. Jde o třídu, ve které je implementováno několik algoritmů pro detekci aktuálního natočení mobilního zařízení. K to- 45

51 8. IMPLEMENTACE ROZŠÍŘENÉ REALITY muto účelu využívá údajů z akcelerometru a kompasu. Dojde-li k jakékoliv změně polohy mobilního zařízení, tato třída vyvolá událost CurrentValueChanged, které lze přiřadit jakoukoliv metodu. V aplikaci to je metoda RerenderLabels, která se postará o překreslení popisků. V této metodě se z instance třídy Sensor získá aktuální poloha mobilního zařízení. Jelikož je v aplikaci rozšířená realita implementována pro horizontální natočení zařízení, je nutné tuto polohu ještě pomocí rotační matice otočit, aby výsledné zobrazení popisků bylo korektní. Dále se v této třídě pro každý popisek definuje transformační matice (World matrix). K tomuto účelu slouží metoda CreateWorld, které se zadá jako parametr vektor, který reprezentuje polohu restaurace (objektu). Dále pak vektory, které určují orientaci tohoto objektu. Nyní pomocí projekce zjistíme, kde na obrazovce se popisek vykreslí. K tomu slouží metoda Project, která je k dispozici ve třídě Viewport a vyˇzaduje jako parametry všechny tři definované matice. Výsledkem je vektor, který obsahuje souřadnice bodu v rovině displeje mobilního zařízení. Stačí pouze ověřit, zda je bod v rozmezí určeném rozměry okna pro vykreslování objektů a případně vykreslit popisek. Vykreslením popisku se rozumí nastavit ho jako viditelný a pomocí transformace ho posunout na odpovídající bod. Způsob zobrazení popisků Popisků může být na obrazovce hned několik, což může být dosti nepřehledné. Chceme je tedy nějak uspořádat. Prvním požadavkem je, aby v případě překrývání popisků byl na vrchu ten, který patří bližší restauraci. Proto jsou popisky v seznamu seřazené podle jejich vzdálenosti od uživatelovy polohy od nejbližšího po nejvzdálenější. Při postupném procházení seznamu a generování popisků se každému nastaví vlastnost ZIndexProperty, která udává preferenci při zobrazování. Čím vyšší číslo, tím výše se prvek zobrazí. Druhý požadavek se opět pojí s překrýváním popisků. Pokud se totiž budou popisky překrývat, bude možnost kliknout pouze na ten vrchní, což je neˇzádoucí. Řešením je tedy mírné posunutí překrytého popisku směrem nahoru, přičemž je nutné, aby popisek stále ukazoval na místo, kde restaurace leží. Proto popisek obsahuje obrázek pro tento ukazatel, který je v případě potřeby možno pomocí transformace zvětšovat. 46

52 8. IMPLEMENTACE ROZŠÍŘENÉ REALITY Aby bylo rozložení popisků v okně rovnoměrné, řeší se toto posouvání na každé polovině okna zvlášt. 8.5 Náhledová mapa Pro lepší orientaci uživatele je v aplikaci implementována náhledová mapa. Jde o mapu v kruhovém výřezu, v jejímž středu je aktuální poloha uživatele. Dále jsou v ní zaznačeny podniky, jejichž popisky má možnost vidět. Viditelné podniky jsou zde reprezentovány bodem sytě červené barvy. Ty, které nejsou v přímé viditelnosti, se vykreslují poloprůhledným bodem stejné barvy. Mapa využívá kompas k určení směru, kterým se uživatel zrovna dívá a na základě této informace se sama otáčí. 8.6 Výkonnostní testy Pro úspěšné nasazení aplikace je nutné vědět, jak moc aplikace zatěžuje systémové prostředky. U mobilních zařízení se totiž klade velký důraz na dlouhou výdrž baterie. Pokud by byla aplikace příliš náročná a způsobovala by rychlé vybíjení baterie, nebyla by příliš praktická. SDK 7.5, které jsem pro vývoj aplikace používal, však bohužel neobsahuje žádné nástroje, které by byly určené k tomuto účelu. Provedl jsem alespoň zátěžový test aplikace na testovacím zařízení. Test spočíval v tom, že jsem spustil aplikaci při plně nabité baterii testovacího zařízení a nechal ji běžet. Účelem bylo zjistit, za jak dlouho se baterie vybije. Baterie testovacího zařízení má kapacitu 1300 mah a vybila se za dvě hodiny, což vzhledem k tomu, že aplikace využívá kameru, geolokaci a akcelerometr, je celkem očekávaná hodnota. Pro srovnání při prohlížení videa baterie vydrží 3,5 hodiny a při telefonním hovoru 400 minut. 47

53 8. I MPLEMENTACE ROZ S I R EN E REALITY Obra zek 8.6: Uka zka implementovane rozs ı r ene reality. 48

54 9 Nasazení aplikace Po domluvě s původním majitelem a provozovatelem portálu Lunchtime.cz měla být aplikace nasazena pod stejným názvem, tedy Lunchtime.cz. Jak již bylo řečeno v kapitole 5, během vývoje aplikace byl projekt Lunchtime.cz prodán novému majiteli, který si aplikaci pro mobilní platformu Windows Phone objednal od externí profesionální firmy. Musel jsem tedy vydání aplikace pozdržet, jelikož nový majitel si z marketingových důvodů nepřeje mít dvě aplikace pro jednu platformu. Protože aplikace využívá data společnosti Lunchtime.cz, musel jsem toto rozhodnutí respektovat. Tím však osud této aplikace není zpečetěn, nebot o ni nový majitel projevil zájem, avšak s tou podmínkou, že do ní bude implementována další funkcionalita a bude vydána pod jiným jménem. V současné době čekám, až bude API rozšířeno o podporu požadované funkcionality. 49

55 10 Závěr Rozšířená realita zažila během posledních let velký rozmach. Existuje nemalé množství aplikací, které používají tuto technologii a které jsou dostupné každému, kdo vlastní chytrý telefon. Myslím si však, že potenciál rozšířené reality není ještě zcela využit. Předpokládám, že v blízké budoucnosti bude dostupna komukoliv a v kterýkoliv okamžik. Nemusí to být prostřednictvím mobilních telefonů, jelikož ten přeci jen musíme vytáhnout z kapsy a držet ho v ruce, zatímco se do něj díváme. Mám na mysli rozšířenou realitu, jež bude lidem zprostředkovávána pomocí brýlí, které nebudou rozeznatelné od těch dioptrických. Díky nim bude mít uˇzivatel k dispozici vˇzdy informace, které zrovna potřebuje. Zdá se, že tato budoucnost skutečně není nikterak vzdálená, protože podobné prototypy již existují. Své brýle vyvíjí firma Google [22], která však má již konkurenci ve firmě Vuzix [23]. Naskýtá se otázka, zda masivní využití takovýchto technologií nezpůsobí to, že se na ně začneme příliš spoléhat a nebudeme nuceni tolik přemýšlet, což by mohlo v krajních případech vést až k naši mírné degeneraci. Na druhou stranu však tyto technologie budou určitě velkým pokrokem a přínosem. Práce nabízí čtenáři základní přehled o rozšířené realitě, přičemž se zaměřuje hlavně na její využití v aplikacích pro mobilní telefony. Hlavním přínosem práce však je implementace rozšířené reality v aplikaci pro mobilní platformu Windows Phone, která využívá rozsáhlou databázi restaurací k jejich nalezení. Pevně věřím, že je aplikace praktická a bude po svém nasazení hojně využívaná. Během vývoje aplikace a psaní této práce mě rozšířená realita velmi nadchla a rád bych v budoucnu pokračoval ve vývoji podobných aplikací. 50

56 Literatura [1] AZUMA, Ronald T.. A Survey of Augmented Reality. Presence: Teleoperators and Virtual Environments. 1997, 4, 6, s [2] CAUDELL, Thomas. MIZELL, David. Augmented reality: an application of heads-up display technology to manual manufacturing processes. In System Sciences, Proceedings of the Twenty-Fifth Hawaii International Conference on, s , [3] EBERHARDT, Colin. Pushpin Clustering with the Windows Phone 7 Bing Map control [online] Dostupné z WWW: pushpin-clustering-with-the-windows-phone-7-bingmap-control/. [4] FEINER, Steven. MACINTYRE, Blair. SELIGMANN, Dorée. Knowledge-based augmented reality. Commun. ACM. July 1993, 36, 7, s ISSN doi: / Dostupné z WWW: [5] JOHNSON, Joel. The Master Key: L. Frank Baum envisions augmented reality glasses in 1901 [online] Dostupné z WWW: [6] ŽÁČKOVÁ, Eva. The World of an Expanded Reality Generated by Computers. FILOZOFIA [7] KRUEGER, Myron W. GIONFRIDDO, Thomas. HINRICHSEN, Katrin. VIDEOPLACE - an artificial realit. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, CHI 85, s , New York, NY, USA, Dostupné z WWW: http: //doi.acm.org/ / [8] LECRENSKI, Nick. WATSON, Karli. FONSECA-ENSOR., Robert. Beginning Windows Phone 7 application development: building Windows Phone applications using Silverlight and XNA. Indianapolis : Wiley, 1. vydání, ISBN [9] LENGYEL, Eric. Mathematics for 3D Game Programming and Computer Graphics. Boston : Cengage Learning, 3. vydání, ISBN

57 10. ZÁVĚR [10] MACLEOD, Ishbel. Heinz launches augmented-reality trial for ketchup with Blippar [online] Dostupné z WWW: [11] MADDEN, Lester. Professional augmented reality browsers for smartphones: programming for Junaio, Layar, and Wikitude. Chichester : Wiley, 1. vydání, ISBN [12] MCLELLAN, Hilary. Virtual Realities. In Handbook of Research on Educational Communications and Technology, s , [13] MILGRAM, P. et al. Augmented Reality: A Class of Displays on the Reality-Virtuality Continuum. s , [14] PETZOLD, Charles. Programming Windows Phone 7. Redmond : Microsoft Press, 1. vydání, ISBN [15] ŽÁRA, J. et al. Moderní počítačová grafika. Praha : Computer Press, 2. vydání, ISBN [16] RASKAR, R. et al. The office of the future: a unified approach to image-based modeling and spatially immersive displays. In Proceedings of the 25th annual conference on Computer graphics and interactive techniques, SIGGRAPH 98, s , New York, NY, USA, ACM. doi: / Dostupné z WWW: http: //doi.acm.org/ / ISBN [17] REGENBRECHT, H. et al. Using Augmented Virtuality for Remote Collaboration. Presence. 2004, 13, 3, s [18] ROSENBERG, Louis B.. The Use of Virtual Fixtures as Perceptual Overlays to Enhance Operator Performance in Remote Environments. Technical report, Stanford University, Center for Design Research, [19] STEUER, Jonathan. Defining Virtual Reality: Dimensions Determining Telepresence. Journal of Communication [20] SUNG, Dan. The history of augmented reality [online] Dostupné z WWW: the-history-of-augmented-reality. 52

58 10. ZÁVĚR [21] THOMAS, B. et al. ARQuake: an outdoor/indoor augmented reality first person application. In Wearable Computers, The Fourth International Symposium on, s , doi: /ISWC [22] VOKÁČ, Luděk. Google prozradil, jak fungují jeho brýle. V prodeji budou v roce 2014 [online] Dostupné z WWW: prodej-d76-/mob_tech.aspx?c=A120628_202110_ mob_tech_vok. [23] VOKÁČ, Luděk. Brýle Google Glass mají konkurenci. Vuzix M100 pohání upravený Android [online] Dostupné z WWW: mob_tech_vok. [24] WANG, Xiangyu. GONG, Yan. Augmented Virtuality Space: Enriching Virtual Design Environments with Reality. In Virtual Systems and Multimedia, Brisbane, Australia, [25] ZANDL, Patrick. Trend: obědové servery s poledním menu [online] Dostupné z WWW: trend-obedove-servery-s-polednim-menu/. [26] ZANDL, Patrick. Český Lunchtime kupují majitelé slovenské ZlavaDna.sk [online] Dostupné z WWW: http: //startup.lupa.cz/clanky/cesky-lunchtime-kupujimajitele-slovenske-zlavadna-sk-za-8-5-mil-kc/. [27] ZANDL, Patrick. Zlaté stránky nabízejí rozšířenou realitu [online] Dostupné z WWW: zlate-stranky-nabizeji-rozsirenou-realitu/. [28] ZHOU, Z. et al. Windows Phone 7 programming for Android and ios developers. Indianapolis : Wiley, 1. vydání, ISBN [29] ARToolkit: History [online]. Dostupné z WWW: washington.edu/artoolkit/documentation/history.htm. [30] Proč Lunchtime.cz? [online].. Dostupné z WWW: lunchtime.cz/. 53

59 10. ZÁVĚR [31] Calculating accurate length in meters for lat, long coordinate systems [online] Dostupné z WWW: com/articles/how_to/calculating-accurate-length-inmeters-for-lat-long-coordinate-systems. [32] Bounding Box, Radius, and Polygon Search [online]. Dostupné z WWW: cc aspx. [33] World, View and Projection Matrix Unveiled [online] Dostupné z WWW: 54

60 A Obrazová příloha Obrázek A.1: Ukázka základní funkcionality aplikace: (a) hlavní menu, (b) výpis denního menu, (b) výpis restaurací. Obrázek A.2: Obrazovky detailu podniku: (a) hlavní obrazovka, (b) kontaktní informace, (b) o podniku. 55

61 A. OBRAZOVÁ PŘÍLOHA Obrázek A.3: Obrazovky pro vyhledávání: (a) jednoduché vyhledávání, (b) pokročilé vyhledávání, (b) Výběr vlastností u pokročilého vyhledávání. Obrázek A.4: Ukázka práce s mapou: (a) zobrazení podniků, (b) stisknutý ukazatel na jeden podnik, (b) stisknutý ukazatel, který reprezentuje více podniků. 56