Zpracování distančních dat a nové přístupy v konstrukci povrchů

Transkript

1 Univerzita Pardubice Fakulta ekonomicko-správní Ústav systémového inženýrství a informatiky Zpracování distančních dat a nové přístupy v konstrukci povrchů Disertační práce Autor: Ing. Jan Hovad Školitel: doc. Ing. Jitka Komárková, Ph.D. Pardubice 2015

2 University of Pardubice Faculty of Economics and Administration Institute of system engineering and informatics Distance data processing and new approaches in the terrain construction Dissertation Author: Ing. Jan Hovad Supervisor: doc. Ing. Jitka Komárková, Ph.D. Pardubice 2015

3 Prohlašuji: Tuto práci jsem vypracoval samostatně. Veškeré literární prameny a informace, které jsem v práci využil, jsou uvedeny v seznamu použité literatury. Byl jsem seznámen s tím, že se na moji práci vztahují práva a povinnosti vyplývající ze zákona č. 121/2000 Sb., autorský zákon, zejména se skutečností, že Univerzita Pardubice má právo na uzavření licenční smlouvy o užití této práce jako školního díla podle 60 odst. 1 autorského zákona, a s tím, že pokud dojde k užití této práce mnou nebo bude poskytnuta licence o užití jinému subjektu, je Univerzita Pardubice oprávněna ode mne požadovat přiměřený příspěvek na úhradu nákladů, které na vytvoření díla vynaložila, a to podle okolností až do jejich skutečné výše. Souhlasím s prezenčním zpřístupněním své práce v Univerzitní knihovně Univerzity Pardubice. V Pardubicích dne Ing. Jan Hovad

4 Poděkování Rád bych poděkoval své školitelce Doc. Ing. Jitce Komárkové, PhD. za ochotu a vstřícný přístup při řešení této práce a během mého studia. Děkuji za odborné vedení a poskytnuté cenné rady. Dále bych rád poděkoval Mgr. Pavlu Sedlákovi, Ph. D. a prof. Ing. Janu Čapkovi, CSc. za cenné rady, připomínky a vedení během samotného studia. Poděkování patří i mé rodině za jejich podporu a zájem o dílčí výsledky, které vedly k vytvoření této práce.

5 Anotace Doktorská práce obsahuje návrh nového postupu pro komplexní zpracování surových dat technologie LIDAR. Navržený postup je implementován a na jeho výstupu je fotorealistický model povrchu určený k dalšímu využití v oblasti modelování a simulací. Tento nový přístup využívá všech oblastí informačních technologií včetně počítačové grafiky, datových struktur a programování, geografických informačních systémů, big data technologií, statistiky či pokročilé vizualizace. Model povrchu je adaptivní, procedurální, parametrický, fotorealistický s přesností odpovídající 8 bitové hloubce řídících rastrů. Využití modelu je možné např. v strojírenství, geografii, hydrometeorologii, dopravě a komunikacích a mnoha dalších. Annotation Dissertation presents a proposal of a new approach for the complex raw LIDAR data processing. Proposed approach is implemented and on its output is the photorealistic model of the surface, which is suitable for another utilization in the area of simulations and modelling. This new approach utilizes various parts of information technology, including computer graphics, data structures and computer programming, geographical information systems, big data technology, statistics and advanced visualisation. Surface model is adaptive, procedural, parametric, photorealistic with the precision corresponding to the 8 bit depth of the object leading rasters. Use of this model can be found, for example, in engineering, geography, hydrometeorology, transport and communications and many more sectors. Klíčová slova LIDAR, DSM, DTM, Modelling, Simulation, Visualisation, Algorithm Key words LIDAR, DSM, DTM, Modelování, Simulace, Vizualizace, Algoritmus

6 Obsah 1 Analýza současného stavu v oblasti tématu Technologie LIDAR Typy LIDAR zařízení Letecké skenování Mobilní mapování Statické záznamy Implementovatelné polygonové struktury Výpočty a modelování objektů na povrchu Distribuované systémy Paralelní a distribuované systémy Agregace dílčích oblastí do jednotného modelu Definice cílů disertační práce na základě analýzy současného stavu Hlavní cíl Dílčí cíle Redukce nerovnoměrné bodové struktury Nahrazení využívané trojúhelníkové polygonové sítě lépe vyhovující strukturou Adaptivní rozlišení terénu a snížené hardwarové nároky modelu Zapojení geostatistických metod pro hodnocení a korekce modelu Atributová dědičnost laserem zachycených objektů na polygonové modely Parametrický a procedurální přístup Implementace časově náročných výpočtů distribuovaným způsobem Selektivní úpravy algoritmů pomocí imperativních a funkcionálních přístupů Přehled dosažených vlastních výsledků Schéma navrhovaného řešení problematiky Vstupní data Vektorová data základní báze geografických dat Laserový záznam zájmové oblasti Družicové snímky NOAA/JSMSG Reprezentace laserových dat Použitý hardware a software Hardware Software... 27

7 3.4 Filtrace, čištění a chyby laserových záznamů Redukce dat pomocí hromadné interpolace v C Interpolace bodových mračen Hromadná implementace interpolačních algoritmů Tvorba adaptivních gridů závislých na sklonu terénu Geostatistika a korekce interpolovaných modelů Metoda rozdělení vstupního souboru interpolovaných gridů Moranova I statistika (globální) odchylek interpolovaného modelu Spearmanův pořadový test D skriptování interpolovaných adaptivních gridů Rekonstrukce digitálních modelů budov Polygonové parametrické a procedurální modelování Segmentace a klasifikace DTM Využití základních množinových operací pro dědění atributů Osazení modelu parametrickými objekty Dědičnost LIDAR atributů, distribuce pomocí hodnot uchovaných v rastrech Filtrování dat a návrh algoritmu pro rozpoznávání vegetace Transformace rastru Řízená distribuce objektů pomocí vytvořených rastrů Implementace stavu počasí v reálném čase z družic NOAA Paralelizace a distribuovaný přístup k dílčím úlohám Implementace distribuovaných výpočtů na bázi Google File Systému Paralelizace Distribuované systémy Tvorba náhodných statických či dynamických výstupů z vytvořeného 3D modelu. 73 Závěr Vysvětlení zkratek a pojmů Seznam obrázků Seznam použité literatury Uvedení vlastních publikací souvisejících s tématem Přílohy... 92

8 Úvod Light Detection and Ranging Technology (LIDAR) je technologie, která se v současné době stále častěji využívá k velmi přesnému mapování terénu a objektů na jeho povrchu. Zachycení zájmových oblastí probíhá pomocí pohybujících se objektů, ke kterým je snímací zařízení připevněno, např. automobilu a letadla, či pomocí statických skenerů. Výstupem celého procesu je tzv. mračno bodů, které je řádově tvořeno miliony body. Výhodou tohoto záznamu je jeho přehledná struktura, nevýhodou hardwarová náročnost na zpracování a vizualizaci dat. Tento problém je způsoben především velkým datovým objemem výstupu, který dosahuje velikosti v řádech gigabajtů či dokonce terabajtů. Tato problematika se tak promítá do všech současných vědeckých prací a znatelně limituje jejich využití. Zájmové oblasti jsou obvykle charakteristické velmi malou rozlohou a velkým počtem zobrazených bodů, které kladou velké nároky na paměť zařízení. Obdobným způsobem je ovlivněna i samotná 3D struktura terénu, který je obvykle reprezentován trojúhelníkovými polygony či pouze sítí vektorů. Výpočtově jednodušší triangulace však nevytváří dostatečně kompatibilní a selektivně tvarovatelný polygonový model terénu, který by byl široce využitelný i v jiných odvětvích (strojírenství, stavebnictví, simulace). Nadměrné množství bodů se tak stává v určitém pohledu přítěží a limituje praktické využití výstupů v konkrétních situacích. Samotné výstupy z bodových dat jsou díky těmto faktorům velmi omezené a často segmentované do tříd, které abstrahují, pro daný obor nepodstatné, objekty (model vegetace, model zástavby, model terénu). Cílem této práce je navržení optimálního řešení, které sjednotí dílčí oblasti zpracování laserových dat s ohledem na navržení nových postupů, které eliminují negativní faktory současně používaných řešení. Výstupem je vytvoření 3D polygonového, parametrického, procedurálního, atributově reálného a velmi rozlehlého modelu povrchu, založeného na laserovém mračnu, které pokrývá zájmovou oblast v ČR. V navrženém modelu lze kombinovat preciznost laserových hodnot s architektonickými návrhy, technickými výkresy, analýzami průhybů, vizualizacemi, simulacemi, přímým 3D tiskem a mnoha dalšími prvky. Celý návrh je orientovaný na prezentaci ve fotorealistické kvalitě. Model obsahuje transformovanou bodovou formu dat do adaptivní čtvercové, parametrické a procedurální polygonové formy. Postup navrhovaného řešení je proveden 1

9 s ohledem na abstrakci specifického softwaru a případnou možnost implementace v libovolném, žánrově blízkém, prostředí. Práce využívá nejmodernější technologie a přístupy z různých směrů IT, konkrétně, počítačové grafiky, geografických systémů, programování a datových struktur, vizualizace či matematických a statistických metod. 2

10 1 Analýza současného stavu v oblasti tématu Tato kapitola je rozdělena do tří částí. První část představuje technologii LIDAR, druhá část je zaměřena na analýzu historických prací v oblasti tématu a třetí část na aktuální výzkum, který byl pomocí technologie proveden v poslední časové dekádě. 1.1 Technologie LIDAR LIDAR je technologie, jejíž funkcionalita je založena na měření vzdálenosti objektů prostřednictvím elektromagnetického záření, které je na specifické vlnové délce odraženo od povrchu objektu. Využití omezuje celá řada faktorů jako je například formát uložení dat, vlastnosti samotného skeneru či monitorované prostředí. Zařízení se skládá z několika částí, první je samotný laser. Operuje na specifických vlnových délkách a to v oblasti od nm a nm. Oblast bližší vnímání lidského oka je pro laser také méně vhodná, výkon není z důvodu možného poškození zraku tak velký. Delší vlny jsou proto vhodnější pro záznam na delší vzdálenost, umožnují využití například v oblastech, kde nehraje velkou roli prostorové rozlišení. Odraz paprsku je zaznamenán detektorem. Detektor funguje na principu zpětného odrazu světla. Část intenzity paprsku je tak odražena ve směru, pod kterým paprsek dopadl na povrch objektu a je detekován. Jedná se o opak funkce zrcadla, kde je valná většina záření odražena pod stejným úhlem. Na základě částečného a v čase postupného rozptylu paprsku, například skrze koruny stromů, je možné tvořit i přesné výškové modely vegetace (Weitkamp 2005). Rozlišení výsledného obrazu je ovlivněno frekvencí rotujícího zrcadla, rychlostí letu letadla, schopností ukládat záznam a mnoha dalšími parametry. Technologie je specifická velkým množstvím dat k uložení, které musí být při skenování zpracováno v omezeném časovém intervalu. Nad celou strukturu je napojený polohový systém, který obsahuje Globální Navigační Satelitní Systém (GNSS) a základní měřící jednotku (IMU). Klasická GPS může být v některých případech nevhodná a to díky nedostatečné rychlosti aktualizace polohy. Například při mobilním mapování kde je nositelem LIDAR technologie automobil, dochází při pohybu rychlostí 40 km/h k aktualizaci každých 11 metrů. K laserovým datům může být pořízena i fotografie pokrývající zájmovou oblast. V případě sférických fotografií je zapojeno paralelně několik jednotek, které jsou namířeny 3

11 do všech stran tak, aby došlo k eliminaci nezachycených míst při průjezdu/průletu terénem. Například aktuální systém od firmy NAVTEQ je schopen zachytit 1.5 milionů bodů za sekundu, přičemž využívá 64 paralelně zapojených jednotek (Kingslake 1992). 1.2 Typy LIDAR zařízení Využití technologie lze rozdělit do 3 základních oblastí dle typu použití Letecké skenování Zařízení je připevněno k trupu letadla s detektorem namířeným směrem k zemi. Výstupem je bodové mračno zachycené v podobě linií, z kterých lze sestrojit digitální model terénu (DTM) či digitální model povrchu (DSM). Použít jej lze například v geologii při analýzách pobřežních oblastí a při vytváření velmi přesných elevačních modelů. Druhým typem je mobilní mapování Mobilní mapování Zařízení je připevněno k povrchu vozidla. Při průjezdu zájmovým územím je sféricky okolí zachyceno. Kvalitu tak ovlivňuje rychlost vozidla, použitý úhel, který ovlivňuje rozlišení výstupu či vyčítací rychlost. Vždy je nutné zvolit takové parametry, aby došlo k minimalizaci "hluchých" míst, které byly po určitou dobu neviditelné a je nutné je zachytit opakovaně při dalším snímacím intervalu. Třetím typem jsou statické záznamy Statické záznamy Mezi statické záznamy patří například izolované objekty nebo velké oblasti zájmu. Skenery jsou nejvíce používané v oblasti analýzy povrchů, při realistickém modelování předmětů (strojírenství) nebo v architektuře při vytváření detailních modelů domů. Mimo těchto zmíněných lze LIDAR využít například pro detekci vzdáleností automobilů (parkování, automatické řízení vozidel), analýzách solárních či větrných elektráren a při mnoha dalších příležitostech. 1.3 Implementovatelné polygonové struktury Technologie LIDAR poskytuje surová data v bodové podobě - pro využití v polygonovém 3D prostoru je zapotřebí zvolit vhodnou strukturu polygonu. Omasa a kol. 4

12 v roce 2008 publikovali studii s využitím LIDAR technologie při rekonstrukci příměstského parku a to včetně vegetace. Počet bodů a jejich struktura však neumožnila aplikování obdobného přístupu algoritmicky na mnohem rozlehlejší oblasti. Tento deficit byl již zlepšován mnoha autory. Např. Axelsson v roce 2000 implementoval adaptivní rozlišení polygonů na model terénu. Strukturou byl však manuálně složitě editovatelný trojúhelník (TIN). TIN představuje nejvíce využívanou formu v GIS, která reprezentuje výsledný povrch terénu. Obvykle je pro tvorbu využit algoritmus Delaunay Triangulation, který vyvinul Boris Delaunay ve 40. letech minulého století. Implementace tohoto algoritmu je v tomto případě nevhodná a to z důvodů zmíněných v kapitole Nahrazení využívané trojúhelníkové polygonové sítě lépe vyhovující strukturou. Popsané negativní jevy jsou viditelné při zkušební tvorbě TINu v zájmové oblasti (Obrázek 1). Na první pohled je patrná nepředvídatelnost v toku hran, nemožnost dělit povrch, velmi omezená možnost osazení terénu objekty na jeho povrchu a například využitelnost při dynamických simulacích. Tato demonstrativní implementace byla vytvořena dle adaptivního přístupu viz. (Axelsson 2000). Obrázek 1 - LIDAR bodové mračno reprezentované jako TIN (Zdroj: Autor) Při využití struktury TIN zvažoval autor práce obalení bodových mračen souvislou, předem nadefinovanou pravidelnou strukturou. Kladnými a zápornými vlivy tohoto přístupu byl autor seznámen například ve vědecké studii Mandlburgera a kol. (2009), kteří testovali přesnost polygonových struktur při modelování a následných simulacích nad DMP rakouských vodních toků. Změnou tvaru na pravidelné čtverce může být vyřešen 5

13 problém mezi lichým a sudým počtem hran a tedy i editovatelností včetně snížení hardwarových nároků. Poznatky z výstupů těchto autorů naznačují, že čtvercové struktury lze lépe implementovat například pro organickými objekty či objekty, které se hýbou či ohýbají (Obrázek 2). V tomto případě lze situaci demonstrovat na změně reliéfu terénu v čase, který by při simulacích vyvolával v trojúhelníkové podobě problémy při výpočtech dopadu fotonů elektromagnetického záření, světla. Například pro optimalizaci procesů demonstrovaných ve studiích Li a kol. v roce Dělitelnost čtverce se 4 hranami 4/2 při první iteraci, je roven 2, tedy sudé číslo beze zbytku. U trojúhelníku je výsledek 3/2 reálné číslo, které tvoří čtyřhran a trojhran - nevhodná struktura. Sudý počet hran tak řeší celou řadu problémů, stanovených v kapitole Nahrazení využívané trojúhelníkové polygonové sítě lépe vyhovující strukturou. Obrázek 2 - LIDAR bodové mračno reprezentované jako QRN (Zdroj: Autor) 1.4 Výpočty a modelování objektů na povrchu Modelování a simulace nad samotnou vegetací a dalšími objekty osazenými nadmodelem terénu (DMT), byly četným předmětem diskuzí a výzkumu v oblasti využití technologie LIDAR. Kromě prostorových metod (Naesset 2004), v kterých šlo především o extrakci dílčích objektů - například stromů, byly implementovány i techniky na detekci plošných parametrů. Například tvar koruny stromů, jejich výšku či samotný druh. Většina metod je založena na hledání objektů na základě odlišného lokální maxima (CHM). Napří- 6

14 klad Hyypa a kol. (2001) interpolují CHM speciální mřížkovou technikou a následně model vyhlazují Gaussovským filtrem. Prostorové objekty jsou většinou detekovány za pomocí watershed algoritmu (Pyysalo a Hyyppa, 2002) nebo algoritmem, který propočítává odlišnost sklonu v daném okolí prostorového rozlišení (Persson a kol., 2002). Mnoho autorů zkoumá i přesnost detekce objektů přičemž používají různé globální ukazatele. Například Solberg a kol. (2006) aplikují algoritmus s přesností detekce 66%. Peterson a kol. (2002) uvádějí přesnost detekce 71% a to pro skandinávské lesy, v kterých dominují borovice a smrky. Heurich (2006) však demonstruje tuto techniku s přesností 51% a to se zaměřením na obecně jehličnaté lesy. Segmentace je tak značně závislá na typu vegetace. Hlavní nevýhodou je v těchto případech využívání interpolovaných dat, které vstupní mračno vyhlazují a způsobují nepřesnosti v aplikaci samotných algoritmů pro detekci objektů. Aktuální výhody v oblasti přináší především technologický progres v oblasti množství dat zachytitelných samotným LIDAR zařízením. Možnost dekompozice vlnové délky společně s mnohem větší hustotou záznamu umožňuje dosáhnout velmi přesné detekce a to i v oblasti velmi malých detailů. Problémem však i nadále zůstává velká hardwarová náročnost a zpracování/uchování dat pro další využití. Konkrétní aplikaci nad dekompozicí vlnové délky zpracovat Wagner a kol. (2006). Výzkum byl zaměřen na klasifikaci vegetace. Odraz paprsku a dekompozici zkoumal i Kirchhof a kol. (2008), který prezentoval metodu při detekci budov obklopených vegetací. Nedostatky v oblasti modelování objektů na povrchu terénu jsou autorem shledány především v redukci zachycených bodů, využití distribuovaných výpočtů ke zpracování dat a vytvoření abstraktních modelů s udržením kvality surových dat, přidat fotorealistickou kvalitu bodovým datům a poskytnout výsledný model v univerzálním nativním formátu i dalším odvětvím. 1.5 Distribuované systémy Z výše popsaného popisu je patrné, že implementace distribuovaného výpočtu je poměrně složitou záležitostí, v které samotné řešení konkrétního problému, zabírá jen malou část celého procesu. Tento problém byl řešen firmou Google, která se snažila o vývoj souborového systému vhodného pro zpracování nadměrného množství dat vyprodukovaného vyhledávacím systémem. 7

15 Hlavním cílem bylo využití běžně dostupných kancelářských PC pro distribuované výpočty v clusteru. Abstrakce řešení problémů s přístupy k vláknům, segmentace a redukce vstupních dat, řízení přidělování Map/Reduce operací centrálním prvkem, minimalizace datových přenosů, řešení kritických okamžiků - selhání pracovních stanic, selhání hardwaru a mnoha dalších problematických faktorů. Uživateli tak odpadla nutnost řešit celou řadu oddělených problémů a byla tak zpřístupněna možnost zaměřit se na naprogramování samotné Map a Reduce fáze zpracování dat. V současné době je GFS implementován i v open source alternativě, kterým je Framework Apache Hadoop využívající Hadoop File Systém (HDFS) či Amazon AWS v podobě služby EMR. Výpočtové prostředí je v současné době ve vývojové verzi dostupné výhradně pro Unixové operační systémy (Linux). Alternativní implantace pro platformu Windows je přístupná pouze ve fázi betatestování na platformě Windows Azure jako dílčí část mnoha cloudových služeb. Princip funkčnosti frameworku spočívá ve funkcionálním přístupu vysvětleném v předchozí kapitole. Je však rozšířen o ošetření všech kritických míst. Struktura GFS, která bude použita v dalším postupu viz. Obrázek 3 (Dean a Ghemawat 2004, Holmes 2012). Obrázek 3 - Google File Systém (GFS) (Zdroj: Autor na základě Dean a Ghemawat 2004) Schopnost zpracovávat paralelizovatelné operace na definované struktuře předpokládá běh frameworku na Unixovém operačním systému, korektní nastavení SSH pro přístup mezi všemi uzly, nastavení vlastnických práv uživatele a také správně 8

16 nakonfigurovaný Java 1.6+ (Sun), kořenový adresář. V případě správné konfigurace celý proces začíná v bodě Obrázek 3, 1a při sběru vstupních dat. V tomto případě mají data podobu LIDAR bodového mračna, tedy textových souborů se záznamy oddělenými novým řádkem. Dílčí hodnoty jsou separované mezerami. Data jsou získána pomocí leteckého přeletu nad zájmovým územím, nicméně vstupní soubory mohou být získány plně automaticky například přímo z webu. Vstupní soubor (nebo množina souborů) je uložen na lokálním file systému, např. EXT3/4, JFS, Raiserfs ad. Datový soubor je překopírován do prostoru vymezeného GFS/HDFS, přičemž je replikován na tzv. Data node, datové uzly. Datový uzel, označovaný též jako Slave (otrok) představuje zároveň v pozdější fázi pracovní stanici vykonávající potřebné dílčí výpočty. Replikace zajišťuje redundanci dat a to v minimálním/základním počtu 3 datových bloků (méně důležité soubory) nebo obvykle vyšším (více důležité soubory). Tímto je zajištěna bezpečnost a dostupnost dat v případě ztráty spojení s datovým uzlem. Informace ohledně rozložení replikovaných částí souboru jsou uchována v tzv. Name node na straně Master PC (řídící PC). Tato struktura tzv. metadat (informace o datech), má například pro ilustrovaný soubor následující podobu (Obrázek 4), (Ghemawat a kol. 2003, Apache Software Foundation 2010). Obrázek 4 - Replikace dat (Zdroj: Autor) V další části procesu je vstupní soubor rozdělen na M Map úloh (Obrázek 3, bod 2). Jedná se o podobné rozdělení jako u segmentace obrazu, v tomto případě jsou však dělena textová/číselná/ data, určená pro výpočtové operace. Každá z Map úloh je pomocí Master uzlu naplánována na zpracování Map funkcí na jednom z dostupných Slave uzlů. Master uchovává informace ohledně stavu jednotlivých Map částí v podobě těchto atribut: čeká na přidělení Map úlohy/vykonává Map úlohu, přidělené úlohy splněny, tedy Slave 9

17 uzel je volný. Map funkce je plně definována uživatelem v některém z podporovaných programovacích jazyků (Java, Python, C++). Z důvodu minimalizace datových přenosů je ze strany Mastera vždy snaha o alokaci Map úlohy přímo na místě výskytu odpovídajících replikovaných dat, nebo v případě nevyhovění této podmínky, v těsném okolí Slavu uzlu. Například v rámci jednoho switche tak, aby nebyla zbytečně zatížena propustnost celé sítě. Slave uzel paralelně dle svých vláknových možností (počet CPU/HTT podpora) vypočtené Map výstupy ukládá do své paměti a následně zapisuje na svůj lokální disk do definovaného dočasného adresáře (Obrázek 3, bod 3). Tento adresář však není fyzicky umístěn v GFS/HDFS ale je na nereplikovaném běžném souborovém systému daného Slave uzlu. Toto umístění je uchováno v podobě metadat na straně Master uzlu (Obrázek 3, bod 4) Výstup z Map funkce má strukturu <klíč, hodnota> přičemž náplň těchto dvou hodnot závisí na typu úlohy. V případě LIDAR dat například <nadm. výška (klíč), výskyt (hodnota) >. Pro Master uzel v pravidelných intervalech vysílá ping směrem k Slave uzlům a zjišťuje odezvu. V případě, že uzel nereaguje, stornuje všechny Map úlohy, které naplánoval a naplánuje je znovu. Včetně těch, které již byly vypočteny a to z toho důvodu, že nebyly replikovány v síťovém úložišti, ale pouze na lokálním disku Slave uzlu - nelze se k nim v případě poruchy dostat. Zároveň je upravena NameNode tabulka s metadaty vypočtených Map úloh a případní čekající Slave uzly jsou od Master uzlu informováni o změně - odstranění záznamu o vypočtené Map úloze (Map N: IP, port Slave uzlu). To proto, aby v pozdější fázi zpracování nebyl Slave uzel mylně informován o fyzické přítomnosti Map výpočtu v místě, kde z důvodu nedostupnosti již přítomný není. Společně s ošetřeným přístupem v případě selhání na straně Slave uzlů je nutné ošetřit i selhání samotného Master uzlu. To je provedeno periodickou zálohou celé tabulky metadat. Tato záloha představuje možný bod obnovení, který je aktivní vždy se zpožděním maximálně několika málo sekund. Záloha se provádí na skryté, tzv. Shadow Master uzly. Volně přeloženo, šedé řídící uzly. Pro zajištění spolehlivějšího zpracování dat může být těchto uzlů i více. Po dokončení Map fáze výpočtů následuje příprava pro Reduce fázi v podobě tzv. rozdělení map úloh Slave uzlům (tzv. partitioning). Slave uzly mohou začít s redukcí až v době, kdy jsou všechny Map úlohy zpracované. Redukce dat probíhá na základě redukční 10

18 funkce, která je definovaná uživatelem. Vstupem do redukční funkce jsou seřazené hodnoty dle klíče ve tvaru <klíč, seznam(hodnot)> a je zajištěno, že každý Slave uzel dostane k redukci odpovídající seřazený seznam hodnot dle klíče (tzv. shuffle fáze) (Bloch 2008, Borthakur 2007). V posledních několika desítkách let docházelo velmi často k citování Gordona Moora a jeho zákona o zdvojnásobování počtu tranzistorů v 18 měsíčních cyklech. Toto tvrzení je známo jako tzv. Moorův zákon. V období několika posledních měsíců je však patrná drobná odchylka od, do nedávné doby, stálého trendu. Faktorů je celá řada. Většina procesorů se dnes pohybuje ve frekvenčním rozmezí 2-4 GHz, toto číslo už se dramaticky nemění a i pokud by frekvence stoupla na dvojnásobnou hodnotu, nebyla by plně využita z důvodů pomalého vyčítání dat z paměti. Velikost tranzistorů téměř klesla na extrémně nízkou úroveň a další zmenšování v současné době není možné. Moorův zákon tak poodkrývá oblast distribuovaných výpočtů a klade otázku, zda je lepší 18 měsíců vyčkat na řádově výkonnější PC, což už nemusí být pravda, nebo spojit několik současných strojů za účelem urychlení výpočtu Paralelní a distribuované systémy Z historického pohledu lze v tomto směru narazit na dva pojmy. Paralelní a distribuované výpočty. Paralelní výpočty byly první tohoto typu a jsou populární až do dnešní doby. Z hlediska architektury jsou zaměřené buď vektorově (1 dimenzionální pole), nebo vláknově. Mezi známé stanice tohoto druhu se řadí například super PC Cray (SPC). Paralelní výpočty jsou charakteristické zpracováním fyzicky na 1 PC, případně na 1 PC a více vláknech. Distribuované výpočty jsou zpracovávané na N PC, přičemž každé PC může mít více CPU. Spojení několika PC přidává do problematiky další faktor a to síťové spojení. V současné době je oproti investici do SPC ekonomicky mnohem více dostupné řešení distribuované a to v podobě propojení 1-N běžně dostupných kancelářských PC. 11

19 1.6 Agregace dílčích oblastí do jednotného modelu Dle výše zmíněných poznatků dílčích odvětví jsou vzaty v potaz i práce kombinující praktické využití algoritmů či jejich vzájemnou kombinaci a integraci. V případě této práce je surový datový sken tvořen individuálními body s povinnými souřadnicemi X, Y a Z. Zájmové území je charakteristické bodovou nepravidelnou strukturou, která obsahuje miliony zachycených bodů. Kompletní záznam představuje digitální model povrchu (DSM) a lze jej dále filtrací a segmentací dělit na další části. Jedná se o digitální výškový model (DEM), obvykle využívaný pro rekonstrukci terénu. DEM je distribuovaný obvykle již v zjednodušené, rastrové či bodové, pravidelné podobě. Digitální model terénu (DTM) je například zpracovaný DEM s tím rozdílem, že již obsahuje hrany a tvoří snáze rozpoznatelný reliéf terénu. Dalším je digitální výškový model vegetace (DCHM), který je charakteristický nepovinným atributem, jenž obsahuje pořadí odražených laserových paprsků. Toto pořadí je možné využít pro analýzu ve zvolených řezech celé vegetační struktury - například růst obilí a optimalizace využití hnojiv. Digitální model budov (DBM) obsahuje výškové informace budov, které lze využít pro analýzy viditelnosti, predikce signálů, zásahů do ochranných pásem radarů a mnoha dalších postupech. Digitální model počasí (DWM) je obvykle využit v meteorologii, obsahuje informace ohledně jednotlivých vrstev oblačnosti, výskyt a intenzitu srážek a celou řadu další hodnot, které jsou obvykle k dispozici v 15 minutových intervalech. Tyto dílčí části celého bodového mračna jsou obvykle zpracovány a využívány separátně například ve výzkumu autorů Broveli a kol. 2004, Omasa a kol. 2008, Chen a kol Časově vzdálenější výzkum lze segmentovat do kategorií na základě použití různých metod. Tvorba DTM je často prvotní využití dat po jejich očištění. V posledních 20 letech bylo objeveno celé spektrum algoritmů vhodných k tvorbě DTM (Hu 2003, Elmqvist 2002, Kraus a Pfeifer 2001). Jedním z nejlépe akceptovaných návrhů byl představen autory Kraus a Pfeifer (1998). Algoritmus je zaměřen na lineární predikci, který řeší tvorbu DTM v zalesněných oblastech. Ve všech případech se však jedná o zpracování či demonstraci problematiky na velmi malých oblastech. Proces využívá residua, výškové váhy a iterativní přístup. DTM je obvykle tvořen polygonovou, trojúhelníkovou nerovnoměrnou sítí, angl.. Triangulated Irregular Network 12

20 (TIN). Výzkum v oblasti tvorby TIN byl kombinován ve směru analyzování vztahů mezi residui a samotnou sítí. Problém s řezem hran byl vyřešen pomocí metody zrcadlení bodů. Planární povrchy byly vytvořeny pomocí metod Rozděl a panuj (Axelsson 2000). Dalším způsobem extrakce DTM z DSM je zaměření se na segmentaci a klasifikaci. V tomto případě jsou body DSM funkcionálně zkopírovány a vytváří samostatný model. Porovnávací studie různých metod byla provedena autory Sithole a Vosselman (2003). Další kategorie zahrnují predikci DTM, analýzu přesnosti vůči reálným datům a zjednodušování celého LIDAR mračna. Velmi často není možné zachytit záznam ve všech lokacích zájmového území a proto je nutné tyto místa dodatečně dopočítat. Prostorová interpolace vypočítává neznámé hodnoty z množiny známých bodů. Tento postup také napomáhá k transformaci nerovnoměrné struktury do podoby pravidelné čtvercové sítě, angl.. Quad Regular Network (QRN). Tato procedura může být vypočtena na základě různých lokálních či globálních interpolačních algoritmů, například Renka- Cline, Shepard, IDW a další. Renka-Cline využívá bivarietní funkci F(X,Y) a interpoluje datové hodnoty F(Xi,Yi) = Zi, i = 1..N. Body jsou poté spojeny hranami do podoby trojúhelníků. Poté mohou být použity dva pohledové přístupy, lokální (bere v úvahu omezené množství bodů) či globální (všechny body). Každý z přístupů poskytuje různé výstupy. Globální přístup odhaduje parciální derivace F se zaměřením na X a Y pro všechny body bodového mračna. Lokální metoda využívá body limitované vzdáleností (R. J. Renka a A. K. Cline 1984). Tento problém by zkoumán například autory McLain (1976), Lawson (1977) a Akima (1978). Shepardův algoritmus je zaměřen na váhovém přístupu k naměřeným hodnotám individuálních bodů. Vytváří tak přesné aproximace (Shepard 1968, Berry a Minser 1999). Postup může být také modifikován (Modifikovaný Shepard), a to tak, aby vytvořil kvadratický, kubický nebo lineární model (Thacker a kol. 2011). Tento postup lze implementovat jak lokálním tak distribuovaným způsobem např. vzdáleně pomocí Amazon AWS EMR či na vlastní Hadoop architektuře. Časová náročnost je závislá na velikosti aproximované mřížky a hustotě vstupních bodů. Velmi často jsou v oblasti GIS využity algoritmy Inverse Distance Weighting (IDW) nebo Kriging. IDW poskytuje jednoduchou formu interpolace. Využívá vážený průměr hodnot naměřených bodů v okolí interpolovaného bodu. Váhy se zvyšují se zkracující se vzdáleností. Existuje celá řada variací tohoto algoritmu lišící se svojí implementací a konceptuálními aspekty (Bartier a 13

21 Keller 1996). IDW je snadno implementovatelný a zakomponovaný ve většině matematických či geografických aplikací. Použity mohou být i další interpolační algoritmy jako je například metoda Splines, RBF, které odhadují hodnotu v dané lokaci na základě váženého součtu hodnot z okolních bodů, či variace algoritmu Kriging, které přiřazují váhy na základě datově řízené vážící funkce (Isaaks a Srivastava, 1989, Lloyd a kol. 2006). Současné aplikované využití DTM je velmi bohatá a neustále se rozšiřující oblast, která protíná velkou šíři vědeckých disciplín. DTM a jeho hybridní formy jsou využity například ve výzkumu autorů Mandlburger a kol. (2009) k analyzování toků řek v Rakousku. Mandlburger podtrhuje omezení redukce dat, která v určitých situacích zanáší nezanedbatelné množství chyb do výpočtů. DBM jsou tvořeny mnoha přístupy jako je například výpočet změny sklonů mezi body (Zhou a kol. 2004), extrakcí budov z družicových snímků (Tack a kol. 2011) nebo byly vytvořeny přímo za použití DEM (Priestnall a kol. 2000). DBM lze využít pro predikci pokrytí signálu jednotky GPS. Li a kol. (2007) poukazuje ve svém výzkumu na metody tzv. Ray tracingu, které predikuje kvalitu GPS signálu v hustě zastavěných zónách. Autor popisuje komplikovanou dostupnost ucelených 3D modelů měst a na fakt, že kvalita DBM a DTM přímo ovlivňuje výsledek predikce. Implementace viditelnosti satelitů v reálném čase byla zkoumána autory Taylor a kol. (2006). Jejich částečný výstup byl závislý na kvalitě DSM, která musela být velmi velká, aby byla dosažena kvalitní predikce. Kromě GPS lze DBM využít i k přímé analýze osvitu střešních ploch slunečním zářením, například pro podkladové analýzy pro konstrukci solárních panelů. Takováto studie byla částečně provedena autory Nguyen a kol. (2012). Vědecký výzkum a aplikované využití technologie LIDAR je také přímo směřované do oblasti zemědělství a lesnictví. Optimalizace DTM a porovnání dílčích struktur byla provedena autorem Klimanek (2006). Klimánek testoval hodnoty globálního ukazatele RMSE (Root Mean Square Error), interpolovaných modelů v aplikaci TOPOL a GRASS. Použil různé DTM a data ze stejné databáze, která byla dostupná i pro tuto práci (ZABAGED ). Omasa a kol. (2008) vytvořil 3D model městského parku se stromy, který byl umístěn v centru Tokia. Využil kombinaci statického přenosného pozemního LIDAR skeneru a leteckých laserových snímků, které byly pořízeny z helikoptéry. 14

22 Omasa a spol. využili charakteru bodových dat. První puls, který dopadl na koruny stromů jako první, tvořil výškovou informaci vegetace. Poslední puls, který dopadl na terén, tvořil výškovou informaci o samotném terénu. Digitální model vegetace (DCHM) byl poté vytvořen extrakcí těchto dvou vrstev. Takahashi (2005) odhadoval individuální výšku stromů v Japonských lesích a prezentoval metodu identifikace stromů a odhadu jejich výšek. Bartie a kol. (2011) spojil tvorbu DBM, DTM a DCHM k definování analýzy viditelnosti v zastavěném prostředí. Tímto rozšířil běžnou analýzu viditelnosti využívající DBM. Technologie LIDAR je velmi často diskutovaná, ale její aplikace může být stále v mnoha ohledech rozšířena. Každý algoritmus a metoda je obvykle využita pro jeden konkrétní účel. Proto je potřeba vytvořit hybridní metodu, která by kombinovala různé kroky a algoritmy z výše popsaných dílčích oblastí a integrovala je do jednoho komplexního modelu. Dostupnost virtualizace, instantní tvorby libovolných clusterů, distribuovaných sebe replikujících se databázových systémů pouze podtrhuje rozšiřitelnost tématiky. Problematika tohoto charakteru je hlavním tématem této práce. 15

23 2 Definice cílů disertační práce na základě analýzy současného stavu V této kapitole budou objasněny hlavní i dílčí cíle práce. Veškeré body vytyčené autorem jako důležité jsou vyvozené z dosavadního výzkumu mnoha autorů zmíněných v rešerši. Navržený postup a inovace znatelně mění směr tvorby 3D modelu terénu založeného na bodových mračnech technologie LIDAR. 2.1 Hlavní cíl Hlavním cílem práce je vytvoření 3D polygonového, parametrického, procedurálního, atributově reálného a velmi rozlehlého modelu povrchu, založeného na laserovém balíku DMR 5G a DMP 1G. Na základě analýzy současného stavu v problematice zpracování LIDAR bodových mračen, byla autorem stanovena celá řada kritérií pro dosažení stanoveného cíle. K dispozici autor využil pouze surová bodová data, v některých případech i pomocné vektorové vrstvy ZABAGED (Obrázek 5). Obrázek 5 - Hlavní cíl (Zdroj: Autor) 2.2 Dílčí cíle Celá série dílčích cílů tvoří spojnici mezi vstupními daty a požadovaným výstupem práce. Dílčí cíle představují ty nejdůležitější aspekty procesu, které vyžadují úpravu a návrh nových či hybridních postupů pro tvorbu 3D modelu terénu. 16

24 2.2.1 Redukce nerovnoměrné bodové struktury Velký problém, který je limitní pro nadměrnou většinu analyzovaných prací, je nepravidelná struktura bodů, nadměrná hustota a nároky na úložný prostor. V případě DMR 5G, který obsahuje 3 sloupce hodnot, dosahuje velikost záznamu pro jeden bod 44 B. V oblasti km je zachyceno cca 20 milionů bodů, vynásobením této hodnoty lze získat datovou velikost 880 MB. Toto zájmové území je však velmi malé, oblast o velikosti km ve stejné hustotě záznamu vyžaduje již 44 GB úložného prostoru. Celá Česká republika cca 300 GB, Evropa 55 TB. Technicky vyspělejší zařízení obsahují kromě základních 3 atributů (souřadnice XYZ) i další, volitelné záznamy, které nároky na úložný prostor několikanásobně navyšují. Práce s tak velkým množstvím bodů je v reálných situacích prakticky neproveditelná a řada autorů je tímto faktem limitována na zájmové území dosahující maximální rozlohy v řádek stovek metrů či několika kilometrů. Cílem tohoto kritéria je redukce dat v poměru 0:3 až 0:1000 s ohledem na minimalizování nepřesnosti ve snímaném terénu. Toto kritérium umožní využití vytvořeného modelu na velmi rozlehlých zájmových oblastech, jejichž velikost bude prakticky neomezená (státy, kontinenty), (Obrázek 6). Obrázek 6 - Velikost laserového skenu (Zdroj: Autor) Nahrazení využívané trojúhelníkové polygonové sítě lépe vyhovující strukturou Společně s redukcí počtu bodů je nutné upravit i samotnou strukturu polygonové plochy. Většina autorů využívá Delaunay triangulaci, která je z jednoho pohledu výpočetně velmi rychlá, na druhou stranu však velmi omezeně použitelná. Prvním omezením je nekonzistentní struktura celého povrchu. Trojúhelníky jsou buď velmi malé (velká hustota bodů), nebo naopak velmi velké, protáhlé, případně zahrnující slepé a vizuálně evidentní plochy. V případě velké hustoty bodů je efekt znásoben i šumem, který je v laserových měřeních přítomen. Tento jev se projevuje i po aplikaci triangulace. 17

25 Trojúhelníky se obvykle překrývají nebo vykazují chaotické natáčení své plochy vůči svému okolí. Jsou tedy zašuměné stejným způsobem, jako body, z kterých jsou plochy vytvořeny. V případě velkých trojúhelníků je velkým problémem snížené rozlišení plochy a velmi omezená možnost editace Adaptivní rozlišení terénu a snížené hardwarové nároky modelu Dílčím cílem práce je možnost tvorby velmi rozsáhlých modelů terénu. Velmi detailní rozlišení polygonové mřížky není možné zachovat/zpracovat pro území o rozloze odpovídající například celým státům. Na základě tohoto předpokladu je zapotřebí navrhnout a implementovat adaptivní povrch terénu, který je závislý na měnícím se sklonu terénu Zapojení geostatistických metod pro hodnocení a korekce modelu Velké množství analyzovaných prací využívá k ohodnocení kvality výškového modelu globální ukazatele - např. Root Mean Square Error (RMSE) (Svobodova 2011). Samotné globální analýzy však nejsou dostačující a je proto nutné najít rovnovážný bod mezi globálními ukazateli a přesnými, měřitelnými hodnotami. Lze se velmi často setkat s velmi obsáhlými komparacemi desítek výškových modelů terénu, z kterých je následně vybrána hrstka těch, které mají minimalizovaný vybraný globální ukazatel. Tento přístup je však poměrně nepřesný, protože porovnání probíhá již na interpolovaném modelu, který obsahuje celou řadu nepřesností. Na základě prací mnoha autorů je patrné, že se globální aspekty DEM mění v závislosti na prostorovém rozmístění dat, charakteristikou terénu a samotnou kvalitou datového skenu. Je tedy nutné využít dodatečné porovnávací metody, případně některé současné metody modifikovat tak, aby byla zachována preciznost obsáhlého nerovnoměrného datového balíku. V tomto případě, kdy autor disponuje surovými bodovými daty, není vhodné charakterizovat veličiny pomocí globálních ukazatelů, tedy výpočtů RMS, STDEV či indexů, např. Hammock. Tyto globální ukazatelé nacházejí uplatnění v situaci, kdy autor disponuje již zpracovaným interpolovaným modelem a porovnává ho s referencí, přičemž bere na vědomí fakt, že reference nepředstavuje přímo naměřené hodnoty. Vstupní data této studie 18

26 jsou ale přímá, bodová, tudíž je možné využít některou z lepších alternativ, která využije i lokálních vztahů hodnot dat Atributová dědičnost laserem zachycených objektů na polygonové modely Laserové záznamy objektů na povrchu terénu jsou obvykle neúplné, obsahující velmi řídký bodový záznam. Jedná se většinou o velmi složité objekty, které by pro svoji plnou polygonovou rekonstrukci vyžadovaly mnohem hustší záznam. Jedná se například o stromy, sloupy elektrického vedení či pohybující se objekty. Díky této nevýhodě nejsou body vhodné pro komplexní nahrazení polygony, a pokud jsou v modelu ponechány jako body, zbytečně zvyšují hardwarové a paměťové nároky. Tento přístup velmi často limituje autory, kteří využívají LIDAR technologii, na velmi omezené zájmové oblasti. Objekty na povrchu terénu, které obsahují tisíce bodů, nepřinášejí, minimálně vizuálně, prakticky žádnou detailní informaci, popisující jejich strukturu. Pouze z velké vzdálenosti připomínají svým bodovým obrysem zachycený objekt Parametrický a procedurální přístup Plánovaná velmi rozlehlá oblast zájmu neumožňuje manuální zásahy do 3D modelu. Celý proces musí být striktně definovaný, vázaný na reálné hodnoty laserového skenu bez nutnosti velkých manuálních editací. Úpravy modelu mohou být řešeny parametrickým přístupem. Jeden parametr tedy může ovládat miliony objektů na povrchu terénu - řídit jejich atributy, případně lze parametry dle potřeby přeskupovat. Současně autor implementuje i procedurální vlastnosti v podobě dynamicky se měnících materiálů, nevyžadující žádné dodatečné textury Implementace časově náročných výpočtů distribuovaným způsobem V celém procesu je možné najít výpočetně náročné procesy, které jsou s rychle rostoucí velikosti vstupu n i při lineárním vzestupu složitosti prakticky nespočitatelné. Celou řadu problémů je však možné atomicky rozdělit a pomocí distribuovaného výpočtu rapidně urychlit. Distribuované řešení tak rozšiřuje možnost využití laserových bodových mračen na mnohem větší zájmová území. Při rozloze ČR rovné cca km 2 je přibližná datová velikost zachyceného záznamu rovna objemu 421 GB dat. 19

27 Tento objem je z praktického pohledu na jednom PC nezpracovatelný. Pro množinu PC však nepředstavuje až tak velký problém a to ani v mnohem větších objemech (např. Evropa, cca 55 TB dat). Datová velikost je přibližná a je ovlivněna celou řadou faktorů (rychlost a výška letu, rychlost záznamu dat a frekvence rotace zrcadla, ad.). Tento příklad však poskytuje zcela zjednodušený avšak hmatatelný pohled na problematiku rostoucího množství a objemu datových souborů. Úloh, které mohou být zpracovány distribuovaným způsobem, je mnohem více, například simulace tekutin, vykreslování obrazu, analýzy shluků, korelací a grafových příkladů, indexování velkých souborů nebo například i hraní PC her. Optimalizace bude zaměřena na implementaci prvků z pohledu architektury Hadoop, GFS resp. Amazon EMR Selektivní úpravy algoritmů pomocí imperativních a funkcionálních přístupů Hromadné úlohy, které při manuálním zpracování vyžadují velký obslužný čas, jsou zpracovány pomocí vhodných programovacích jazyků. Interpolační techniky pomocí jazyka C++ a volně dostupné knihovny algoritmů, National Algorithm Group (NAG). 3D objektové operace pomocí skriptovacího jazyka Maxxscript, GIS úlohy za pomocí jazyka Python a distribuované, funkcionální přístupy jsou zpracovány pomocí jazyka Java/Python. Veškeré procesy a datové výstupy dílčích operací tvoří ucelený postup pro dosažení stanoveného cíle. 20

28 3 Přehled dosažených vlastních výsledků Tato kapitola poskytuje kompletní postup pro zpracování bodových dat technologie LIDAR k vytvoření detailního, parametrického modelu terénu. Tento model zaštiťuje všechny dílčí submodely (DTM, DBM, DCHM, DEM, DSM, DWM) do jednoho, univerzálního celku. Tento celek lze poté přímo využít, či napojit na výstupy z dalších odvětví. 3.1 Schéma navrhovaného řešení problematiky Schéma znázorňuje dílčí kroky vedoucí ke splnění stanoveného hlavního cíle (Obrázek 7). Obrázek 7 - Schéma individuálních kroků vedoucí ke splnění hlavního cíle (Zdroj: Autor) V levé části proces začíná definováním vstupních datových sad. Hlavním vstupem je Vstup 1, nerovnoměrný laserový záznam reliéfu/povrchu 4. nebo 1. generace. Nepovinný je Vstup 2, který může být abstrahován při využití moderních laserových skenerů, které umožnují automaticky klasifikovat dopad paprsku na povrch objektu. Vstup 3 reprezentuje snímky z družic na polární dráze NOAA, které jsou veřejně dostupné a mohou být použity pro generování DWM. Proces je zahájen základní filtrací dat, která 21

29 zahrnuje prvotní předzpracování a očištění bodového mračna. Dále jsou data zpracována pomocí C++ v prostředí aplikace OriginLab. Hromadně je aplikován zvolený interpolační algoritmus a to v hromadné formě do předem definovaného pole cílových rozlišení (např. 1 1, 5 5, metrů). Do výstupní složky je automaticky uložena celá sada interpolovaných a pravidelných bodových sítí v několika rozlišeních. Prostředí OriginLab je využito z důvodu úspory rozsahu zdrojového kódu, který nemusí obsahovat deklaraci datových struktur pro uložení bodového mračna a abstrahuje také management alokace paměti. Další fází je využití pokročilých i základních geostatistických metod pro validaci interpolovaných modelů vůči reálně naměřeným hodnotám. V této části práce dochází k modifikaci metody rozdělení vstupního souboru a ke zpětnému šíření chyby. Tato chyba je uchována v podobě rastrové matice, jež slouží pro korekce modelu. Opravené interpolované modely jsou využity k výpočtu sklonu terénu na základě zvoleného rozlišení. Tato klasifikace tvoří podklad pro vytvoření adaptivního modelu terénu. Adaptivita spočívá v použití řidší bodové mřížky v rovinných oblastech a naopak, hustšímu bodovému záznamu v oblastech hornatých či sklonově se měnících. Adaptivní bodové sady jsou zpracovány pomocí jazyka Maxxscript. Navržený skript poté zpracovává body iterativně v obou osách (X a Y) tak, aby každým z ních protnul křivku, která při dokončení procesu vytvoří polygonový DTM. Vytvořený DTM slouží jako podklad pro tvorbu DBM. Výšky budov jsou agregovány do jednotné plošné výšky. Rekonstrukce konkrétních tvarů střech je abstrahována, nicméně její provedení je možné například v dalším směřování práce. V další fázi tvorby je využito parametrických, procedurálních a základních maticových operací k tvorbě a distribuce milionů objektů, které tvoří samotný povrch terénu (stromy, louky, pole, atd.). Celý proces dědí atributy z milionů zachycených bodů vegetace a převádí jejich klíčové hodnoty do černobílého rastru. Tento rastr se poté stává dílčím parametrem pro řízení osazení jednotlivých modelů. Parametry dovolují měnit atributy všech objektů hromadným způsobem a procedurální přístup dokáže generovat mnoho stavů či například barevných variací na základě jednoho objektu. Vytvořený model využívá družicové snímky ke generování nastaveného částicového systému do dynamicky generované struktury oblačnosti. 22

30 Tímto způsobem lze v pravidelných intervalech tuto strukturu automaticky měnit společně s distribucí částic v této geometrii. V závěrečné fázi lze paralelizovatelné kroky vypočítat na bázi Google File Systému (GFS) či jeho open-source frameworku Apache Hadoop (HDFS). Jedná se například o distribuované seřazení milionů hodnot, které při algoritmické složitosti například QuickSortu O(n log(n)) či O(n 2 ) představuje velký problém při rekonstrukci rozlehlých oblastí. 3.2 Vstupní data Demonstrace tvorby modelu byla vytvořena na oblasti v okolí města Pardubice, ležícího 70 km východně od hlavního města České republiky, Prahy. Oblast má rozlohu cca km a obsahuje rozmanité geomorfologické celky. Aplikace na kteroukoliv jinou oblast je díky navrženému parametrickému a procedurálnímu přístupu. K dispozici jsou autorovi následující sady dat Vektorová data základní báze geografických dat Základní báze geografických dat ZABAGED netvoří nezbytnou součást tvorby modelu, ale mohou být použity v případě, že tvůrce nemá k dispozici moderní LIDAR technologii umožňující automatickou klasifikaci terénu. Data obsahují vektorové informace ohledně komunikací, vodních zdrojů, typů terénů, základy budov či bodových pozic objektů (Obrázek 8). Obrázek 8 - ZABAGED, vektorové objekty (Zdroj: Autor) 23

31 3.2.2 Laserový záznam zájmové oblasti Výškové modely jsou částí databáze dat, poskytující informace ohledně zájmového území. Až do roku 2009 nebyl v ČR dostupný detailní model povrchu, který by obsahoval jak samotný terén, tak i objekty na jeho povrchu. Proces tvorby tohoto detailního mapování byl zahájen až v průběhu roku Je založen na leteckém laserovém skenování, angl. Airborne Laser Scanning (ALS). Data jsou získána Ministerstvem obrany a Armádou České republiky pomocí speciální modifikovaného letadla zn. Turbolet L-410 FG (Obrázek 9). Obrázek 9 - LIDAR bodové mračno (Zdroj: Autor) Výstupy z tohoto mapování jsou dostupné pro zpracování Českým úřadem zeměměřičským a katastrálním (ČUZK). Sběr dat probíhá obvykle mimo vegetační období (Listopad - Květen) a to kvůli problematické segmentaci. Hlavní parametry pro letecký sběr dat jsou uvedeny v následující tabulce (Tabulka 1). Tabulka 1 - Letové parametry (Zdroj: Bělka 2012) Faktor Hodnota Faktor Hodnota Průměrná výška letu 1200 or 1400 m Směr skenování Východ - Západ a zpět Rychlost letadla 250 km/h Šíře dílčího pásu Cca. 800 m Frekvence laseru khz Délka pruhu km Skenovací úhel 60 Stranové přesahy 50% Záznamy jsou dostupné v blocích, jejichž šířka je cca 10 km a délka v rozmezí 20 a 60 km. Tyto parametry závisí na charakteru terénu. Každý výstup je georeferencovaný, klasifikovaný a jsou z něho vytvořeny dva modely reliéfu a jeden model povrchu. 24

32 Kompletní model obsahující všechny informace nese označení DSM 1G. Jedná se o první generaci povrchového modelu s průměrnou chybou 0.4 metru ve výšce a 0.7 metru u vegetace. Podstata modelu je formována objekty, které jsou v databázi ZABAGED. Atributy však musí splňovat tyto kritéria. Šířka objektů nesmí přesáhnout tři metry a jejich plocha musí být větší než 25 m 2. Vegetace má vyšší limity nastavené na 500 m 2. Tento model je společně s DMR 5G, který obsahuje pouze samotný terén, vhodný pro dosažení stanovených cílů této práce (Belka 2012) Družicové snímky NOAA/JSMSG Družicové snímky z družic na polární dráze jsou obvykle dostupné v pravidelných časových intervalech a také v různých spektrech elektromagnetického záření (Obrázek 10). Obrázek 10 - Typy použitých družicových snímků (Zdroj: Autor) Infračervené tepelné pásmo Snímky v oblasti infračerveného spektra, které jsou tmavší v oblastech teplejších a světlejší v oblastech chladnějších, umožnují automatické využití pro napojení digitálního modelu počasí, respektive situace simulující pokrytí zájmového území oblačností Mikrofyzikální produkt Kombinuje informace z termálních pásem v barevném prostoru RGB substitucí kanálů kombinacemi snímků na konkrétních vlnových délkách. Červený kanál obsahuje rozdíl IR IR Mohutnější oblasti oblačnosti je tak reprezentována větší hodnotou v červeném kanálu. Zelený kanál je substituován rozdílem IR IR 8.7. Větší intenzita zelené charakterizuje nízkou oblačnost. Modrý kanál obsahuje pouze IR

33 teplejší objekty mají větší přítomnost modré barvy, studenější právě naopak. Tento snímek v nepravých barvách je tak mnohem vhodnější pro segmentaci a klasifikaci oblačnosti například do základních skupin Reprezentace laserových dat Data jsou tvořena jednotlivými body v textových souborech. Každý zachycený bod nese povinnou informace o své poloze, která je reprezentována sloupcovými atributy X, Y a Z. Jednoduchý příklad konstrukce modelu krychle lze demonstrovat na následujícím obrázku. Je však zapotřebí oddělit reprezentaci bodovou od reprezentace hranové, polygonové (Obrázek 11). Obrázek 11 - XYZ reprezentace krychle, body, hrany, polygony (Zdroj: Autor) Tímto způsobem lze rekonstruovat jakýkoliv viditelný objekt. Kromě základních třech atributů lze doplnit i další nepovinné (i - intenzita, n - číslo pulzu, c - klasifikace, a - úhel, nx ny nz - normály pro každou osu či RGB informace o barvě objektů). V případě 3 atributů, souřadnicového systému WGS 1984 pro X a Y a nadmořské výšky pro atribut Z, dosahuje velikost záznamu jednoho bodu cca 44 B. Bodů jsou obvykle k dispozici miliony či miliardy a právě tento faktor přináší zásadní problém v podobě enormního množství dat ke zpracování. 26

34 3.3 Použitý hardware a software Tato část textu popisuje veškerý hardware využitý při vypracování práce a majoritní software, který sloužil pro zpracování vstupních dat Hardware Pro účel vypracování této práce byla využita celá řada pracovních stanic a to jak lokálních, tak vzdálených. Lokální stanice Intel s procesorem i7 2600K. Tento procesor využívá 4 fyzické jádra, které jsou umocněna podporou technologie Hyperthreading (HTT), které logicky navyšuje výkon fyzických jader. Rozdíl ve výkonu se pohybuje kolem 30 %. Stanice disponuje 16 GB operační paměti, lokálním úložným prostorem v podobě SATA III 64 GB SSD disku (480 MB/s). Vzdálené úložiště starající se o distribuci datových sat po celém výpočetním Gridu je řešeno přes službu Dropbox, Copy a NAS server Synology. Grafické operace jsou zpracovány pomocí GeForce 460 GTX. Druhou stanicí je terminál s procesorem AMD Opteron, 32 GB operační paměti, který je využit přes vzdálený přístup pro časově náročné geografické výpočty (například interpolace). Třetí stanicí je průměrný kancelářský notebook Intel i3 se 4 GB paměti, který je využit pro tvorbu dílčích, méně náročných částí - například programování nad omezenou strukturou dat či tvorbu dílčích modelů. V případě distribuovaných přístupů je využito detašovaného pracoviště a open source frameworku HDFS, pod kterým pracuje cca 5 stanic Intel i5 se 4 GB paměti zapojených do 1 Gbps sítě v rámci jednoho switche. Velmi náročné operace, například dynamické simulace či statické výstupy z modelu ve velkém rozlišení (4K, 8K), jsou zpracovány na clusteru umístěném v Německu, který obsahuje stovky stanic s šesti jádrovými procesory Intel Xeon. Výstupy jsou poté autorovi doručeny elektronicky Software Mezi hlavní využité aplikace v oblasti GIS patří ESRI ArcGIS 10 SP3. Tato aplikace slouží pro zpracování bodových, vektorových i rastrových dat. Společně s integrovaným jazykem Python umožňuje modifikaci a přizpůsobení algoritmů tak, aby bylo dosaženo požadovaného výstupu. Alternativně lze využít i open-source aplikaci SagaGIS. Ta poskytuje většinu potřebných nástrojů v bezplatné verzi. Mezi další aplikace 27

35 pro zpracování vstupních dat lze zařadit MeshLab, OriginLab, Pointview, GeomagicStudio či Leios 2. OriginLab je například vhodný pro implementaci algoritmů z knihovny National Algorithm Group (NAG) pomocí jazyka C++. Statistické operace jsou zpracovány pomocí produktů SPS Statistica a R. Vstupní soubory, které vyhovují geostatistickým kritériím, jsou zpracovány pomocí skriptovacího jazyka Maxxscript, který je součástí aplikace Autodesk 3D Studio Max Tento program slouží pro samotnou tvorbu polygonového modelu terénu, parametrické a procedurální osazení objekty ale i pro tvorbu výsledných výstupů. Časově náročné výpočty jsou navrhnuty ve virtuálním prostředí aplikace Oracle VirtualBox s předinstalovaným OS Ubuntu (UNIX). Tento systém tvoří prostředí, v kterém je využit HDFS, nastavený jako Master server. Odladěné úlohy mohou být urychleny na speciálním univerzitním pracovišti, kde je obdobný systém nakonfigurovaný v podobě master-slaves na cca 6 stanicích. Alternativou je využití Amazon AWS konkrétně EMR (Elastic Map Reduce), který poskytuje HDFS implementovanou přímo v cloudu. Grafické úpravy jsou provedeny v aplikacích firmy Adobe - Photoshop, Premiere, After Effects, vše ve verzi CS5. Drobné výpočty jsou provedeny v MS Excel 2010, Matlab 2011 či MS VisualStudio Filtrace, čištění a chyby laserových záznamů Tato část práce se zabývá předzpracováním bodových mračen pomocí vybraných algoritmů. Důvodem předzpracování je celá řada faktorů, které negativně ovlivňují samotné zpracování. Některé z těchto vlivů jsou zaznamenány na laserovém záznamu historické části města Hradec Králové. Tento datový soubor byl využit pouze pro demonstraci negativních jevů vyskytujících se v bodových mračnech. Demonstrativní obrázek také zachycuje ve své pravé části problematickou trojúhelníkovou strukturu, která bude v této práci nahrazena pravidelnými čtverci (Obrázek 12). 28

36 Obrázek 12 - Problematické oblasti laserového skenu (Zdroj: Autor) Bod 1, Obrázek 12 charakterizuje body, které nepatří k domům v ulicích. Byly zachyceny buď odrazem od vzdálených objektů (stromy), zachyceny v oblastech interiérů domů skrze skla oken nebo jsou odraženy díky špatným atmosférickým podmínkám od různých částic ve vzduchu (déšť/sníh/částice). Další parazitní informací představují lidé (bod 2) a obecně dynamické předměty pohybující se v ulicích města. Mimo těchto živých objektů lze v modelu nalézt také celou řadu objektů, na jejichž rekonstrukci nestačilo rozlišení dat. Tento problém představuje bod č. 3. Okna se zdají z větší vzdálenosti detailní, avšak bližší pohled ukazuje, že počet bodů není dostatečný a pozdější automatická rekonstrukce polygonů v tomto případě nebude možná. Tento fakt by změnilo pouze technické nastavení zařízení při snímání. Dále jsou to "slepá místa" v bodovém záznamu města (bod 4). Stíny, které nebyly pokryty ani z jednoho místa při průjezdu vozidlem. Představují tak čistě spekulativní prostory, jejich automatické doplnění bývá bez jakékoliv zachycené informace prakticky nemožné (Parsiani a kol. 2008). Předzpracování bodů, tedy jejich opravdu lze provést například na základě schématu na obrázku (Obrázek 13). 29

37 Obrázek 13 - Schéma možné korekce bodového mračna (Zdroj: Autor) Všechny tyto operace jsou však poměrně časové náročné a obtížně zvládnutelné pro větší množství bodů. Například v případě odšumění dat je sice markantní rozdíl mezi vstupem (Obrázek 14, vlevo) a výstupem (Obrázek 14, vpravo) zvoleného algoritmu, avšak trojúhelníková struktura stále vykazuje velké množství hran a bodů, které se v určitých místech v polygonové formě protínají. Tato polygonová reprezentace je tedy na základě stanovených dílčích cílů práce nevyhovující a bude nahrazena. Obrázek 14 - Trojúhelníková struktura před a po korekci (Zdroj: Autor) Mezi další modifikace patří odstranění izolovaných vzdálených bodů. Pokud by v bodovém mračnu zůstaly, byla by při převodu na polygonovou strukturu vytvořena nesouvislá geometrie. Obdobným způsobem jsou odstraněny body zachycené na několika snímcích zároveň. Obecně platí, že pro rekonstrukci ploch stačí méně bodů, zatímco pro rekonstrukci oblých míst více. Tímto postupem se snižuje i hardwarová náročnost kladená na model a výstupem je nízko-polygonový model. V případě implementace na jakoukoliv platformu lze využít i open-source projekt PointCloud Library (PCL), který je veřejně podporovaný i komerčními firmami. V tomto nástroji je možné mračna filtrovat, registrovat, segmentovat, vizualizovat. To vše při kompletní průhlednosti zdrojových kódů a možnost dodatečných úprav funkčnosti (Schowengerdt 1997). 30

38 3.5 Redukce dat pomocí hromadné interpolace v C++ Kapitola obsahuje základní principy interpolace v případě zjednodušení a transformace nerovnoměrné struktury laserových mračen do pravidelné čtvercové sítě. Proces je zpracován v prostředí aplikace OriginLab a jazyka C Interpolace bodových mračen Pojem interpolace představuje výpočet hodnoty (v tomto případě elevace) neznámých bodů na předem určených souřadnicích za pomocí známých, změřených bodů. V případě GIS odvětví lze pomocí interpolace vytvářet spojité rastrové reprezentace výškových modelů. Tyto reprezentace tvoří pravidelnou mřížku, tzv. grid s předdefinovaným rozlišením. Interpolace je v tomto případě velmi často označena jako 3D interpolace, protože jsou hodnoty interpolovány nad povrchem, který je definovaný souřadnicemi X a Y. Interpolace je rozdělena na dvě hlavní skupiny. Globální interpolace - bere v potaz všechny známé body a za pomocí nich vypočítává hodnoty neznámých bodů v předem nastavených souřadnicích. Lokální metoda obvykle využívá nastaveného poloměru (variabilního či fixního), který v okolí neznámého bodu hledá body, z kterých by hodnotu vypočetl. Hlavním rozdílem mezi těmito přístupy je citlivost na odlehlé hodnoty. Často je tak patrný efekt, kdy globální metody tvoří hladší povrchy a lokální metody lépe kopírují odlehlé hodnoty, přičemž vytváří lokální extrémy (Obrázek 15). Obrázek 15 - Globální a lokální vliv bodového mračna na interpolovaný model (Zdroj: Autor) 31

39 Interpolaci lze provést různými algoritmy, které se liší svojí výpočetní podstatou, složitostí a také podávají rozdílné výsledky v závislosti na prostorových charakteristikách zájmové oblasti. Mezi hlavní využité algoritmy patří Inverse Distance Weighting (IDW), Shepard - Modifikovaný Shepard, Renka-Cline, Běžný - Ordinary Kriging (OC), Natural Neighbour či algoritmus Splines. Výpočetně méně náročným a snáze implementovatelným algoritmem použitým v této práci pro tvorbu finálních povrchů je algoritmus IDW. Je založen na váhovém ohodnocení známých atributů pomocí inverzní mocniny vzdálenosti mezi známým a neznámým bodem. Čím blíže oba body jsou, tím silnější je vliv vzdálenosti (Longley 2011) Hromadná implementace interpolačních algoritmů Trojúhelníky jsou charakteristické nepredikovatelným tokem hran, který znesnadňuje celou řadu činností při práci s modelem. První operací je vyhlazení povrchu a využití modelu pro dynamické simulace, při kterých se polygonový povrch například ohýbá. Počet hran trojúhelníku má hodnotu 3. Po rozdělení struktury pomocí další hrany nastává situace, kdy nelze stanovit její směrování v rámci dalších trojúhelníků v okolí. Vždy existuje více možností, kudy hranu vést. Dělené struktury (3/2 = 1.5) tvoří další trojúhelníky a špatně dělitelné plochy. Řešení tohoto problému lze najít ve vytvoření pravidelné mřížky čtvercových polygonů. Každý polygon má stejný plošný obsah a každý může být protnut hranou jak ve vertikálním, tak horizontálním směru. Tento jev silně podporuje vyhlazení a samotný ohyb plochy (Obrázek 16). Obrázek 16 - Nepravidelný tok hran (Zdroj: Autor) Terén s větším sklonem bude reprezentován vyšším rozlišením polygonové sítě, nížinný povrch s neměnným sklonem, za pomocí nižšího rozlišení. Tento přístup částečně omezí počet použitých polygonů a tedy i počet bodů nutných k uchování v paměti. 32

40 Struktura bodů tedy není pouze redukována faktorem, stanoveným v bodě 2.1, ale bodový tok je ovlivněn i měnícím se sklonem mezi jednotlivými buňkami modelu (Obrázek 17). Obrázek 17 - Držení milionů nepotřebných bodů v modelu (Zdroj: Autor) Tento text využívá lokální interpolaci algoritmu IDW a globální pojetí algoritmu Renka-Cline (Renka a Cline 1984). Interpolace je provedena hromadným způsobem za využití knihovny algoritmů NAG v prostředí aplikace OriginLab za pomocí programovacího jazyka C++. Na základě vztahů 1 a 2 je definováno rozlišení cílového gridu, kterého do vybraného algoritmu vstupuje v podobě struktury předdefinovaného pole. C Xi = W (1) P i R Yi = H P i (2) Kde, i = položka v poli cílových rozlišení, C Xi = počet sloupců gridu (osa X), R Yi = počet řádků (osa Y), W = šířka zájmové oblasti (m), H = výška zájmové oblasti (m), P i = cílové rozlišení polygonu. Zájmové území má rozměr cca km. Cílová velikost rozlišení jednotlivých gridů (polygonů) je nastavena do pole hodnot { } metrů. Výpočet vrátí dvě předdefinovaná pole cílových rozlišení prázdných gridů, do kterých budou hodnoty dointerpolovány ze svého okolí, sloupce {100,167,251,502,1005,2010}, řádky {199,332,498,997,1995,3990}. Následující C++ kód zobrazuje hromadnou implementaci algoritmu Renka-Cline. Zdrojový kód znázorňuje pouze hlavní pasáž procesu. Uživatel specifikuje vstupní soubor, 33

41 například 800 MB surový LIDAR sken. Data jsou načtena do struktury XYZFile. Třída XFBase vytváří přístup ke skriptovacím funkcím, v tomto případě xyz_renka z knihovny NAG. Poté jsou data iterativně zpracována a separátně uložena do předem určených složek (Obrázek 18). Obrázek 18 - Dílčí část zdrojového kódu v C++ (Zdroj: Autor) *************************** Algorithm: Renka-Clime Resolution: 2010 Values: Pure computation completed in : ms Saving the output file took : 3370 ms Total time: ms *************************** 34

42 Následující obrázek charakterizuje výstup z interpolačního procesu (Obrázek 19). Každý soubor je reprezentován rozdílným rozlišením mřížky, která bude v další části práce využita při tvorbě adaptivního povrchu. Obrázek 19 - Automaticky generovaná výstupní sada souborů (Zdroj: Autor) Pokud se tato situace zobrazí graficky, v podobě bodů či hodnot převedených do rastru, lze získat prvotní náhled na adaptivní možnosti tvorby výsledného modelu. Obrázek 20 zobrazuje 3 z 6 vytvořených gridů. Černý, obdélníkový výřez zobrazuje rozdílné rozlišení pravidelné bodové struktury. 35