VYSOKÉ UČENÍ TECHNICKÉ V BRNĚ ZPRACOVÁNÍ DAT PRO 3D DIPLOMOVÁ PRÁCE

Transkript

1 VYSOKÉ UČENÍ ECHNICKÉ V BRNĚ BRNO UNIVERSIY OF ECHNOLOGY FAKULA ELEKROECHNIKY A KOMUNIKAČNÍCH ECHNOLOGIÍ ÚSAV AUOMAIZACE A MĚŘICÍ ECHNIKY FACULY OF ELECRICAL ENGINEERING AND COMMUNICAION DEPARMEN OF CONROL AND INSRUMENAION ZPRACOVÁNÍ DA PRO 3D 3D DAA PROCESSING DIPLOMOVÁ PRÁCE MASER'S HESIS AUOR PRÁCE AUHOR VEDOUCÍ PRÁCE SUPERVISOR Bc. OMÁŠ BABINEC Ing. MILOSLAV RICHER, Ph.D. BRNO 29

2 VYSOKÉ UČENÍ ECHNICKÉ V BRNĚ Fakulta elektrotechniky a komunikačních technologií Útav automatizace a měřicí techniky Diplomová práce magiterký navazující tudijní obor Kybernetika, automatizace a měření Student: Bc. omáš Babinec ID: 8395 Ročník: 2 Akademický rok: 28/29 NÁZEV ÉMAU: Zpracování dat pro 3D POKYNY PRO VYPRACOVÁNÍ: Vytvořte protředí pro zpracování dat zíkaných z obrazové informace. Výledkem budou vypočtené 3D informace zadaných dat. Navrhněte modulární outavu a definujte základní truktury/prvky a vazby mezi nimi. Jako prvky volte objekty a vazby mezi nimi. Navrhněte princip výpočtu/řešení tohoto problému. Řešení demontrujte na vhodném příkladu. DOPORUČENÁ LIERAURA: Krau K.: Photogrammetrie und 2, Ummler / Bonn, 996 Žára J., Beneš B., Sochor J., Felkel P.: Moderní počítačová grafika, Computer Pre, 998, ISBN Hlaváč V., Šonka M.: Počítačové vidění,grada, Praha 992, ISBN Faugera O.: hree-dimenional Computer Viion, he MI Pre 993 ermín zadání: ermín odevzdání: Vedoucí práce: Ing. Milolav Richter, Ph.D. prof. Ing. Pavel Jura, CSc. Přededa oborové rady UPOZORNĚNÍ: Autor diplomové práce nemí při vytváření diplomové práce porušit autorká práve třetích oob, zejména nemí zaahovat nedovoleným způobem do cizích autorkých práv oobnotních a muí i být plně vědom náledků porušení utanovení a náledujících autorkého zákona č. 2/2 Sb., včetně možných tretněprávních důledků vyplývajících z utanovení 52 tretního zákona č. 4/96 Sb.

3 3 Zpracování dat pro 3D Diplomová práce Zaměření tudia: Student: Vedoucí práce: Kybernetika, automatizace a měření omáš Babinec Ing. Milolav Richter, Ph.D. Abtrakt : Cílem práce bylo vytvořit oftwarové protředí, které umožní zpracování 3D dat na základě obrazové informace. Úvodní čát práce je věnována teoretickému popiu fotogrammetrické problematiky v rámci počítačového vidění. Obahuje také matematický popi afinních tranformací v homogenních ouřadnicích a předtavuje iterační algoritmu metody nejmenších čtverců modifikovaný pro řešení fotogrammetrických úloh. ato optimalizační metoda tvoří základní výpočetní nátroj výledného protředí pro zpracování 3D dat. Hlavní čát práce tvoří kapitoly, které e zabývají návrhem vhodného popiu cény, reprezentací vazebních podmínek mezi jejími prvky a náledným výpočtem takto definovaných fotogrammetrických úloh. Pro počítačové zpracování databáze dat, které popiují prvky cény a jejich vazební vztahy, byla vytvořena hierarchická truktura objektových typů v jazyce C++. Vzniklé programové protředí umožňuje řešit úlohu kalibrace kamery, identifikaci geometrických zkrelení kamery a rekontrukci 3D ouřadnic bodů. Při výpočtech lze využít doplňujících vazebních vztahů rovinnoti a linearity, které rozšiřují výpočetní chopnot protředí. Výledná aplikace byla napána v jazyce C++. Uživatelké rozhraní určené pro operační ytémy Window je potaveno na technologii.ne. Při maticových operacích a práci obrázky byly použity funkce a datové typy z knihovny OpenCV. Klíčová lova: Fotogrammetrie, kalibrace kamer, rekontrukce 3D, C++, OpenCV

4 4 3D data proceing Mater thei Specialization of tudy: Student: Supervior: Cybernetic, Control and Meaurement omáš Babinec Ing. Milolav Richter, Ph.D. Abtract: he aim of the thei wa to create a oftware environment for 3D data proceing baed on image. he firt part of the thei deal with theoretical decription of photogrammetry a a part of computer viion. It alo dicue the mathematical decription of affine tranformation in homogenou coordinate and there i a theoretical introduction to the leat quare method pecialized for olving photogrammetry problem. Adjutment by the leat quare method i ued a a primary computational tool. he main part of the thei earche for a uitable cene decription, introduce the repreentation of bonding condition between cene element and dicue photogrammetry problem olving. he oftware environment include an object type hierarchy, which i ued for the torage of cene element data. hee object are implemented a C++ clae. Created oftware environment i capable of camera calibration, geometrical camera ditortion identification and 3D data recontruction. he additional bonding condition of planarity and linearity augment the computational ability of the environment. he final application wa programmed in the C++ language. he graphical uer interface created for Window operating ytem ue.ne technology. Matrix calculation and image proceing utilize OpenCV function and data type. Keyword: Photogrammetry, camera calibration, 3D recontruction, C++, OpenCV

5 5 Bibliografická citace BABINEC,. Zpracování dat pro 3D. Brno:,, Vedoucí diplomové práce Ing. Milolav Richter, Ph.D.

6 6 Prohlášení Prohlašuji, že vou diplomovou práci na téma Zpracování dat pro 3D jem vypracoval amotatně pod vedením vedoucího diplomové práce a použitím odborné literatury a dalších informačních zdrojů, které jou všechny citovány v práci a uvedeny v eznamu literatury na konci práce. Jako autor uvedené diplomové práce dále prohlašuji, že v ouviloti vytvořením této diplomové práce jem neporušil autorká práva třetích oob, zejména jem nezaáhl nedovoleným způobem do cizích autorkých práv oobnotních a jem i plně vědom náledků porušení utanovení a náledujících autorkého zákona č. 2/2 Sb., včetně možných tretněprávních důledků vyplývajících z utanovení 52 tretního zákona č. 4/96 Sb. V Brně dne: 25. května 29 podpi autora

7 7 Poděkování Děkuji vedoucímu diplomové práce Ing. Milolavu Richterovi, Ph.D. za účinnou metodickou, pedagogickou a odbornou pomoc a další cenné rady při zpracování mé diplomové práce. V Brně dne: 25. května 29 podpi autora

8 8. OBSAH. OBSAH SEZNAM OBRÁZKŮ ÚVOD PROBLEMAIKA ZPRACOVÁNÍ 3D DA V RÁMCI POČÍAČOVÉHO VIDĚNÍ MAEMAICKÉ NÁSROJE ranformace v homogenních ouřadnicích ranlace Rotace Změna měřítka Projekce z 3D do 2D Skládání tranformací Metoda nejmenších čtverců pro řešení fotogrammetrické úlohy Algoritmu výpočtů Konvergence metody Řešitelnot outavy KONCEPCE VÝPOČENÍHO PROSŘEDÍ MANAGER CALCULAOR Grafické uživatelké rozhraní (GUI) POPIS SCÉNY Prvky cény Datové kontejnery Iterační element Komplexní datový prvek D a 3D bod Kamera Pohled Snímek...37

9 Rovina Přímka Zkrelení Vazební podmínky Vazební rovnice Projekce Rovinnot Linearita Zkrelení Paměťové nároky VÝPOČENÍ NÁSOJ PROSŘEDÍ Implementace modifikované MNČ Čaová náročnot výpočtů GUI ESY VÝPOČENÍ SCHOPNOSI Kalibrace kamer bez geometrických zkrelení Kalibrace kamer indentifikací geometrických zkrelení Rekontrukce 3D informace využitím vazebních podmínek linearity a rovinnoti ZÁVĚR SEZNAM LIERAURY SEZNAM ZKRAEK A SYMBOLŮ SEZNAM PŘÍLOH...7

10 2. SEZNAM OBRÁZKŮ Obrázek : Příklad projekce z 3D do 2D... 8 Obrázek 2: Příklad ložené tranformace... 9 Obrázek 3: Součet kvadrátů odchylek projekčních vztahů (32) a (33) Obrázek 4: Koncepce vytvořeného výpočetního protředí Obrázek 5: Struktura objektových typů Obrázek 6: ypy kontejnerů z SL... 3 Obrázek 7: Vnitřní truktura množiny a mapy... 3 Obrázek 8: Vnitřní kontrukce třídy t_cell (buňka) Obrázek 9: Vnitřní kontrukce objektového typu t_cluter (hluk) Obrázek : Dědická hierarchie třídy t_cluter Obrázek : Vnitřní parametry kamery Obrázek 2: Navržená reprezentace roviny v 3D protoru Obrázek 3: Reprezentace přímky v 3D protoru Obrázek 4: Varianty geometrického zkrelení obrazu... 4 Obrázek 5: Vazební podmínky Obrázek 6: Dědická hierarchie třídy t_equ Obrázek 7: Průběh výpočtu neznámých parametrů... 5 Obrázek 8: GUI: Databáze fotogrammetrických dat Obrázek 9: GUI: Databáze fotogrammetrických rovnic Obrázek 2: GUI: Zadání bodů ve nímcích Obrázek 2: GUI: Vizualizace a ovládání výpočtů Obrázek 22: Rozvržení tetovací cény Obrázek 23: Snímky z kamer L a P Obrázek 24: Souřadnice 2D bodů po přidání bílého šumu Obrázek 25: Snímky cény... 6

11 3. ÚVOD Diplomová práce tématicky padá do oboru počítačového vidění, konkrétně do oblati, kterou e zabývá vědní diciplína názvem fotogrammetrie. Cílem je vytvořit programové protředí, které umožní komplexní vyhodnocení neznámých vlatnotí trojrozměrné cény na základě informace obažené v obrazových datech. Jako příklad praktického využití lze uvét rekontrukci tvaru předmětu reprezentovaného množinou bodů, měření rozměrů nebo určení geometrických zkrelení použité kamery. Vše je realizováno bezdotykovou cetou na základě informací zíkaných z fotografií cény. Výpočty neznámých parametrů cény vychází podobně jako v mnoha jiných oftwarových nátrojích z rovnice projekce. a využívá matematický model promítání etavený z kalibračních parametrů kamer. Na základě tohoto modelu aproximuje proce zobrazení mezi 3D bodem ve céně a jeho 2D ekvivalentem na pořízené fotografii. Rovnice projekce tedy zatupuje apriorní znalot o jednom z mnoha matematicko-fyzikálních principů, které ve nímané céně platí. Její vhodné použití umožňuje řešit dvě základní fotogrammetrické úlohy: kalibraci kamery a rekontrukci 3D informace. Mezi objekty ve céně ovšem exituje mnoho jiných závilotí, které v rovnici projekce nejou potiženy. V práci jou konkrétně uvažovány ituace, kdy je známo, že kupina bodů leží v jedné rovině, případně na jediné přímce. Schopnot vyhodnotit doplňující záviloti může protředí obohatit o nové výpočetní vztahy, zvýšit přenot výledků i zlepšit tabilitu výpočtů. Nové protředí má umožnit použití rozšiřujících vazebních podmínek a ověřit možnot jejich zapojení do výpočtu neznámých parametrů. ím e odlišuje od většiny v oučané době používaných nátrojů 3D rekontrukce. Práce navazuje na výzkumnou zprávu pro GACR /93/2435 grantu Advanced cheme of robot control názvem Exterior orientation of digital image uing CCD camera in cloe-range photogrammetry []. Zpráva byla vydána v Brně

12 2 v roce 995 pod vedením Doc. Ing. Františka Šolce, Cc. Její autoři jou Ing. Petko Popov a Ing. Milolav Richter. V textu práce je nejprve natíněna obecná problematika zpracování 3D dat v rámci oboru počítačového vidění. Náleduje popi matematické teorie základních geometrických tranformací a metody nejmenších čtverců modifikované pro řešení fotogrammetrických úloh. Její programová implementace louží jako výpočetní nátroj vytvořeného oftwarového protředí. Další kapitola je věnována popiu cény. Je zde objaněna navržená truktura objektových typů, které reprezentují jednotlivé prvky cény v databázi fotogrammetrických dat výpočetního protředí. Kapitola e dále zabývá definicí vazeb mezi prvky a jejich vhodnou reprezentací. Náleduje charakteritika implementovaného výpočetního nátroje a popi uživatelkého rozhraní, které vzniklo za účelem nazší ovladatelnoti protředí. Na závěr uvádím několik příkladů, na kterých byla tetována výpočetní chopnot protředí.

13 3 4. PROBLEMAIKA ZPRACOVÁNÍ 3D DA V RÁMCI POČÍAČOVÉHO VIDĚNÍ Zdravý člověk podle [3] přijímá až 8% informace o vém okolí protřednictvím zrakového vjemu. Vědní obor počítačového vidění e zabývá možnotmi využití technických protředků za účelem přeneení chopnoti vyhodnotit obrazovou informaci na troje a jiné umělé ytémy. Počátky počítačového vidění jou pojeny e vznikem prvních počítačů. y umožnily automatické zpracování velkého množtví informací, které obrazová data obahují. Do širšího povědomí e počítačové vidění dotalo především díky prudkému rozvoji digitální elektroniky a oobních počítačů v poledním deetiletí. Dne jou k dipozici vyoce kvalitní obrazové nímače, ale i výkonný hardware pro zpracování velkého množtví dat dvourozměrného obrazového ignálu. ím je umožněno značné rozšíření aplikací metod počítačového vidění, které připívají k automatizaci a zrychlení výrobního proceu a tak výrazně nižují výrobou pojené náklady. Strojové zpracování obrazu ná v tuto dobu provází téměř na každém kroku. Nabízí totiž více než adekvátní alternativu tradičních potupů a pro vé nepopiratelné výhody (bezkontaktnot, rychlot a přenot měření) mnohdy zcela vytěnilo dříve využívané metody z praxe. Aplikace trojového vidění lze odhalit například v: automatizaci výroby, kontrole kvality výrobků, měření rozměrů, robotice, medicíně (počítačová tomografie, ultrazvuk, ), bezpečnotních a ledovacích ytémech (identifikace oob, detekce pohybu, ), zpracování textu (OCR), vojentví (detekce polohy cílů, navádění), multimédiích a počítačových hrách.

14 4 Problematika počítačového vidění je obáhle rozebrána například v [4]. ato diplomová práce e zabývá zpracováním 3D dat na základě obrazové informace, a tudíž také padá do oblati počítačového vidění. Konkrétně je zaměřena na využití metod, které jou oučátí vědní diciplíny fotogrammetrie. Ve lovníku cizích lov (viz [5]) je fotogrammetrie definována jako obor, který e zabývá určováním tvaru, rozměrů a polohy předmětů v protoru ze nímků pořízených z výšky nebo ze země bez přímého proměřování. Za základní úlohy fotogrammetrie (podle [2]) lze považovat kalibraci kamer a rekontrukci 3D vlatnotí cény. Pod pojmem kalibrace kamery je myšleno nalezení hodnot parametrů matematického modelu, který imuluje zobrazení 3D bodů cény do 2D roviny nímku. Při proceu zobrazení dochází ke ztrátě trojrozměrné informace. Pro opětovné zíkání údajů o protorových vlatnotech protředí je nutné vyřešit úlohu rekontrukce 3D ouřadnic. Fotogrammetrická teorie je v praxi aplikována například při: měření a kontrole rozměrů (výroba, inpekce dopravních nehod, archeologie), polohování robotů a manipulátorů, zpětném inženýrtví, rekontrukci 3D tvaru orgánů v medicíně, vyhodnocení dopravní ituace v telematice, modelování tvaru reálných objektů v mediálních projektech a počítačových hrách. Programy, které využívají fotogrammetrické metody, jou například Photoynth, CamSpace nebo komerční aplikace PhotoModeler a Geomatica. Základní matematický aparát fotogrammetrických metod, ze kterého tato práce vychází, je uveden v náledující kapitole.

15 5 5. MAEMAICKÉ NÁSROJE Náledující podkapitoly obahují popi základních matematických nátrojů a vztahů, které jou využity ve vytvořeném výpočetním protředí. Jou zde zmíněny tranformace v homogenních ouřadnicích a také princip metody nejmenších čtverců modifikovaný pro řešení fotogrammetrických úloh. Zde uvedené teoretické poznatky jou rozšířeny v kapitolách 7 a 8, které e zabývají jejich praktickou implementací. 5. RANSFORMACE V HOMOGENNÍCH SOUŘADNICÍCH Informace uvedené v této kapitole jou převzaty z [6]. Podobně jako kartézká outava i homogenní ouřadnice louží k matematickému popiu bodů a jejich tranformací v protoru. Výhodou homogenních ouřadnic je především jednotná maticová reprezentace afinních tranformací (zachovávají rovnoběžnot přímek) a možnot jejich kládání do jediného zobrazení. Další zajímavou vlatnotí je, že lze maticově zapat také perpektivní promítání. Pro popi k-rozměrného bodu ( b, b2,, ) B v kartézké outavě ouřadnic K b k protřednictvím homogenních ouřadnic je nutné znát upořádanou n-tici ( a, a, 2, ) a n K, kde n = k +. Prvek a n je tzv. váha bodu a bývá obvykle značen w. Mezi kartézkou a homogenní outavou platí převodní vztah (): ai ai bi = = ; a n = w. () a w n Vytvořené výpočetní protředí zpracovává převážně trojrozměrná data. Náledující popi e proto vztahuje pouze k 3D protoru. Obecnou tranformaci 3D bodu B ( x, y, z, w) na bod B ( x, y, z, w ) reprezentuje matice A 4x4, lze v homogenních ouřadnicích zapat náledovně:, kterou x' a a2 a3 a4 x y' a2 a22 a23 a24 y B = = A 4x4 B = a a a a z (2) z' w' a4 a42 a43 a44 w

16 6 5.. ranlace ranlace neboli pounutí je definováno vektorem t r. en má ve trojrozměrném protoru tvar ( ) t t t Z Y X,, t r. Matici reprezentující tranformaci pounutí budu dále označovat a její inverzní podobu -. ( ) ( ) =,, t t t t t t Z Y X Z Y X t r (3) Inverzí tranlace je pounutí v opačném měru. Proto: ( ) ( ) ( ) ( ) = =,,,, t t t t t t t t t Z Y X Z Y X Z Y X t t r r. (4) 5..2 Rotace Rotace neboli otočení je definováno úhlem, o který e má bod otočit okolo dané ouřadné oy. Pro rotaci kolem ouřadné oy x o úhel α lze použít zápi: ( ) ( ) ( ) ( ) ( ) = co in in co α α α α α x R (5) Pro oy y a z pak analogicky platí: ( ) ( ) ( ) ( ) ( ) = co in in co β β β β β y R (6) ( ) ( ) ( ) ( ) ( ) = co in in co γ γ γ γ γ z R (7)

17 7 Libovolné otočení v trojrozměrném protoru můžeme rozdělit na poloupnot rotací kolem jednotlivých ouřadných o ytému. Výlednou tranformaci lze popat maticí R, pro kterou platí: ( ) ( ) ( ) γ β α z R R R R y x = ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) + = c c c c c c c c c c c c c c β α γ β α γ α γ β α γ α β α γ β α γ α γ β α γ α β γ β γ β R (8) Názvy goniometrických funkcí jou zde zkráceny na počáteční pímena. ( ) ( ) ( ) ( ) ( ) α α α α co,c = in = Inverzní operace k rotaci znamená otočení o záporně vzatý úhel. V maticové podobě toho nadno docílíme tranpozicí. Platí například: ( ) ( ) ( ) α α α x x x R R R = =. (9) 5..3 Změna měřítka Změnu měřítka (anglicky cale) v homogenních ouřadnicích provedeme náobením maticí ( ) z y x,, S a inverzní tranformaci ukutečníme maticí z y x,, S. Koeficienty x, y a z popiují změnu měřítka na jednotlivých oách. ( ) =,, z y x z y x S () ( ) ( ) = =,,,, z y x z y x z y x S S () Jou-li abolutní hodnoty koeficientů v intervalu ( ),, jedná e o zmenšení. V intervalu ( ), jde o zvětšení. Speciální případ natává, když jou koeficienty rovny nebo -. Pak e změna měřítka mění na operaci ouměrnoti.

18 8 Platí-li z y x = =, lze v homogenních ouřadnicích zápi zjednodušit. ( ) =,, x x x x S (2) 5..4 Projekce z 3D do 2D Níže uvedená tranformace popiuje model tředového promítání. Jde o zobrazení bodů v trojrozměrném protoru na průmětnou rovinu. Výtupem jou tedy nové trojrozměrné ouřadnice bodů, které leží v jedné rovině. oto probíhá například v kamerách. Při projekci dochází ke ztrátě protorové informace. Obrázek ilutruje ituaci, kde jou dva body P a P 2 o zcela rozdílných ouřadnicích v protoru zobrazeny do roviny π kolmé na ou z a od počátku ouřadnic vzdálené o z. Pro bod P má maticový zápi projekční tranformace v homogenních ouřadnicích tvar: = ' ' ' ' w z y x z w z y x (3) Obrázek : Příklad projekce z 3D do 2D

19 9 Objekty umítěné mezi průmětnou rovinou a počátkem ouřadnic jou zvětšeny a předměty na opačné traně průmětny jou zobrazením zmenšeny. Při promítání dochází ke ztrátě informace o kutečné poloze bodů v protoru. Středové promítání obecně nezachovává rovnoběžnot přímek Skládání tranformací Homogenní ouřadnice umožňují loučit poloupnot tranformací do jediné matice. Výpočet maticových operací je čaově náročný. Sloučení čato e opakujících poloupnotí tranformací do jediné matice značně urychlí výpočet. Jako jednoduchý příklad kládání tranformací uvádím rotaci bodu P o úhel α okolo oy o rovnoběžné oou z trojrozměrného ouřadného ytému, kde o vznikne pounutím z o vektor ( v, v2,) v. Situaci ilutruje Obrázek 2. Nejprve e provede tranlace ( v, 2,) Náleduje otočení ( α ) pozici pounem ( v, v2,) z, která ztotožní ou o oou z. v R o úhel α kolem oy z a nakonec vrátíme ou o na původní. Je nutné poznamenat, že náobení matic není komutativní a proto záleží na pořadí, ve kterém e operace provádějí. Celou poloupnot můžeme pojit do jediné matice takto: ( v v,) R ( ) ( v,,) A = z α (4), 2 v2 Obrázek 2: Příklad ložené tranformace

20 2 5.2 MEODA NEJMENŠÍCH ČVERCŮ PRO ŘEŠENÍ FOOGRAMMERICKÉ ÚLOHY 5.2. Algoritmu výpočtů Metoda popaná v [2] je určena pro řešení ytému fotogrammetrických rovnic, které vyjadřují vazby mezi kontantními, změřenými a neznámými veličinami fotogrammetrické úlohy. Náledující vztahy jou převzaty z [2 a ]. Je dáno N rovnic, které popiují fotogrammetrické záviloti ( x z) ( x, z) = F, : F i, i =,2, K, N. (5) ( z, z,, ) 2 z = vektor P změřených hodnot K z P ( x, x,, ) 2 x = vektor M neznámých hodnot K x M Známé hodnoty e v rovnicích (5) projeví jako kontanty. Úkolem metody nejmenších čtverců je iterativně určit hodnotu neznámých parametrů ~ x a změřených hodnot ~ z, aby platilo: F ( ~ x, ~ z) =, při plnění podmínky (6) [( ~ z z) K ( ~ z z) ] = min. (7) K je kovarianční matice vektoru změřených hodnot z. 2 σ σ 2 L σ P 2 σ 2 σ 2 L σ 2P K = (8) M M O M 2 σ P σ P2 L σ P σ σ K σ jou rozptyly změřených hodnot , 2,, P P P 2 σ = ( z i z ), kde z = P P i= 2 z i i= (9) σ σ K jou kovariance změřených hodnot. 2, P,, σ PP P 2 σ = (2) P i= ( z i z )( z2i z2 )

21 2 Optimální hodnoty x ~ a z ~ je možné najít Lagrangeovou metodou určení minima pomocné funkce, kdek ~ jou Langrangeovy náobitele: ( ) ( ) ( ) z x F k z z K z z Φ ~ ~, ~ ~ ~ 2 =. (2) Úplný diferenciál funkce (22) položíme roven nule: ( ) ~ ~ ~ ~ ~ ~ ~ ~ = = = = = = F k Φ k x F x Φ k z F z z K z Φ. (22) Výpočty metody budou prováděny na počítači, parciální derivace jou proto převedeny na diference. Zavedeme-li: A x F x F = = ~ ~ a B z F z F = = ~ ~, pak: (23) z B x A F F + + =. (24) F vektor reiduí funkcí F (odchylka hodnot od ) x, z korekce ve vektoru neznámých a změřených hodnot Zíkáme tak outavu rovnic: z B x A F F k A k B z K + + = = = ~ ~. (25) Odtud lze vyjádřit vztahy pro výpočet x a z: ( ) ( ) ( ) F B BK A A B BK A x = (26) ( ) ( ) F x A B BK B K z + =. (27) Po výpočtu korekčních vektorů x a z můžeme provét korekci výchozích podmínek dle vztahu (28) a pokračovat další iterací metody. x x x + = + k k a z z z + = + k (28)

22 22 V iteracích můžeme pokračovat, dokud hodnoty korekcí x a z neklenou pod tanovenou mez. Další možnotí, jak definovat ukončovací podmínku, je utálení 2 hodnoty rozptylu σ jednotkové váhy, kterou určíme jako: 2 2 R =, N P 2 σ = F ( BK B ) ( F ) + ( A ( BK B ) F ) x R, (29) kde N je počet podmínkových rovnic a P je počet změřených parametrů. Pomocí ze vztahu (5) lze určit kovarianční matici K x řešení x k podle rovnice (6). K Konvergence metody ( A ( BK ) ) B 2 σ 2 x = σ A (3) Protože e jedná o iterační výpočet, není zajištěno, že výledné hodnoty budou konvergovat ke právnému řešení. Významný vliv na kvalitu konvergence má tvar prohledávaného protoru, F ~ x, ~ z ze vztahu (6) a počtem neznámých který je definován vektorem funkcí ( ) parametrů. Jou-li funkce ( x, z) F ~ ~ čitě lineární závilotí neznámých parametrů ~ x, může výpočet konvergovat v jediném kroku i pro velký počet neznámých. F ~ x, ~ z, které jou pro fotogrammetrické úlohy Naopak nelineární záviloti ( ) obvyklé, způobí, že je prohledávaný protor ilně zakřiven a obahuje různě významné lokální extrémy (příklad viz obrázek 3). Vzniká tak náročný optimalizační problém, který i při nízkém počtu neznámých parametrů vyžaduje mnoho kroků metody a přitom nemuí měřovat ke právnému řešení. Další faktor ovlivňující konvergenci řešení jou natavené výchozí hodnoty neznámých parametrů, tzv. počáteční podmínky. Je-li počáteční odhad příliš vzdálen právným hodnotám, je pravděpodobné, že algoritmu uvázne v některém lokálním minimu nebo bude divergovat a nabídne řešení v nekonečnu. Při výpočtu korekčních vektorů (viz rovnice (26) a (27)) metoda využívá váhování vlivu jednotlivých funkcí ( x z) F, pomocí kovarianční matice K. ento přítup zvyšuje tabilitu výpočtů. Hodnoty rozptylů změřených hodnot z ~ na hlavní diagonále matice K nemí být vzhledem k danému parametru příliš vyoké.

23 23 Algoritmu by totiž mohl započítat značné změny změřených parametrů (což plyne z podmínky (7)) a tím detabilizovat výpočet. Obrázek 3: Součet kvadrátů odchylek projekčních vztahů (32) a (33) v záviloti na dvou neznámých (dva úhly natočení kamery); zbylých om parametrů kamery fixováno Řešitelnot outavy V každé iteraci výše zmíněné modifikace metody nejmenších čtverců je nezbytné vypočítat přinejmenším korekční vektor x neznámých parametrů dle vztahu (26). ( A) Výpočet obahuje dvě inverze matice. Matice ( BK B ) a A ( BK B ) proto muí být regulární. o znamená, že hodnot matic A muí být alepoň rovna počtu neznámých ve vektoru x a zároveň hodnot matic B a K muí být větší nebo F ~ x, ~ z. Metoda tímto klade na zadání rovna počtu funkčních závilotí ve vektoru ( ) tři základní podmínky: F ~ ~ muí obahovat alepoň M lineárně nezávilých funkcí Zadané záviloti ( x, z) vzhledem k vektoru neznámých ~ x, kde M je počet neznámých parametrů. F ~ x, ~ z muí být lineárně nezávilé vzhledem k vektoru Všechny záviloti ( ) změřených parametrů z ~.

24 24 Alepoň u N změřených parametrů z muí být natavena nenulová hodnota rozptylu 2 σ i, které tvoří hlavní diagonálu matice K. N je počet zadaných F ~ ~. funkčních závilotí ve vektoru ( x, z) Výše zmíněné podmínky nejou při praktických výpočet vždy plněny. Možné řešení takové ituace je objaněno v kapitole 8..

25 25 6. KONCEPCE VÝPOČENÍHO PROSŘEDÍ Programové protředí, které plňuje požadavky zadání diplomové práce, muí být chopné pravovat databázi fotogrammetrických dat a jejich vzájemných vztahů, generovat outavy vazebních rovnic a umožnit jejich řešení. Doplňkovou oučátí protředí může být také grafické uživatelké rozhraní, které zjednoduší demontraci jeho chopnotí. Schéma kontrukce výpočetního protředí, které bylo v rámci práce vytvořeno je uvedeno na obrázku 4. V základním tvaru lze rozlišit tři víceméně amotatné vrtvy (moduly):. MANAGER, 2. CALCULAOR, 3. GUI. Obrázek 4: Koncepce vytvořeného výpočetního protředí Celé oftwarové protředí je napáno v jazyce C++. Pro zprávu databáze dat bylo využito datových kontejnerů ze Standardní knihovny šablon jazyka C++ (viz [7]). Pro implementaci výpočtů neznámých parametrů a právu obrázků v GUI jem využil protředků knihovny OpenCV.pre (viz [8 a 9]).

26 26 Při návrhu tavebních prvků protředí i jejich náledném programování byl kladen důraz na budoucí nadnou rozšiřitelnot programu a byla minimalizována potřeba záahu do již exitujícího kódu. 6. MANAGER ento modul tvoří základní vrtvu protředí. V programu je zatoupen objektovým typem (třídou) t_manager. V protředí je tedy možné nadefinovat více jeho intancí a pravovat tak oučaně několik oddělených projektů. řída t_manager pokytuje metody, které louží k natavování a ovládání intance z nadřazeného programu, kterým může být například uživatelké rozhraní (GUI). Mezi hlavní činnoti MANAGERu patří: uchování pracovních dat, práva dat, reprezentace vazebních podmínek, etavení rovnic z vazebních podmínek, pouštění výpočtu. Bližší popi jmenovaných činnotí náleduje. Data zadaná uživatelem i zíkaná výpočty je potřeba přehledně uchovat. Byla proto navržena a implementována peciální hierarchie objektů (viz kapitola 7). MANAGER nad těmito objekty provádí právu, která zahrnuje přidávání, rušení a změnu hodnot jednotlivých datových prvků. Kromě fotogrammetrických dat jou protřednictvím třídy t_manager pravovány a vyhodnocovány také veškeré vazební podmínky, které uživatel nad daty definoval. Na základě vazebních podmínek MANAGER z doud zadaných dat etavuje ytém rovnic, e kterými lze v daném okamžiku počítat. Při každé změně zadání e odpovídajícím způobem upraví i ytém rovnic určený k výpočtu. Díky tomu bude mít uživatel lepší přehled o vlivu změn v zadání na konečné výpočty. Obdrží-li protředí příkaz ke puštění výpočtu neznámých parametrů, aktivuje MANAGER třetí vrtvu aplikace, CALCULAOR, a předá jí aktuální ytém rovnic. ím e putí iterativní výpočet, jehož výledky e okamžitě projevují v databázi dat v MANAGERu.

27 CALCULAOR Druhá vrtva aplikace, která je v programu zatoupena třídou t_calculator tvoří výpočetní jádro celého protředí. Její činnot je aktivována MANAGERem. Slouží k řešení předané outavy vazebních rovnic a nalezení optimálních hodnot neznámých parametrů. Zíkané výledky e okamžitě projeví v databázi fotogrammetrických dat v MANAGERu. Obecně může třída t_calculator implementovat libovolný algoritmu, který je chopen řešit optimalizační úlohy v mnohorozměrném protoru (např. genetické algoritmy, diferenciální evoluce nebo implexové metody). V realizovaném protředí jem zvolil výpočetní algoritmu modifikované metody nejmenších čtverců převzatý z [2], který je uveden v 5. kapitole tohoto textu. Bližší informace o implementaci výpočtů a výhody/nevýhody zvolené metody v porovnání jinými algoritmy jou uvedeny v kapitole GRAFICKÉ UŽIVAELSKÉ ROZHRANÍ (GUI) Polední vrtva realizovaného protředí má za úkol vytvořit formu HMI (Human Machine Interface), tedy rozhraní zprotředkující komunikaci uživatelem. V nejjednodušší podobě může být realizována jako konzolový příkazový řádek. Vzhledem k poměrně ložité truktuře a velkému množtví informací, které mohou fotogrammetrická data obahovat (blíže viz. kapitola 7 tohoto textu), jem e rozhodl tento modul realizovat v podobě obvyklé aplikaci využívající grafické rozhraní operačního ytému Window. Grafické uživatelké rozhraní je blíže popáno v kapitole 8. Umožňuje zadávání dat a vazebních vztahů, zobrazuje vygenerovanou outavu rovnic a také vizualizuje průběh výpočtů.

28 28 7. POPIS SCÉNY Aby bylo možné provádět výpočty neznámých parametrů zkoumaného trojrozměrného protředí, je nutné nejprve zvolit vhodný popi vlatnotí vyhodnocované cény. Každá céna zachycená na obrazovém záznamu je definována množinou prvků, ze kterých je ložena a vazebními vztahy, které mezi jednotlivými prvky platí. Pod pojmem prvek cény jou v dalším textu uvažovány libovolné objekty, jejichž vlatnoti e projeví při pořízení fotografického záznamu. Prvky cény tedy jou například amotatné 3D body, objekty z nich ložené, ale i kamery použité pro jejich nímání nebo 2D body nalezené v obraze. Popi cény je ve vytvořeném oftwarovém protředí ukryt v modulu MANAGER. en pravuje 2 kupiny peciálních objektových typů (tříd), jejichž kombinace umožňuje kompletní popi ledované cény. První kupina tříd zatoupená objektem t_cluter louží k reprezentaci prvků cény a uchování jejich vzájemných vztahů. Druhá kupina ložená ze tříd t_equ zatupuje rovnice, které lze ze zadaných prvků a vazebních podmínek etavit. Při programové implementaci hierarchické truktury tříd jem kladl důraz na maximální využití nátrojů objektově orientovaného programování, které jazyk C++ nabízí. Jde především o polymorfizmu, dědičnot a šablony objektových typů. Využití dědičnoti a šablon unadňuje přidávání nových datových typů. Díky tomu lze výpočetní protředí rychle rozšířit o nové prvky cény i vazební vztahy. V oučané době jou v protředí implementovány objekty popiující: Prvky cény: 2D a 3D bod, kamera, pohled, nímek, rovina, přímka a zkrelení. Vazební rovnice: projekce, rovinnot, linearita a zkrelení. Náledující podkapitoly obahují popi výše zmíněných kupin objektů. 7. PRVKY SCÉNY Základní truktura objektových typů užitých pro reprezentaci prvků cény je naznačena na obrázku 5. Každý prvek cény je charakterizován množinou parametrů. Hodnoty těchto parametrů jou uloženy v intancích třídy t_cell, tzv. buňkách.

29 29 Buňkové objekty jou přímo zpracovávány při iteračním výpočtu neznámých parametrů (tvoří tzv. iterační elementy). Pro uchování kupiny buněk popiujících jeden prvek cény byla vytvořena abtraktní třída t_cluter. Z ní byly odvozeny objektové typy (například: tc_p2d, tc_view a další viz níže) pecializované pro reprezentaci konkrétních prvků cény. Pro nadnou právu většího množtví objektů jem využil různých datových kontejnerů, které jou přiblíženy v čáti 7... Obrázek 5: Struktura objektových typů 7.. Datové kontejnery Pojem datový kontejner, který jem převzal z [7], popiuje objekt určený k uchování a právě kupiny prvků. Obvykle jde o zapouzdření některé ze známých datových truktur jako například pole, vázaného eznamu nebo binárního tromu. V jazyce C++ jou některé typy kontejnerů k dipozici již hotové a to v rámci SL (Standard emplate Library). ato knihovna mimo jiné obahuje šablony pro kontejnery typu vector, deque, lit, et/multiet a map/multimap. Základní chémata jejich kontrukce jou uvedena na obrázku 6.

30 3 Obrázek 6: ypy kontejnerů z SL (převzato z [7]) V záadě podle [7] exitují dva druhy kontejnerů: ekvenční a aociativní. Sekvenční kontejnery tvoří upořádané kolekce prvků. Poloha každého z prvků je závilá na mítu a čae vložení. Do této kupiny patří vector, deque a lit. Naproti tomu aociativní kontejnery jou etaveny z prvků, kterou jou eřazeny podle vé hodnoty na základě nějakého kritéria. ímto způobem prvky zachází et/multiet a map/multimap. Aby bylo zřejmé, jaké typy kontejnerů jem využil a proč, uvedu nyní krátké hrnutí jejich vlatnotí (blíže viz. [7]). Vector je kontejner který zapouzdřuje dynamicky alokované pole. Hlavní jeho výhodou je, že umožňuje náhodný přítup k datovým prvkům pomocí indexu (adrey). Problém předtavuje přidání nebo rušení prvku, jehož index není hodný aktuálním koncem pole. Všechny prvky ležící za tímto indexem muí být pounuty, což může být čaově náročné. Správu alokované paměti provádí kontejner automaticky. Přeáhnou-li nároky na paměť aktuálně alokovaný rozah, je pro celé pole vyhrazen nový protor a všechna data jou do něj přeunuta tak, že přebytečné míto je opět na konci pole. Deque je zkratka pro double-ended queue (fronta e dvěma konci). Chová e podobně jako vector tím rozdílem, že její paměťový protor může být rozšiřován na začátku i konci zapouzdřeného pole.

31 3 Kontejner lit je zapouzdřený dvouměrně vázaný eznam. Každý z prvků obahuje vazbu na předchozí a náledující prvek. Kontejner lit nepodporuje náhodný přítup. V obecném případě proto při přítupu k prvku uvnitř eznamu muíme počítat lineární čaovou ložitotí. Významná přednot eznamu počívá v přidávání a odebírání prvků na jakékoliv pozici v kontantním čae. Stačí pouze upravit vazby. Set/multiet a map/multimap jou kontejnery, jejichž vnitřní truktura je obvykle implementována jako vyvážený binární trom (viz. obrázek 7). ím je automaticky zajištěno, že obažené prvky jou eřazeny podle velikoti. Výhodou také je, že vyhledávání prvku konkrétní hodnotou má logaritmickou ložitot. V obecném případě má logaritmickou ložitot i přidávání a odebírání prvků. Obrázek 7: Vnitřní truktura množiny a mapy, převzato z [7] V případě kontejneru et (množina) jou prvky tvořeny jen jednou hodnotou. Naproti tomu kontejner map (mapa) obahuje prvky pair (pár) (viz obrázek 7). ento typ je určen pro oučané uchování dvou hodnot různých datových typů. V případě mapy e jedná o key (klíč) a value (hodnotu). Prvky jou eřazeny podle klíče. Předpona multi znamená, že kontejner umožňuje uchovat více prvků e tejnou hodnotou. Dá e přepokládat, že v databází fotogrammetrických dat uchované v modulu MANAGER opětovaně dochází k přidávání a odebírání prvků. Z tohoto důvodu není vhodné použití kontejneru vector nebo deque. Naproti tomu je čato potřeba vyhledávat konkrétní datové prvky podle jejich adrey. K tomu e nejlépe hodí kontejnery et případně map vnitřní trukturou binárního tromu.

32 32 V otatních případech, kdy i vytačíme e ekvenčním přítupem k prvkům, e jeví jako nejvhodnější aplikace kontejneru lit, který implementuje dvouměrně vázaný eznam. Vzhledem k tomu, že dvouměrně vázaný eznam e vykytuje v každém datovém prvku typu t_cluter (viz 7..3), je vhodné, aby měl co nejmenší paměťové nároky. Vytvořil jem proto vlatní implementaci eznamu, třídu DL_LIS, která naproto potačuje potřebám etavovaného programu a její intance mají oproti kontejneru lit z SL poloviční velikot (lit z SL: 24B, vlatní implementace: 2B). Kontejnery v SL tandardně umožňují využívat iterátory. Iterátor je objekt, který reprezentuje konkrétní polohu uvnitř kontejneru a dovoluje tuto polohu definovaným způobem měnit. Možnoti změny pozice vždy závií na kontejneru, pro který byl iterátor vytvořen. Seznam nepodporuje náhodný přítup, nad iterátorem proto fungují pouze operátory určené pro poun o prvek vpřed a vzad. Objekt typu iterátor jem vytvořil i pro vlatní implementaci eznamu Iterační element Vytvořená truktura fotogrammetrických dat je na základní úrovni ložena z iteračních elementů. Každý element popiuje jeden parametr fotogrammetrických rovnic. Může e jednat například o x-ovou ouřadnici trojrozměrného bodu v rovnici projekce. Celý 3D bod je tedy ložen ze 3 iteračních elementů. Zvolený výpočetní algoritmu metody nejmenších čtverců (viz. kapitola 5.2) iteračně mění obah elementů popiujících neznámé parametry tak, aby zíkal řešení co nejmenší chybou. Objektový typ, který zapouzdřuje vlatnoti iteračního elementu, jem nazval t_cell (buňka). Každá buňka obahuje položku value aktuální hodnotou popiovaného parametru. Další údaje obažené v buňce jou igma, tep, limit a flag. Sigma zachycuje rozptyl hodnoty value a při výpočtech je využita k etavení kovarianční matice. Step je iterační krok a louží k výpočtu prvků matic parciálních derivací A a B (viz vztah (23)) dle rovnice (3).

33 33 A B ij ij Fi = x j Fi = z j F x i j Fi z j Fi = Fi = ( x + tep ) F ( x tep ) j ( z + tep ) F ( z tep ) j j j 2tep 2tep j j i i j j j j (3) Položku limit lze využít k omezení číelného rozahu údaje value a zabránit tak nekontrolované konvergenci neznámých parametrů k nereálným hodnotám. Příznakový regitr reprezentovaný položkou flag udává, jakým způobem e buňka zapojí do výpočtů. Flag může nabývat náledujících hodnot. CONS_CELL: buňka vytupuje ve výpočtech jako kontantní parametr MEAS_CELL: buňka obahuje změřenou hodnotu, lze ji upřenit FLEX_CELL: buňka obahuje odhad neznámého parametru, jehož hodnota má být určena iteračním výpočtem Obrázek 8: Vnitřní kontrukce třídy t_cell (buňka) Vnitřní kontrukce buňky zachycená na Obrázku 8 je v programu implementována jako šablona objektového typu. V oučané době používám její pecializaci nad typem double. Bude-li v budoucnu nutné zvýšit přenot výpočtů, díky použití šablony nebude problém přejít na typ větším číelným rozahem Komplexní datový prvek Uchování fotogrammetrických dat pouze v podobě buněk by bylo velmi nepřehledné, navíc by tak nebylo možné potihnout kutečnot, že většina prvků cény je popána větším množtvím nezávilých parametrů. Byl proto vytvořen

34 34 objekt názvem t_cluter, který ve vé truktuře umožňuje uchovat ukupení (hluk) několika buněk a popat tak vlatnoti komplexního datového prvku. Obrázek 9: Vnitřní kontrukce objektového typu t_cluter (hluk) Objektový typ t_cluter, jehož vnitřní truktura je uvedena na obrázku 9, je implementován jako abtraktní třída. Protřednictvím dědičnoti lze z t_cluter odvodit pecializované objektové typy, které umožní reprezentaci konkrétních prvků cény. Obecná třída t_cluter v takovém případě vytupuje jako předek a pecializované objekty jou jejími potomky. Diferenciace potomků počívá především v počtu a významu buněk v nich obažených. Vytvořené výpočetní protředí obahuje potomky t_cluter, které jou určeny k reprezentaci náledujících prvků cény: 3D a 2D bodů, kamer, pohledů, nímků, rovin, přímek a geometrických zkrelení. Dědická hierarchie třídy t_cluter je uvedena na obrázku. V dalším textu pojem cluter zobecňuji na všechny vytvořené varianty potomků.

35 35 Obrázek : Dědická hierarchie třídy t_cluter Jak je patrné z obrázku 9, uchování hluku buněk není to jediné, co třídy odvozené z typu t_cluter zajišťují. V kontejneru link, který má trukturu dvouměrně vázaného eznamu, jou uloženy adrey na ouviející hluky. ím jou reprezentovány zadané vazby mezi prvky cény. Jednotlivé adrey v eznamu jou ekupeny podle typu hluku, na který ukazují. Poloha začátků jednotlivých kupin je uložena v poli iterátorů linkiter. o je důležité pro MANAGER (základní vrtva výpočetního protředí, viz 6.), kterému je tak značně unadněna činnot při etavování ytému fotogrammetrických rovnic. Každá intance potomků třídy t_cluter dále obahuje položky uid, c_typ, name, flag a pole label. Uid je číelné označení cluteru, které je pro každou intanci unikátní. Přiděluje ho v případě potřeby MANAGER a je využito především při ukládání databáze fotogrammetrických dat do ouboru. C_typ je proměnná výčtového typu označující typ pecializace potomka (pohled, přímka, ). Položka name umožňuje uchovat řetězec znaků reprezentující jméno cluteru. Flag má podobný význam jako u buňky a je příznakům uvedeným v buňce nadřízen. Může nabývat níže uvedených hodnot. FROZEN_CLUSER: Prvek cény je vyřazen z výpočtů, jeho buňky nejou zpracovávány v žádné ze etavených rovnic. CONS_CLUSER: Hodnoty všech buněk jou považovány za kontantní. MEAS_CLUSER: Buňky obahují změřené hodnoty, lze je upřenit. FLEX_CLUSER: Všechny buňky obahují odhad neznámého parametru, jejhož hodnoty mají být určeny iteračním výpočtem.

36 36 COMB_CLUSER: Zda je hodnota v buňkách kontantní, změřená nebo neznámá, určuje položka flag uvnitř konkrétní buňky. Polední položkou v cluteru je pole label, které je určeno k uložení krátkých znakových řetězců. y louží jako popiky jednotlivých buněk D a 3D bod Souřadnice trojrozměrného bodu ( x y, z), jou uloženy v objektu názvem tc_p3d, který obahuje kupinu tří buněk. Souřadnice dvourozměrných bodů ( x, y) jou popány objektem tc_p2d e dvěmi buňkami Kamera Pro popi kamer užitých ke nímání cény byl z objektového typu t_cluter odvozen potomek tc_camera. Obahuje 4 buňky zatupující tzv. vnitřní parametry kamery (viz obrázek ). První dvě buňky popiují polohu tředu projekční roviny (u, v ). řetí buňka obahuje hodnotu kontanty kamery c a čtvrtá definuje poměr šířky a výšky pixelu h w. V rovnici (4) je tímto datovým objektem definován obah projekční matice P. Obrázek : Vnitřní parametry kamery (vlevo ouřadný ytém K kamery, vpravo globální ytém ouřadnic G cény)

37 Pohled Polohu a natočení ouřadného ytému pojeného kamerou (tzv. vnější parametry kamery) v globálním ytému ouřadnic cény (viz obrázek ), charakterizuje objekt názvem tc_view. Je ložen z 6 buněk. První tři popiují polohu ( x y, z), kamery a definují tak tranlační vektor v matici K ve vztahu (4). Zbylé tři buňky obahují hodnoty úhlů ω, ϕ, κ definujících natočení kamery. Užitím převodní záviloti (4) lze z těchto úhlů vypočítat parametry rotační ubmatice v matici K, která je použita v rovnici (4) Snímek Objekt názvem tc_pict definuje vlatnoti nímku. Jde o zvláštní typ hluku, který neobahuje žádnou buňku. Jeho význam e projeví při definici vazebních podmínek. Snímek vytupuje jako pojovací článek mezi 2D bodem, kamerou, která bod zachytila, a pohledem, ve kterém byla tato kamera umítěna. Součátí intancí tc_pict je textový řetězec e jménem reprezentovaného nímku a cetou k ouboru Rovina Pro reprezentaci vlatnotí roviny v 3D protoru lze využít například náledující matematické vztahy (převzato z [ a ]): Obecná rovnice roviny: ax + by + cz + d =, (32) kde ( x, y, z) jou ouřadnice bodu v rovině, ( a b, c), je normálový vektor roviny a parametr d nee informaci o vzdálenoti roviny od počátku ouřadného ytému. Parametrické vyjádření roviny: x = x y = y z = z + a t + a + b t + b, (33) + c t + c kde ( x, y z ) je jeden bod v rovině, ( a, b c ) a (, b c ), 2 2 2, vektory rovinou rovnoběžné, t a jou parametry rovnice. a jou dva různé 2 2, 2

38 38 Úeková rovnice: kde ( x y, z) x p + y q + z r =, (34), jou ouřadnice bodu v rovině a p, q, r vymezují úeky vyťaté rovinou na ouřadných oách. Normálová rovnice: ( ) + y co( β ) + z co( γ ) n x co α =, (35) kde n je vzdálenot počátku ouřadného ytému od roviny. ( x y, z), jou ouřadnice bodu v rovině. α, β, γ reprezentují úhly, které vírá kolmice na rovinu vedená počátkem ouřadného ytému e ouřadnými oami. Parametrické vyjádření je pro náledné výpočty zbytečně ložité, velkou komplikaci navíc předtavuje výkyt dvou libovolných parametrů. V úekové rovnici e vykytuje dělení, které může při výpočtech vét k dělení nulou. Zbylé dva způoby popiu roviny protřednictvím obecné a normálové rovnice mají polečný nedotatek. Obahují 4 parametry roviny, které mají pouze 3 tupně volnoti a jou tedy vzájemně závilé. o může při výpočtech modifikované metody nejmenších čtverců půobit problémy. Navrhl jem proto vlatní reprezentaci roviny, která vychází z obecné rovnice (32), ale potřebuje pouze 3 parametry. Princip je znázorněn na obrázku 2. Rovina je definována normálovým vektorem, který vznikne rotací vektoru n = ( n,, ) rovnoběžného oou x, kde n předtavuje vzdálenot roviny od počátku ouřadného ytému. Rotace je provedena potupně o úhel γ okolo oy z a náledně o úhel β okolo oy y. Parametry a, b, c, d obecné rovnice lze vypočítat dle vztahů (36). a = co b = in c = in d = n ( γ ) ( γ ) co( β ) ( γ ) in( β ) ( a + b + c ) (36)

39 39 Obrázek 2: Navržená reprezentace roviny v 3D protoru Pro reprezentaci roviny louží ve výpočetním protředí objektový typ tc_plane. Využívá výše uvedený popi roviny, obahuje proto 3 buňky. První dvě obahují úhly β a γ, třetí buňka reprezentuje vzdálenot roviny od počátku Přímka Zápi přímky v trojrozměrném protoru je ložitější, než jak tomu je u roviny. Možné je parametrické vyjádření rozšířené pro tři rozměry, které podobně jako u roviny není pro náledné výpočty vhodné. Otatní přítupy uvedené například v [2] obvykle definují přímku jako průečík dvou rovin. Obrázek 3: Reprezentace přímky v 3D protoru oto pojetí využívá i třída tc_line, která reprezentuje přímku ve výpočetním protředí.protřednictvím dvou navzájem kolmých jednotkových

40 4 vektorů n = ( a, b c ) a n = ( a, b c ), 2 2 2, 2 jou definovány dvě roviny µ a π, jejichž průečíkem je hledaná přímka p vzdálená o n od počátku ouřadného ytému. Směr pouvu je určen vektorem n. Situaci ilutruje obrázek 3. Bod ( x y, z) vyhovovat outavě rovnic:, ležící na přímce p definované dvěmi rovina µ a π muí ax + b y + cz + d =. (37) a x + b y + c z + d = Parametry a, a 2, b, b 2, c, c 2 a d jou funkcí tří úhlů (α, β, γ ), které definují orientaci přímky p v protoru a vzdálenoti přímky od počátku ouřadnic n. Přepočetní vztahy (38) využívají loženou rotační tranformaci z rovnice (8). a a b b c c = co = co = in = in = co = co d = n ( β ) co( γ ) ( β ) in( γ ) ( α ) in( β ) co( γ ) + co( α ) in( γ ) ( α ) in( β ) in( γ ) + co( α ) co( γ ) ( α ) in( β ) co( γ ) + in( α ) in( γ ) ( α ) in( β ) in( γ ) + in( α ) co( γ ) ( a a + b b + c c ) (38) Intance třídy tc_line zapouzdřují 4 buňky, které obahují hodnoty úhlů α, β, γ a vzdálenoti n. 7.. Zkrelení Při pořízení fotografií cény v reálném protředí, půobí na obrazovou informaci různá zkrelení, která mají vliv na polohu, tvar, otrot, jaové hodnoty i barvu předmětů zobrazených ve výledném nímku. Vytvořené výpočetní protředí umožňuje popi a vyhodnocení některých variant tzv. geometrického zkrelení. Jde o jevy měnící tvar a polohu předmětů. Jak je uvedeno v [3], nejvýraznější vliv na obrazová data má zkrelení radiální. Obvykle je zapříčiněno nelinearitami a vadami použité optiky. Otatní geometrická zkrelení jou obecně způobena vlivem nehomogenních vlatnotí média, kterým větlo před nímáním prochází: přechod voda/vzduch, tepelným jevem zvlněná atmoféra fata morgana. Práce e jimi dále nezabývá.

41 4 Radiální zkrelení způobují efekty známé jako oudek a poduška (viz obrázek 4 a, b dole). Podle teorie převzaté z [3] je možné radiální zkrelení modelovat zakřivením plochy nímače (viz obrázek 4 a, b nahoře). a) b) c) Obrázek 4: Varianty geometrického zkrelení obrazu, nahoře: odpovídající tvar enzoru, dole: zkrelený obraz původně čtvercové mříže, (a, b: radiální zkrelení oudek a poduška; c: vychýlení enzoru) o znamená, že kontanta kamery c (viz 7..5) půobící v rovnici projekce. var (4), je při popiu zkrelení funkcí ouřadnic bodů v obraze c = f ( u, v) zakřivené plochy nímače je obvykle vyjádřen polynomem n-tého řádu (39) nenulovými koeficienty a i u udých mocnin. 2 2 n n ( u v) = a + a ( u + v) + a ( u + v ) + + a ( u v ) c, K + (39) 2 Ponecháme-li nenulový také prvek a, je možné polynomem (39) popat zkrelení vzniklá vychýlením nímače. Situace je uvedena na obrázku 4, c. Zelená rovina zde reprezentuje tvar nímače bez zkrelení a červený bod označuje polohu n

42 42 tředu promítání. Snímač leží mezi tředem promítání a zaznamenanými objekty, které by e na obrázcích 4 (a, b, c nahoře) nacházely v pravé čáti. Výpočetní protředí obahuje třídu tc_ditortion8, která umožňuje popi zkrelení polynomem až omého řádu. Obahuje 5 buněk pro koeficienty a, a 2, a 4, a 6, a 8. Prvek a je již oučáti objektového typu tc_camera v podobě parametru c. 7.2 VAZEBNÍ PODMÍNKY Aby program (přeněji modul MANAGER) věděl, které z jemu známých rovnic může z dodaných dat etavit, muí zpracovat informaci o zadaných vazební podmínkách, které definují vztahy mezi exitujícími fotogrammetrickými objekty. Vazební podmínky jou zadávány vždy mezi dvěma potomky třídy t_cluter a jou v nich také uloženy (viz 7.). Vztahy, které je možné nad množinou definovaných potomků objektového typu t_cluter zadat, jou uvedeny na obrázku 5. Šipky zatupují možné vazby a jou doplněny o znaky nebo n. y vyjádřují počet vazeb (jedna nebo několik), které daný cluter může na objekty ouedního druhu mít. Schéma vyjadřuje například kutečnot, že konkrétní nímek mohl být pořízen jen jednou kamerou, umítěnou v jednom konkrétním pohledu. Použitou kamerou však může být zíkáno více nímků, každý z jiného pohledu na cénu. Obrázek 5: Vazební podmínky

43 VAZEBNÍ ROVNICE Modul MANAGER mimo jiné etavuje možné rovnice a předává je k výpočtu v CALCULAORu. Vytvořené rovnice je potřeba uchovat v datové truktuře. Za tím účelem byl vytvořen obecný objektový typ rovnice t_equ. Využitím dědičnoti byli z této abtraktní třídy odvozeni potomci reprezentující konkrétní funkční vztahy mezi zadanými fotogrammetrickými daty. Dědická hierarchie je uvedena na obrázku 6. Koncové objektové typy jou te_projx, te_projy, te_planar, te_linear, te_linear2 a te_ditortion8. Specializované objekty e od ebe liší nejen počtem a typem potomků třídy t_cluter, e kterými pracují, ale především funkčním vztahem, který nad daty definují. Obrázek 6: Dědická hierarchie třídy t_equ Potomci t_equ obahují položky ID, e_typ a pole ukazatelů param. ID je identifikační čílo intance podobně jako u typů odvozených z t_cluter. Proměnná výčtového typu e_typ určuje druh konkrétního objektu. Pole param je naplněno ukazateli na intance t_cluter, ze kterých jou čerpány hodnoty při výpočtu definované funkční záviloti. Intance t_equ jou definovány jako takzvané funkční objekty. o znamená, že mají přetížen operátor(), kterým je volán výpočet aktuální hodnoty zapouzdřené funkce. Přidáme-li do protředí nového potomka typu t_equ, je nezbytné vytvořit algoritmu, který bude chopen rovnici nového druhu etavit. Aby nebylo nutné pokaždé upravovat již exitující kód, modul MANAGER, který má rovnice na tarot, pouze iniciuje jejich etavení. Konkrétní návod, z jakých vazebních

44 44 podmínek a datových objektů je možné rovnici etavit, muí být obažen uvnitř každého potomka t_equ. Aby e zabránilo vzniku několika totožných intancí, jou rovnice přidávány pouze při zadání nového datového objektu nebo vazební podmínky. Každý nově odvozený typ rovnice tedy obahuje tatickou metodu, která nejprve rozhodne, zda předaný potomek typu t_cluter (případně vazba mezi dvěma clutery) má pro etavení rovnice význam. Pokud ano, tatická metoda na základě vazebních podmínek vygeneruje nové intance rovnic. vorba rovnic e z pohledu MANAGERu redukuje na krátký dotaz adreovaný všem potomkům třídy t_equ, zda mají o nově přidaný datový prvek nebo vazební podmínku zájem. ento přítup zároveň umožňuje, aby aktuální ytém rovnic průběžně reagoval na tav zadání Projekce Vazební závilot mezi prvky cény, která popiuje projekci trojrozměrného protoru do 2D roviny nímku, je ve výpočetním protředí reprezentována objektovým typem te_proj odvozeným z třídy t_equ. Vytihuje proce modelovaný rovnicí (4). 3D bod B ( X Y, Z ), je nejprve tranformován rotačnětranlační maticí K do ouřadného ytému kamery a náledně maticí P zobrazen do bodu B ( u, v) na 2D rovinu nímače. Význam koeficientů matic P a K byl ozřejměn v kapitolách 7..5 a r r r 2 3 r r r r r r w mu c h mv = m = c c u v B = PKB r r2 r3 r r r r r r t x X t y Y t z Z c( ϕ) c( κ ) c( ϕ) ( κ ) ( ϕ) ( ω) ( κ ) + ( ω) ( ϕ) c( κ ) c( ω) c( κ ) ( ω) ( ϕ) ( κ ) ( ω) c( ϕ) ( ω) ( κ ) c( ω) ( ϕ) c( κ ) ( ω) c( κ ) + c( ω) ( ϕ) ( κ ) c( ω) c( ϕ) (4) (4) Rovnice projekce je závilá na pěti datových objektech. Jou to kamera, pohled, nímek, 3D a 2D bod. Pole param v objektu te_proj proto obahuje pět

45 45 ukazatelů. Vztah (4) připomíná, jakým způobem lze pomocí úhlů ω, ϕ, κ definovat natočení kamery v protoru. Z maticové rovnice (4) lze pro každý bod cény zíkat dva lineárně nezávilé vztahy (42) a (43). Z objektu te_proj byli odvozeni dva potomci: te_proj_x vytihující vztah (42) a te_proj_y vytihující vztah (43). ( u u )( r ( X t ) + r ( Y t ) + r ( Z t )) = c( r ( X t ) + r ( Y t ) + r ( Z t )) 3 x 32 y 33 z x 2 y 3 z (42) ( v v )( r ( X t ) + r ( Y t ) + r ( Z t )) = c( r ( X t ) + r ( Y t ) + r ( Z t )) 3 x 32 y 33 z 2 x 22 y 23 z (43) Výše uvedené rovnice umožňují řešit dvě základní fotogrammetrické úlohy: kalibraci kamery a rekontrukci trojrozměrných ouřadnic bodů ve céně. Při kalibraci kamery e v rovnici (4) vykytuje až neznámých parametrů ukrytých v intancí tříd tc_camera a tc_view. Je proto nutné etavit alepoň lineárně nezávilých rovnic, k čemuž potačí 6 různých 3D bodů a jejich 2D ekvivalentů na nímku. Při rekontrukci jou vždy hledány 3 neznámé ouřadnice každého bodu, pro jejichž výpočet potačí 3 nezávilé projekční vztahy. Hledaný 3D bod cény muí být proto zachycen alepoň na dvou nímcích, z různých pohledů. řída te_proj amotatně vyhodncuje, zda je k použité kameře připojen objekt typu tc_ditortion8 popiující zkrelení. Pokud ano, rovnice projekce provede výpočet zkrelené hodnoty kontanty kamery protřednictvím přílušné intance typu te_ditr8 popané v kapitole Pro korektní výpočet neznámých parametrů zkrelení je nutné doplnit adekvátní množtví známé obrazové informace (2D a 3D bodů). Rovnice projekce vazuje hodnoty všech základních fotogrammetrických dat protřednictvím jediného vztahu a je proto nejvýznamnější vazební závilotí Rovinnot Pojem rovinnot označuje ituaci, kdy je známo, že jitá množina bodů leží v jedné rovině. Může e jednat například o body ležící na povrchu deky tolu. Všechny takové body muí plňovat obecnou rovnici roviny (32). Rovinnot umožňuje zpracovat doplňující apriorní znalot o céně, čímž rozšiřuje výpočetní možnoti protředí. Její význam e projeví zejména při

46 46 rekontrukci 3D bodů. Zde může nahradit některou projekční závilot v případě, že je bod zachycen pouze na jediném nímku. Její exitence přidává omezující podmínku upřeňující polohu bodu v protoru. Výpočet rovinnoti v programovém protředí zapouzdřuje objektový typ te_planar. Má dva parametry: 3D bod a rovinu, které jou reprezentované objekty tc_p3d a tc_plane. K výpočtu funkční hodnoty objektu louží rovnice (32) za oučaného využití převodních vztahů (36). řídu te_planar lze také využít pro určení optimálních parametrů roviny prokládající alepoň tři trojrozměrné body Linearita Pojem linearita byl zvolen pro popi okolnotí, při kterých je známo, že jitá kupina 3D bodů muí ležet na jediné přímce. akové body muí plňovat outavu rovnic (37), které definují polohu přímky v protoru jako průečík dvou navzájem kolmých rovin. Pro reprezentaci linearity ve výpočetním protředí louží třída te_linear. Jelikož zatupuje outavu obecných rovnic dvou rovin, byli z ní dále odvozeni dva potomci te_linear a te_linear2. Každý popiuje přílušnot k jedné z rovin. Při výpočtu funkční hodnoty linearity je nutné nejprve přepočítat parametry přímky na parametry dvou kolmých rovin pomocí vztahů (38). Linearitu lze podobně jako rovinnot použít při rekontrukci ouřadnic 3D bodů cény. Zároveň umožňuje nalezení optimálních parametrů přímky prokládajících zvolenou množinu bodů Zkrelení Rovnice zkrelení zatupuje vztah (39), který modeluje geometrická zkrelení obrazu protřednictvím deformace plochy nímače (blíže viz 7..). Při řešení konečné outavy rovnic modulem CALCULAOR, nefiguruje vliv zkrelení v podobě amotatné rovnice. Jeho funkční hodnota je ovšem využívána při výpočtu projekční záviloti třídou te_proj (viz 7.3.). Výpočet funkční záviloti zkrelení ve vytvořeném programu provádí třída te_ditor8. Má dva parametry v podobě intancí tříd tc_camera a

47 47 tc_ditortion8. Umožňuje zohlednit především radiální zkrelení (oudek, poduška), ale také deformace obrazu vzniklé vychýlením roviny čipu z optické oy. 7.4 PAMĚŤOVÉ NÁROKY Databáze fotogrammetrických dat zpracovávaných ve výpočetním protředí může obahovat velké množtví objektů popiujících různé prvky cény. Objekty vytvořené pro popi cény (viz 7.) jou ložité datové truktury, které v operační paměti zabírají nemalý protor. Odhad paměťových nároků databáze bude ozřejměn na konkrétním příkladu vyhodnocované cény. Příklad: Scéna je ložena ze trojrozměrných bodů. Dvěmi rozdílnými kamerami byly pořízeny 2 nímky ze 2 různých pohledů na cénu. Všechny 3D body e podařilo zachytit oběma použitými kamerami. V obrázcích tedy bylo detekováno 4 2D bodů. U každé kamery je zvlášť vyhodnocováno její geometrické zkrelení. Ve céně byly definovány čtyři roviny, každá po šeti bodech a tři přímky po omi bodech. Popi cény v příkladu tedy obahuje 2 kamery, 2 zkrelení, 2 pohledy, 2 nímky, 3D bodů, 2 2D bodů, 4 roviny a 3 přímky. Vyhodnocení velikoti paměťového míta, které by zadaná databáze zabírala, je uvedeno v tabulce. Při výpočtu byly zohledněny především paměťové nároky jednotlivých potomků tříd t_cluter a t_equ. Přitom byly započteny velikoti amotných tříd v bytech (určené operátorem izeof() jazyka C++), ale i velikot pomocných objektů jako jou t_cell a položky t_cduo, ze kterých jou loženy eznamy vazeb na ouviející prvky cény a rovnice. Například pro jednu kameru v zadaném příkladu bylo do potřebného míta započítáno 84B datového typu tc_camera, 4krát 32B pro 4 buňky v každé kameře, dále 2krát 8B pro vazby na tc_pict a tc_ditortion8 a také 4krát 8B pro vazby na etavené rovnice. Celkové nároky na paměťový protor pro obě použité kamery byly vypočteny takto: ( 84B 4 32B + 2 8B + 4 8B) 2 = 6872B 7kB +.

48 48 abulka : Kalkulace paměťových nároků databáze dat Prvek Velikot Počet Počet Počet Počet Míto v Datový typ cény (B) buněk vazeb rovnic intancí paměti (B) 2D bod tc_p2d D bod tc_p3d Kamera tc_camera Pohled tc_view Snímek tc_pict Rovina tc_plane Přímka tc_line Zkrelení tc_ditortion Rovnice Datový typ Velikot (B) Počet intancí Míto v paměti (B) Projekce v x te_proj_x Projekce v y te_proj_y Rovinnot te_planar Linearita te_linear Linearita 2 te_linear Zkrelení te_ditor Pomocné objekty Datový typ Velikot (B) Buňky t_cell 32 Položky eznamů Σ 676 Σ 76988B tc_duo 8 Celkem: Σ 9364B Zíkaný odhad potřebného paměťového protoru (přibližně kb) pro zadanou databázi fotogrammetrických dat je menší než kutečně obazené míto. Není v něm započtena velikot intance t_manager (ai kb), která nad daty provádí právu, a chybí zde také režie aktuálně prováděných funkcí. Přená velikot kutečně obazeného míta také závií na způobu právy pracovní paměti v operačním ytému.

49 49 8. VÝPOČENÍ NÁSOJ PROSŘEDÍ Vytvořené výpočetní protředí je chopné etavit rovnice pro řešení těchto fotogrammetrických úloh: kalibrace kamery, rekontrukce 3D ouřadnic, výpočet geometrických zkrelení obrazu, nalezení optimálních parametrů přímky nebo roviny, které prokládají zadanou množinu trojrozměrných bodů cény. Pro výpočet vzniklé outavy rovnic platných nad databází fotogrammetrických dat lze obecně použít libovolný optimalizační nátroj chopný řešit nelineární záviloti definované v n-rozměrném protoru. Za možné adepty na výpočetní nátroj lze považovat: gradientní metody, genetické algoritmy, diferenciální evoluci, implexové metody, variace metody nejmenších čtverců. Společnou vlatnotí všech uvedených přítupů je numerický iterační výpočet problému. Analytické řešení nelineárních závilotí, které e vykytují především při úloze kalibrace kamery, je prakticky nemožné. Iterační přítup má dvě hlavní nevýhody: není zajištěna konvergence výpočtů, konvergence závií na výchozích hodnotách neznámých parametrů. Z toho pohledu e jako velmi zajímavé jeví především použití genetických algoritmů, případně diferenciální evoluce. V obou případech e jedná o velmi robutní nátroj pro optimalizace ložitých problémů, který ke vé činnoti obecně nevyžaduje výchozí odhad počátečních parametrů. Použití genetických algoritmů pro úlohu kalibrace kamery prezentuje například článek [4]. Autoři potvrzují značnou robutnot metody a její nezávilot na počátečních podmínkách, jejichž hodnoty jou voleny náhodně.

50 5 Při implementaci metody je ovšem nutné zohlednit pecifické vlatnoti zpracovávané úlohy. o e projevuje zejména při realizaci genetických operátorů elekce, křížení a mutace. Jejich vlatnoti mají klíčový vliv na konvergenci metody. Další nevýhodou je, že optimalizace problému protřednictvím genetických algoritmů obahuje prvek náhody. Průběh výpočtu je tedy tochatický. Algoritmu proto nabídne pokaždé mírně odlišné řešení. Výpočetní nátroj realizovaný v rámci této diplomové práce je potaven na metodě nejmenších čtverců modifikované pro řešení fotogrammetrické úlohy (teorie viz kapitola 5.2). Metoda byla převzata z [2]. Její algoritmu byl využit již ve výzkumné zprávě [], na kterou tato diplomová práce navazuje. Jedná e tedy o ověřený přítup k řešení fotogrammetrických úloh. Jak bylo uvedeno již dříve (viz 5.2), zvolená metoda v každé iteraci vyhodnocuje přenot zpracovávaných dat protřednictvím kovarianční matice změřených parametrů. Zíkaná informace louží k natavení vlivu řešených rovnic na korekce hodnot neznámých veličin. Váhování mimo jiné tabilizuje výpočet a zlepšuje konvergenci parametrů. V rámci výpočtu který je zcela determinitický jou také navrženy korekce změřených parametrů. Praktické využití metody ebou nee i komplikace natíněné v čáti 5.2. Možný potup při jejich řešení uvádí náledující podkapitola. 8. IMPLEMENACE MODIFIKOVANÉ MNČ Výpočetní jádro etaveného programového protředí pro zpracování 3D dat reprezentuje modul CALCULAOR. Jeho funkčnot je implementována protřednictvím třídy t_calculator, která zapouzdřuje výpočty metodou nejmenších čtverců modifikovanou pro řešení fotogrammetrických úloh (viz 5.2). Vývojový diagram vytihující činnot výpočetního nátroje je uveden na obrázku 7. Modul CALCULAOR umožňuje práci v těchto režimech: využití modifikované metody nejmenších čtverců, využití základní metody nejmenších čtverců (bez vyhodnocení rozptylů hodnot), amotatný výpočet parametrů, krokování výpočtu uživatelem.

51 5 Obrázek 7: Průběh výpočtu neznámých parametrů Výpočetní nátroj muí být chopen vyřešit problémové ituace předtavené v kapitole První z problémových tavů natane v případě, že je matice ( B ) BK z rovnic (26), (27), (29) a (3) ingulární. o je obvykle způobeno nízkým počtem parametrů, které jou definovány jako změřené, což může natat například v případě, že byla většina známých informací zadána jako kontantní. Není tedy žádoucí, aby je výpočet jakkoliv upravoval. V takovém případě e CALCULAOR může přepnout do režimu základní metody nejmenších čtverců. a ovšem nevyužívá váhování vztahů a její tabilita (chopnot nalézt řešení) je proto především na počátku výpočtu výrazně nižší. Protředí proto využívá tzv. peudoinverzi matice. Jde o zobecnění operátoru inverze na množinu ingulárních matic (blíže viz [5]). Přitom platí, že exituje-li invere matice, je hodná peudoinverzí.

52 52 ( A) Druhý z problémových tavů způobuje ingularita matice A ( BK B ) použitá v rovnicích (26), (27), (29) a (3). o natává, je-li ingulární také matice ( B ) BK a tudíž i její peudoinverze. V takovém případě je opět vypočtena ( A). ( A BK B A) peudoinverze matice A ( BK B ) Singularitu matice ( ) také způobuje vzájemná lineární závilot hodnot neznámých veličin nad množinou funkcí F ( x, ~ z) ~. Hlavní příčinou tohoto tavu bývá, že při iteračním výpočtu jeden nebo několik neznámých F ~ x, ~ z. Matice A má pak jeden parametrů nemá vliv ani na jedinou ze závilotí ( ) nebo několik nulových loupců. o může natat například hledáme-li parametry roviny rovnoběžné e dvěma oami ouřadného ytému. Je-li nalezeno řešení, nemá jeden z rotačních úhlů popiujících rovinu žádný vliv na funkční vztahy, jeho hodnota může být libovolná. Výpočetní nátroj tyto tavy detekuje a neznámé veličiny bez vlivu na řešení dynamicky vyřazuje na aktuální krok metody z rovnic. Výpočty v CALCULAORu aktivuje modul MANAGER jako odezvu na příkaz z nadřazeného programu (například GUI). V režimu amotatného výpočtu je nejprve provedena optimalizace metodou nejmenších čtverců dokud neklene velikot korekcí pod tanovenou mez. Náleduje druhé kolo iterací, ve kterém je využita základní MNČ. o umožní aby e při výpočtu neznámých hodnot projevily i ty vztahy, které neobahují žádnou změřenou hodnotu a v modifikované MNČ tedy mají nulový vliv. Na závěr je proveden jeden krok opět modifikovanou MNČ, aby byly zjištěny konečné hodnoty korekčního vektoru změřených veličin. Krokovaný výpočet louží ke ledování průběhu řešení zadané úlohy uživatelem. Po každém kroku metody CALCULAOR čeká na příkaz k nové iteraci. Průběh výpočtů je ve všech režimech možné ukládat do log-ouboru. K implementaci maticových výpočtů jem použil datové typy a funkce z knihovny OpenCV.pre (viz [8 a 9]). Je v ní zahrnut i algoritmu peudoinverze matice.

53 ČASOVÁ NÁROČNOS VÝPOČŮ Řešení zadaných fotogrammetrických úloh probíhá iteračně a předem není znám počet kroků nutných k nalezení optimálních parametrů. Odhad doby výpočtu je proto komplikovaný. Zaměříme-li e na jeden iterační krok metody, závií doba jeho výpočtu především na počtu neznámých parametrů a velikoti množiny definovaných funkčních závilotí. Vliv má také matematická ložitot řešených rovnic (několikanáobné výpočty goniometrických funkcí atp.). Při řešení úlohy kalibrace kamery e čtyřmi neznámými parametry kamery a šeti neznámými parametry pohledu bylo použito 27 změřených 3D bodů a jim odpovídajících 27 změřených 2D bodů (průmětů). Přitom bylo etaveno 54 rovnic projekcí. Jednotlivé matice a vektory pak mají náledující rozměry: vektor neznámých parametrů x: řádků, loupec, vektor změřených parametrů z: 35 řádků, loupec, F ~ x, ~ z : 54 řádků, loupec, vektor funkčních závilotí ( ) matice diferencí A: matice diferencí B: 54 řádků, loupců, 54 řádků, 35 loupců. Výpočet úlohy trval celkem 2,844 a bylo provedeno iterací metody. Jeden krok úlohy této ložitoti tedy trvá zhruba.2844.

54 54 9. GUI Pro přítupnější ovládání a nazší prezentaci chopnotí protředí bylo implementováno grafické uživatelké rozhraní. Jedná e o.ne aplikaci (framework 3.5) potavenou na CLR (Common Language Runtime) platformě. Aplikace byla vytvořena ve vývojovém protředí Microoft Viual Studio 28 jako Window Form Application. S výpočetním protředím je provázána přímo protřednictvím hlavičkových ouborů jazyka C++. Uživatelké rozhraní, jehož hlavní okno je na obrázku 8, bylo rozděleno na 4 záložky: Cluter, Equation, Picture a Computation. Obrázek 8: GUI: Databáze fotogrammetrických dat

55 55 První záložka (Cluter) umožňuje právu databáze fotogrammetrických dat reprezentovaných intancemi třídy t_cluter, které jou uloženy v modulu MANAGER výpočetního protředí. Zeleně zvýrazněná kupina ovládacích prvků umožňuje zadání nových objektů cény. Modře označené prvky louží k výběru a modifikaci již definovaných objektů. Střední čát umožňuje definici vazebních vztahů mezi prvky cény. V dolní třetině záložky jou vypány jednotlivé buňky popiem parametrů aktuálně vybraného prvku cény. Obrázek 9: GUI: Databáze fotogrammetrických rovnic Záložka čílo dva ( Equation ) uvedená na obrázku 9 louží ke právě fotogrammetrických rovnic. Uživatel zde může průběžně kontrolovat ložitot

56 56 definované úlohy. lačítkem FREEZE lze zvolené aktivní rovnice v horním okně dočaně vyřadit z výpočtů. lačítko ACIVAE je opět do výpočtů vrátí. Obrázek 2: GUI: Zadání bodů ve nímcích Pro definici polohy 2D bodů ve vyhodnocovaných nímcích je určena záložka 3 ( Picture ). Umožňuje zadání nových intancí třídy tc_pict a tc_p2d a také načtení obrazové informace z diku. Ve větším obrázku vlevo je uveden celý nímek polohou aktuálně zadaných bodů (červené křížky). Menší obrázek vpravo je zvětšením zvolené oblati nímku a louží k upřenění polohy bodů. Pro práci obrázky byly využity funkce z knihovny OpenCV.pre (viz [8 a 9]). Polední záložka ( Computation ) umožňuje pouštět, ovládat a viualizovat řešení zadané úlohy. Levá polovina vypiuje aktuální tav neznámých veličin a jejich

57 57 2 korekcí. Dole je uvedena hodnota rozptylu nabídnutého řešení σ (viz rovnice (29)) a také uma abolutních hodnot korekcí neznámých. Pravá polovina záložky vypiuje nabízené korekce změřených parametrů. Pole At Once je určeno k zadání režimu výpočtu (označeno => amotatný výpočet; volné => řešení je krokováno uživatelem), pole Weighted Evaluation určuje, zda je úloha řešena základní (volné) nebo modifikovanou (označeno) metodou nejmenších čtverců. Log Proce umožňuje požádat o výpi průběhu výpočtu do textového ouboru. Otevírání, ukládání a vyprázdnění (zrušení všech zadaných prvků) projektu je ovládáno v menu Project na horním panelu. Obrázek 2: GUI: Vizualizace a ovládání výpočtů