Soubor programových modulů pro blízkou fotogrammetrii

ČESKÉ VYSOKÉ UČENÍ TECHNICKÉ V PRAZE Fakulta stavební katedra geomatiky Thákurova 7, 166 29 Praha 6 Soubor programových modulů pro blízkou fotogrammetrii Manuál k programu pro potlačení distorze objektivů využitelné v blízké fotogrammetrii pro tvorbu fotoplánů v památkové péči Pavelka, K., Šedina, J., Housarová, E., M., Dolanský, T., Voldán, P. ČVUT v Praze Fakulta stavební katedra geomatiky Thákurova 7 166 29 Praha 6 tel.: (+420) 224 354 648 fax: www.fsv.cvut.cz IČ: 68407700 DIČ: CZ68407700 Bankovní spojení: KB Praha 6 č.ú. 19-5504610227/0100

Úvod Program balík Distortion slouží k potlačení (odstranění vlivu) distorze objektivů všech běžných fotografických přístrojů a nástroj pro analýzu distorze. Ta je limitující u současných fotoaparátů, které primárně nejsou určeny pro fotogrammetrické práce, pro fotogrammetrické výstupy. Jedním z nejčastějších výstupů jsou fotoplány, které nelze kvalitně provádět ze snímků s nepotlačeným vlivem distorze. Data jsou dostupná v originálním kódu. O programu Program byl vytvořen v rámci projektu NAKI DF13P01OVV002 Nové moderní metody dokumentace památkových objektů a je k dispozici bezplatně na stránkách projektu http://lfgm.fsv.cvut.cz/naki/vysledky.html. Program bude dále testován a bude upravován, aby mohl načítat více vstupních souborů. Nejnovější verze bude vždy ke stažení na stránkách projektu nebo na stránkách Laboratoře fotogrammetrie ČVUT v Praze http://lfgm.fsv.cvut.cz/. Práce s programem Program je obecně využitelný pro libovolný digitální fotoaparát. Ten je ovšem nutno předem kalibrovat standardním postupem kupř. v software Photomodeler nebo i jinými; kalibraci digitálního fotoaparátu na požádání v laboratoři fotogrammetrie provádíme, dnes se jedná o částečně automatický proces. V balíku je základem program, který je schopen plně potlačit (odstranit) vliv distorze objektivu (Distortion PM), dále program pro analýzu existující distorze. Po spuštění obou standardních programů pro odstranění distorze objektivu, způsobující významné zklenutí obrazu a nemožnost napojovat na sebe jednotlivé snímky do podoby fotomozaiky, je uživatel vyzván k výběru obrazového souboru (či adresáře), ze kterého má být distorze odstraněna. Dále je uživatel vyzván k zadání kalibračních koeficientů dle Photomodeleru (standard). Program provede opravu o distorzi objektivu na základě kalibračních údajů a dále provede geometrickou obrazovou transformaci do podoby idealizované snímku, který je dále vhodným podkladem pro tvorbu přesného fotoplánu či mozaiky. 2

Příklad použití Program byl testován a využit na mnoha příkladech, výsledky jsou dobré; opravené a geometricky transformované snímky lze úspěšně dále používat v blízké fotogrammetrii v památkové péči, archeologii i jinde, kde se používají metody jednoduché fotogrammetrie. 1) Analýza distorze objektivu (program je spustitelný z následující adresy) http://lfgm.fsv.cvut.cz/distorsion/main.php Obrázek 1: Analýza existující kvality objektivu Obrázek 2: Analýza vlivu distorze objektivu v grafické plošné podobě 3

2)DistortionPM DistortioPM je určen pro přímou návaznost na velmi rozšířený software pro blízkou fotogrammetrii Photomodeler. Kalibrační údaje je možno vhodně načíst či přenést do programu DistortionPM a snímky opravit o vliv distorze objhektivu. Obrázek 3: Odstranění distorze ze snímků 3)Exdistorzer Samostatně spustitelný program pro odstranění distorze objektivu ze snímků s možnostmi volby transformačních vztahů Teorie jednoduché potlačení vlivu vad objektivu neměřických komor a využití v blízké fotogrammetrii 4

Úvod V oblasti velmi blízké fotogrammetrie se pro jednoduché úlohy využívají digitální neměřické komory. Jejich rozlišení za posledních několik let významně vzrostlo a několikanásobně se zvětšilo. I nejlevnější digitální fotoaparáty mají rozlišení kolem 10Mpixelů, kvalitnější pak 10-25Mpixelů. Je ovšem nutno si uvědomit, že kvalitu obrazu u digitálního fotoaparátu nedělá jen rozlišení použitého senzoru CCD nebo CMOS, ale zejména kvalita použitého objektivu. Nelze proto jednoznačně říci, jaká rozlišovací schopnost v Mpixelech je plnohodnotná např. klasickému analogovému formátu 24x35mm, protože záleží na dalších technických charakteristikách obou porovnávaných přístrojů. U porovnatelných přístrojů je stejné kvality zobrazení dosaženo pro kinofilmový formát někde kolem 5-8Mpixelů. Existuje ale i řada záznamových zařízení, které mají výrazně nižší rozlišení, a přesto je lze použít pro některé speciální fotogrammetrické aplikace; jedná se například o využití videokamer nebo technických kamer pro záznam obrazu. U těchto zařízení je běžné rozlišení od stovek tisíc pixelů až po 1Mpixel. Obecně lze říci, že limitujícím faktorem použití pro fotogrammetrii není jen rozlišovací schopnost, ale zejména kvalita zobrazení, tedy souhrn optických vad použitého objektivu. Naprostá většina objektivů není určena pro fotogrammetrické využití a jeví velmi výrazné zkreslení obrazu ke stranám, které ale není pro amatérské potřeby na závadu. U řady zařízení je objektiv ještě vybaven zoom členem, který je užitečný při praktickém a běžném používání záznamového zařízení, z hlediska geometrie obrazu ale způsobuje nedefinovatelné a proměnlivé deformace obrazu. U zařízení pro monitorování prostoru (např. technické kamery) je hlavním požadavkem velmi široký záběr na úkor zejména geometrické kvality obrazu. Všechny výše uvedené problémy výrazně ztěžují nebo i znemožňují využití těchto zařízení pro měřické účely. Vzhledem k cenovým i technickým možnostem je ale jejich využití žádoucí, proto je třeba pro jednoduché měřické aplikace vliv některých vad potlačit. Základní a nejzávažnější je geometrická deformace obrazu, která ale obsahuje současné působení několika typů geometrických vad optiky. Pro jednoduché účely není podstatné jednotlivé typy separovat a samostatně se jimi zabývat, ale celkově zlepšit geometrickou kvalitu obrazu nějakým jednoduchým způsobem, který by přitom geometrickou kvalitu výrazně zlepšil. Tento postup je předmětem předkládaného článku. Kalibrace komor Fotografickou komoru fotoaparát definují pro fotogrammetrické účely tzv. prvky vnitřní orientace. Jedná se o konstantu komory f, polohu hlavního bodu x0, y0 a znalost průběhu distorze objektivu. Tyto parametry umožňují rekonstruovat paprskový svazek uvnitř komory z fotografického záznamu a jsou nezbytné pro měřické účely. Fotogrammetrické komory jsou konstrukčně přizpůsobeny požadavkům stálého kvalitního optického zobrazení. 5

Definovat při výrazných změnách optického systému ( zoom, přeostřování) konstantu komory bývá obtížné, proto se při využití neměřických komor ve fotogrammetrii používá základní polohy objektivu po zapnutí přístroje a manuálního ostření na nekonečno (pokud to aparát umožňuje). V jiném případě by se musely určovat parametry vnitřní orientace pro každý snímek zvlášť. Postup, který určuje prvky vnitřní orientace, se nazývá kalibrace komory. Při tomto postupu se určuje: Konstanta komory Poloha hlavního snímkového bodu Radiálně-symetrické zkreslení Tangenciální a asymetrické zkreslení Afinita a nekolmost os souřadnicového systému Další přídavné parametry Vzhledem k tomu, že obecně se předpokládá dlouhodobá stabilita prvků vnitřní orientace u měřických komor, je kalibrační postup určen zejména pro neměřické komory a digitální fotoaparáty. Kalibraci je nutno cyklicky provádět, jelikož u těchto přístrojů není zajištěna jejich dlouhodobá stálost. Kalibrační postupy lze rozdělit na tři základní způsoby, které jsou charakterizovány referenčním objektem, případně místem a časem okamžiku kalibrace. Jsou to tyto hlavní postupy: Laboratorní kalibrace Simultánní kalibrace Kalibrace pomocí testovacího pole První dva typy vyžadují buď speciální laboratoř nebo speciální software a nejsou zcela běžné. Poslední typ kalibrace pomocí testovacího pole je oproti tomu hojně rozšířen v různých modifikacích. Tento postup je využit i v předkládaném textu. Testovacím polem se myslí dostatečně rozsáhlé pole signalizovaných bodů, jejichž geodetické souřadnice jsou známy s vysokou přesností předem. Zkonstruovat můžeme testovací pole rovinné nebo prostorové; obecně prostorové pole dává lepší výsledky, neboť nedochází běžně k výrazné korelaci mezi jednotlivými prvky. Na druhou stranu, jeho konstrukce, potřeba většího prostoru a zejména údržba, tento druh testovacího pole znevýhodňují pro jednodušší aplikace. Z těchto důvodů se velmi často používá jen rovinného testovacího pole. Pokud je použito rovinné pole, používá se více šikmých snímků testovacího pole. Minimální počet snímků se řídí dostupností a uspořádáním bodů pole a také požadavky software, použitého při postupu (např. Photomodeler). V některých speciálních případech není možno pořídit vhodné záběry (např.,je-li kamera pevně umístěna nebo je součástí nějakého zařízení). V následujícím textu je popsáno použití 6

jediného snímku rovinného testovacího pole pro potlačení vad objektivu. Práce se opírá o spolupráci pracovišť FSv ČVUT, konkrétně Laboratoře fotogrammetrie s dalšími subjekty. Matematický základ výpočtu Vliv distorze (zkreslení) na snímkové souřadnice lze jednoduchým způsobem vyjádřit pomocí rovnic (1) a (2), které popisují pouze tzv.radiální distorzi. Ta bývá největší složkou distorze u neměřických komor a u objektivů obecně. ( ) ( ) ( ) x = x R x x, (1) b d d 0 y = y R y y, (2) b d d 0 2 4 6 ( d d d d ) 0 1 2 R = R x, y,r x, y = k r + k r + k r, (3) ( ) 2 2 r x, y = x x + y y. (4) d d d 0 d 0 Ve vzorcích (1), (2), (3), (4) xd, yd jsou souřadnice zatížené distorzí, xb, yb souřadnice bez vlivu distorze, x0, y0 souřadnice hlavního snímkového bodu (vzhledem k povaze opravy z distorze stejné ve snímku ovlivněném sd i neovlivněném sb distorzí) a k0, k1, k2 koeficienty radiální distorze. K využití uvedených vzorců k výpočtu koeficientů popisujících distorzi by však bylo nutno znát ideální snímkové souřadnice. Pokud jsou známy souřadnice vlícovacích bodů v rovině kalibrační matice, lze při libovolné pozici pořízení snímku spočítat kolineární transformaci vyjádřenou vzorci (5) (6). a X + b Y + c x =, g X + h Y + 1 (5) d X + e Y + f y =, g X + h Y + 1 (6) kde x,y jsou snímkové souřadnice a X,Y souřadnice bodů kalibrační matice a a, b až h jsou koeficienty transformace. Takto definovaný vztah mezi snímkovými souřadnicemi a souřadnicemi kalibrační matice lze doplnit o korekci vlivu radiální distorze podle vzorců (1) a (2), čím se získají vztahy (7) a (8). 7

ax + by + c xd R ( xd x0 ) = gx + hy + 1, (7) dx + ey + f yd R ( yd y0 ) = gx + hy + 1. (8) Při výpočtu takto definované transformace souřadnice kalibrační matice mohou mít jakýkoli rozměr či mít libovolně otočenou souřadnou soustavu. Celkem je v rovnicích osm neznámých (5 transformace, 3 distorze). Pro získání využitelných výsledků je třeba použít větší počet vlícovacích bodů a koeficienty určovat vyrovnáním. Na výpočet koeficientů byl sestaven program K3, který ze vstupujících snímkových souřadnic a souřadnic matice vypočítá koeficienty popisující radiální distorzi k0, k1, k2. Různé navazující programy mají různé definice zavedení radiální distorze do výpočtu, pokud s ní vůbec pracují. Proto byl sestaven program Exdistorzer, který opraví takto vyjádřenou vadu přímo v datech snímku a pak je již možné se snímkem pracovat dále v libovolném programu. Oprava snímku je počítána následujícím způsobem : Pro jednotlivé pixely nového snímku, nezatíženého distorzí, jsou v původním snímku zatíženém vlivem distorze hledány odpovídající body. Základem opravy je inverze rovnic vlivu radiální distorze (1) a (2), jejímž výsledkem jsou vztahy (9), (10). ( ) ( ) x = x + R x x (9) d b d 0 y = y + R y y (10) d b d 0 Ve vzorcích (9), (10) souřadnice xd, yd vystupují nejen na levé straně, ale také na straně pravé v závorce a v členu R' (viz. (3) a (4)). Lze předpokládat, že velikost opravy R' (xd x0) bude oproti (xd x0) malá a tedy jednoduchým iteračním postupem podle (11) a (12) se lze dopočítat k cílovým hodnotám. 0 0. xd = xb + R x b, yb xb x0 1. x = x + R x, y x x M 1 1 1 1 d b d d d 0 n. x = x + R x, y x x n n 1 n 1 n 1 d b d d d 0 (11) 8

0 0. yd = yb + R x b, yb yb y0 1. y = y + R x, y y y M 1 1 1 1 d b d d d 0 n. y = y + R x, y y y n n 1 n 1 n 1 d b d d d 0 (12) Výpočet lze zastavit, pokud se abs( n xd n-1 xd ) < TOL, (resp. pro y), typicky lze zvolit TOL = 0,05 pix. Při použití reálných hodnot distorze z neměřického digitálního fotoaparátu se výpočet pod hranici takto zvolené dostal po pěti iteracích. Celkovým výsledkem výpočtu jsou pixelové souřadnice v obraze, které však mají obecně podobu reálných čísel a tedy je nelze převzít přímo. Je nutno vybrat či vypočítat složky barvy RGB: nejjednodušší možností je metoda nejbližšího souseda (nearest neighbour), nebo-li prosté zaokrouhlení vypočítaných souřadnic. Pokud se metoda nejbližšího souseda nepoužije, bod vždy padne do čtveřice bodů, které mají celé (integer) souřadnice. Tyto body lze označit jako LH, PH, LD, PD (Levý Horní, Pravý Hodní, Levý Dolní, Pravá Dolní) Jednou z dalších možností výpočtu je interpolace mezi sousedními body definovaná postupně vzorci (14) (16) pro červenou (R), pro další barvy jsou vzorce analogické. Odvození je zjednodušeno faktem, že mezi sousedními body (pixely) je souřadnicový rozdíl vždy 1. Výsledkem odvození je vzorec (17). BH, BD jsou označeny body vyinterpolované mezi levým a pravým bodem v dolní (BD) a hodní řadě (BH). R = R + R R x x (14) BH LH PH LH b LH R = R + R R x x (15) BD LD PD LD b LD R = R + R R y y (16) b BH BD BH b LH ( ) R = R + R R x x + b LH PH LH b LH + R R + R R x x R R x x y y LD LH PD LD b LD PH LH b LH b LH (17) Rb je hledaná červená barva pro daný pixel. 9

Příklady praktického využití Cílem celého postupu je zmírnění geometrických vad obrazu neměřických snímacích běžných fotoaparátů i neběžných zařízení (mikrokamery apod.)tak, aby bylo možno obsah snímku alespoň nějak fotogrammetricky vyhodnotit. Obrázek 4: Příklady použití vlevo originální obraz, vpravo opravený o distorzi 10

Závěr Metoda poukazuje na možnost poměrně jednoduchého potlačení zásadních geometrických vad obrazu ze zařízení, které rozlišovací schopností ani kvalitou obrazu absolutně nemusí být určeny pro fotogrammetrii; i přesto je možno takovéto snímky použít pro jednodušší aplikace bez vysokého nároku na přesnost. Hlavní modul slouží k potlačení či odstranění distorze objektivu ze snímků (DistortionPM) u běžných digitálních fotoaparátů a dále je uveden nástroj pro analýzu distorze. Zároveň je uvedena kalibrace běžných fotografických přístrojů a jejich objektivů a vzorové příklady. Využití Software představuje materiál vědecko-výzkumného charakteru, sloužící zejména odborné veřejnosti. Software je volně dostupné a široce uplatnitelné v praxi všude tam, kde se požaduje tvorba fotoplánů a nezkreslených obrazů rovinných ploch (maleb aj.). Dostupné prostřednictvím webu na adrese: http://lfgm.fsv.cvut.cz/naki/vysledky.html kde je uveden popis s návodem, otevřený zdrojový kód spustitelný z prostředí Delphi a exe soubor. Dále je využití zajištěno: Výsledek je využíván předkladatelem pro uskutečňování jeho dalších výzkumných aktivit. Prokazování je zajištěno vedením deníku využití. Dodržování podmínek platných pro VO dle 2 odst. 2 písm. d) zákona je zajištěno tím, že případný zisk je generován pouze v rámci hlavní činnosti VO a je do ní zpětně investován. Kontrolovatelnost je zajištěna přístupem poskytovatele k účetní závěrce kalendářního roku, která je též zveřejněna na Rejstříku VVI, vedenému na MŠMT a ve výroční zprávě na webových stránkách VO. Licenční podmínky Majitelem tohoto produktu je: Fakulta stavební ČVUT v Praze, Thákurova 7/2077, 166 29 Praha 6 Dejvice, Česká republika. Autory tohoto programu jsou: Pavelka, K., Šedina, J., Housarová, E., M., Dolanský, T., Voldán, P. Tento program je zájemcům volně k použití po předchozí registraci uživatele u vlastníka na adrese pavelka@fsv.cvut.cz (požaduje se základní identifikace uživatele - název, adresa, ičo, kontaktní osoba a e-mail). Použití tohoto software jinými subjekty se řídí pravidly a zákony platnými pro freeware. 11

Literatura: [1] PAVELKA, K.: Fotogrammetrie 10, skriptum ČVUT, FS ČVUT, 1998, 2001, ISBN 80-01- 01863-6 [2] PAVELKA,K., HODAČ,J.,DOLANSKÝ,T.,VALENTOVÁ,M.: Fotogrammetrie 30-digitální metody, FS ČVUT,2001 [3] PAVELKA,K. a kol.: Fotogrammetrie 10,20 praktická cvičení, FS ČVUT, 2002 [4] MUSÍLEK,L.,PAVELKA,K : 3D Monuments Documentation Using Close Range Photogrammetry, ISPRS Workshop UM3-99, Tokio, Japonsko, 9/1999 [5] ČEPEK,A., PAVELKA,K.: The Establishing of Historical Monuments Database in the Czech Republic, ISPRS Commision V, WG 6,International Workshop Recreating the Past - Visualization and Animation of Cultural Heritage, Ayutthaya, 26.2-1.3.2001, Thajsko, proceeding, ISSN 0256-1840, Vol.34,Part 5/W1, pp.153-158 [6] PAVELKA,K.: Complex Photogrammetric and Architectural Analysis of the Historic Monuments, CIPA International Symposium, Potsdam, TU Berlin, 9/2001, SRN, sborník, ISSN 1682-1750, pp.475-479 [7] PAVELKA,K., ŠTRONER,M.: Lineární prostorová transformace, GaKo,3/2001, ISSN 0016-7096. [8] Hanzl, V. : Přímá lineární transformace snímkových souřadnic s eliminací radiálního zkreslení objektivu. Geodetický a kartografický obzor, 32/74, 1986, č. 5. 12