Dvoukroková metoda kalibrace digitální kamery s využitím nelineárních transformací The two-step method calibration of digital camera utilizing non-linear transformation V. Obr, B. Koska* vitezslav.obr@fsv.cvut.cz *bronislav.koska@fsv.cvut.cz Department of Advanced Geodesy, * Department of Special Geodesy Faculty of Civil Engineering, Czech Technical University in Prague, Technická 2, 166 27 Prague 6, Czech Republic ABSTRAKT: V posledních letech je roční nárůst rozlišení snímačů digitálních kamer přibližně sto procent a tím se taky neustále rozšiřuje objem aplikací pro jejich využití. Naopak v oblasti vývoje objektivů k žádnému technologickému zvratu srovnatelnému s přechodem na digitální snímače nedochází a nedochází ani k zvyšování jejich kvality srovnatelné s nárůstem rozlišení digitálních senzorů. Proto je nutné v aplikacích citlivých na přesnost modelovat vady objektivů matematicky. Touto problematikou se zabývá mnoho vědeckých pracovišť jak v tuzemsku tak ve světě. V představované práci byla testována celé řady rovinných transformací a jejich kombinací. Přičemž zřetel byl brán na použití transformací, které dokáží postihnout nepravidelné rozložení lokálních deformace v obraze. ÚVOD Kalibrace digitálních kamer, problematika v současné době skloňována ve všech pádech, je řešena celou řadou kalibračních postupů. Především z důvodů výpočetní jednoduchosti jsou pro tento účel používány převážně základní lineární transformace a jejich nejrůznější modifikace. Dosavadní vyvinuté a publikované metody jsou založeny na jednoduchých jednokrokových transformacích. Jedna se především o transformaci DLT a její nejrůznější modifikace. Tyto metody dosahují uspokojivých výsledků, avšak nedokáží podchytit lokální deformace ve vzniklém digitálním obraze. V představované práci byla analyzována možnost využití dvoukrokového procesu kalibrace, který je založen na metodě projektivní transformace s následnou aplikací některé vhodné nelineární transformace. Byly testovány především transformace polynomické do čtvrtého řádu a transformace Thin-plate spline. Tento postup umožňuje uživatelsky jednoduchou kalibraci, která v závislosti na hustotě kontrolních bodů dokáže eliminovat i velmi jemné lokální geometrické deformace. 1
POSTUP ŘEŠENÍ V první kroku bylo vytvořeno přesné rovinné kalibrační pole s 300 body rozměrů metr x 70 cm. V poli byly voleny značky tvaru mezikruží s vnějším poloměrem čtyři milimetry a vnitřním jeden milimetr. Tyto značky jsou vhodné jak pro přesné zaměření planimetrem tak pro odečítání na digitálních snímcích, kde se podle rozlišení volí jako cíl buď mezikruží, nebo vnitřní kruh. Kalibrační pole bylo zaměřeno dvakrát nezávisle s dvojím odečtem na planimetru firmy Altec Corporation. Přesnost jednoho zaměření byla určena z rozdílů dvojího zaměření [9] a je v obou souřadnicích dána směrodatnou odchylkou přibližně 0.04 mm (směrodatná odchylka použitého průměru je přibližně 0.03mm). Obr. 1 Jeden z vyhodnocovaných snímků kalibračního pole Po zaměření kalibračního pole bylo pořízeno několik jeho snímků s použitím kamer Canon EOS D350 (zrcadlovka, 8 megapixelů) a Canon PowerShot S200 (kompakt, 2 megapixely). S kamerou Canon EOS D350 byl použit jednak vysoce kvalitní objektiv s pevnou ohniskovou vzdáleností Canon EF 50 (f1.4) a dále objektiv s měnitelnou ohniskovou vzdáleností Tamron AF SP 28-75 (f2.8). Vybrané objektivy vhodně zastupují oblast od základních po poloprofesionální objektivy. Středové značky identických bodů byly několikrát odečteny s pomocí softwaru "odecitacv2" Ing. M. Štronera, Ph.D. Tento software umožňuje subpixelový odečet bodů metodou RGB filtru. Po kliknutí do jediného bodu splňujícího zadaný filtr jsou automaticky vybrané všechny sousedící pixely splňující RGB filtr a je vypočítán jejich průměr. Na základě opakovaného odečítání vycházela směrodatná odchylka v souřadnici průměrného odečtu v rozmezí 0.05 až 0.2 pixelu podle použitého snímku. ANALÝZA ÚSPĚŠNOSTI TRANSFORMAČNÍCH METOD K posouzení vhodnosti transformací byla využita knihovna Alltran [1]. Alltran je knihovna tříd a funkcí pro výpočet transformačního klíče a transformaci souřadnic. Byla navržena zejména pro transformace založené na metodě nejmenších čtverců. Všechny implementované transformace jsou v úzkém vztahu s obory geodézie a fotogrammetrie. Knihovna je napsána programovacím jazykem C++ a je šířena pod všeobecnou veřejnou licencí GNU. K používání knihovny byl vytvořen jednoduchý konzolový program Alltran_console a dále program Alltran_test, který je možné použít k posouzení vhodnosti transformace. 2
K testování transformací byl použit upravený program Alltran_test. Tento program použije pro výpočet transformačního klíče (nebo klíčů pro složené transformace) zadané procento z identických bodů (náhodně vybraných) a ostatní body s využitím tohoto klíče přetransformuje a v globální soustavě (soustava CCD snímače) provede srovnání výpočtem směrodatné odchylky v obou souřadnicích. Dále je generován soubor vector_field.txt, který obsahuje původní a přetransformované souřadnice testovacích bodů. Pro vizuální kontrolu výpočtu je vektorové pole graficky zobrazeno s použitím programu v Matlabu, který chybové vektory zobrazuje v stonásobném měřítku. Pro naše testování byl pro každý posuzovaný snímek použito bodů jako identických nejprve 50 procent (přibližně sto bodů v reálu) a dále vhodné procento tak, aby počet identických bodů byl přibližně dvacet. Tyto volby odpovídají v praxi používanému množství bodů pro rovinná respektive prostorová pole identických bodů. Obr. 2 Pole vektorů zkreslení na kontrolních bodech po aplikaci projektivní transformace (DLT2D) Canon f50/1.4 UMS, trans.klíč z 20b., měřítko 100:1 Obr. 3 Pole vektorů zkreslení na kontrolních bodech přepočtené z hodnot zkreslení ve vertikální a horizontální ose objektivu proměřených v MEOPTE s.r.o Canon f50/1.4 UMS, trans.klíč z 20b., měřítko 100:1 Pro naše testování bylo pro každý posuzovaný snímek použito jako bodů identických nejprve 50 procent (přibližně sto bodů v reálu) a po té bodů dvacet. Tyto volby odpovídají v praxi používanému množství bodů pro rovinná respektive prostorová pole identických bodů. 3
Obr. 4 Pole vektorů zkreslení na kontrolních bodech po kroku transformace TPS (dlt_2d+tps_2d) Canon f50/1.4 UMS, trans.klíč z 57b., měřítko 100:1 Obr. 5 Pole vektorů zkreslení na kontrolních bodech po kroku transformace (dlt_2d+tps_2d) Canon f50/1.4 UMS, trans.klíč z 20b., měřítko 100:1 Obr. 6 Pole vektorů zkreslení na kontrolních bodech po kroku transformace TPS (dlt_2d+cubic_2d) Canon f50/1.4 UMS, trans.klíč z 57b., měřítko 100:1 Obr. 7 Pole vektorů zkreslení na kontrolních bodech po kroku transformace TPS (dlt_2d+cubic_2d) Canon f50/1.4 UMS, trans.klíč z 20b., měřítko 100:1 K testování byly použity následující transformace (v závorkách jsou uvedeny názvy transformací v knihovně Alltran): kolineární (projektivní) rovinná (jako vzor bez odstranění distorzí, dlt_2d) [10-11], kolineární rovinná s polynomem na odstranění radiálních distorzí (dlt_2d_rd) [7-8], kolineární rovinná s polynomem na odstranění radiálních distorzí s ideálním středem (dlt_2d_rd2), kolineární rovinná a Thin-plate spline [2-6] (dlt_2d_plus_tps_2d), dlt_2d_rd2 a Thin-plate spline (dlt_2d_rd2_plus_tps_2d), kolineární rovinná a polynom k odstranění radiálních distorzí (dlt_2d_plus_rd), kolineární rovinná a polynom k odstranění radiálních distorzí s ideálním středem (dlt_2d_plus_rd2), kolineární rovinná a rovinná kvadratická transformace (dlt_2d_plus_quadratic_2d), kolineární rovinná a rovinná kubická transformace (dlt_2d_plus_cubic_2d) a kolineární rovinná a plošná transformace čtvrtého stupně (dlt_2d_plus_quartic_2d). 4
Jako hlavní kritérium posouzení vhodnosti transformace byla použita směrodatná odchylka v souřadnicích testovacích bodů a vizuální kontrola neexistence systematických vlivů ve zbytkových chybových vektorech. Pro velký počet identických bodů (přibližně sto) dosahuje nejlepších výsledků Thin-plate spline, ale srovnatelných výsledků dosahuje i kubická rovinná transformace a transformace čtvrtého stupně. Pro počet identických bodů přibližně 20 dosahuje nejlepších výsledků transformace označená výše jako dlt_2d_rd2_plus_tps_2d. Srovnatelných výsledků ale dosahují také transformace dlt_2d_rd, dlt_2d_rd2 a rovinná kubická transformace. ZÁVĚR Tab. 1 Tabulka středních chyb polohy kontrolních bodů opravených jednotlivými transformacemi V příspěvku byly prezentovány výsledky testování vhodnosti různých rovinných transformací k odstranění distorzí objektivů digitálních fotoaparátů. V testu byly zohledněny různé kvalitativní kategorie objektivů a různé počty použitých identických bodů. Z Tab. 1 je patrné, že nejlepších výsledků dosahuje kombinace transformace projektivní s transformacemi Thin-plate spline a kubickou. Nepatrně lepších výsledků dosahuje použití transformace TPS, ta je však velmi citlivá na počet bodů vstupujících do výpočtu transformačního klíče, při jejich malém počtu úspěšnost transformace prudce klesá. Mnohem stabilnější se jeví transformace kubická. Z 5
Obr. 5 lze usuzovat, že transformace TPS si při nízkém počtu identických bodů nedokáže uspokojivě poradit s okrajovými body transformovaného pole. Jejich vyloučením z procesu vyhodnocování snímků by došlo k výraznému zpřesnění kalibrační metody. Uvedené závěry je možné přímo aplikovat v metodách jedno-snímkové fotogrammetrie a nepřímo k odstranění distorzí v ostatních fotogrammetrických metodách. References: [1] KOSKA, B.: Project Alltran [cit. 2.1.2007] http://k154.fsv.cvut.cz/~koska/projects/alltran/alltran.htm [2] OBR, V.: Thin-Plate Splines transformation as a power tool for elimination geometric deformation of DTP scanners, Physical and material engineering 2005. Praha, 2005, p. 163-165. [3] OBR, V.: Robust metode for elimination geometrical deformation of Dtp scanners, Technical Computing Prague 2005, Prague, 2005. [4] BOOKSTEIN, FRED L.: Thin-plate Spline and the Decomposition of deformations. IEEE Transaction on Pattern Analysis and Machine Intelligence, Vol.11, No.6, pp.567-585,1989. [5] COROUGE, I. BARILLOT, CH.: Use of a probabilistic shape model for non linear registration of 3D scattered data, IEEE Int. Conf. on Image Processing, ICIP'2001, Pages 149-152, Thessaloniki, Greece, 2001. [6] ALMANSA, A. COHEN, L.: Fingerprint image matching by minimization of a thin-plate energy using a twostep algorithm with auxiliary variables, IEEE Workshop on Applications of Computer Vision (WACV 00), 4-6 December 2000, Palm Springs, CA, USA [7] DLT Method [online]. 2006 [cit. 1.6.2006]. http://kwon3d.com/theory/dlt/dlt.html [8] HANZL, V.: Přímá lineární transformace snímkových souřadnic s eliminací radiálního zkreslení objektivu. In: Geodetický a kartografický obzor, 32/74, č. 5, 1986. [9] BÖHM, J. RADOUCH, V. HAMPACHER, M.: Teorie chyb a vyrovnávací počet. Praha: GKP, 1990, 416 s. [10] PAVELKA, K. DOLANSKÝ, T. HODAČ, J. VALENTOVÁ, M.: Fotogrammetrie 30 - Digitální metody. Skriptum. Praha: ČVUT, 2001, 179s. [11] PAVELKA, K.: Fotogrammetrie 10. Skriptum. Praha: ČVUT, 2003, 191s. This research has been supported by CTU grant No. CTU0604411. 6