24. KONFERENCE O GEOMETRII A POČÍTAČOVÉ GRAFICE ŠÁRKA VORÁČOVÁ APLIKACE EPIPOLÁRNÍ GEOMETRIE Abstrakt Epipolární geometrie je geometrií dvou středových promítání. Je teoretickým základem pro určení vztahu mezi dvěma fotografiemi téžescényaprorekonstrukciscényvprostoru.vpříspěvkujepopsán obecný postup pro sestavení fundamentální matice a rekonstrukce scény ve speciálním případě, kdy kamera zůstává statická a předpokládaným pohybem objektu je translace. Klíčová slova rekonstrukce scény, kalibrace kamery, fundamentální matice, esenciální matice, fotogrametrie 1 Úvod Získání prostorové informace ze dvou, nebo více rovinných průmětů je základní úlohou počítačového vidění, která je intenzivně zkoumána v průběhu posledních patnácti let. Definice úlohy, základní pojmy a algoritmy je možné nalézt v[5][3],[11]. V zásadě existují dva přístupy k rekonstrukci prostorové scény. První možností je určení projekčních matic kamer, tj. získání vzájemných vztahů promítacích paprsků a pixelových souřadnic snímků vzhledem k pevně danému repéru. Tento přístup ovšem vyžaduje znalost vnitřních parametrů kamery, v opačném případě je třeba odhadnout pro každý snímek 11 parametrů projekční matice, což je mnohem více, než je v obvyklých aplikacích nezbytně nutné. Určení vnitřních parametrů kamery se provádí tzv. kalibrací kamery. Kalibrační techniky je možné rozdělit na fotogrametrickou kalibraci a automatickou kalibraci. Při fotogrametrické kalibraci pozorujeme kamerou kalibrační objekt, jehož geometrie je přesně určena [3]. Výhodou je přesnost výsledků, avšak za cenu nákladného laboratorního vybavení. Při automatické kalibraci nepotřebujeme kalibrační objekt, vnitřní parametry kamery odhadneme na základě vzájemně si odpovídajících bodů pozorovaného objektu. V[6],[8],[12],[1], jsou popsány metody automatické kalibrace. Druhým přístupem k rekonstrukci 3D scény je využití projektivity snímků[10]. Detekcí vzájemně si odpovídajících bodů určíme projektivitu snímků, aniž bychom znali vnitřní parametry kamery. Výhodou tohoto přístupu je menší počet parametrů, které je nutné odhadnout. Hlavním úkolem stereo analýzy je výpočet fundamentální matice, která určuje vztah dvou průmětů. 2 Rekonstrukce ze dvou kalibrovaných pohledů Nejprve popíšeme vztah mezi pixelovými souřadnicemi snímku a souřadnicemi pozorovaného objektu v pevně daném repéru. Tato transformace je určena projekční matící kamery.
2.1 Projekční matice APLIKACE EPIPOLÁRNÍ GEOMETRIE Pro výpočet geometrického modelu kamery předpokládejme, že je prostorová scéna středově promítána ze středu C na průmětnu π(obr. 1). Uvažujeme tři souřadné systémy:pevnědanýrepérvobecnépolozevůčiprůmětně W O w,x w,y w,z w,repér objektivukamery-souřadnáosa zsplývásoptickouosou C C, x c,y c,z c anevždy ortogonálnípixelovésouřadniceobrázku I O, x I,y I Obrázek 1: Projekční matice kamery Středovépromítání X X 1 ;(w,x,y,z) T (w 1,x 1,y 1 ) T jevprojektivnímprostoru popsáno maticí: 0 0 0 1 P persp = 0 f 0 0 =(0 P persp ) 0 0 f 0 Vzdálenost optického středu od průmětny- distance f = CH patří k vnitřním parametrům kamery, stejně jako souřadnice hlavního bodu. Při ukládání obrazové informace do pixelových souřadnic uvažujeme celkem 5 vnitřních parametrů kamery, které určují posunutí počátku, změnu měřítka ve směru os a afinní transformaci do neortogonální báze obrázku. Shodná transformace pevně daného repéru W a repéru kamery C je určena vnějšími(extrinsic) parametry kamery- posunutí t a ortogonální matice rotace R O(3,R).Projekčnímatice P typu3 4seskládázmaticeperspektivníprojekce, vnitřní a vnější kalibrace: 1 0 0 0 0 0 1 ( ) 1 0 P= x 0 a b 0 f 0 0 = t R y 0 0 c 0 0 f 0 0 0 0 1 ( ) 1 0 = 0 af bf x 0 t R 0 0 cf y 0 ( ) 1 0 =(0 K) = K( t R) t R Matici K typu 3 3 nazýváme matice kalibrace kamery. Pro homogenní souřadnice bodu v prostoru a jeho obrazu v projektivní rovině pak dostáváme projekční matici ve tvaru: X 1 = P X; P= K( t,r) (1)
ŠÁRKA VORÁČOVÁ 2.2 Epipolární geometrie Obrázek 2: Epipolární geometrie Uvažujmenynípřípaddvoukamer,obecněsrůznýmimaticemikalibrace K 1,K 2, které pozorují tutéž scénu(obr. 2). Pro určení epipolárních podmínek využijeme vlastností dvoustředového promítání[7]. Promítací paprsky daného bodu X tvoří promítací(epipolární) rovinu, ta protíná průmětny ve sdružených přímkách(epipolárách). V obou průmětnách tak dostáváme navzájem projektivní svazky sdružených přímek.vazbumeziprůměty X 1,X 2 bodu Xodvodímezrovnice(1)azvlastnosti, žespojnicestředů C 1, C 2 aobapromítacípaprskyležívjednépromítacírovině. Bez újmy na obecnosti můžeme předpokládat, že pevný souřadný systém splývá se souřadným systémem první kamery. Promítací rovnice kamer jsou pak tvaru: X 1 = P 1 X= K 1 (0,I)X, X 2 = P 2 X= K 2 ( t,r)x vektor t a matice rotace R určují transformaci mezi objektivy kamer. Známe-li maticekalibrace,můžemeodsouřadnicsnímku X 1, X 2 přejítknormalizovaným souřadnicím ˆX 1, ˆX2 předpisem X 1 = K 1ˆX1, X 2 = K 2ˆX2. (2) Vztah mezi normalizovanými pixelovými souřadnicemi snímků je pak dán rovnicí: ˆX T 2 t M R ˆX 1 =0, (3) kde t M jeantisymetrickámatice(3 3)vektoruposunutí.Matici E = t M R nazýváme esenciální matice[9]. Vektorový prostor esenciálních matic je v průběhu posledních 15 let intenzivně zkoumán[4],[2]. Pro určení vzájemné polohy kamer využijeme SVD(singular value decomposition) rozkladu esenciální matice[5]. Uvažujeme-liimaticekalibrace K 1, K 2,Pakvztahmeziprůměty X 1, X 2 získáme dosazenímrovnic(2)dovztahu(3): X T 2(K T 1 EK 1 2 )X 1 =0. (4)
APLIKACE EPIPOLÁRNÍ GEOMETRIE Matici F= K T 1 EK 1 2 nazýváme fundamentální matice snímků. Tak jako esenciální ifundamentálnímaticejematice3 3hodnosti2.Prodvasnímkyjefundamentální matice určena jednoznačně a obráceně daná fundamentální matice určuje dvojici projekčníchmatickamer P 1, P 2 ažnanásobeníprojektivnímaticí.prostereoanalýzuje tedy zásadním úkolem co možná nejpřesnější odhad fundamentální matice. Celkem jeprojejívýpočetnutnéurčit7parametrů.vliteratuře[9],[5],[2]jsoupopsány algoritmy pro určení fundamentální matice z detekovaných dvojic vzájemně odpovídajících si bodů. V[9] je pro odhad fundamentální matice popsán lineární, tzv. osmi-bodový algoritmus. Jakmile získáme odhad fundamentální matice, vypočítáme matici z esenciálního prostoru, která má od našeho odhadu nejmenší Frobeniovu vzdálenost. Nevýhodou osmibodového algoritmu je, že ačkoliv esenciální matice má jen pět volitelných parametrů, užití tohoto algoritmu vyžaduje alespoň osm dvojic odpovídajících si bodů. Navíc je nutné, aby mezi objektivy kamer bylo nenulové posunutí a pozorované body musí ležet alespoň ve dvou různých rovinách.[2] 2.3 Aplikace epipolární geometrie V praktických aplikacích se mnohdy, díky speciální vzájemné poloze kamer nebo speciální geometrii pozorované scény, situace zjednoduší a zmenší se počet parametrů, které musíme odhadnout. Využijeme-li známé informace o geometrii scény, snížíme tím počet neznámých parametrů a můžeme zvýšit spolehlivost použitých metod. Budeme zkoumat konkrétní případ, kdy kamerou, umístěnou v automobile pozorujeme prostor za vozidlem(digitální zpětné zrcátko). Detekujeme-li automobil zanašímvozidlem,zajímánás,jakjeautodaleko(hloubkaobjektu)ajakrychlese auto přibližuje. Konfiguraci pevné kamery a pohybujícího se objektu můžeme převést na příklad stereo promítání. V našem případě je shodnost pouhou translací, tedy R = I, snímky zhotovujemestejnoukamerou K 1 = K 2 = K.Souřadniceuzlovýchbodů(epipólů) e 1,e 2 vpixelovýchsouřadnicíchobrázkusplývají e 1 = e 2 = K t, stejnějakosdruženépřímky(epipoláry).propáryodpovídajícíchsibodů X 1, X 2 dostáváme: X 1 = P 1 X= K(0,I)=K(x,y,z) T =(z, afx bfy+ x 0 z, cfy+ v 0 z) X 2 = P 2 X= K( t,i)=(k t,k)(1,x,y,z) T = K t+x 1, tedy společný uzlový bod je úběžníkem směru posunutí objektu Upravíme-li vztah pro fundamentální matici, dostáváme: F= K T EK 1 = K T t M K 1 = K T K T (e 2 ) M. Pro určení fundamentální matice stačí dva rozpoznat dva páry odpovídajících si bodů, tyto dvojice bodů určí úběžník posunití, který je současně epipólem a v maticovém zápisu určuje fundamentální matici 0 0 1 t 1 e=k t= af bf x 0 t 2 =(t 3, aft 1 bft 2 + x 0 t 3, cft 2 + y 0 t 3 ). 0 cf y 0 t 3
ŠÁRKA VORÁČOVÁ Literatura [1] O. Faugeras, Q. Luong: Self-calibration of Moving Camera from Point Correspondences and Fundamental Matrices, International Journal of Computer Vision, 1. 5-40, Kluwer Academic Publishers, Boston, 2004 [2] O. Faugeras, Q. Luong: A stability Analysis of the Fundamental Matrix, Proceedings of the European Conference on Computer Vision, Stockholm, 1994, pp. 577-588 [3] O. Faugeras: Three-Dimensional Computer Vision: a Geometric Viewpoint, MIT Press,1993 [4] G. Golub, C.Loan: Matrix Computation, The John Hopkins University Press, Baltimore, Maryland, 1996 [5] R. I. Hartley, A. Zisserman: Multiple View Geometry in Computer Vision Cambridge University Press, 2000 [6] R. Hartley: An Algorithm for Self Calibration from Several Views, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 1994, pp. 908-912 [7] K. Kadeřávek, J. Klíma, J. Kounovský: Deskriptivní geometrie I, Praha, 1929 [8] D. Liebowitz, A. Zisserman: Metric Rectification for Perspective Images of Planes, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 1998, pp. 482-488 [9] H.C. Longuet-Higgins: A Computer Algorithm for Reconstructing a Scene from Two Projections, Nature 293, 1981, pp. 133-135 [10] J. I. Mundy, A. Zisserman: Geometric Invariance in Computer Vision, MIT Press, 1992 [11] J. Stolfi: Oriented Projective Geometry: A Framework for Geometric Computations, Academic Press, Inc., San Diego, 1991 [12] Z. Zhang: A Flexible New Technique for Camera Calibration, Microsoft Research, One Microsoft Way, USA, 1998 http://research.microsoft.com/ zhang