Rekonstrukce objektu a pozice pozorovatele z 2D pohledů

Transkript

1 Západočeská unverzta v Plzn Fakulta aplkovaných věd Katedra nforatky a výpočetní technky Dploová práce Rekonstrukce objektu a pozce pozorovatele z D pohledů Plzeň 004 Ladslav Lang

2 Abstrakt Anotace v češtně : Rekonstrukce objektu a pozce pozorovatele z D pohledů. ato práce popsuje postup rekonstrukce reálného světa z D pohledů. ento postup se skládá s noha kroků, počínaje detekcí význaných bodů a konče vlastní rekonstrukcí. Zatíco ostatní práce se často zaěřují pouze na část tohoto postupu, y popsujee tento postup celý. uto prác ůžee logcky rozdělt na tř hlavní část. První je teoretcké pozadí, zejéna pak projektvní geoetre. Druhá část obsahuje etody řešící jednotlvé kroky rekonstrukčního procesu. Ve třetí část byla většna popsaných etod pleentována a testována v několka experentech. Ve většně kaptol je zároveň naznačen další postup který se daná probleatka ubírá a jehož detalní pops přesahuje rozsah této práce. Klíčová slova: 3D rekonstrukce, detekce bodů, projektvní geoetre, kalbrace kaery, autokalbrace, eppolární geoetre, trfokální tensory, projektvní rekonstrukce, etrcká rekonstrukce Abstract Englsh annotaton: Reconstructon of object and observer poston fro D vews. hs dploa thess descrbes the process of reconstructon of a real world scene gven several ages of t. hs process conssts of any steps fro feature detecton to self reconstructon. Whle other papers often descrbe only a part of ths process, we descrbe t copletely. We can logcally dvde ths work nto three an parts. he frst s theoretcal background, especally projectve geoetry. he second part contans ethods that solve ndvdual steps of reconstructon process. In the thrd part there are ost of the descrbed ethods pleented and tested n several experents. Majorty of chapters ndcate further progresses by whch gven probles are detracted and whose detaled descrpton exceeds the range of ths thess. Keywords: 3D reconstructon, feature detecton, projectve geoetry, caera calbraton, autocalbraton, eppolar geoetry, trfocal tensors, projectve reconstructon, etrc reconstructon.

3 Obsah Abstrakt... Abstract... Obsah... Prohlášení o saostatnost... 4 Kaptola Úvod... 5 Kaptola Projektvní geoetre Hoogenní souřadnce Geoetrcké transforace..... Projektvní transforace..... Afnní transforace Metrcké transforace Eukledovské transforace Kuželosečky a kvadrky Kuželosečky a duální kuželosečky Kvadrky a duální kvadrky Absolutní kuželosečky a absolutní duální kvadrky Model perspektvní kaery Základní odel perspektvní kaery Vntřní a vnější paraetry kaery Kalbrace kaery, IAC a DIAC Určení paraetrů kaery z její atce Reálná kaera... 3 Kaptola 3 Geoetre více pohledů Eppolární geoetre Geoetrcká reprezentace Algebracká reprezentace Výpočet fundaentální atce ze znáých kaer Výpočet fundaentální atce z korespondencí Měření chyb rfokální tensory Geoetrcká reprezentace Algebracká reprezentace Výpočet eppolární geoetre a atc kaer z trfokálního tensoru Výpočet trfokálního tensoru z atc kaer Výpočet trfokálního tensoru z korespondencí Kvadrfokální a ultfokální tensory Kaptola 4 Nalezení korespondencí ez sníky Detekce význaných bodů Harrsův operátor FndFP Incalzační korespondence Korelace MEM-Pars Určení Afnní transforace RANSAC R-RANSAC... 45

4 4.3. PLUNDER Alternatvní etody k algortu RANSAC Kaptola 5 Projektvní rekonstrukce Výpočet projektvních hloubek Výpočet projektvních hloubek založený na eppolární geoetr Iterační algortus výpočtu projektvních hloubek Metoda faktorzace Doplnění chybějících bodů Kaptola 6 Metrcká rekonstrukce Metrcká rekonstrukce a absolutní kvadrka Kolk sníků je potřeba? Noralzační etoda Případ Případ Případ Shrnutí noralzační etody Kaptola 7 Shrnutí algortu 3D rekonstrukce Detekce bodů Hledání korespondencí Projektvní rekonstrukce Metrcká rekonstrukce Vylepšení odelu na základě znáých kaer a polohy některých bodů Rekonstrukce povrchu a textur Různé druhy vstupu Nestatcká scéna... 7 Kaptola 8 Experentální ověření popsaných etod Bodové detektory MEM-Pars a RANSAC Faktorzace Syntetcká data Reálná data Noralzace Syntetcká data Reálná data... 8 Kaptola 9 Ipleentační část Kaptola 0 Závěr Lteratura Příloha A Sngular value decoposton (SVD) A. Řešení soustavy hoogenních rovnc... 9 A. Pseudnverze a řešení soustavy nehoogenních rovnc... 9 A.3 Snížení hodnost atce... 9 A.4 Rozklad Q=A A... 9 Příloha B Prograátorský anuál B. GUI B. Panely Nástrojů B.3 Algortcká část Příloha C Užvatelský anuál k prograu Příloha D Evdenční lst

5 Prohlášení o saostatnost Prohlašuj, že jse dploovou prác vypracoval saostatně a výhradně s použtí ctovaných praenů. V Plzn dne ,... Ladslav Lang ento projekt byl podporován z Mcrosoft Research Ltd. projekt a MŠM ČR projekt MSM

6 Kaptola Úvod rojrozěrná rekonstrukce z nekalbrovaných dvojrozěrných sníků (dále jen rekonstrukce nebo 3D rekonstrukce) je jednou z hlavních oblastí počítačového vdění, v posledních 0-t letech prošla tato probleatka bouřlvý rozvoje. Cíle 3D rekonstrukce je vytvořt z několka sníků vyfocených z různých pozc, nebo z vdeosekvence, 3D odel pozorované scény. 3D rekonstrukce je alternatvou k drahý a obtížně realzovatelný 3D skenerů, zejéna př skenování rozěrných objektů (v archtektuře, apod.). Exstuje celá řada oblastí, ve kterých je ožno rekonstrukc uplatnt např.: 3D portréty (obecně 3D fotografe), 3D fly, rozšířená realta (augented realty), trojrozěrná kartografe, ěření (zejéna ěření rozěrů) a noho dalších. (a) (b) (c) (d) (e) (f) Obrázky. : Příklad 3D rekonstrukce. Obrázky (a,b,c) zastupují nožnu orgnálních sníků, (d,e,f) jsou výsledky rekonstrukce (konkrétně jde o 3-pohledový stereo algortus, vz [Strecha-04]). Černé body reprezentují ísta, která nejsou na žádné sníku vdtelná. V této prác se budee zabývat 3D rekonstrukcí s jední hlavní oezení a to, že pozorovaná scéna bude statcká, tj.: nebude se pohybovat, an njak ěnt. Další oezení jsou dána použtý algorty a nejsou njak význaná. Jak ukážee v kaptole (6) je k přesné rekonstrukc za určtých podínek potřeba alespoň tří různých pohledů. Je-l však dodána další nforace je ožno správně rekonstruovat ze dvou Zdroj obrázků: [Strecha-04], URL= 5

7 sníků (stereo reconstructon) a dokonce pouze z jednoho sníku (snglevew reconstructon). I přes to, že v některých kaptolách popsujee vztahy ez dvojcí sníků, budee na vstupu vyžadovat nálně tř, optálně však několk desítek sníků. Naší cíle je získat ze sníků axální nožství 3D nforací o pozorované scéně. akto zrekonstruovaný odel je ožno vylepšt využtí dodaných nforací o scéně, například nforace o syetr objektů. Je tedy ožno rekonstruovat ty objekty nebo část objektů, které nejsou na žádné ze sníků vdtelné. outo částí rekonstrukce se jž zabývat nebudee, vyžaduje totž znalost které jsou vázány na konkrétní probleatku, například př rekonstrukc oblčeje ůžee předpokládat jeho syetr, u rekonstrukce budov ůžee využít znalost o pravoúhlost, paralelnost stěn a podobně. V kaptole (, 3) se budee zabývat teoretcký pozadí, které je pro rekonstrukc nezbytné. Kaptola () se zabývá projektvní prostore, geoetrcký transforace a v neposlední řadě odele perspektvní kaery a její kalbrací, což je jedna z podstatných částí rekonstrukčního procesu. kaptola (3) popsuje geoetrcké vztahy ez jednotlvý sníky a zároveň ná dává ateatcký aparát k popsu těchto vztahů. Proces rekonstrukce ůžee rozdělt do dvou hlavních kroků: Získání korespondencí na nožně sníků a následná 3D rekonstrukce založená na těchto korespondencích. Získání korespondencí se zabývá kaptola (4), která začíná detekcí bodů a končí robustní odstranění chybných korespondencí založený na geoetr popsané v kaptole (). Vlastní 3D rekonstrukc rozdělujee na projektvní rekonstrukc z korespondencí, kaptola (5) a na přechod od projektvní rekonstrukc k etrcké (která je cíle této práce) v kaptole (6). Shrnutí celého postupu, pleentací a otestování algortů se zabývají kaptoly (7-9). Cíle této práce je snaha shrnout celý rozsáhlý postup 3D rekonstrukce, anž by byly opoenuty některé důležté fáze. Nejde tedy o to dotáhnout jednotlvé algorty k dokonalost, ale spíše o poskytnutí návodu a souborného pohledu na celou probleatku. 6

8 Kaptola Projektvní geoetre Projektvní geoetre je základní ateatcký aparáte potřebný pro 3D rekonstrukc, je tou tak proto, že ldské oko (a většna běžných fotoaparátů a kaer) vdí okolní svět zěněný projektvní transforací. V této kaptole se zaěříe na základní znalost projektvní geoetre, popíšee odel kaery a teoretcké pozadí potřebné ke kalbrac kaery. Užtí těchto znalostí ůžee teoretcky ukázat jak rekonstruovat 3D scénu pouze z D sníků. Obrázek. : Ldské vdění světa - ukázka perspektvní projekce. Paralelní příky nejsou v průětu paralelní a protínají se v nekonečnu. Abycho ohl luvt o projektvních transforacích usíe nejprve defnovat projektvní prostor na které tyto transforace provádíe: 3 Defnce.: Přdáe-l do 3D eukledovského prostoru E nevlastní rovnu, 3 označujee takový prostor jako rozšířený eukledovský prostor a značíe ho E. Obdobně přdání nevlastní příky do E získáe rozšířenou eukledovskou rovnu E. n Defnce.: Považujee-l v prostoru E nevlastní a vlastní body (příky, n rovny,...) za rovnocenné, poto se prostor E nazývá projektvní prostor a značíe ho n P. Zdroj obrázku: URL= 7

9 (.). Pojy nevlastní bod, příka a nevlastní rovna budou vysvětleny v kaptole Hlavní charakterstcký znake projektvní geoetre je, že proítnee-l do rovny kružnc, získáe kuželosečku. Kuželosečky v E 3 a kvadrky v E ají velký význa v projektvní geoetr a jak pozděj ukážee, také v procesu 3D rekonstrukce. Kuželosečká a kvadrká je proto věnována kaptola (.3). Obsah této kaptoly byl z větší část čerpán z [Hartley-04, Edberg-00], další nforace je ožno získat v lbovolné publkac zabývající se projektvní geoetrí. Detalnější nforace o kuželosečkách a kvadrkách je ožno nalézt v [Janyška-0].. Hoogenní souřadnce Jední z důvodů zavádění hoogenních souřadnc, zejéna v počítačové grafce, je usnadnění atcových operací. Z našeho hledska je však význanější, že zavedení hoogenních souřadnc postačuje k rozšíření eukledovského prostoru na prostor projektvní, jak s ukážee v této kaptole. Hoogenní souřadnce bodu ve D Hoogenní souřadnce bodu X jsou v rovně defnovány jako uspořádaná troj- x, y, w, pro kterou platí, že ce ( ) x y, k (..) w w ( x y ) = k, jsou kartézské souřadnce bodu X. Hoogenní souřadnce jsou tedy rozšíření kartézských souřadnc o jednu denz. Je-l w 0, ůžee získat z hoogenních souřadnc souřadnce kartézské. V opačné případě, tedy w = 0, není ožno kartézské souřadnce defnovat a hovoříe o tzv. nevlastních bodech, tedy bodech ležících v nekonečnu. Nevlastní body bývají často používány k popsu sěrových vektorů. Hoogenní souřadnce X = ( x, y, w) vynásobené nenulovou skalární hodnotou 0 α X = αx, αy, αw, popsují stále stejný bod α, tedy ( ) αx αy x y α X =,, =,, = X (..) αw α w w w Důsledke rovnce (..) je, že zatíco bodu v hoogenních souřadncí odpovídá právě jeden bod v souřadncích kartézských (s výjkou nevlastních bodů), tak bodu v kartézských souřadncích odpovídá celá nožna bodů α X α 0. Hoogenní souřadnce, jejchž poslední složka w je rovna jedné nazýváe noralzované hoogenní souřadnce. 8

10 Hoogenní souřadnce příky ve D Bod X = ( x, y, w) v hoogenních souřadncích leží na příce L právě tehdy, pokud platí že ax + by + cw = 0. Reprezentac příky L = ( a, b, c) nazýváe hoogenní souřadnce příky L. Užtí atcové notace ůžee obecnou rovnc rovny psát jako: XL = LX = 0 (..3) Po vynásobení hoogenních souřadnc příky ( a b, c) α reprezentují nově získané souřadnce ( a, b, c), nenulovou skalární hod- α stejnou příku, tedy notou 0 obdobně jako u bodu platí α L = L. Jak jž naznačuje předchozí odstavec a rovnce (..3), exstuje ez hoogenní souřadnce bodu a příky nějaký vztah, tento vztah nazýváe prncp dualty a uožňuje ná bez jakékol újy zaěnt bod a příku: Dva různé body ají společnou právě jednu příku (..4) ~ Dvě různé příky se protínají právě v jedno bodě (..5). ento vztah ůžee atcově popsat jako: kde je vektorový součn. X X = L, (..4) L L = X, (..5), tato příka je uístěná v nekonečnu a je nazývána nevlastní příka. Její exstence je zajštěna použtí hoogenních souřadnc. Všechny nevlastní body defnují příku o souřadncích L = ( 0,0,) Zavedl jse tedy nevlastní příku, číž se ná podle defnce (.) a (.) podařlo rozšířt prostor na projektvní. Dosadíe-l do rovnce (..5) rovnoběžné příky získáe nevlastní bod (bod uístěný v nekonečnu). Př použtí hoogenních souřadnc ají tedy rovnoběžky společný bod. Narozdíl od eukledovského prostoru platí v projektvní prostoru prncp dualty bez jakýchkol výjek (v eukledovské prostoru neají rovnoběžky společný bod). Prncp dualty je jední z hlavních důvodů zavedení hoogenních souřadnc. Obrázek..: Nevlastní příka. 9

11 Hoogenní souřadnce bodu a rovny ve 3D Podobně jako v rovně defnujee hoogenní souřadnce v prostoru jako uspořádanou čtveřc X = ( x, y, z, w), pro kterou platí ( xk, yk, zk ) = ( x / w, y / w, z / w). Ekvvalente k příce ve D je v prostoru rovna, která je defnována obecnou rovncí + by + cz + dw = 0 Π = a, b, c, d. ax, to odpovídá hoogenní souřadncí rovny ( ) Duální dvojce v prostoru jsou: bod-rovna, příka-příka. Věta: Průsečíke dvou různých rovn je právě jedna příka sce platí, ale neexstuje pro n věta duální. Naopak věty: ř různé body defnují právě jednu rovnu ~ Průsečíke tří různých rovn je právě jeden bod duální jsou. Průsečíke dvou rovnoběžných rovn je nevlastní příka, nevlastní příky všech rovn tvoří nevlastní rovnu o souřadncích Π = ( 0,0,0, ). Podobně jako ve D, zavedení nevlastní rovny rozšřujee prostor na projektvní. Obrázek..: Nevlastní rovna. 0

12 . Geoetrcké transforace V této kaptole se budee zabývat zejéna transforace v 3D prostoru, transforace v ostatních denzích je ožno vyjádřt analogcky. Geoetrcké transforace rozdělíe podle toho, kolk ají nvarantů. Nejobecnější skupnou jsou transforace projektvní, veškeré další nožny transforací jsou podnožnou transforací projektvních, nejéně obecné jsou z hledska tohoto výkladu transforace eukledovské. Obrázek..3: Herarche transforací... Projektvní transforace 3 Projektvní třídenzonální prostor značíe P. Jak jž bylo zíněno v úvodu kaptoly jsou projektvní transforace nejobecnější, obsahují tedy největší nožství eleentárních transforací (posun, otočení,...) a zároveň ají nejnžší počet nvarantů. jak jse s jž ukázal v kaptole (.) je jednou podínkou vytvoření projektvního prostoru zavedení hoogenních souřadnc, projektvní transforace pak ohou transforovat vlastní body na nevlastní a naopak. Projektvní transforac v 3 P reprezentujee atcí H P o rozěrech 4 4. h h h3 h4 = h h h3 h4 H P. (..) h 3 h3 h33 h34 h4 h4 h43 otéž ůžee zapsat nohe přehledněj blokový zápse: kde A je regulární atce o rozěrech 3 obecný tříprvkový vektor. A t H P =, (..) v t = t, t, t a v je 3, t označuje posun ( ) x y z

13 Protože se význa atce H P neění se zěnou ěřítka, ůžee j vynásobt lbovolnou skalární hodnotou ( ůžee psát h = 44 ). Projektvní transforace á 5 stupňů volnost. bodů: Nejvýznanější nvarante projektvní transforace je tzv. dvojpoěr čtyř Obrázek..: Dvojpoěr čtyř bodů. Měje body A, B, C, D ležící na jedné příce, pak podíl dělících poěrů AC AD k = : (..3) BC BD nazýváe dvojpoěr k bodu D vzhlede k bodu C pro základní body A, B. A zapsujee k = ( ABCD). Záěnou bodu a příky získáe, díky prncpu dualty, ekvvalentní větu pro příky. Obrázek..3: Projektvně ztransforovaná krychle.

14 .. Afnní transforace 3 Afnní třídenzonální prostor značíe A. Afnní transforace jsou podnožnou transforací projektvních. A á větší nožství nvarantů a enší nožnu transforací. Od P se afnní prostor lší zejéna v to, že v A je pevně daná rovnce nevlastní rovny. Rovnce rovny á 3 stupně volnost, z toho plyne, že Afnní transforace bude ít stupňů volnost. Afnní transforac v A 3 reprezentujee atcí V blokové zápsu ůžee psát: H A o rozěrech 4 4. kde A je regulární atce o rozěrech 3 nulový tříprvkový vektor. A t H A =, (..4) 0 t = t, t, t a 0 je 3, t označuje posun ( ) Invaranty afnních transforací jsou v prvé řadě všechny nvaranty transforací projektvních. Jak jž bylo řečeno, je v afnní prostoru nvarante nevlastní rovna, z čehož se dají odvodt další nvaranty afnní transforace, např.: zachování rovnoběžnost. x y z Obrázek..4: Afnně ztransforovaná krychle Nevlastní rovna [ π π ] Π = π 3 π 4 je rovna, kde se protínají rovnoběžné rovny a příky. Naleznee-l rovnc nevlastní rovny v projektvní prostoru, ůžee tuto rovnu transforovat do její pozce v prostoru afnní [ ], transforac vyjádříe následovně H = P A. (..5) π / π 4 π / π 4 π 3 / π 4 A títo způsobe převést rekonstrukc z projektvní na afnní. 3

15 ..3 Metrcké transforace 3 Metrcký třídenzonální prostor značíe M. Metrcké transforace jsou podnožnou transforací Afnních. Metrcká transforace defnuje objekt nazývaný absolutní kuželosečka (z angl.: absolute conc), což je kuželosečka uístěná na nevlastní rovně. Je defnována syetrckou atcí 3 3 a neění se zěnou ěřítka. Absolutní kuželosečka á tedy 5 stupňů volnost a protože afnní transforace á stupňů volnost, zbývá etrcké rekonstrukc 7 stupňů volnost. Podrobnost o kuželosečkách se je ožno dozvědět v kaptole (.3). Metrckou transforac v V blokové zápsu ůžee psát: 3 M reprezentujee atcí H M o rozěrech 4 4. sr t H M =, (..6) 0 kde R je rotační ortogonální atce (platí tedy RR = R R = I ) o rozěrech 3 3, t označuje posun t = ( t ) x, t y, tz, 0 je nulový tříprvkový vektor a s vyjadřuje globální zěnu ěřítka. Protože etrcká transforace uožňuje globální zěnu ěřítka, není vzdálenost ez dvěa body nvarante, ale poěr vzdáleností jž ano. Podobně jako u afnních transforací, získávají etrcké nvaranty obecnějších transforací, tedy projektvní a afnní. Invarant který se odlšuje etrcká transforace od afnní je absolutní kuželosečka. Nalezení absolutní kuželosečky př afnní rekonstrukc ůžee tuto převést na rekonstrukc etrckou...4 Eukledovské transforace 3 Eukledovský třídenzonální prostor značíe E. Jedný rozdíl ez eukledovský a etrcký prostore je, že eukledovský prostor neuožňuje globální zěnu ěřítka, jedné povolené transforace jsou posun a otočení. Metrckou transforac v V blokové zápsu ůžee psát: 3 M reprezentujee atcí H M o rozěrech 4 4. R t H M =, (..7) 0 kde význa jednotlvých prvků je stejný jako u etrcké rekonstrukce, rovnce (..6). Narozdíl od etrckého prostoru, je nvarante vzdálenost ez dvěa body. Abycho ohl transforovat etrckou rekonstrukc na eukledovskou postačuje zadání nějaké vzdálenost ve scéně. Ostatní nvaranty á eukledovská transforace společné s etrckou. 4

16 .3 Kuželosečky a kvadrky Kuželosečky a kvadrky hrají důležtou rol v auto-kalbrac. jak jse se jž zínl v kaptole (..3) je tzv. absolutní kuželosečka nvarante etrcké rekonstrukce a její znalost ná uožňuje převést problé projektvní rekonstrukce na rekonstrukc etrckou. Defnce.3.: Množnu všech bodů n x P, pro které platí, že xqx = n, j= 0 q x x j j = 0 (.3.) nazýváe kvadrka. syetrcká atce Q je kvadratcká fora o rozěrech n n, která tuto kvadrku reprezentuje. V případě, že n = se kvadrka nazývá kuželosečka. Pod poje kvadrka budee dále rozuět kvadrku v P. 3 Vynásobíe-l kvadrku Q lbovolnou nenulovou skalární hodnotou α, α 0, rovnce (.3.) stále platí, α Q tedy určuje tutéž kvadrku a ůžee psát Q = αq..3. Kuželosečky a duální kuželosečky Kuželosečky Kuželosečka Ω v P (elpsa, hyperbola, parabola,...) je defnována jako syetrcká atce 3 3, pro kterou platí: x Ωx = 0 (.3.) a která se neění se zěnou ěřítka. Vlastní kuželosečka je tvořena nožnou bodů v hoogenních souřadncích x P. Kuželosečka á 5 stupňů volnost, pět bodů v obecné pozc defnuje kuželosečku. Duální kuželosečky Použjee-l prncpu dualty a nahradíe body x za příky l, získáe duální * reprezentac kuželosečky, tzv.: duální kuželosečku Ω defnovanou vztahe: * l Ω l = 0. (.3.3) * Ω reprezentuje opět kuželosečku a platí, že * Ω je syetrcká atce o rozěrech 3 3 nezávslá na zěně ěřítka. Je-l Ω regulární, ůžee psát následující vztah ez ní a kuželosečkou duální: * Ω Ω. (.3.4) * Ω je v toto případě nverzní atce k atc Ω. 5

17 Obrázek.3.: Příklad kuželosečky a kuželosečky k ní duální x = Hx, bodová kuželosečka bude transforo- Podrobíe-l body transforac vána jako: Ω' = pro odpovídající duální kuželosečku platí: H ΩH, (.3.5) Ω * ' = H Ω * H, (.3.6).3. Kvadrky a duální kvadrky Kvadrky 3 Obdobě jako kuželosečku Ω v P je kvadrka Q v P (dále jen kvadrka) defnována jako syetrcká atce 4 4, nezávslá na zěně ěřítka, pro kterou platí: xqx = 0 (.3.7) 3 kde x P je nožna bodů v hoogenních souřadncích tvořící kvadrku (elpsod, hyperbolod, parabolod,...). Kvadrka á 9 stupňů volnost, devět bodů v obecné pozc defnuje kvadrku. Průsečíke kvadrky s lbovolnou rovnou je kuželosečka. Duální kvadrky Použjee-l prncpu dualty a nahradíe body x tentokrát za rovny π, získáe duální reprezentac kvadrky, tzv.: duální kvadrku Q defnovanou * vztahe: * π Q π = 0. (.3.8) * Q reprezentuje opět kvadrku a platí, že * Q je syetrcká atce o rozěrech 4 4 nezávslá na zěně ěřítka. Je-l Q regulární, ůžee psát následující vztah ez ní a kuželosečkou duální: * Q Q. (.3.9) * Q je v toto případě nverzní atce k atc Q. 6

18 Podrobíe-l body transforac x = xh, bodová kvadrka bude transforována jako: Q' = H QH, (.3.0) pro odpovídající duální kvadrku platí: Q * * '= HQ H, (.3.).3.3 Absolutní kuželosečky a absolutní duální kvadrky Absolutní kuželosečky Pod poje absolutní kuželosečka nevlastní rovně X = ( x, y, z, w) tvořící Ω ůžee vyjádřt jako: Ω, rozuíe kuželosečku uístěnou na Π = a body Π. V etrcké prostoru platí ( ) x + y w + z = 0, (.3.) Rovnc (.3.) ůžee pro w = 0 zapsat ve tvaru: ( y z) I( x y z) x, (.3.3) pak Ω koresponduje s kuželosečkou C, s atcí agnární body. C = I. Kuželosečka C je tvořena Dokážee-l nalézt v projektvní prostoru absolutní kuželosečku, ůžee tento prostor transforovat na etrcký tak, že se nalezená kuželosečka transforuje do C = I. Zejéna tohoto faktu pak využíváe př přechodu z projektvní rekonstrukce kaptola (5) k rekonstrukc etrcké kaptola (6), jak jse to jž naznačl v kaptole (..3). Absolutní duální kvadrka 3 Protože je absolutní kuželosečka defnována v prostoru ( P ) je její duální * obraze degenerovaná kvadrka Q, tzv.: absolutní duální kvadrka, která je tvořena vše tečný rovna k Ω. * Algebracky je Q reprezentována atcí o rozěrech 4 4 s hodností 3, kterou ůžee v etrcké 3D prostoru zapsat takto: * I 0 Q =. (.3.4) 0 0 Absolutní duální kvadrka se neění s etrckou transforací. 7

19 Obrázek.3.: Absolutní duální kvadrka vztažená k rovně v nekonečnu.4 Model perspektvní kaery Nalezení projekčních atc kaer P je jední z hlavních cílů 3D rekonstrukce. Model kaery popsuje, jaký způsobe jsou 3D body kaerou proítnuty do D. Jak jž napovídá název kaptoly, zaěříe se zejéna na odel perspektvní kaery, který vel dobře aproxuje kaeru reálnou. V této kaptole nejprve popíšee odel kaery a vlastnost tohoto odelu, dále se zaěříe na kalbrac kaery, tedy určení paraetrů kaery. V poslední část naznačíe jaký způsobe vdí svět reálná kaera nebo ldské oko..4. Základní odel perspektvní kaery Základe popsovaného odelu je středové proítání, optcký střed proítání C uístíe do počátku souřadného systéu. Kolo na osu z leží ve vzdálenost z = f, kde f je ohnsková vzdálenost, tzv.: rovna proítání (průětna). Obrázek.4.: Model perspektvní kaery Bod ( X, Y, Z ) je apována na obrazový bod ( fx Z, fy / Z, f ) poslední souřadnc, vdíe že ( X Y, Z ) ( fx / Z, fy / Z ) /. Vynecháe-l, (.4.) popsuje apování z prostorových 3D souřadnc na D souřadnce. 8

20 Použjee-l hoogenní souřadnce, ůžee toto v atcové notací zapsat jako: X fx f Y = fy 0 Z Z 0 0 f X 0 Y 0. (.4.) Z 0 Osa z se v toto případě nazývá hlavní osa kaery (angl.: prncpal ray). Průsečík hlavní osy kaery a rovny proítání, tedy geoetrcký střed proítání, se u (z angl.: prncpal pont). nazývá hlavní bod, nebo také prncpální bod ( ) 0,v 0.4. Vntřní a vnější paraetry kaery Ve výrazu (.4.) předpokládáe počátek obrazových souřadnc na průětně uístěný v prncpální bodu, takový souřadncový systé nazýváe souřadncový systé kaery ( x, y). Ve skutečnost tou tak neusí být, v obecné případě je používán tzv. obrazový (také pxelový) souřadncový systé ( u, v). Zatíco bázové vektory obrazového souřadncového systéu jsou na sebe kolé a stejně dlouhé (čtvercové pxely), u souřadncového systéu kaery toto obecně neplatí Obrázek.4.: Kaerový a obrazový souřadný systé. Vztah ez těto souřadný systéy je ožno vyjádřt jako u = fx + βy + u v = αy + v 0 0 (.4.3) 9

21 0 Zapíšee-l vztah (.4.3) atcově, získáe kalbrační atc kaery K, které popsují vntřní paraetry kaery: = y x v f u f v u K α β, (.4.4) ( ) 0,v 0 u je pozce prncpálního bodu, α je poěr šířky a výšky pxelů, β vyjadřuje íru zkosení ne-čtvercových pxelů, f je stále ohnsková vzdálenost. Model kaery se skládá z vntřních a vnějších paraetrů kaery. Vntřní paraetry jse jž popsal a jsou obsaženy v kalbrační atc K. Vnější paraetry kaery jsou paraetry defnující pozc a orentac kaery a jsou reprezentovány ortogonální atcí [ ] k j R,, = o rozěrech 3 3 ( k j,, jsou lneárně nezávslé vektory 3 ) reprezentující orentac kaery a vektore C určující pozc ohnska kaery. ransforační atc kaery P o rozěrech 3 4 z rovnce (.4.) pak ůžee rozšířt o vntřní a vnější paraetry takto: [ ] [ ] C RC R K KR I P = = µ µ, (.4.5) kde µ je globální zěna ěřítka. Označíe-l KR M = a posun ( ) RC t t t z y x = =,,, píšee [ ] M P =, (.4.6) Rozšíříe-l rovnc (.4.) o vntřní a vnější paraetry (vz rovnce (.4.5)) je ožno zapsat proítnutí bodu atcí ve tvaru = Z Y X t k t j t v f u f Z fy fx Z Y X z y x α β µ. (.4.7)

22 f ( ) 0,v 0 Ohnsková vzdálenost vzdálenost ez ohnske a průětnou, zěna ohnskové vzdálenost je nazývána zoo u Prncpální bod průsečík ez hlavní osou kaery a průětnou v obrazové souřadné systéu α Poěr stran poěr ez šířkou a výškou pxelu β Zkosení pxely neusí být čtvercové, íru zkosení pxelů určuje paraetr β. Běžné kaery ají β = 0 abulka.4.: Souhrn vntřních paraetrů kaery..4.3 Kalbrace kaery, IAC a DIAC Postup nalezení vntřních paraetrů kaery nazýváe kalbrace kaery, je-l tento postup autoatcký používáe terín autokalbrace, nebo saokalbrace (z angl. self-calbraton). V této kaptole ukážee jaký způsobe souvsí kuželosečky a kvadrky popsované v kaptole (.3) s kalbrací kaer. Obraz absolutní kuželosečky ω (z angl.: Iage of absolute conc), značíe IAC, je proítnutí absolutní kuželosečky (kuželosečka ležící na rovně v nekonečnu) kaerou P. Obraz absolutní duální kvadrky, tedy duál k IACu značíe DIAC ω. * 3D body uístěné na nevlastní rovně označíe X = [ x 0]. Proítnee-l tyto body na průětnu kaery P dostanee u = PX 0 x [ R ] KRx = K =. (.4.8) Vdíe, že KR apuje body z nevlastní rovny do kaery P. Důležtou vlastností rovnce (.4.8) je, že toto apování je nezávslé na pozc kaeryc. Protože je absolutní kuželosečka uístěná na nevlastní rovně, ůžee aplkovat transforac z rovnce (.4.8) a vypočítat tak IAC ω : ( KR) Ω ( ) ω = KR (.4.9) V etrcké a eukledovské prostoru je absolutní kuželosečka určena jednotkovou atcí I ( 3 3 ), rovnce (.4.9) přechází do tvaru ( KR) I( )( KR) = K RR K = ( KK ) ω =, (.4.0) 3 3

23 obdobný postupe ůžee vyjádřt DIAC ( KR ) I ( ) ( KR) = KRR K = KK ω, (.4.) * = 3 3 kde R = R. Z tohoto vztahu je jasně patrné, že DIAC je nverzí IACu * ( ) ω = ω. (.4.) Rovnce (.4.0) ná ukazuje, že exstuje vztah ez absolutní kuželosečkou a kalbrační atcí kaery. Podaří-l se ná určt na sníku pořízené kaerou obraz * absolutní kuželosečky ω (nebo ω ), ůžee Choleského dekopozcí, nebo SVD (vz příloha (A.4)) získat z rovnce (.4.0) nebo (.4.) kalbrační atc K. o jaký způsobe získáe ω je popsáno v kaptole (6), etrcká rekonstrukce..4.4 Určení paraetrů kaery z její atce Měje atc obecné projektvní kaery P. Naší cíle je nalézt pozc, orentac a vntřní paraetry kaery P. Nalezení pozce kaery Pozce kaery (ohnsko) je bod pro který platí PC = 0. Nuercky ůžee tuto rovnc vyřešt jako hoogenní soustavu např. poocí SVD (vz příloha (A.)). Algebracky ůžee pozc kaery C = ( X, Y, Z, W ) určt jako (vz [Hartley-04]): X Z = det( [ p, p3, p4 ]), Y = det( [ p, p3, p4 ]) = det( [ p, p, p ]), W = det [ p, p, p ] 4 ( ), 3, (.4.3) p, p jsou řádky atce P p, 3 Nalezení orentace a vntřních paraetrů kaery Použjee-l tvar atce kaery z rovnce (.4.6), tedy P [ M ] = [ KR ] =, ůžee snadno rozložt atc M na KR užtí QR dekopozce (vz [Hartley-04]). M f QR 0 β u0 αf v R 0 0 ( 3 3) 0 ( 3 3) (.4.4)

24 .4.5 Reálná kaera Perspektvní projekce je dealzovaný ateatcký odel chování reálných kaer, otázkou je, jak dobrý je tento odel? Narozdíl od perspektvní projekce, projekce reálné kaery (založené na soustavě čoček) není lneární, podléhá tzv. radálníu zkreslení. akže zatíco v perspektvní projekc se příka v prostoru apuje na příku v obraze, u reálné kaery tou tak není. Radální zkreslení se projevuje zejéna u šrokoúhlých čoček (je způsobeno zahnutí čočky), př jejch použtí ůže být radální zkreslení krtcké a vznká potřeba, tento problé odstrant. Radální zkreslení je ožno zredukovat úpravou výsledného obrazu, exstuje celá řada etod, které se zabývají títo problée, podrobnost se je ožno dozvědět v [Devernay-95]. Obrázek.5. 3 : Ukázka radálního zkreslení. Model, který by lépe popsoval chování reálné kaery než perspektvní projekce je ožno nalézt v publkac [Kolb-95], ze které je také převzat obrázek (.5.). 3 Zdroj obrázku: [Kolb-95] 3

25 Kaptola 3 Geoetre více pohledů Mez dvojcí, trojící a více pohledy na scénu exstuje vztah, který se pokusíe popsat v této kaptole. ento vztah je vel důležtý v kalbrac a 3D rekonstrukc. Velkých pokroků v porozuění těto vztahů bylo dosaženo v posledních několka letech. V část (3.) s popíšee vztah ez dvojcí sníků, v (3.) ez trojcí a kaptole (3.3) bude věnována popsu vztahu ez větší počte sníků. Poslední část bude spíše nforatvní, protože vztah ez více než tře sníky ná jž přnáší vel álo nové nforace. 3. Eppolární geoetre Eppolární geoetre popsuje základní geoetrcký vztah ez dvěa různý perspektvní kaera, popsuje vntřní paraetry a relatvní pozce kaer nezávsle na pozorované scéně [Faugeras-9, Hartley-9, Moons-98, Hartley-04]. Eppolární geoetre závsí pouze na relatvní pozc, orentac a vntřních paraetrech kaer a nezávsí na struktuře scény, popsuje tedy čstě vztah ez dvojcí kaer. 3.. Geoetrcká reprezentace (a) (b) Obrázek 3..: Eppolární geoetre. Na obrázku (3..) vdíe dvě kaery určené středy proítání C, C a projektvní rovna. Bod v prostoru X společně s C a C tvoří eppolární rovnu Π (angl.: eppolar plane). Protože je eppolární rovna kolá na obě projektvní rovny kaer, je průěte eppolární rovny příka l, tzv. eppolára (angl.: eppolar lne) procházející bode x a eppóle (angl.: eppole) e. Eppól je průět pozce první ka- l, x, e. ery do kaery druhé. Což platí analogcky pro druhou kaeru ( ) 4

26 3.. Algebracká reprezentace Eppolární geoetre je algebracky reprezentovaná fundaentální atcí F (angl.: fundaental atrx). Je to atce o rozěrech 3 3 s hodností defnovaná vztahe x Fx = 0, X, (3..) kde X je bod v 3-denzonální prostoru a x, x jsou hoogenní D souřadnce průětů tohoto bodu na první a druhý sníek. Matc F ůžee také označt jako bfokální tenzor, toto označení bude dávat větší sysl v kontextu dalších kaptol zabývajících se geoetrí více pohledů (více než dvou). Rovnce l = x F, l = Fx (3..) defnuje rovnc čáry odpovídající bodu x na druhé obrázku, opět v hoogenních souřadncích, tedy eppoláru l. Eppoláry ají rozsáhlé využtí př hledání korespondencí nebo regstrace obrazů. Př znalost eppolární geoetre je ožno redukovat hledání korespondence na hledání na příce (hledání korespondencí se zabývá kaptola (4)). Eppóly jsou defnovány jako e F = 0, Fe = 0. (3..3) Všechny eppoláry se protínají v eppólech. Eppolární geoetre á 7 stupňů volnost, čtyř reprezentují souřadnce eppólů na každé obrázku e = [ x e, y e ], e = [ x e, y e ] a zbývající tř projektvtu ez svazky eppolár na obou průětech. Obrázek : Eppolární geoetre, čáry reprezentují eppoláry. 4 Zdroj obrázku: URL= 5

27 3..3 Výpočet fundaentální atce ze znáých kaer P, P je poěrně jednodu- Určení fundaentální atce, znáe-l atce kaer ché, stačí dosadt do následujícího vzorce kde e je eppól, tedy + [ e ] P F = P (3..4) + e = P C pro PC = 0 (C je optcký střed kaery P ). P je a je následující: pro pseudo-nverze atce P (vz příloha (A.)). Význa sybolu [ ] 3 tříprvkový vektor a = ( a, a a ) R, značí [ a] 3 3 :, [] která reprezentuje vektorový součn s a, [ ] a á [ a] hodnost. 3 antsyetrckou atc o rozěrech 0 a3 a a = a3 0 a, (3..5) a a 0 a v a v, 3 v R. Pro nenulové hodnoty 3..4 Výpočet fundaentální atce z korespondencí V případě, že atce kaer atc ze znáých korespondencí. P, P nejsou znáy, je ožno získat fundaentální Lneární 8-bodový algortus 8-bodový algortus počítá fundaentální atc z os nebo více korespondencí. Fundaentální atce je defnována rovncí (3..): x Fx = 0. Je-l x = u, v, x = u, v,, pak ůžee psát ( ) a ( ) uu f f + uv f + uf3 + vu f + vv f + vf3 + u f3 + v f = 0. (3..6) Řádky soustavy rovnc jsou pak reprezentovány jako vektor ( u u, uv, u, vu, vv, v, u, v,), z os korespondujících bodů ůžee sestavt soustavu lneárních rovnc ve tvaru Af = 0, (3..7) kde f je 9-t prvkový vektor ( f, f, f, f, f, f, f, f f ) f = , 33 odpovídající fundaentální atc f f f3 F = f f f3. f3 f3 f33 6

28 Rovnce (3..7) á trvální řešení f = 0, které nás nezajíá, přdáváe proto podínku zajšťující nenulové řešení f = (nebo f 33 = ). Hodnost atce A usí být 8, protože však á A devět sloupců a počet řádek není shora oezen, nastane vlve šuu ve většně případů stuace kdy je hodnost rovna devít, neexstuje tedy přesné nenulové řešení rovnce Af = 0. Hledáe tedy, užtí etody nejenších čtverců, vektor f, který nalzuje Af za podínky f = f f =. Řešení tohoto probléu ůžee získat například užtí etody SVD, vz příloha (A.). Po vyřešení rovnce (3..7), složíe vektor f zpět do atce, číž získáe fundaentální atc F. akto získaná atce F většnou neá, opět vlve šuu, hodnost. o se projeví tak, že se eppoláry neprotínají v jedno bodě, hledáe tedy takovou atc F, která á hodnost a zároveň se nálně lší od původní atce F. Matc F je ožno nalézt například poocí SVD (vz příloha (A.3)). Eppoláry atce F se nyní protínají v eppólu a neprocházejí jž zcela přesně zadaný body. Hlavní problée osbodového algortu je fakt, že není nvarantní vůč posunutí a zěně ěřítka. Jsou-l například rozěry obrázku Pak každý řádek atce A ůže nabývat hodnot v řádech ( ) Chyba ve vstupních datech a chyba způsobená úpravou atce F na F se rozloží do všech sloupců rovnoěrně, tedy někde představuje nální zěnu a jnde zěnu dost význanou. ento problé je ožno vyřešt tzv. noralzací (vz [Hartley-95]), kde se všechny body před začátke výpočtu transforují tak, aby jejch těžště bodů bylo v počátku souřadnc (posun) a aby průěrná eukledovská vzdálenost bodů od počátku byla (zěna ěřítka). Nelneární 7-bodový algortus Mnální počet bodů potřebných k sestrojení fundaentální atce je právě sed. Najdee tedy taková dvě řešení f a f, aby platlo f = f = a Af = Af = 0, která odpovídají atcí F a F. Pak řešení je každé F pro které platí ( α ) F = αf + F. (3..8) Protože atce F usí ít hodnost přdáe nelneární podínku ( F ) = det( F + ( α) F ) 0 det α =. (3..9) Získáe tedy kubckou rovnc pro α, která á jedno až tř řešení, ze kterých ůžee dle rovnce (3..8) získat stejný počet fundaentálních atc F.. 7

29 3..5 Měření chyb Přítonost šuu způsobuje, že rovnce (3..) neplatí přesně, je tedy potřeba určt do jaké íry odpovídá korespondence danéu odelu eppolární geoetre. Dokážee-l správně defnovat chybu, ůžee její nalzací dosáhnout zlepšení výsledků. V této kaptole ukážee prncp určení nejčastěj používaných chybových funkcí. Algebracká chyba Algebracká chyba neá žádný geoetrcký význa. Algebrackou chybu vyjadřujee jako druhou ocnnu algebracké vzdálenost: d x, x = x Fx. (3..0) ( ) ( ) A Určení velkost algebracké chyby je nálně výpočetně náročné, a proto vel rychlé. Můžee j tedy použít k počátečníu odhadu chyby. Reprojekční chyba K zadané korespondencí x, x, která přesně nevyhovuje odelu eppolární geoetre hledáe dvojc xˆ, xˆ, která rovnc (3..) splňuje. A zároveň požadujee, aby součet kvadrátů vzdáleností bodů x od x a xˆ od xˆ byl nální: n xˆ, xˆ ( d( x, xˆ ) + d( x, xˆ ) ) kde d (*,*) je eukledovská vzdálenost. Reprojekční chybu pak defnujee následovně: ( x, x ) = d( x, xˆ ) + d( x, x ) d ˆ R, za podínky že xˆ Fxˆ = 0,. (3..) Vztah ez reprojekční a algebrackou chybou je podrobně popsán v [Hartley- 04]. V [Hartley-94a] je dokázáno, že reprojekční chybu je ožno přesně vyjádřt polynoe stupně šest. Protože je výpočet reprojekční chyby výpočetně náročný, používá se k určení chyby její aproxace, tzv. Sapsonova vzdálenost. Sapsonova vzdálenost Sapsonova vzdálenost je aproxací reprojekční chyby prvního řádu. Je-l x u, v x = u, v, d je algebracká vzdálenost defnovaná v (3..0) a = ( ) a ( ) r u, rv, ru, rv A jsou parcální dervace algebracké vzdálenost: r u r v r u r v = = = = f x + f y + f, f x + f y + f, 4 4 f x + f y + f, 5 5 f x + f y + f, (3..) 8

30 f f 8 v rovnc (3..) jsou prvky fundaentální atce F, pak Sapsonovu vzdálenost vyjádříe jako: d A S ru + rv + ru + rv d ( x, x ) = (3..3) Jak ukazuje např. [Chu-0], je Sapsonova vzdálenost vel dobrou aproxací reprojekční chyby. 3. rfokální tensory Pod poje trfokální tensory [Hartley-94b, Shashua-94, orr-97, Moons-98, Hartley-04], nebo trfokální geoetre rozuíe obdobu eppolární geoetre pro trojc sníků. Pro větší počet sníků je ožno forulovat tzv. kvadrfokální, obecně ultfokální tensory, jejch určení je však poěrně výpočetně náročné a neposkytují ná jž noho dalších nforací. Narozdíl od Eppolární geoetre dokáže trfokální geoetre pracovat nejen s korespondující body, ale také s korespondující příka. Obdobně jako u eppolární geoetre závsí trfokální tensor pouze na paraetrech kaer a jejch vzájené pozc a nkol na struktuře scény. Probleatka trfokálních tensorů je vel rozsáhlá a tato práce j není schopna celou obsáhnout, naší cíle bude vysvětlení podstaty trfokálních tensorů (3.., 3..), ukážee jak je ožno z trfokálního tensoru získat atce kaer a fundaentální atce (3..3) a naopak (3..4), zároveň naznačíe jejch výpočet z bodových korespondencí (3..5). Pro hlubší studu ůžee doporučt zejéna publkac [Hartley-04]. 3.. Geoetrcká reprezentace L l l' l'' C'' C C' Obrázek 3..: rfokální geoetre určená trojcí příek l l l. 9

31 Na obrázku (3..) vdíe tř kaery určené středy proítání C, C, C a projektvní rovna. oto je jedna z ožností jaký způsobe je ožno geoetrcky zobrazt vztah ez tře kaera. ento vztah však ůžee ukázat na odlšných konfguracích, než je příka-příka-příka, tyto konfgurace jsou zobrazeny na obrázcích (3..). (a) (b) (c) Obrázky 3..: Různé způsoby reprezentace geoetrckého vztahu ez dvěa kaera. (a) obsahuje trojc průětů bodu x : x x x a dvě příky procházející body x a x, tedy x l l znaená korespondencí bod-příka-příka. podobně je na (b) určen vztah trojcí bod-příka-bod a na (c) bod-bod-bod. 3.. Algebracká reprezentace rfokální tensor ůžee popsat sadou tří atc [, ], 3 o rozěrech 3 3, tento tvar trfokálního tenzoru označujee jako trfokální tensor v atcové notac. rfokální tensor á pouze 8 stupňů volnost, tedy ne každý tensor o rozěrech popsuje vztah ez trojcí sníků. Jak jse s jž ukázal v kaptole (3..) ůžee trfokální tensor získat z různých konfgurací, jeho defnce je tedy také ožná více způsoby. Vztahy defnující trfokální tensory shrnujee v tabulce (3..). 30

32 () () () korespondence příka-příka-příka l [ ] l, = l nebo ( l [, ] l )[ l] 0, 3 korespondence bod-příka-příka (3..), 3 = l x l = 0 ( 3 ) pro korespondenc x l l (3..) korespondence bod-příka-bod (v) l x x [ ] = 0 ( 3 ) korespondence bod-bod-příka pro korespondenc x l x (3..3) (v) x pro korespondenc x x l (3..4) [ ] x l = 0 (3 ) korespondence bod-bod-bod [ x ] x [ x ] = 03 3 (3..5) abulka : Shrnutí trfokálních tensorů pro různé konfgurace s užtí atcové notace. Sybol [ a ] reprezentuje vektorový součn a je defnován rovncí (3..5). 0 (3 ) označuje nulový vektor o rozěrech ( 3 ) Výpočet eppolární geoetre a atc kaer z trfokálního tensoru Měje trfokální tensor v atcové notac [, ],, Nejprve vypočtee souřadnce eppólů e, e. Dále vypočtee vektory u, v pro které platí u = 0 ( 3 ), v = 0. Eppóly jsou získány řešení soustav e e [ u, u, u3] = 0 [ v, v, v ] = 0 3 3, (3..6) 5 Zdroj tabulky: [Hartley-04] 3

33 pak fundaentální atce F, F 3 vypočtee jako F F 3 = = [ e ] [,, ] e [ e ] [ ],, e 3 3. (3..7) Eppóly e, e noralzujee na jednotkovou noru, pak atce kaer P, P P = I 0, vypočtee jako za podínky [ ] P = P = [,, ] e e ] 3 [( e e I )[ ] e e,, 3 ]. (3..8) 3..4 Výpočet trfokálního tensoru z atc kaer P =, Je-l první kaera v kanoncké tvaru P = [ I 0], další dvě kaery P = [ a j ] [ ], trfokální tensor ůžee vypočítat ze vztahu b j = b, (3..9) ab4 a4 kde a je tý řádek atce P a b je tý řádek atce P Výpočet trfokálního tensoru z korespondencí Jž jse ukázal, že trfokální tensor ůžee vypočítat jak z bodových tak z příkových korespondencí. Výpočet trfokálního tensoru je podobný tou jak jse počítal fundaentální atc. Podle toho které korespondence použjee k výpočtu trfokálního tensoru vyberee danou defnc z tabulky (3..), po roznásobení získáe lneární soustavu rovnc, kde neznáé jsou jednotlvé prvky tensoru. uto hoogenní soustavu vyřešíe etodou SVD (vz Příloha (A.)). Abycho ohl vypočítat trfokální tensor lneární algorte potřebujee 7 korespondencí (trojc). Mnální počet bodů je 6, podobně jako u eppolární geoetre usíe přdat nelneární podínku založenou na hodnost tensoru. o, že k výpočtu trfokálního tensoru postačuje pouze 6 bodů oceníe zejéna v kaptole (4.3 RANSAC), kde na počtu nezbytných korespondujících bodů nepřío (čí éně bodů, tí rychlejší) závsí rychlost algortu. 3

34 3.3 Kvadrfokální a ultfokální tensory Obrázek : Kvadrfokální tensory Kvadrfokální tensory popsují vzájený vztah 4 kaer, ultfokální obecně více kaer. Výpočet těchto tensorů je poěrně koplkovaný. V této prác se o těchto tensorech zňujee pouze pro úplnost. Mnální počte bodů potřebných k výpočtu kvadrfokálního tensoru (a zároveň všech dalších tensorů) je 6, obdobně jako u trfokálních tensorů, proto ná jž kvadrfokální tensory poskytují jž jen o vel álo nforací více než tensory trfokální. Př popsu tensorů vyšších řádů s jž atcová notace nedostačuje a je potřeba zavést tensorovou notac, příklad tensorové notace pro trfokální tensor:, 3 : l x l = 0 jk rfokální tensor v tensorové notac : x l l = 0 rfokální tensor v atcové notac [, ] Jak jž bylo napsáno, nebudee se podrobně zabývat ultfokální tensory vyšších řádů (vyšších než 3), pro podrobnější studu této probleatky (odvození a výpočet) doporučujee nahlédnout do publkace [Hartley-04]. jk j k 6 Zdroj obrázku: [Hartley-04] 33

35 Kaptola 4 Nalezení korespondencí ez sníky Vzájené přřazení korespondujících objektů je nezbytný základ pro další etody 3D rekonstrukce scény s neznáý paraetry kaer. Nalezení korespondence rozuíe dentfkac stejného objektu na několka (dvojc, trojc, ) snících. Protože je problé korespondence objektů v obecné rovně poěrně složtý, bývá většnou redukován na hledání společných bodů, úseček nebo jejch kobnace, které je ožno jednoduše ateatcky popsat a následně využít. Jak jse se jž dozvěděl v kaptolách (3.4, 3.5), eppolární geoetre dokáže využít pouze nforace o korespondujících bodech, trfokální tensory jž ze své defnce dokáží pracovat jak s body, tak s úsečka. V této prác se budee zabývat výhradně hledání společných bodů. Nebude-l uvedeno jnak je následující postup aplkován na dvojc sníků získaných perspektvní projekcí z 3D scény. Proces hledání korespondujících bodů je ožno rozdělt do tří základních kroků, které budou v této kaptole podrobně popsány:, Detekce bodů, Získání ncalzačních korespondencí 3, Fnální zpřesnění korespondencí získaných v kroku V první kroku se na každé sníku (nezávsle na ostatních snících) detekují body u kterých vyžadujee co největší nvaranc vzhlede ke geoetrcký transforací (konkrétně afnní transforace a perspektvní projekce). Mohou to být například: rohy objektů, průsečíky čar, axa křvost obrysů, těžště objektů, apod. Nejdůležtější vlastností bodového detektoru je aby nalezené body na první sníku byly, v co největší íře, detekovány na druhé sníku (tzv. repeatblta). V druhé kroku se naleznou korespondence podle lokálního chování sníku v okolí bodů. Okolí bodu je popsáno několka nvarantní (afně případně projektvně nvarantní) příznaky, které jsou k bodu přdruženy a na jejchž základě se hledá nejpravděpodobnější kanddát na korespondenc ve druhé sníku. akto získaná nožna potencálně korespondujících bodů se předává ke zpracování do dalšího kroku. Mez takto získaný korespondence bude jstě velké nožství korespondencí přřazeno chybně, právě tyto chybné korespondence odstraňujee ve třetí kroku jednou z fnálních etod. Je-l jako fnální etoda použt algortus RANSAC (kaptola (4.3)), stačí ke správnéu výsledku, aby přblžně 40% ncalzačních korespondencí bylo správných. Právě tato část á největší vlv na autoatcké určení korespondencí a tí na výsledek vlastní rekonstrukce. řetí kroke je aplkace robustní etody, využívající geoetrckých vlastností projekce (globální řešení na základě nforace o pozc bodů). V této část jsou ncalzační korespondence rozděleny na nožnu správných korespondencí (tzv. nlery) a chybných, které jsou vyloučeny (tzv. outlery). Vybrané etody fnálního odhadu korespondencí jsou popsány v kaptolách (4.3), (4.4), (4.5) s důraze na jž zňovaný algortus RANSAC. 34

36 Mez druhý a třetí kroke neusí být obecně pevná hrance a získané výsledky ohou být zpřesňovány, nebo doplňovány opakovaný použtí etod. Popsaný postup by ěl být forálně doplněn ještě jední kroke, který by na základě znáých (v předchozích krocích získaných) korespondencí dokázal určt další korespondence. Čí áe větší nožství korespondencí, tí více je ožno potlačt šu obsažený v pozcích detekovaných bodů (vznklý šue na saotné sníku), což výrazně zlepšuje výsledky dalších kroků 3D rekonstrukce. 4. Detekce význaných bodů Detekce bodů je první kroke př hledání korespondencí a tedy první kroke vlastní 3D konstrukce. Kvalta získaných bodů je tedy faktore význaně ovlvňující celou rekonstrukc. Od detekovaných bodů vyžadujee, aby body získané z jednoho sníku byly, v co ožná největší íře, zastoupeny na druhé sníku, tuto vlastnost nazýváe repeatblta (opakovatelnost). V této kaptole se zaěříe zejéna na dnes jž klascký Harrsův kobnovaný rohový a hranový detektor [Harrs-88], který je jednoduše realzovatelný, rychlý a dosahuje vel dobrých výsledků. Protože od roku 988 jž uplynula poěrně dlouhá doba, vznkla eztí celá řada vylepšení základního Harrsova detektoru (např.: [Schd-98, Montesnos-98]) a několk odlšných etod dosahujících nepatrně lepších výsledků. Za všechny zde budee prezentovat algortus FndFP [Zítová-00], který vykazuje výborné výsledky zejéna u rozazaných (sooth) obrázků, což je ožno s výhodou využít u sníků zatížených šue tak, že obrázky nejprve vyhladíe. Většnou jsou různé etody založeny na různých prncpech a nalézají proto odlšné body, s tí že zachovávají vysokou repeatbltu. oho je ožno s výhodou využít tak, že zkobnujee výstupy několka etod. 35

37 4.. Harrsův operátor Jední z nejpoužívanějších bodových detektorů je kobnovaný hranový a rohový Harrsův detektor [Harrs-88], který dosahuje vel dobrých výsledků. Harrsův detektor hledá takové body, v jejchž okolí nastává axální zěna jasu, k čeuž využívá tzv. strukturální atc (angl.: structural atrx, nebo také second oent atrx). Pops algortu Vstupy Harrsova detektoru: I obrazová funkce o rozěrech M N. σ D rozptyl gaussovského fltru, tzv. dervační ěřítko (angl.: dervaton scale). σ I rozptyl gaussovského fltru, tzv. ntegrační ěřítko (angl.: ntegraton scale). První kroke algortu je výpočet gradentů pro všechny body obrazu, protože je výpočet gradentů náchylný na přítonost šuu, použjee nejprve gaussovský fltr na vyhlazení vstupního obrazu. I = I G, (4..) σ D kde G σ ( x + y ) exp σ x, y) =. (4..) Πσ D ( D K výpočtu gradentů se použjee následující aproxac. X = I Y = I D ( 0 ) ( 0 ) Sestavení strukturální atce: I = x. (4..3) I = y M X XY Gσ. (4..4) I XY Y = Sybol znaená konvoluc. Vlastní čísla atce M : α, β určují největší a nejenší zěnu jasu v okolí, vlastní vektory poto sěr ve které je zěna jasu největší a nejenší. 36

38 Harrs navrhl následující funkc (tzv. response functon), vyhodnocující vlastní čísla α, β : = αβ k * α + β R ( ), (4..5) kde k = je konstanta určená pozorování. Užtí následujících vztahů uožní vyhodnocení funkce bez nutnost počítat vlastní čísla. ( M ) = + β = A B ( M ) = AB C r α +, (4..6) Det = αβ, (4..7) * r R = Det k. (4..8) Hodnota R je kladná v rozích objektů, záporná na hranách a alá v jasově konstantních oblastech. Body záju tedy získáe jako lokální axa funkce R(x,y). Obrázek 4.. Ukázka výstupu Harrsova detektoru Základní Harrsův detektor pracuje s šedotónový sníke, exstuje však barevná (resp. RGB) verze Harrsova detektoru (vz [Montesnos-998]). Postačuje použít strukturální atc ve tvaru: kde R x, R x + Gx + Bx RxRy + GxGy + BxBy M =, (4..9) RxRy + GxGy + BxBy Ry + Gy + By R y jsou parcální dervace červené barevné složky (získané obdobně jako B y, pro ze- X, Y, v rovnc (4..3)). Stejný způsobe jsou defnovány G x, lenou, respektve odrou složku. G y, B x, 37

39 4.. FndFP Název tohoto algortu vychází z anglckého Fnd Feature Ponts, tedy hledání význaných bodů. ento algortus byl prezentován v [Zítová-00]. Podobně jako Harrsův detektor hledá body zejéna na rozích objektů, jeho přístup jak tyto body nalézt je však odlšný: algortus provádí hranovou detekc a následně vybírá ty body, ve kterých se sbíhají právě dvě hrany svírající ostrý úhel (rohy objektů). Pops algortu Vstupy algortu FndFP: I obrazová funkce o rozěrech M N. N FP požadovaný počet detekovaných bodů. M poloěr okolí pro výpočet průěrovaných hodnot. r poloěr okolí pro výpočet znaénkových zěn. d a určuje úhel, který ůže být axálně svírán dvěa hrana v detekované bodě. s nální vzdálenost ez dvěa kanddáty na detekovaný bod. d s axální dovolená zěna křvost u příkových kanddátů. t nální vzdálenost ez dvěa detekovaný body. Nejprve zncalzujee pole C o rozěrech Výpočet funkce J obsahující lokální průěry I J πm (, j) = I( k, l) Ω, j, M M N., (4..0) kde Ω je kruhové okolí bodu ( j), j, M, o poloěru M. Výpočet váhové funkce lokálních zěn: W ( j) = ( I( k, l) J (, j) ) Ω, j, M,, (4..) Detekce kanddátů na detekovaný bod: Okolo každého bodu (, j) vytvoříe kružnc R o poloěru r : R = {( j ),...(, )}, kde = j = j +, k j k, r a další body následují po sěru hodnových ručček. Vypočtee počet znaénkových zěn N sc, j v sekvenc: ( ) I ( j ) J (, j),...,(, j ) J (, j), I(, j ) J ( j), k k, (4..) 38

40 Je-l N sc (, j) rovno dvěa, určíe pozc znaénkových zěn ( a j a ) ( b, j b ) a vypočtee úhel daný těto body α angle ((, j ), (, j)(,, j ))., j = a a b b,, Je-l (, j) = C. α je bod ( j), π / < d j a, kanddáte na detekovaný bod a přřadíe Odstranění nevyhovujících kanddátů: Pro každý bod ( j) C zjs-, je tíe, zda v jeho okolí exstuje bod ( ) f j f enší než s. Je-l (, j ) =,, kde (, j) =, takový, že jeho vzdálenost od bodu ( j) N sc f f a zároveň j π d s α,, pak (, j) = 0 < f f C. že Výběr význaných bodů: N -krát zopakujee hledání takového bodu ( ) FP 0, j 0, (, j ) 0 0 (, j ) (, j) = arg ax W (4..), j: C = je en- Nastavíe P = ( 0, j 0 ). Pro každý bod (, j) jehož vzdálenost od ( 0, j 0 ) ší než t nastavíe W (, j) = 0. P,..., P N obsahující souřadnce detekovaných význa- Výsledke je sekvence ných bodů. FP Obrázek : Ukázka výstupu algortu FndFP 7 Zdroj obrázku: [Zítová-00] 39

41 4. Incalzační korespondence V této kaptole prezentujee rychlou a za určtých okolností vel účnnou etodu získání odhadu korespondencí ((4..) MEM-Pars). ato etoda však není tí, čeho bycho chtěl dosáhnout, její hlavní problée je že není nvarantní vzhlede k afnní transforac. Řešení tohoto probléu naznačíe v část (4..3). 4.. Korelace Korelační etoda je jednou z nejpoužívanějších etod na zjštění podobnost dvou okolí. Na okolí detekovaných bodů pohlíží jako na n-výskytů náhodné velčny. Nejprve uspořádá čtvercové okolí od vektoru v. o nakolk s dvojce okolí odpovídá potě vyjádříe tzv. korelační koefcente, nebol kosne úhlu ez těto vektory: ( v ) j ( v v )( v j v j ) ( v v ) ( v v ) r = C v, =, (4..) kde v a v j jsou střední hodnoty vektorů v, v j. Protože hodnota korelačního koefcentu představuje kosnus, bude se její hodnota pohybovat na ntervalu,. jednčka znaená, že vektory jsou shodné (nulový úhel) a čí enší číslo, tí rozdílnější okolí jsou. Jako korespondující dvojc tedy vyberee ty body jejchž korelační koefcent se bude nejvíce blížt k jedné. Korelační etoda je jednoduchá, rychlá a nvarantní vzhlede ke zěně jasu, její hlavní problée je, že s výjkou posunu není nvarantní vůč afnní transforací. j j 40

42 4.. MEM-Pars Metoda MEM-Pars byla převzata z [Lundberg-00], a je použta ve vlastní pleentac. Zkratka MEM znaená Maxu Entropy Matchng, tato etoda je tedy založená na hledání bodů jejchž okolí se vyznačuje stejnou velkostí entrope. Prncp etody je vel jednoduchý:. Nejprve vygeneruje nožnu N dvojc (Pars) náhodných bodů v okolí zkouaného bodu. N volíe v řádu několka stovek. Následující postup provedee pro každý detekovaný bod, se stejnou nožnou dvojc, ty jsou tedy náhodně vygenerované, ale pro všechny body společné:. Vytvoří btový vektor o velkost N, tzv. btset. 3. Pro každou dvojc bodů porovná jasovou hodnotu obrazu v první bodě s jasovou hodnotou obrazu v bodě druhé je-l větší a. příslušnou pozc v btsetu označíe b. jnak 0 Máe-l určeny btsety všech bodů, přstoupíe ke kroku 4: 4. K bodu na první obrázku přřadíe ten bod na druhé obrázku, jehož nožna příznaků (btset) se lší v nální počtu btů. Protože nejsou porovnávány absolutní hodnoty jasu, ale pouze je-l v jedno bodě větší-č enší než ve druhé, je tato etoda nvarantní vzhlede k jasovéu posunu. ato etoda je alternatvou ke korelační etodá, á tedy stejné probléy s afnní transforace jako korelační etody, její hlavní výhodou je, že je přblžně 3 krát rychlejší než nejrychlejší korelační etoda, př stejných výsledcích. Oprot korelační etodě nepracuje s celý okolí, ale pouze s několka ( N ) náhodně vybraný body tohoto okolí. 4

43 4..3 Určení Afnní transforace ato etoda je doplňková k etodá popsující okolí detekovaných bodů. Využívá strukturální atc, jak jse j popsal u Harrsova detektoru. Její základní prncp je nalézt takové okolí bodu, které je nvarantní vzhlede k afnní transforac. Obrázek : Ukázka afnně nvarantních okolí bodů záju, okolí jsou reprezentována elpsa. Podrobnost k etodá založených na hledání afnní transforace, nebo na hledání afnně nvarantního okolí je ožno získat například z publkací [Lndeberg-97, Bauberg-00, Mkolajczyk-0]. Ve chvíl, kdy se ná podaří určt afnní transforac, ez okolí bodů, ůžee tato okolí popsat dferencální nvaranty, oentový nvaranty dokonce ůžee použít korelac (zde nahrazenou etodou MEM-Pars), tak že okolí na druhé obrázku příslušně transforujee. 8 Zdroj obrázku: [Mkolajczyk-0] 4

44 4.3 RANSAC Algortus RANSAC (RANdo SAple Consensus) je algortus sloužící k robustníu odhadu odelu. Byl představen Fschlere a Bollese [Fschler-8], kteří ho použly v oblast autoatcké kartografe. RANSAC je robustní ve syslu dobré odolnost vzhlede k velkéu nožství chyb (tzv. outlerů) ve vstupních datech. Hartley a Zsseran [Hartley-04] upravl původní algortus pro řešení probléu hledání korespondencí. Běžné algorty (např. etoda nejenších čtverců) se snaží odhadnout odel na základě všech vstupních dat, takto získané řešení je znehodnoceno velký nožství chyb. Oprot tou RANSAC odhaduje odel z nálního nožství dat ( body pro příku, 7 pro eppolární geoetr), které je pro odhad odelu potřebné, tato data jsou z původní nožny získána náhodný výběre (náhodný vzorek rando saple). Algortus RANSAC je vel jednoduchý: Měje nožnu vstupních dat D o velkost M. Model je ožno jednoznačně určt z N datových prvků, N tedy odpovídá počtu stupňů volnost odelu ( N = pro příku, N = 7 pro eppolární geoetr).. Z nožny dat je vybrán náhodný vzorek o velkost N.. Z vybraného vzorku jsou určeny paraetry odelu x (u eppolární geoetre je to fundaentální atce). 3. Zjstíe kolk prvků z D nevyhovuje odelu s paraetry x, s ná defnovanou tolerancí, tento počet označíe o. 4. Je-l o dostatečně alé, přjee řešení a ukončíe výpočet. 5. Kroky -4 opakujee L -krát. 6. Pokud jse se dostal až se výpočet selhal. L je axální povolený počet terací a jeho překročení obvykle znaená, že data obsahují přílš velké nožství chybných dat (chybně přřazených korespondencí). Používáe-l RANSAC k odhadu eppolární geoetre, pak k určení příslušnost bodu k vybranéu odelu (krok 3) používáe chybové vyjádření popsané v kaptole (3..5). Otázkou je jaká chyba o je dostatečně alá? Abycho ohl zodpovědět tuto otázku usíe nejprve určt jaká je pravděpodobnost, že vyberee vzorek nezatížený chyba. Označíe nožství chyb v datech jako o (outlery). Poěrné nožství chybných dat ve vstupních datech, často označované jako kontanace c = o / M. A poěrné nožství správných dat (nlerů) p = o / M. 43

45 Pravděpodobnost, že vyberee prvek odpovídající odelu je tedy p = c a pravděpodobnost, že takových prvků vyberee N je: protože platí, že o o o p N = * *...*, (4.3.) M M M N M >> N ůžee psát: p N N o = ( c) N (4.3.) M Zopakujee-l výběr L -krát, je pravděpodobnost, že alespoň jeden vybraný vzorek nebude kontanovaný (nebude obsahovat chybná data) je: p L N N ( ( c) ) L = (4.3.3) Položíe-l podínku, že hledané řešení usí ít, alespoň 95% pravděpodobnost, že je správné, tedy p L N 0. 95, ůžee z rovnce (4.3.3) získat nezbytný počet kroků v závslost na kontanac: log L log ( 0.95) N ( c) ( ) a nejhorší ožnou kontanac v závslost na počtu kroků ( 0. ) N c L 95, (4.3.4), (4.3.5) stále platí požadavek, že výsledek je nejéně na 95% správný. denze Kontanace dat v % N abulka 4.3.: Závslost nezbytného počtu kroků algortu, př požadované spolehlvost p 0. 95, na kontanac c a počtu stupňů volnost N L. N 44

46 Nyní s představe, že se nacházíe v L -té kroku algortu. Zatí nejlepší odhad odelu do tohoto kroku dosáhl kontanace c (tedy nejnžší dosud dosažená kontanace), c je tedy horní odhade c. Abycho zjstl, je-l ná dosažený výsledek dostatečně dobrý stačí dosadt L, c do nerovnce (4.3.4) nebo (4.3.5). Dosadíe-l do (4.3.3) zjstíe jak daleko jse od požadovaného cíle, tedy jak pravděpodobné je, že jse jž dosáhl správného výsledku. íto jse zodpověděl na otázku jak poznáe, že áe výpočet ukončt. Obrázek 4.3.: Obrázek deonstrující odstranění outlerů etodou RANSAC, odhadující odel eppolární geoetre. Protože podstatou RANSACu je kobnatorcké hledání je tento algortus vel časově náročný. V kaptolách (4.3., 4.3.) popíšee etody, který se dá základní algortus výrazně urychlt R-RANSAC Urychlení RANSACu popsované v této část je zaěřeno na třetí krok algortu, tak jak byl popsán v kaptole (4.3). edy zjštění kolk bodů ze vstupní datové nožny vyhovuje vybranéu odelu. Vycházíe z jednoduché yšlenky: Místo abycho testoval celou nožnu dat velkost M, otestujee pouze vzorek velkost d << M (pre-test). A teprve v případě, že tento test dává šanc na dobrý výsledek, provedee test se zbývající daty. ato yšlenka a její důsledky pro algortus RANSAC byla prezentována v [Chu-0] pod názve R-RANSAC (Randozed-RANSAC), podobný postup je použt v [Lundberg-00] u algortu MEM-Pars (kaptola (4..)), př porovnávání btsetů. 45

47 U takto upraveného základního algortu ohou nastat dvě chybové stuace:. Pre-test akceptuje chybné řešení. Nekrtcká chyba, důsledke je pouze to, že je dokončen celý test s negatvní výsledke.. Je zaítnuto správné řešení. Krtcká chyba, pravděpodobnost nalezení lepšího řešení, než které áe klesá exponencálně, ztráta takového řešení tedy není žádoucí. Otázkou je jak velké d áe zvolt, aby bylo dosaženo axálního urychlení, př zachování stejných výsledků jakých dosahuje původní algortus? Odpověď na tuto otázku závsí na dvou hlavních faktorech: jak velký je vzorek d (v % vzhlede k M ) a jaký způsobe je vyhodnocen počáteční test. V následující experentu se pokusíe tuto otázku zodpovědět. Experent Cíle tohoto experentu bude zjstt závslost doby výpočtu na paraetrech α, β a nalezení optálního nastavení těchto paraetrů, kdeα = d / M je relatvní velkost vzorku, β c je axální povolená kontanace v datové vzorku, tedy β =. znaená, že pre-test akceptuje řešení, je-l chyba vzorku axálně o 0% větší než chyba dosavadního nejlepšího řešení ( c ). Vzhlede k charakteru algortu (založen na náhodné výběru) byl experent 30x opakován a výsledky byly zprůěrovány. β α abulka 4.3.: Experent byl proveden s reálný daty: 70 korespondencí z nch 40 chybných. Doba výpočtu orgnálního RANSACu byla v toto případě průěrně sekunda. Měříe závslost doby výpočtu na paraetrech α a β. 46

48 Obrázek 4.3.: Grafcké znázornění výsledku experentu, hodnot z tabulky (4.3.). Výsledke tohoto experentu je, že čí enší je hodnota α a větší β tí rychlejší je výpočet algortu. Podínkou ovše je aby datová nožna obsahovala dostatečné nožství bodů, je-l například α =0.0, znaená to že pre-testu se účastní pouze % z datové nožny, obsahuje-l datová nožna 00 bodů je to právě jeden bod a výsledke je, že algortus se celkově zpoalí. Důkaz tvrzení z předchozího odstavce ůžee pozorovat na obrázku (4.3.3), kde byl proveden stejný experent pouze na větší rozsahu paraetrů α, β. Obrázek 4.3.3: Opakování experentu s větší rozsahe hodnot vstupních paraetrů. 47

49 4.3. PLUNDER PLUNDER je zobecnění RANSACu pro odhad více odelů, byl prezentován v [orr-98], jeho další vylepšení se dále zabývá [Chu-0]. Odhad eppolární geoetre, tak jak byla popsána v kaptole (3.), je pro některé případy přílš obecný. Dochází-l například pouze k posunu kaery, vystačíe s s enší počte stupňů volnost a tí výrazně urychlíe hledání korespondencí (vz tabulka (4.3.)). Ve většně případů však neznáe explctně odel, který by nejlépe vyhovoval vstupní datů, je proto potřeba vybrat nejlepší odel, k tou slouží právě PLUNDER. Shrnutí odelů, přcházejících v úvahu pro dvojc pohledů je na následující straně v tabulce (4.3.3). Algortus PLUNDER nejprve provede několk kroků RANSACu se vše odely a poté vybere ten odel, jehož výsledky jsou nejlepší a v odhadu tohoto odelu bude pokračovat. Velce důležtý je způsob jaký vyberee nejlepší odel, resp. kolk kroků RANSACu pro který odel učníe, protože jednotlvé odely dosahují různé úspěšnost za různou dobu v závslost na počtu stupňů volnost. U počátečního testu všech odelů tedy zvolíe podínku, aby výsledek byl správný nálně na 5% (například), tedy aby po dosazení do rovnce (4.3.3) byla L hodnota p N Dosahuje-l několk odelů podobných výsledků, pokračujee pouze s těto odely nebo volíe ten s nejenší počte stupňů volnost. Podobně jako u R-RANSACu jse zde popsal zejéna hlavní prncp, na které je toto urychlení založeno, a ne jž konkrétní etodku ohodnocení odelů, která byla použta v [orr-98] nebo [Chu-0]. 48

50 Denze 3 transforace kaery Fundaentální atce 7 stupňů volnost, 7 korespondencí pro -3 řešení, 8 pro jednečné řešení f f f3 x Fx = 0, kde F = f4 f5 f6 (4.3.6) f 7 f8 f9 Fundaentální atce pro afnní kaeru 4 stupně volnost, 4 korespondence 0 0 a x F A x = 0, kde F A = 0 0 a (4.3.7) a 3 a4 a5 Fundaentální atce pro posunutí kaery stupně volnost, korespondence 0 g3 g x F x = 0, kde F = g3 0 g (4.3.8) g 0 g Denze transforace obrazu Projektvní transforace, 8 stupňů volnost, 4 korespondence h h h3 x ' = xh, kde H = h4 h5 h6 (4.3.9) h 7 h8 h9 Afnní transforace, 6 stupňů volnost, 3 korespondence k k k3 x ' = xk, kde K = k4 k5 k6 (4.3.0) 0 0 k 7 Posunutí obrazu, stupně volnost, korespondence 0 tx x ' = xl, kde L = 0 t y (4.3.) 0 0 abulka : Modely, které je ožno použít pro dva pohledy U každého odelu je uveden počet stupňů volnost a nální ožný počet korespondencí nutný k určení odelu. 9 Zdroj tabulky: [orr-98] 49

51 4.4 Alternatvní etody k algortu RANSAC Algortus RANSAC není jedný řešení probléu odhadu odelu s noha outlery v datech. K řešení tohoto probléu se přío nabízí použtí genetckých algortů. Proč dobré řešení zavrhnout jen pro to, že není nejlepší? Lepší přístupe je pokust se takové řešení vylepšt drobnou zěnou (utace), nebo kobnací s jný dobrý řešení (křížení). Odhade eppolární geoetre užtí genetckých algortů se zabývá [Cha-98]. [Denton-0] přehledně shrnuje řadu algortů pro určení korespondencí a zároveň prezentuje vlastní algortus, tzv. Local Search, který v některých případech dosahuje lepších výsledků než RANSAC a který s jstě zaslouží hlubší zkouání. 50

52 Kaptola 5 Projektvní rekonstrukce Naší cíle je nalézt atce kaer a 3D souřadnce bodů z nekalbrovaných perspektvních sníků. Metody popsané v této kaptole dokáží využít lbovolné nožství sníků, čí je tento počet větší, tí více je potlačen šu ve vstupních datech. Vstupe projektvní rekonstrukce jsou bodové korespondence, tedy zobrazení 3D bodů na n snících. Bodové korespondence ůžee zadávat ručně nebo získat autoatcky tak, jak jse popsal v kaptole (4). Protože neáe žádné další nforace o pozorované scéně je ožná pouze projektvní rekonstrukce (rekonstrukce platí až na nějakou neznáou projektvní transforac, vz kaptola (..)), úpravou projektvní rekonstrukce na etrckou se zabývá kaptola (6). X j jsou neznáé hoogenní souřadnce 3D bodů, P jsou neznáé atce kaer o rozěrech 4 3 a x j jsou hoogenní souřadnce D průětů bodu X j atcí P, kde =,..., n označuje jednotlvé sníky (kaery) a j =,..., jednotlvé body. Projekce bodu X j kaerou P platí až na nějaký skalární násobek λ j, tento násobek nazýváe projektvní hloubka a platí, že λ j x j = P X j. (5.) Jsou-l souřadnce x j a X j noralzované (poslední hoogenní souřadnce je rovna jedné) a P jsou noralzované v to syslu, že nora posledního sloupce je rovna jedné, pak projektvní hloubky reprezentují skutečné optcké hloubky, tj. kolé vzdálenost bodů od ohnskových rovn kaer. Proítnutí všech bodů vše kaera ůžee atcově zapsat takto: λx λx M λn x ( 3) n λ x λ x λ x n M n L L O L λ x λ λ n x M x n ( 3n) P P = M P ( 4 3) ( 4 3n) [ X ( ) X L X ] 4 ( 4), (5.) W 3 P X ( n) = ( 4 3n) ( 4). (5.3) Projektvní rekonstrukc je ožno rozdělt do dvou částí: Určení projektvních hloubek a následné získání atc kaer a souřadnc 3D bodů z atce W. V kaptole (5.) ukážee dvě různé etody na výpočet projektvních hloubek, v (5.) představíe etodu která získá z atce W faktorzací (rozklade založený na SVD (vz příloha (A))) atce kaer P a souřadnce proítaných bodů X. Jak jse jž ukázal v kaptole (3.) trfokální tensory, je ožno př znalost vztahu ez sníky získat polohu těch bodů, které nejsou na všech snících vdtelné, 5

53 tedy atce W je neúplná obsahuje prázdná ísta. V kaptole (5.3) se zabýváe doplnění chybějících bodů v atc W založený na nforac, že hodnost atce W je rovna čtyře. 5. Výpočet projektvních hloubek V této kaptole ukážee dva algorty výpočtu projektvních hloubek. První je založený na eppolární geoetr a vyznačuje se konstantní složtostí. Druhý algortus je terační a vel rychle konverguje. Abycho zajstl nuerckou stabltu, je před vlastní výpočte je potřeba znoralzovat souřadnce bodů na každé sníku. A to tak, že jejch těžště posunee do nuly a zěníe ěřítko aby průěrná vzdálenost od počátku byla, tuto úpravu jse jž popsoval v kaptole (3..4). 5.. Výpočet projektvních hloubek založený na eppolární geoetr Vycházíe z výrazu popsujícího vztah ez projektvní hloubka jednotlvých kaer: ( Fx j ) λ ( j e q ) = λ, (5..) kde F je fundaentální atce, popsující vztah ez -tou a j -tou kaerou, e je eppól a á význa vektorového násobení. Detalní odvození tohoto vztahu je ožno nalézt v [Stur-96, Martnec-00]. získáe vztah Řešení rovnce (5..) ve syslu nejenších čtverců pro λ vzhlede k ( e x ) ( Fx j ) λ = (5..) e x Nejprve nastavíe projektvní hloubky první kaery na. Poté vypočtee eppolární geoetr (fundaentální atc a eppóly) ez první a druhou kaerou a dosazení do rovnce (5..) určíe projektvní hloubky druhé kaery. ento postup opakujee pro každou další kaeru. Popsaný postup je rychlý, ale není přílš robustní, lepší přístupe je počítat projektvní hloubky ez sníky, které jsou s nejblíže (scéna je zobrazovaná z nejblžší pozce). Například pro vdeo-sekvenc sníků to budou vždy po sobě jdoucí sníky. λ j 5

54 5.. Iterační algortus výpočtu projektvních hloubek Nejprve nastavíe projektvní hloubky (každý třetí řádek) atce W na jedna. Protože atce W by ěla ít hodnost 4, jak ukazují rovnce (5., 5.3) snížíe hodnost atce etodou SVD (vz kaptola (A.3)) na 4. Použtí etody SVD je nezbytné, nejde pouze o snížení hodnost, jak posléze ukážee u faktorzační etody (5.). Matc se sníženou hodností onačíe W ~. Nové projektvní hloubky vypočtee z rovnce: ( k+ ) ( k ) λ = λ j j W ~ W ( k ) ( k ) j ( k ) ( k ) j W W j j (5..) ( ) ( ) k + k + Po výpočtu nových projektvních hloubek upravíe atc W takto: W = x λ, opět vypočtee W ~ a postup opakujee, dokud se atce W výrazněj ění. j j 5. Metoda faktorzace ato etoda, použtá v [Stur-96], určí z atce W (obsahující vypočtené projektvní hloubky) kaery a 3D souřadnce bodů splňující podínku danou rovnce (5., 5.3). Nejprve provedee rozklad atce W etodou SVD (vz příloha (A)), tedy W = USV. (5..) Z rovnc (5., 5.3) vyplývá, že atce W by ěla ít hodnost 4, přítonost šuu však způsobuje, že tou tak není. Hodnost snížíe tak, že dagonální atc S = dag( σ, σ,..., σ n ) upravíe na tvar S = dag( σ, σ, σ 3, σ 4,0,...,0). Po této úpravě platí ˆ. (5..) W W = U S V = U S V 4 ( 3n) ( 3n) ( 3n 3n) ( 3n) ( ) ( 4 3n) ( 4 4) ( ) Lbovolný rozklad atce S = S S ná uožní psát ˆ = ˆ ˆ. (5..3) W US {{ S V = U ( 4 3n) V( 4) Uˆ Vˆ 53

55 Matcí Uˆ ůžee reprezentovat jako n ( 3 4) projekčních atc Pˆ a Vˆ jako sezna 4-prvkových vektorů Qˆ j (3D body) Wˆ P P = UV ˆ ˆ = [ Q Q L Q ]. (5..4) M Pn Rozklad atce S = S S je lbovolný, většnou volíe S = S, S = I nebo / / / / S = S = dag σ, σ, σ σ. ( ) 3, 4 Podíváe-l se nyní na terační algortus výpočtu projektvních hloubek (kaptola (5..)) v kontextu této kaptoly. Můžee vdět, že atce W ~ vznkne vlastně opětný průěte 3D bodů kaera tak, jak by byly získány faktorzací, tedy opětný složení do atce W ~ s hodností 4. Iterační algortus je tedy v podstatě založen na opakování faktorzační etody. Vynásobení trojce řádků (kaera), nebo sloupce (bod) atce W nějakou nenulovou skalární hodnotou neá na rekonstruované kaery a 3D body vlv. Před vlastní faktorzací je tedy dobré, z důvodu nuercké stablzace, přenásobt atc W tak aby všechny sloupce a řádky byly přblžně stejně význané. oho ůžee jednoduše docílt následující terační postupe: 3n = =. Každý sloupec l vynásobíe tak, aby ( ) r lr. Každou trojc řádek ( 3k,3k, 3k ) 3k aby ( w ). l = = 3k l w. vynásobíe tak, 3. Dokud se W význaně ění opakujee kroky a. ento postup je potřebný zejéna počítáe-l projektvní hloubky z eppolární geoetre. 54

56 5.3 Doplnění chybějících bodů Př větší počtu sníků není ožno získat bodové korespondence na všech snících, bod vdtelný na některých snících neusí být vdtelný na jných. ato stuace způsobuje, že atce W obsahuje prázdná ísta a není ožno j faktorzovat. Algortus, který zde popíšee je založen na Jacobsově algortu [Jacobs-97] pracující s ortografckou kaerou a v [Martnec-00] upraven pro perspektvní kaeru. Jacobsův algortus dokáže doplnt lbovolnou atc na požadovanou hodnost. Nejprve ukážee příklad jak je ožno doplnt prázdná ísta v atc nízké hodnost. Příklad : Nechť á naše atce M hodnost a políčka v ní chybí na ístech s otazníky: M =?? Protože á atce M hodnost (deternant všech podatc velkost je roven nule), usí být jednotlvé sloupce atce lneárně závslé. V toto případě usí být první sloupec násobke druhého, jedný přípustný řešení je: 6 M = 3. 3 Podstatou Jacobsova algortu je hledání báze prostoru generující atc W. ato báze á denz 4 a generuje lneární projektvní vektorový prostor, který označíe L. Získáe-l tuto báz, je jž doplnění chybějících bodů trvální. Výpočet prostoru L Kdybycho znal čtveřc lneárně nezávslých sloupců, ěl bycho rovnou báz prostoru L. Jednotlvé sloupce W však nejsou kopletní přesto obsahují užtečnou nforac. Z atce W vyberee nožnu čtveřc sloupců. L pak leží v lneární obalu (dále LO ) těchto čtveřc a tedy v LO průnku těchto čtveřc. Zenšíe-l tento průnk na 4, L bude určen přesně. LO čtveřce vektorů vytvoříe tak, že u každého vektoru nastavíe hodnotu chybějících bodů na 0 a zároveň ke každéu vektoru přdáe tentýž vektor s hodnotou chybějících bodů různou od nuly (např. ). Lneární obal LO se pak skládá z os vektorů a generuje vektory s lbovolnou hodnotou na ístě chybějících bodů. Aby bylo ožno vybranou čtveřc akceptovat, je nutno aby ez n bylo nálně denze d + (tedy 5) řádek bez chybějících bodů. Kvůl šuu se průnk lneárních obalů brzy vyprázdní, řešení je tedy přechod k doplňku (kopleentu). Průnk tedy ůžee nahradt doplňke ke sjednocení doplňků LO. 0 Zdroj příkladu: [Martnec-00] 55

57 Nejprve tedy náhodně vyberee skupnu z čtveřc sloupců a vytvoříe jejch lneární obaly M. Doplněk určíe poocí rozkladu SVD (vz příloha (A)) M = USV, doplněk M získáe jako poslední 4 sloupce atce U. Sjednocení doplňků vyjádříe jako atc M = [ M M M... z ] a její kopleent opět etodou SVD M = USV, doplněk průnku doplňků M je pak tvořen poslední 4- sloupc atce U. M je pak bází prostoru L. Příklad 5.3.: Protože úprava atce hodnost 4 by byla nepřehledná, předvedee etodu na atc hodnost, ěje tedy atc W o hodnost : W =,???? nejprve vyberee několk dvojc sloupců a vytvoříe jejch lneární obaly, použjee-l dvojc sloupců 4, 3 a 4, pak jejch lneární obaly jsou: M = 4, M = 3, M = Nuercky získané doplňky těchto obalů s denzí (užtí SVD) jsou: M 4 =, M 3 =, M 4 = Průnk těchto doplňků lneárních obalů ůžee psát jako: M = [ M M ] 4 3M =

58 Nakonec lneární báz prostoru L získáe jako doplněk M (opět na základě SVD), tedy: M = Doplnění atce W Matcovou reprezentac prostoru L označíe M (jak jse ho právě vypočetl), p W -tý sloupec atce W, p ndexy nechybějících bodů, W sloupec tvořený pouze p znáý souřadnce bodů sloupce W, podobně M je podatce atce M tvořená pouze řádky nechybějících bodů. Pak sloupec doplněné atce W ~ určíe jako: ~ W M p + p ( M ) W ) p kde ( M ) + je pseudonverze (vz příloha (A.)) k, (5.3.) p M. Příklad 5.3.3: Použjee-l rovnc (5.3.) na atc W z příklady (5.3.) a na báz M spočtenou tatéž, získáe novou atc, která á doplněné body a jen nálně se lší od původní atce W : ~ W = Rozdíl ez W ~ a původní atcí W (nejvíce patrný na pozc (,3) ) je způsoben zejéna tí, že výsledek je spočten nuercky. V případě, že by původní atce neohla ít hodnost 4 (v toto příkladu ), způsoblo by to další chybu. ato chyba je však srovnatelná s chybou faktorzační etody (5.), která se jž př faktorzac neprojeví, protože atce W ~ á jž požadovanou hodnost. Výsledek je také ožno zlepšt zavedení většího počtu čtveřc (v toto příkladu dvojc) sloupců. 57

59 Algortus doplnění chybějících bodů získaných projektvní projekcí Vlastní algortus je ožno rozdělt do dvou kroků:. Nejprve je nutno vypočítat projektvní hloubky u bodů, jejchž souřadnce jsou znáy. K výpočtu projektvních hloubek není ožno použít terační algortus, protože atce W není úplná.. Jacobsův algortus pak doplňuje chybějící body včetně ěřítek. ento proces ůžee opakovat dokud nezkonverguje, tj. jž se nedoplňují žádné další body. Další nforace týkající se probleatky doplňování chybějících bodů je ožno nalézt v prác [Martnec-00]. Popsaný postup je čstě algebracké doplnění na základě nforace o hodnost, tento problé je však ožno řešt jnak: dokážee-l spočítat vztah ez trojcí kaer (eppolární geoetre, trfokální tensory), ůžee body doplňovat na jejch základě. 58

60 Kaptola 6 Metrcká rekonstrukce V kaptole (5) jse jž naznačl, že výsledky projektvní rekonstrukce jsou správné až na nějakou lneární projektvní transforac H. ato transforace, také nazývaná Projectve Dstorton Matrx (PDM), ovlvňuje kaery a body získané projektvní rekonstrukcí takto: W = PX ˆ ˆ = PHH ˆ Xˆ = PX, (6.) kde P Pˆ = H a X = H Xˆ. Jak vdíe rovnce (6.) platí pro lbovolnou regulární atc H, naší cíle je nalézt takovou H, která transforuje kaery a body do etrckého prostoru. V obecné případě není ožno transforac H určt a končíe projektvní rekonstrukcí, která rozhodně není uspokojující výsledke. Naší úkole je tedy nalézt nějaké vntřní oezení, tj. nforace o pozorované scéně nebo o kaerách, které ná uožní upravt projektvní rekonstrukc na etrckou. Jednou z ožností je zadat přesné hoogenní souřadnce pět bodů ze kterých je ožno H vypočítat. Naší hlavní předpoklade je však, že neáe žádné nforace o pozorované scéně, zaěříe se tedy na oezení týkající se kaer. V kaptole (6.) nejprve ukážee spojtost ez PDM a absolutní duální kvadrkou, v (6.) určíe kolk sníků je potřeba př určtých oezeních (z hledska kaer). A konečně v část (6.3) budee prezentovat 3 varanty algortu, který převádí projektvní rekonstrukc na etrckou na základě různých konfgurací kaery. 6. Metrcká rekonstrukce a absolutní kvadrka Většna auto-kalbračních etod počítá vntřní paraetry kaer ze vztahu = KK * ω, (6..) * který jse odvodl v kaptole (.4). Je-l ω ( 3 3) znáa, ůžee vntřní paraetry kaery snadno získat Choleského dekopozcí, nebo SVD (vz příloha (A.4)). Podle * defnce je duální absolutní kuželosečka ω projekcí absolutní kvadrky Ω, tak že * ω = PΩP. (6..) Nyní ukážee, že určení PDM je ekvvalentní výpočtu absolutní kvadrky (vz [Sanz-0, Hartley-04]). Jak jž víe z kaptoly () projektvní geoetre, proítnutí kružnce v projektvní prostoru je obecně kuželosečka výsledek projektvní rekonstrukce tedy většnou neodpovídá realtě, k tou je potřeba rekonstrukce etrcká. 59

61 Vyjádřee PDM ve tvaru H H = h b (6..3) Bod odpovídající počátku souřadnc etrckého prostoru vypočítáe jako H ( 0,0,0, ), což je ( b, ), pak b je souřadnce odpovídající počátku. Bez újy na obecnost, ůžee položt b = ( 0,0,0) (projektvní a etrcký prostor sdílejí společný prostor). Každá atce P, o rozěrech ( 3 4), získaná projektvní rekonstrukcí ůže být rozložena na [ R ] P H = µ K, =,...,, (6..4) kde jednotlvé paraetry tohoto rozkladu (atce kaery) byly popsány v kaptole (.4.). Rozdělíe-l atc kaery na P = [ P ~, p ], kde P ~ jsou první tř sloupce, p čtvrtý, pak výraz (6..4) ůžee zapsat dvojcí rovnc: ~ H [ P, p ] = µ KR h, (6..5) P = µ K. (6..6) ~ 0 ( 3) [, p ] Dosadíe-l do vztahu (6..) vztah (6..5), ůžee psát H * [ H, h ] P = PΩ P * ω = KK = KRR K = P µ h, (6..7) číž jse nalezl vztah ez PDM a duální absolutní kvadrkou * Ω. 60

62 6. Kolk sníků je potřeba? Oezení týkající se vntřních paraetrů kaer ůžee rozdělt do dvou hlavních skupn:. Některé paraetry kaer jsou konstantní, tj. pro získání jednotlvých sníků bylo použto kaer se shodný paraetry (případně jedné kaery).. Některé paraetry kaer jsou znáé (právě tento případ využjee v noralzační etodě, kaptola (6.3)). Pravděpodobně nejvýhodnější oezení je předpokládat paraetr kaer β = 0, tedy pxely jsou čtvercové, což platí u většny běžných kaer a fotoaparátů. Další výhodné oezení je uístt prncpální bod do počátku souřadného systéu, opět běžné kaery ají tento bod uístěn ve středu obrázku (prncpální bod se ná většnou posouvá v případě, že děláe výřez z vyfotografovaného obrázku). Používáe-l k získávání sníků stejný fotoaparát, ůžee tohoto faktu využít a považovat některé jeho paraetry za konstantní. V následující tabulce (6..) s shrnee většnu běžných oezení, které ůžee př etrcké rekonstrukc využít a nální počet obrázků, který je s daný oezení k etrcké rekonstrukc potřebný. f = k = = oezení konstantní K ω / ω ω ω j 33 = j / znáý prncpální 0 4 ω bod ( u, v ) 3 = ω3 = konstantní α a β 0 5 ω = αω 0 = 33 β = ω = ω33 ω3 /ω3 znáý ( u, v ) a 0 0 β = ω = 0 ω 3 = ω3 = 0 abulka 6..: Nezbytný počet sníků (kaer) nutný k etrcké rekonstrukc, př různých oezeních paraetrů kaery. f je počet neěnných paraetrů, k je počet znáých paraetrů a je počet sníků (kaer). Jednotlvé vntřní paraetry kaer jsou popsány v kaptole (4..). Vztah ez počte sníků, počte neěnných paraetrů f a počte znáých paraetrů k ůžee vyjádřt jako ( ) 8 důkaz je ožno nalézt v [Hartley-04]. k + f, (6..) 6

63 6.3 Noralzační etoda V této kaptole popíšee etodu převodu projektvní rekonstrukce na etrckou, tento proces nazýváe noralzace a byl publkován v [Han-00], ze které je také čerpán obsah této kaptoly. Vstupe algortu jsou projektvní atce kaer a souřadnce bodů získané projektvní rekonstrukc, kaptola (5). Základní podínkou noralzační etody je nulové zkosení β = 0 (pxely jsou čtvercové). Algortus je prezentován ve třech verzích: kaptoly (6.3., 6.3., 6.3.3), podle toho, jaká další oezení kladee na paraetry kaer: Případ : Neznáé jsou pouze ohnskové vzdálenost. Případ : Ohnskové vzdálenost a prncpální bod jsou neznáé a pozce prncpálních bodů je konstantní. Případ 3: Ohnskové vzdálenost, prncpální body poěr stran pxelu jsou proěnné a neznáé. První lneární algortus pracuje v stuacích, kdy je použta jedna kaera, a jedné ění se pouze ohnsková vzdálenost (zoo). Druhý lneární algortus je vhodný pro stuace, kde ohnsková vzdálenost je ěněna nálně a prncpální bod je vel blízko tou, aby byl konstantní (například sekvence leteckých sníků). řetí algortus je blneární a ůže být použt v případě, že jsou sníky pořízeny více kaer a sníek po sníku se ění ohnskové vzdálenost, prncpální body a poěry stran pxelů. Protože je větší část algortu společná pro všechny část, bude v kaptolách (6.3., 6.3., 6.3.3) uvedena pouze ta část výpočtu ve kterých se lší. Předpokládáe projekční atce ve tvaru [ R ] P = K, (6.3.) kde f 0 u0 K = 0 α f v0, 0 0 R = j, k tx = t y. t z Spojíe-l rovnc (6.3.) pro všechna =,..., n, dostanee P = [ M ], (6.3.) kde a M = [ x, y, z,..., xn, yn, zn ] [,,,...,,, ] = x y z xn yn zn, 6

64 x y z x y z = µ f + µ u = µ k = µ t z = µ f t x = µ α f t x + µ u 0 = µ α f j + µ v k 0 0 k t + µ v z t 0 z (6.3.3) atc reprezentující 3D body vyjádříe jako S X =, (6.3.4) kde S [ s,..., ] = a = ( x y z ), ( ) s s,, j j j j x = w s, w. Počátek souřadného systéu položíe do těžště bodů j j j j j= w j s j = 0, (6.3.5) a dostanee j= ( xw js j + w jx ) = x w js j + x w j = x λ u = w, (6.3.6) j j j= j= j= j= j obdobně λ jvj = y w j, j = z j= j= j= λ w. (6.3.7) j= j ( x, y, z, w ) jsou hoogenní souřadnce 3D bodů, ( u, λ ) j j j j, jsou D průěty těchto bodů, opět v hoogenních souřadncích. Defnujee-l 4 4 projektvní transforac H jako [ A ] ( 4 3) ( 4 ) j v j H = B, (6.3.8) j pak vztah P = Pˆ H, ůžee rozepsat jako [ M ] Pˆ [ A B] = (6.3.9) a dostáváe x = Pˆ B, = Pˆ B, = Pˆ B. (6.3.0) x y y z z 63

65 Z rovnc (6.3.6) a (6.3.7) víe, že x z j = = λ u j= j λ j j, y z j = = λ v j= j λ j j. (6.3.) Z rovnc (6.3.0) a (6.3.) sestavíe soustavu n lneárních rovnc o 4 neznáých prvcích atce B. Soustavu vypočtee etodou nejenších čtverců (použjee SVD (vz příloha (A.))). Protože x, y a z jsou součty rotačních vektorů (pouze se zěněný ěřítke), ůžee z rovnc (6.3.) forulovat následující oezení: x y z x x y = µ f x z z = µ α f = µ = µ u = µ u = µ v + µ u v 0 + µ v 0. (6.3.) Na základě tří rozdílných konfgurací vntřních paraetrů kaer, převedee tato oezení na MM (jednotlvé případy jsou popsány v kaptolách 6.3., 6.3. a 6.3.3). Protože platí MM = PAA ˆ Pˆ, (6.3.3) ůžee etodou nejenších čtverců vyřešt tuto soustavu pro 0 neznáých prvků syetrcké atce Q = AA o rozěrech 4 4. ento rozklad provedee Choleského dekopozcí nebo SVD (vz příloha (A.4)). H = A B a Je-l A nalezena, ůžee sestavt projektvní transforac [ ] vypočítat etrcké atce kaer P Pˆ = H a 3D souřadnce bodů X = H Xˆ. Zároveň ůžee vypočítat vntřní a vnější paraetry kaer, vz tabulka (6.4.). 64

66 Vntřní paraetry ěřítko: prncpální bod: ohnsková vzdálenost poěr výšky a šířky pxelu Vnější paraetry u x z 0, µ µ = z (6.3.4) = v = (6.3.5) f 0 x y z µ µ u 0 = (6.3.6) µ y µ v0 α = (6.3.7) µ f k t z =, µ z z =, µ x µ u 0k =, µ f t µ u 0 t x z x =, µ f j = t y µ v 0 µ α f µ v 0 t k y z y = (6.3.8) µ α f abulka 6.3.: Určení vntřních a vnějších paraetrů kaer Pro všechny případy, které nyní popíšee, stále platí podínka β = Případ pak Předpokládáe, že ohnskové vzdálenost jsou jedný neznáý vntřní paraetr, u v 0, α = (6.3.9) 0 = 0 = Dosazení do rovnc (6.3.), získáe tato oezení atce Q : x x y = y x = z = y z = 0 (6.3.0) Přdáe ještě jednu rovnc, kterou nastavíe ěřítko první kaery na, tedy µ = : z = (6.3.) 65

67 Celke tedy áe 4 n + lneárních rovnc o 0-t neznáých prvcích atce Q, kterou snadno vyřešíe Případ Předpokládáe, že ohnskové vzdálenost jsou neznáé a prncpální bod je konstantní, pak u0 = u 0, 0 v0 v =, α = (6.3.) Dosazení do rovnc (6.3.), získáe tato oezení atce Q : x y y = z x z z z ( )( ) ( ) ( ) x y zz = zz yz (6.3.3) a zj z zj =, z x y xj yj x x y y = xj xj yj yj x x y z xj yj =, xj zj x y z z xj zj =, yj zj y z z z yj zj =, (6.3.4) zj zj kde j = +, je-l n, j = je-l = n. Opět přdáe rovnc, kterou nastavíe ěřítko první kaery na, tedy µ = : 4 z = (6.3.5) oto jsou o lneární rovnce obsahující neznáé prvky atce Q = qq, kde q je vektor o rozěrech 0 sestavený z 0-t neznáých prvků atce Q. Získáe tedy 7 n + lneárních rovnc o 55-t neznáých prvcích atce Q. Poté co vypočtee Q, q získáe tak, že snížíe hodnost atce Q na (vz příloha (A.3)). 0 prvků q poté uspořádáe do atce Q, jejíž rozklade ůžee získat A. 66

68 6.3.3 Případ 3 Předpokládáe, že ohnskové vzdálenost, prncpální body a poěr stran pxelů (dále jen poěr stran) jsou neznáé a proěnlvé, oezení daná rovnce (6.3.) použjee jako blneární rovnce pro ohnskové vzdálenost a prncpální body plus poěr stran. Začnee s hrubý odhade prncpálního bodu a poěru stran u první kaery ( α ) a vložíe je do lneárních oezení prvků atce Q : x x y y z y = u = u = v v z z z z z z (6.3.6) Dále přdáe další dvě rovnce pro µ = : α ( x u0) = y v0α ( x u0) z = = y v 0 (6.3.7) Poté co získáe atc H, vypočtee kaery a 3D body ( P = Pˆ H a X = H Xˆ ), vypočtee z rovnc (6.3.5, 6.3.6, 6.3.7) vntřní paraetry kaer. Vezee nově vypočtené prncpální body a poěr stran první kaery a opět je použjee k výpočtu atce H, postup opakujee, dokud vntřní paraetry kaer nekonvergují Shrnutí noralzační etody. Nejprve provedee projektvní rekonstrukc, atc W dekoponujee na Pˆ a Qˆ.. Sečtee řádky W a vypočtee poěry ez n podle rovnce (6.3.). 3. Sestavíe n lneárních rovnc o 4 neznáých prvků atce B založených na poěrech z kroku a vypočtee B. 4. Sestavíe soustavu lneárních rovnc o 0-t neznáých prvcích syetrcké atce Q a vypočtee Q. 5. Rozložíe Q, abycho získal A : Q = AA. 6. Z atc A a B vytvoříe projektvní transforac H = [ A B]. 7. Vypočtee souřadnce bodů Q = H Qˆ a kaer P = Pˆ H. 8. Z rovnc uspořádaných v tabulce (6.3.) vypočtee vntřní paraetry kaer. 67

69 Kaptola 7 Shrnutí algortu 3D rekonstrukce V této kaptole shrnee celý algortus 3D rekonstrukce, tak jak by ěl vypadat aby ho bylo ožno praktcky použít. ento postup je založen na teor popsané v předchozích kaptolách. Zároveň ukazuje věc, jejchž podrobné vysvětlení se do této práce nevešlo a ožnost dalšího vývoje v oblast 3D rekonstrukce. 7. Detekce bodů Jak jse jž ukázal v kaptole (4) detekce bodů je první a základní kroke celého procesu, není však jednou ožností nezanedbatelné je použtí úseček, nebo jných složtějších objektů. Body a úsečky ají však velkou výhodu v jednoduchost ateatckého popsu a deální stave je rekonstrukce provedená kobnací bodů a úseček. Hlavní požadavek na detekované body (úsečky) je aby byly zastoupeny na obou obrázcích a aby se vyznačovaly nějakou výraznou vlastností, která by uožňovala snadné nalezení korespondencí. 7. Hledání korespondencí Několk základních etod použtých k hledání korespondencí jse popsal v kaptole (4). Metody je ožno rozdělt podle toho jaký způsobe vyhodnocujee jejch vlastnost, jednou z ožností je popsat detekované eleenty na základě vlastností sníku v jejch lokální okolí, druhý přístup vychází z globálního hledska a hledá geoetrcký vztah ez dvěa nožna bodů. Oba tyto přístupy často kobnujee. Podaří-l se ná odhadnout odel eppolární geoetrí nebo trfokální tensory (kaptola (3)), ůžee vyloučt body, které touto odelu nevyhovují, zároveň ůžee hledat nové korespondence založené na oezení dané odhadnutý odele. Použjee-l odhad více odelů (PLUNDER, kaptola (4.3.)) nejen že výrazně urychlíe výpočet, ale zároveň ůžee detekovat degenerované scény, tj. scény, které vyhovují více různý odelů (tato stuace vznká například pohybuje l se ve scéně nějaký objekt, nebo pokud se vyskytuje opakující se vzor). Zejéna př větší počtu sníků (ale u trojce) nastává stuace, že některé body jejchž korespondence jse získal nejsou vdtelné, nebo nebyly detekovány na dalších snících. ento problé, tedy doplnění souřadnc průětů chybějících bodů na některých snících, ůžee řešt dvě způsoby. První způsob je doplnění bodů na základě dvojce eppolárních geoetrí, nebo trfokálního tensoru, znáe-l průět bodu na dvou snících a vztah ez tře sníky, ůžee jednoduše určt průět na třetí sníku. ento postup je vel náchylný na kvaltu odhadu eppolární geoetre (trfokálního tensoru). Druhou ožností, kterou jse popsal v kaptole (5.3) je uspořádat body do atce a tuto atc doplnt na základ znalost její hodnost (v naše případě je hodnost rovna 4). Kobnace těchto způsobů by ěla dosahovat lepších výsledků než jednotlvé etody, zejéna v případě, že doplnění bodů na základě hodnost neusí doplnt všechny body. 68

70 7.3 Projektvní rekonstrukce Projektvní rekonstrukce faktorzační etodou dosahuje př kvaltní vstupu vel dobrých výsledků. Její největší slabnou je výpočet projektvních hloubek, zejéna používáe-l algortus založený na eppolární geoetr (jako obvykle je ožno použít trfokální, nebo ultfokální tensory) vyžaduje, aby výpočet projektvních hloubek probíhal ez dvojce sníků, které jsou vel podobné ( tento problé je řešen v část (7.7)). projektvní rekonstrukce se snaží vyhovět vše zadaný bodů. I přes to ůžee na základě výsledku projektvní rekonstrukce odhalt chybně určené korespondence, je-l korespondencí dostatečné nožství a chyb není přílš noho. 7.4 Metrcká rekonstrukce Podobně jako projektvní rekonstrukce etrcká dosahuje vel dobrých výsledků jsou-l dobře a ve velké nožství určeny korespondence. Právě u etrcké rekonstrukce ůžee výsledky vylepšt, znáe-l paraetry pozorované scény, nebo kalbrační atce kaer. Metrcká rekonstrukce je ožná když neáe žádné nforace s výjkou saotných sníků a předpokladu nulového zkosení pxelů (tuto podínku běžné kaery a fotoaparáty splňují). Jak je ukázáno v kaptole (6.) k úspěšné rekonstrukc bez dalších nforací je potřeba nálně 8 sníků. Ve chvíl, kdy áe scénu (resp. nožnu bodů) a kaery zrekonstruovány, ůžee přstoupt k dalšíu získávání bodů a vylepšení dosažených výsledků. ato vylepšení jsou shrnuta v kaptole (7.5). 7.5 Vylepšení odelu na základě znáých kaer a polohy některých bodů Metrckou rekonstrukcí celý proces nekončí, ve chvíl kdy znáe atce kaer ůžee přstoupt k takzvané trangularzac, což je zpětné proítnutí bodů kaerou do scény. ento postup je 3D alternatvou k získání nových korespondencí založené na eppolární geoetr, tedy body jsou apovány na příku. Na základě takto získaných korespondencí ůžee opět přstoupt k projektvní a etrcké rekonstrukc a opakování takového postupu vylepšovat výsledek. Další ožností je vybrat ty body v prostoru které jsou blízko a spojt je do trojúhelníku. Nové body hledat uvntř průětu tohoto trojúhelníku jednotlvý kaera. Ve většně případů bude rekonstruovaný bod ležet v blízkost původních bodů. Opakování tohoto postupu se zpočátku vel hrubý odel začne zjeňovat. Pod poje trangularzace je obvykle yšleno vytvoření trojúhelníkové sítě z nožny bodů, v toto případě jde trojc kaera-kaer-bod. 69

71 7.6 Rekonstrukce povrchu a textur Rekonstrukce povrchu Postupe popsaný v kaptole (7.5) získáe velké nožství bodů v prostoru, další kroke je z těchto bodů vytvořt povrch. Jednou z ožností je vytvořt z bodů trojúhelníkovou síť nezávsle na orgnálních snících, tí se ovše ochuzujee o cennou nforac. Lepší přístupe je kobnovat trojúhelníkovou síť získanou ve 3D s trojúhelníkový sítě získaný ve D průětech. Ideální případe je, když trojúhelníky ez zrekonstruovaný body na orgnálních snících jsou vyplněny konstantní barvou, pokud tou tak není pokoušíe se je dále dělt tak jak jse to ukázal v kaptole (7.5). Rekonstrukce textur Na první pohled ůže být otexturování povrchu trvální, postačuje například zprůěrovat barvy jednotlvých zobrazení jednotlvých bodů, nebo použít barvu ze sníku na které je konkrétní část povrchu nejvíce rovnoběžná s rovnou kaery. Nesíe však zapoínat, že stejný bod á na různých snících jnou barvu za norálních podínek. V případě že jsou sníky pořízeny v rozdílných časech a př rozdílné osvětlení je rozdíl ještě výraznější. V obecné případě je tedy problé věrnost barev zrekonstruovaného odelu jen vel obtížně řeštelný, jsou-l však sníky získány př stejné osvětlení jsou výsledky uspokojvé. 7.7 Různé druhy vstupu Rozptýlené sníky Vstupe rekonstrukčního postupu ůže být v podstatě lbovolná nožna sníků, narážíe však na problé, jak poznat který sníek se který sousedí. Pro potřeby rekonstrukce potřebujee rozdělt nožnu sníků na dvojce nebo trojce, tvořené vel podobný sníky. Můžee se pokust nalézt společné body na kobnacích sníků každý s každý, náročnost takového postupu je však přílš velká. Řešení je nějaký způsobe nalézt sníky, které ají k sobě nejblíže. Sníek ůžee například popsat sadou oentových nebo dferencálních nvarantů, tento postup však neá dobré výsledky, zejéna vlve okolí pozorovaného objektu. Vel dobré řešení tohoto probléu ná nabízí publkace [Schaffaltzky-0], ze které jsou obrázky Vdeosekvence Další vel důležtou ožností vstupu je vdosekvence. Ve vdeosekvenc víe, že sníky které jsou za sebou jsou sníány z přblžně stejných úhlů. Můžee tedy použít skupny (dvojce, trojce,...) po sobě jdoucích sníků, které se ohou překrývat. Další výhodou vdeosekvence je, že ůžee lépe detekovat korespondence, případně predkovat pozc bodů na další sníku (k tou slouží například Kalanův fltr). K vdeosekvenc, která není vytvořena přío za účele rekonstrukce, nebo neá k rekonstrukc předpoklady je například fl. U rekonstrukce z flu nastává několk stuací, které je potřeba ošetřt, usíe například detekovat střhy (po střhu se většnou ění scéna). Další vel důležtou věcí je fltrovat oton-blur, který je přítoný na každé sníku kde došlo k rychlejšíu pohybu kaery, nebo pozorovaného objektu (Na odstranění oton-bluru se obvykle používá Wenerův fltr). 70

72 (a) (b) Obrázky : Ukázka uspořádání rozptýlených sníků 7.8 Nestatcká scéna Jž v úvodu této práce jse uvedl, že jednou oezující podínkou je, aby scéna byla statcká. Co však v případě, že scéna statcká není, taková stuace způsobuje, že odhad odelu scény není jednoznačný nebo vyhodnotíe pohybující se objekty jako outlery. Řešení prvního případu je vel obtížné a naší snahou je převést ho na případ druhý, tedy rozdělt obraz na více částí a rekonstruovat právě jednu (a body z druhé část považovat za outlery). Vezěe jako příklad jedoucí auto, buď budee rekonstruovat saotné auto, nebo jeho okolí (slnc, doy, atd. ). Ve chvíl, kdy zrekonstruujee jednu (statckou) část scény ůžee přstoupt k rekonstrukc zbývajících částí, které budou nyní snadno rozpoznatelné. 3 Zdroj obrázků: [Schaffaltzky-00] 7

73 Kaptola 8 Experentální ověření popsaných etod V této kaptole budee odděleně ověřovat vlastnost jednotlvých etod na syntetckých příkladech. Zároveň prověříe postup jako celek na reálných datech. V experentech se zaěříe zejéna na robustnost algortů vůč šuu a přítonost outlerů ve vstupních datech, případně na funkčnost saotných algortů.všechny výsledky jsou získány zprůěrování několka pokusů. 8. Bodové detektory Porovnání Harrsova detektoru (kaptola (4..)) s algorte FndFP (kaptola (4..)). Hlavní sledovanou vlastností je repeatblta. Oba algorty vyzkoušíe na třech sadách obrázků, které pokrývají nejčastější případy:. Pohled na objekt z různých pozc.. Otočení obrazu. 3. Zěna ěřítka. Add, Jako vstupní obrázky byly použty fotografe dnosaura otočené vždy o 0 : (a) (b) (c) (d) Obrázky : Scéna na obrázcích je otáčena po 0-t stupních. 4 Zdroj obrázků: URL= 7

74 (a) (b) Obrázky 8..: Význané body detekované Harrsový detektore (a) a etodou FndFP (b). Př použtí Harrsova detektoru jsou na sníku body rovnoěrněj rozloženy, což vyplývá z charakteru algortu. Repeabltu testujee na dvojcích sníků -, -3, -4,..., výsledky jsou zobrazeny v následující tabulce: r [%] α [ ] Harrsův detektor 66% 66% 6% 5% 39% 35% FndFP 68% 55% 59% 58% 44% 37% abulka 8..: Závslost repeatblty r [%] na úhlu pohledu α [ ], pro obě sledované etody. Počítají se pouze ty body, které jsou vdtelné na obou snících. y body které jsou vdtelné pouze na jedno sníku výsledky pochoptelně zhoršují. Obě etody dosahují velce podobných výsledků, nesíe ovše zapoínat, že FndFP byl navržen pro rozazané sníky, u kterých jsou jeho výsledky lepší (vz [Zítová-00]). Zajíavý důsledke zěny pozorovacího úhlu (pozce kaery) je, že se snžuje přesnost lokalzace bodů, tedy když je detekován stejný bod scény, jeho souřadnce nejsou přesné. Add, Opět byl použt obrázek (8..a), který byl postupně rotován podle středu po 0- t stupních, výsledek experentu shrnuje následující tabulka: r [%] β [ ] Harrsův detektor 86% 8% 85% 78% FndFP 57% 60% 65% 65% abulka 8..: Závslost repeatblty r [%] na úhlu otočení obrázku β [ ], pro obě sledované etody. V toto případě dosahuje Harrsův detektor podstatně lepších výsledků než FndFP. 73

75 Add 3, Pro zěnu ěřítka byl použt opět obrázek (8..a), ěřítko bylo stejně jako rotace ěněno ve D. Výsledek experentu shrnuje následující tabulka r [%] s Harrsův detektor 4% 68% 8% 78% 74% 60% FndFP 40% 69% 75% 77% 65% 59% abulka 8..3: Závslost repeatblty r [%] na zěně ěřítka s, pro obě sledované etody. ento experent á zajíavý důsledek: Chcee-l zvýšt robustnost vzhlede ke zěně ěřítka, ůžee obrázek nepatrně zenšt (nebo zvětšt), opět detekujee body na zenšené obrázku, body transforujee do souřadnc původního obrázku (vrátíe zěnu ěřítka) a použjee pouze ty body, které se opakují. Vel důležté je nastavení paraetrů jednotlvých etod (zejéna u algortu FndFP), které ůže význaně ovlvnt kvaltu (repeatbltu) a nožství detekovaných bodů. Důležtý ukazatele je rychlost algortů. Metoda FndFP byla přblžně 0-krát poalejší, než Harrsův detektor, tento výsledek je však pouze přblžný. Je tou tak proto, že algorty nebyly njak optalzovány a v některých případech nebyly pleentovány zcela efektvně. Zajíavý poznatke, který uplatníe zejéna v kaptole (8.), je že spojení výstupu obou algortů se zvýší počet kvaltních bodů, což ůže zajstt lepší výsledky navazujících etod. 8. MEM-Pars a RANSAC Algortus RANSAC (kaptola (4.3)), přesto že pracuje s náhodou, je vel dobře předvídatelný a vel slně závslý na kvaltě vstupu (ncalzační korespondence). Proto bude v této kaptole testován společně s algorte pro hledání ncalzačních korespondencí MEM-Pars (kaptola (4..)). Výsledky tohoto experentu ůžee vztáhnout přío na algortus MEM-Pars, zejéna proto, že vlv RANSACu je ožno snadno odhadnout (vz tabulka (4.3.)). Incalzační korespondence získané etodou MEM-Pars jsou největší slabnou celého postupu. je tou tak proto, že korelace (stejně tak MEM-Pars) není afnně nvarantní. Řešení probléu afnní nvarance jse naznačl v kaptole (4..3). I přes to, se př testování této etody zaěříe na zjštění vlastností algortu MEM-Pars, př různých transforacích scény a obrazu. Zajíají nás stejné případy jako u bodových detektorů, tedy:. Pohled na objekt z různých pozc.. Otočení obrazu. 3. Zěna ěřítka 74

76 Sledovanou velčnou je zejéna počet správných korespondencí. Vstupe algortu jsou body získané kobnací výstupu obou etod testovaných v kaptole (8.) a odpovídající obrázky. Ukončovací podínka u algortu RANSAC je stanovena tak, aby pravděpodobnost správného řešení byla větší než 99%. Z hledska urychlení výpočtu byla použta odfkace RANSACU popsaná v kaptole (4.3.), tedy R-RANSAC. Add Výsledky tohoto experentu jsou shrnuty v následujících tabulkách: α [ ] Počet detekovaných bodů Počet korespondencí MEM-Pars Počet korespondencí RANSAC abulka 8..: Závslost počtu korespondencí na úhlu pohledu α [ ]. Počet detekovaných bodů se u jednotlvých sníků lší, uvádíe tedy dvě hodnoty. Prázdné pole znaená, že algortus nenalezl výsledek. α [ ] Čas výpočtu MEM-Pars [s] Počet terací RANSAC Čas výpočtu RANSAC [s] abulka 8..: Závslost doby výpočtu a počtu terací na úhlu pohledu α [ ]. V toto experentu se jasně projevly nedostatky etody MEM-Pars a ukazuje se potřeba afnně nvarantního algortu pro hledání ncalzačních korespondencí. ato etoda je použtelná pouze pro vel blízké sníky. Ukázku výstupu RANSACu ůžee vdět na obrázcích (8..). (a) (b) Obrázky 8..: Nalezené korespondence získané kobnací etod MEM-Pars a RANSAC pro sníky získané z různých pohledů. 75

77 Add Výsledky tohoto experentu jsou shrnuty v následujících tabulkách: β [ ] Počet detekovaných bodů Počet korespondencí MEM-Pars Počet korespondencí RANSAC abulka 8..3: Závslost počtu korespondencí na otočení β [ ]. β [ ] Čas výpočtu MEM-Pars [s] Počet terací RANSAC Čas výpočtu RANSAC [s] abulka 8..4: Závslost doby výpočtu a počtu terací na otočení β [ ]. Add 3 Výsledky tohoto experentu jsou shrnuty v následujících tabulkách: s = Počet detekovaných bodů Počet korespondencí MEM-Pars Počet korespondencí RANSAC s =...4 Počet detekovaných bodů Počet korespondencí MEM-Pars Počet korespondencí RANSAC abulka 8..3: Závslost počtu korespondencí na zěně ěřítka s. s = Čas výpočtu MEM-Pars [s] Počet terací RANSAC Čas výpočtu RANSAC [s] s =...4 Čas výpočtu MEM-Pars [s] Počet terací RANSAC Čas výpočtu RANSAC [s] abulka 8..4: Závslost doby výpočtu a počtu terací na zěně ěřítka s. 76

78 (a) (b) Obrázky 8..: Nalezené korespondence získané kobnací etod MEM-Pars a RANSAC pro sníky s různý ěřítke, (a) je o 0% enší než (b). ento experent ukazuje, že alespoň ke zěně ěřítka je MEM-Pars částečně nvarantní. Urychlení algortu RANSAC Jaký vlv á použtí R-RANSACu na rychlost, oprot původníu RANSACu, jse jž ukázal v kaptole (4.3.). Urychlení RANSACu algorte PLUNDER je do velké íry závslé na použtých obrázcích a urychlení je zřejé, z tabulky (4.3.), která ukazuje nezbytný počet kroků RANSACu, př dané odelu, resp. odelu s daný počte stupňů volnost. 8.3 Faktorzace Výsledky faktorzační etodě v závslost na kvaltě vstupu, tedy šuu a outlerech Syntetcká data Nejprve vygenerujee skupnu 3D bodů a tyto body proítnee několka kaera. Do proítnutých bodů poté přdáe šu. Vypočtee projektvní hloubky a faktorzujee. 3D body získané faktorzací zpět proítnee kaera získaný faktorzací. Chybu výpočtu vyjádříe jako průěr vzdáleností nově proítnutých bodů od původně proítnutých, tuto chybu označíe ε D. U syntetckých experentů použ- ε, která počítá průěr vzdáleností jee pro lepší nterpretac výsledků chybu D% relatvně, vzhlede k velkost scény. Pro výpočet projektvních hloubek použjee etodu založenou na eppolární geoetr. Velkost šuu, který budee do dat vkládat je v jednotkách 0.00 velkost scény, což přblžně odpovídá jednou pxelu př rozlšení 800x

79 Na obrázku (8.3.) vdíe vstupní data a ožné výstupy projektvní rekonstrukce: (a) (b) (c) Obrázky 8.3.: Vstupní data (a) a různé projektvní rekonstrukce (b) a (c). Obě tyto rekonstrukce jsou správné, nesíe zapoínat že jde o projektvní rekonstrukc. Výsledky experentu jsou shrnuty v následujících tabulkách: chyba ε velkost šuu [0.%] D% sníek sníek sníek průěr abulka 8.3.: Závslost chyby ε D na šuu, šu á rovnoěrné rozdělení a udáváe ho v desetnách procenta velkost scény. V toto experentu byly použty 3 sníky s přblžně 00 body. chyba ε počet sníků D% průěrná chyba chyba ε počet sníků D% průěrná chyba abulka 8.3.: Závslost chyby ε D na počtu sníků. Šu á rovnoěrné rozdělení a udáváe ho v desetnách procenta velkost scény, hodnota šuu je v toto případě 0 (tedy ±0 pxelů př rozlšení 800x600). 78

80 Př větší počtu sníků je patrná zvětšující se chyba o ovše neznaená, že enší počet sníků je výhodnější, jak ukážee v kaptole (8.4.) Reálná data Př experentu s reálný daty využjee výstupů z předchozích experentů (kaptoly (8.-8.4)). Vedle sady sníků (8..) použjee také několk leteckých sníků obrázky (8.3.). (a) (b) Obrázky : rojce leteckých sníků z různých pozc. (c) korespondence pro trojc sníků byly získány jako průnk korespondencí ez sníky - a -3. Výsledek experentu je shrnut v následující tabulce: Počet sníků Počet korespondencí Chyba ε D Dnosaurus Letecký pohled abulka 8.3.3: Hodnota chyby ε D pro reálná data. Chyba ε D byla vypočtena jako průěr z chyb na jednotlvých snících. Podobných výsledků, tedy průěrné chyby okolo 0.4 pxelu, jse dosáhl u většny sníků, které byly testovány. Jen výječně byly výsledky horší (ne více než 0.7 pxelu) nebo lepší (ne éně než 0. pxelu). 5 Zdroj obrázků: URL= 79

81 8.4 Noralzace Výstupe noralzačního algortu jsou 3D body a atce kaer získané projektvní rekonstrukcí Syntetcká data V toto experentu použjee nožnu bodů a kaer získaných projektvní rekonstrukcí v experentu (4.3.). Podobně jako u projektvní rekonstrukce budee testovat robustnost algortu vůč šuu a vlv počtu použtých sníků na kvaltu výsledku. (a) (b) (c) (d) (e) Obrázky 8.4.: Orgnální body (a), jejch průěty různý kaera (c,d,e) a etrcky zrekonstruované body (b). Protože zrekonstruované body jsou stále ještě podrobeny etrcké rekonstrukc (otočení posunutí, zěna ěřítka), určíe chybovou funkc určující kvaltu rekonstrukce následující postupe:. Náhodně vyberee dvojc orgnálních bodů a vypočtee jejch vzájenou vzdálenost l.. Vypočtee vzdálenost l ez dvojcí zrekonstruovaných bodů, které odpovídají bodů z kroku. 3. Vypočtee poěr ez oběa vzdálenost s = l / l. 4. Kroky 3 opakujee pro N náhodných vzorků. 80

82 s určuje zěnu ěřítka ez orgnální a zrekonstruovaný prostore. Hodnota s by ěla být konstantní, chybu vyjádříe jako N = ( s s ) abs ε =, (8.4.) N kde ε je průěr vzdáleností s od průěrné vzdálenost s. Abycho zachoval nezávslost na hodnotě ěřítka stanovíe chybu ε % je relatvní vzhlede k s a je vyjádřena v procentech:, která ε ε % = *00[%], (8.4.) s akové vyjádření chyby vychází z poznatku, že poěr vzdáleností je v etrcké prostoru nvarante, proto je takové ěření chyby legtní. Výsledky etrcké rekonstrukce jsou shrnuty v následujících tabulkách: velkost šuu [0.%] chyba ε % [%] abulka 8.4.: Závslost chyby ε % na šuu. Podobně jako u etrcké rekonstrukce používáe tř sníky. počet sníků chyba ε % [%] počet sníků chyba ε % [%] abulka 8.4.: Závslost chyby ε % na počtu sníků. Šu je nastaven na (tedy ± pxel př rozlšení 800x600). I přes to, že výsledky projektvní geoetre naznačovaly, že zvýšení počtu sníků zhoršuje výsledky, v tabulce (8.4.) vdíe, že je tou právě naopak. 8

83 8.4. Reálná data Uvažujee pouze případ noralzačního algortu tak jak byl popsán v kaptole (6.3.). Z toho důvodu použjee jné sníky než v předchozích experentech, ve kterých neznáe s jstotou polohu prncpálního bodu. Př experentech s reálný daty narážíe na problé, že pleentované hledání korespondencí není v oentální fáz vývoje dostatečně robustní, aby bylo ožno uspokojvě detekovat větší nožství korespondencí na trojc sníků. Pro etrckou rekonstrukc je tedy potřeba, aby sníky byly sníány z téěř stejné pozce, což zajstí, že bude nalezeno velké nožství korespondencí. (a) (b) (c) (d) (e) (f) Obrázky 8.4.: Deonstrace etrcké rekonstrukce s reálný daty. Orgnální sníky s vyznačený korespondence (a,b,c). Zrekonstruovaná nožna bodů (d) pohled odpovídající původní sníků, (e) pohled shora, (f) pohled z boku. Červený čara jsou zvýrazněny hrany objektu. Ve výsledku Metrcké rekonstrukce jsou jasně patrné tř vzájeně kolé rovny, což odpovídá původníu objektu. 8

84 Kaptola 9 Ipleentační část Ipleentace byla rozdělena na dvě hlavní část:. Jednotlvé etody byly vyvíjeny a laděny v prostředí MatLab 6.. Výsledná aplkace byla naprograována v jazyce C#, kde byly použty odladěné algorty z MatLab-u. Experenty, provedené v kaptole 8 byly kopletně provedeny v MatLabu. Ipleentováno je pouze několk vybraných etod z těch které byly popsány v předchozích kaptolách. yto etody však na základní úrovn dostačují k tou, aby ohla být scéna zrekonstruována. Algorty jednotlvých etod jsou poěrně podrobně popsány v příslušných kaptolách, v této kaptole shrnee jednotlvé funkce vytvořené v MatLabu. Aplkace vytvořená v jazyce C# je zdokuentována v prograátorské a užvatelské anuálu (vz přílohy (B,C)). Jednou z nejdůležtějších etod 3D rekonstrukce je Sngular Value Decoposton (vz Příloha (A)), jejíž pleentace byla převzata z vynkající publkace [Press-95], která obsahuje prograovou realzac celé řady nuerckých etod. Zpracování vdea Aplkace v C# obsahuje funkc, která vytvoří z *.av souboru btapy, progra je tedy ožné použít na vdeosekvenc tak, že detekujee korespondence vždy na dvojc po sobě jdoucích sníků. LCD brýle Protože algortus v oentální fáz vývoje neá uspokojvý 3D výstup, pouze nožnu bodů, není ožno výsledky uspokojvě trojrozěrně vzualzovat. Př stereoskopcké zobrazování poocí brýlí s LCD clonou (LCD Shutter Glasses) se levý a pravý obraz střídá na dsplej s pevně danou frekvencí. Pokud pozorovatel sleduje tento obraz skrz LCD brýle, clony obou polovn brýlí jsou synchronzovány s dspleje tak, aby každé oko vždy vdělo pouze obraz jeu určený. Protože použtá (an žádná jná exstující) pleentace OpenGL v jazyce C# neuožňuje využtí LCD brýlí (funkce GLUu), a zároveň výstup prograu není pro vzualzac LCD brýle vhodný nebyla pleentace LCD brýlí v prograu pleentována. ento problé jse vyřešl externí prograe napsaný v prograovací jazyce Delph, který načte výsledek rekonstrukce ze souboru a zobrazí na stereo brýlích. 6 Z anglckého Matrx Laboratory: Software vyvnutý aerckou společností he MathWorks, Inc. 83

85 Funkce vytvořené v MatLabu a jejch pops Harrs vstup : Šedotónový sníek I, axální počet bodů No. výstup : Množna detekovaných bodů M. pops : Ipleentace Harrsova detektoru, tak jak byl popsán v kaptole (4..). FndFP MEM_PAIRS vstup : Šedotónový sníek I, axální počet bodů No. výstup : Množna detekovaných bodů M. pops : Ipleentace algortu FndFP, tak jak byl popsán v kaptole (4..). vstup : Dvojce sníků I, I Detekované body na první a druhé sníku M, N. výstup : Sezna korespondujících bodů P. pops : Ipleentace algortu MEM_Pars, tak jak byl popsán v kaptole (4..). Noralze vstup : Množna D bodů X. výstup : ransforační atce A. pops : Vypočte atc A, kterou ůžee body transforovat tak, aby jejch těžště bylo v počátku a průěrná vzdálenost od počátku byla rovna. FMatrx_4_affne FMatrx_8 FMatrx_8n vstup : nožny D bodů X, X (korespondující body). výstup : Fundaentální atce F. pops : Vypočte eppolární geoetr afnní kaery 4-bodový algorte. vstup : nožny D bodů X, X (korespondující body). výstup : Fundaentální atce F. pops : Vypočte eppolární geoetr projektvní kaery 8-bodový algorte. vstup : nožny D bodů X, X (korespondující body). výstup : Fundaentální atce F. pops : Vypočte eppolární geoetr projektvní kaery 8-bodový noralzovaný algorte (využívá funkc Noralze). 84

86 FMatrx_7 FMatrx_7n RANSAC7 vstup : nožny D bodů X, X (korespondující body). výstup : Fundaentální atce F. pops : Vypočte eppolární geoetr projektvní kaery 7-bodový algorte. vstup : nožny D bodů X, X (korespondující body). výstup : Fundaentální atce F. pops : Vypočte eppolární geoetr projektvní kaery 7-bodový noralzovaný algorte (využívá funkc Noralze). vstup : nožny D bodů X, X (korespondující body). výstup : Fundaentální atce F, nožna nlers které jsou rovny jedné u správné korespondence a rovna 0 u chybné korespondence. pops : Na základě 7- bodového algortu odhadne odel eppolární geoetre RANSACe, který je popsán v kaptole (4.3). PRec vstup : Matce korespondencí W. výstup : Projektvně zrekonstruované kaery PR a projektvně zrekonstruované 3D body XR. Matce W doplněná o projektvní hloubky a projektvní hloubky L. pops : Projektvní rekonstrukce, kaptola (5). MRec vstup : Matce korespondencí s projektvní hloubka W, projektvní hloubky L, projektvně zrekonstruované kaery PR a projektvně zrekonstruované 3D body XR. výstup : Metrcky zrekonstruované kaery PR a projektvně zrekonstruované 3D body XR. pops : Metrcká rekonstrukce, kaptola (6). 85

87 Kaptola 0 Závěr V této prác jse zkoual prncpy a ožnost rekonstrukce 3D scény z D pohledů. Popsal jse základní teor která je pro rekonstrukc nezbytná. Na základě této teore byly pro každou fáz postupu rekonstrukce pleentovány a testovány nejdůležtější algorty (Harrsův bodový detektor, RANSAC, Faktorzace, Noralzace). Je-l vstupe ísto nožny sníků vdeosekvence, ůžee s tí počítat a určtý způsobe odfkovat základní algorty. Jednotlvé odfkace jsou popsány vždy u příslušných kaptol. Hlavní přínose této práce je, že shrnuje celý proces rekonstrukce, který se skládá z několka odlšných probléů a je značně rozsáhlý. Naší cíle není aby byla každá z těchto částí dovedena k dokonalost, ale aby byl celý proces do určté íry funkční. V kaptole (7) jse ukázal jak by ěla 3D rekonstrukce deálně v budoucnu vypadat. Popsal jse cesty a etody, které zkvaltňují výsledek rekonstrukce. yto postupy uožňují dosáhnout praktcké využtelnost. ato práce dává kvaltní základ pro další výzku v oblast 3D rekonstrukce. 86

88 Lteratura [Bauberg-00] [Cha-98] [Chu-0] [Chu-0] [Denton-0] [Devernay-95] [Edberg-00] [Faugeras-9] [Fschler-8] [Golub-96] [Harrs-88] [Hartley-9] [Hartley-94a] [Hartley-94b] [Hartley-95] [Hartley-04] [Han-00] [Jacobs-97] A. Bauberg, Relable feature atchng across wdely separated vews, CVPR, p6-68, 000. J. Cha, S. D. Ma, Robust Eppolar Geoetry Estaton Usng Genetc Algorth, ACCV 998, p. 7-79, 998. O. Chu, Rekonstrukce 3D scény z korespondencí v obrazech, Master thess, 00. In Czech. O. Chu and J. Matas, Randozed RANSAC and (d,d) test, BMVC 00, 00. In Czech. J. Denton, J. R. Beverdge, wo Densonal Projectve Pont Matchng, SSIAI 00, p. 77-8, 00. F. Devernay, O. D. Faugeras, Autoatc calbraton and reoval of dstorton fro scenes of structured envronents, SPIE vol 567, p. 6-7, 995. C. Edberg and A. Ercsson, 3D reconstructon fro uncalbrated ages, Master thess, 000. O.D. Faugeras, What can be seen n tree denson wth an uncalbrated stereo rg?, ECCV 99, p , 99. M. Fschler and R. Bolles, Rando saple consensus: A paradg for odel fttng wth applcatons to age analyss and autoated cartography, Councaton of the ACM, vol. 4, p , 98. G. H. Golub and C. F. Van Loan, Matrx Coputatons 3rd Edton, Baltore, MD: Johns Hopkns Unversty Press, 996. C. Harrs and M. Stephens, A cobned corner and edge detector, n Proc. 4th Alvey Vson Conf. 988, p. 89-9, 988. R. I. Hartley, Estaton of relatve postons for uncalbrated caeras, European Conference on Coputer Vson, LNCS 5888, p , 99. R. I. Hartley and P. Stur, rangularzaton, Proceedngs of the ARPA Iage Understandng Workshop, Defense Advanced Research Projects Agency, Morgan Kaufann Publshers, Inc., p , 994. R.I. Hartley, Lnes and ponts n three vews - a uned approach, IUW'94, p , 994. R. I. Hartley, In defence of the 8-pont-algorth, In: Proc. Ffth Internatonal Conference on Coputer Vson, IEEE Coputer Socety Press, p , June 995. R. I. Hartley and A. Zsseran, Multple Vew Geoetry n Coputer Vson nd Edton, Cabrdge Unversty Press, ISBN , 004. M. Han and. Kanade, Creatng 3D odels wth uncalbrated caeras, In proceedng of IEEE Coputer Socety Workshop on the Applcaton of Coputer Vson (WACV000), 000. D. Jacobs, Lnear fttng wth ssng data: Applcatons to structure fro oton and to characterzng ntensty ages, CVPR, p. 06-,

89 [Janyška-0] [Kolb-95] [Lndeberg-97] [Lundberg-00] [Martnec-00] [Mkolajczyk-0] [Moons-98] [Montesnos-98] [Press-95] [Sanz-0] [Schaffaltzky-0] [Scott-9] [Schd-98] [Shashua-94] [Stur-96] [Strecha-04] [Šeda-04] [orr-97] J. Janyška and A. Sekannová, Analytcká teore kuželoseček a kvadrk. vydání, Brno: Masarykova unverzta v Brně, ISBN , 00. In Czech. C. Kolb, D. Mtchell, and P Hanrahan, A realstc caera odel for coputer graphcs, SIGGRAPH 995, p , Lndeberg a J. Gårdng, Shape-adapted soothng n estaton of 3-D shape cues fro affne deforatons of local -D brghtness structure, IVC 997, p , 997. F. Lundberg, Maxu entropy atchng: An approach to fast teplate atchng, report nr. LH-ISY-R-33, Lnköpng unversty Sweden, 000. D. Martnec, Konzstentní rekonstrukce scény z velkého nožství sníků, Master thess, 000. In Czech. K. Mkolajczyk and C. Schd, An affne nvarant nterest pont detector, In Proc. ECCV. SprngerVerlag, 00.. Moons, A guded tour through ultvew relatons, In Proceedngs SMILE Workshop (post-eccv '98), LNCS. Sprnger, 998. P. Montesnos, V. Gouet a R. Derche, Dfferental nvarants for color ages, ICPR 998, p , 998. W.H. Press, S.A. eukolsky, W.. Vetterlng, and B.P. Flannery, Nuercal Recpes n C, Second edton, Cabrdge Unversty Press, 995. M. Sanz and N Bagherzadeh, Recoverng 3d etrc structure and oton fro ultple uncalbrated caeras, In proceedng of IEEE Conference on Inforaton echnology: Codng and Coputng 00, p , 00 F. Schaffaltzky and A. Zsseran, Mult-wew atchng for unordered age sets, or How do I organze y holday snaps?, Proceedngs of the 7th European Conference on Coputer Vson, Copenhagen, Denark, p , 00 G. L. Scott and H. C. Longuet-Hggns, An algorth for assocatng the features for two ages, Proceedngs of the Royal Statstcal Socety of London, volue 44, p. -6, 99. C. Schd, R. Mohr, and C. Bauckhage, Coparng and evaluatng nterest ponts, In Proc. of the 6th Internatonal Conference on Coputer Vson, p , Bobay, 998. A. Shashua, rlnearty n vsual recognton by algnent, EC- CV'94, Lecture Notes n Coputer Scence, Vol. 800, 994. P. Stur and B rggs, A factorzaton based algorth for ultage projectve structure and oton, 4 th European Conference on Coputer Vson, p , 996. C. Strecha, R. Fransens, L. Van Gool, "Wde-baselne Stereo fro Multple Vews: a Probablstc Account", CVPR 004, 004. J. Šeda, Konverze av vdea na voluetrcká data, Bc. thess, 004. In Czech. P. orr and A. Zsseran, Robust paraetrzaton and coputaton of the trfocal tensor, Iage and Vson Coputng, 5(997), p ,

90 [orr-98] [Zítová-00] P. orr, A. Zsseran, S. J. Maybank, Robust detecton of degenerate confguratons whle estatng the fundaental atrx, Coputer Vson and Iage Understandng: CVIU, p , 998. B. Zítová, J. Flusser, J. Kautský, and G. Peters, Feature pont detecton n ultfrae ages, Proceedngs of Czech Pattern Recognton Workshop 000, p. 7-,

91 Příloha A Sngular value decoposton (SVD) Sngular Value Decoposton (rozklad na sngulární hodnoty), často označována SVD. Nechť A je lbovolná atce o rozěrech,n. SVD nazýváe rozklad atce A na: A = USV, (A.) kde U ( n, n) a V (, ) jsou ortonorální atce a S je atce dagonální S dag σ σ,..., σ r = n, n. = ( ), ( ), r σ σ... σ 0 nazýváe sngulární hodnoty. r (A.) Matce U a V jsou ortonorální, to znaená, že jejch sloupce jsou lneárně závslé a jejch nora je rovna jedné. o ve své důsledku znaená, že deternant je roven nebo - a nverzní atce je atcí transponovanou U = U, V = V. σ jsou vlastní čísla atce jsou vlastní vektory AA resp. A A AA nebo A A a sloupce atc U a V, u a v odpovídající vlastní číslů σ. Jedna věta bez důkazu: Rozklad na sngulární hodnoty SVD exstuje pro každou atc. Další nforace o SVD a zejéna o její pleentac lze získat v publkac [Press-95], podrobnější teoretcké pozadí v [Golub-96]. V kaptolách (A.-A.3) s předvedee několk algebrackých probléů, které je ožno užtí SVD vyřešt. Metoda SVD á vel šroké uplatnění, příklade ůže být její aplkace př hledání korespondencí ve stereo-vdění [Scott-9] nebo použtí v etodě projektvní rekonstrukce [Stur-96]. 90

92 A. Řešení soustavy hoogenních rovnc Hledáe nenulový vektor x, který nejlépe řeší hoogenní soustavu Ax = 0, tedy nalzuje Ax. Nejprve provedee SVD rozklad A = USV. Je-l V = [ v... v ] atce vlastních vektorů, pak v je vlastní vektor korespondující nejenšíu vlastníu číslu a zároveň řešení hoogenní soustavy. edy řešení je x = v. Chyba tohoto řešení ε = Ax je rovna nejenší sngulární hodnotěσ. Je-l počet nezávslých řádek atce A roven počtu sloupců je nalezené řešení přesné. Je-l enší (nedourčená soustava), nebo větší (přeurčená soustava) je nalezené řešení nální ve syslu etody nejenších čtverců. A. Pseudnverze a řešení soustavy nehoogenních rovnc Inverze A atce A exstuje pouze je-l atce A čtvercová a á plnou hodnost, pak řešení Ax = b je x = A b. Pseudonverze A + je zobecnění nverze a + exstuje pro lbovolnou (, n) atc. Rovnce Ax = b á řešení x = A b, dokážee-l určt pseudonverz atce ůžee tedy řešt hoogenní soustavu. Výpočet pseudonverzní atce poocí SVD: Nejprve provedee SVD rozklad A = USV. Pseudonverzní atc získáe jako: S = A = VS U (A..) Protože atce S = dag( σ,..., σ r ) je dagonální ( / σ,..., / σ ), je-l σ = 0, položíe (, j) = 0 dag r S. S určíe jednoduše jako A.3 Snížení hodnost atce Nejprve provedee SVD rozklad A = USV, kde S dag( σ, σ,..., σ r ) =. Poža- S = dag σ,..., σ,0,...0 dujee-l, upravt atc A na hodnost h, vytvoříe atc ( ) a opět složíe do atce h. (A.3.) A = US V Protože atce S á hodnost axálně h a atce U a V jsou ortonorální, jejch hodnost je n (resp. ) < h, výsledná atce A bude ít hodnost rovnu hodnost atce S (tedy <= h ). 9

93 íto postupe vytvoříe atc A s požadovanou hodností a zároveň nalzujee Frobenovu noru A A. Frobenova atcová nora je obdobou L nory pro vektory a je defnována jako: F X = n x F j = j=. (A.3.) A.4 Rozklad Q=A A Potřebujee-l rozložt atc Q na součn A A, je nutnou podínkou, aby atce Q ěla kladná čísla na dagonále a byla syetrcká, deální případe je syetrcká poztvně defntní atce. Matc Q ůžee rozdělt SVD rozklade na Q = USV, splňuje-l Q popsané podínky, pak platí, že U = V. Dekoponujee-l atc S na S = S S, protože je S dagonální postačuje k získání S odocnt všechny prvky S. Pak ůžee psát Q = USU = US {{ S U = AA. (A.4.) A A 9

94 Příloha B Prograátorský anuál Před prostudování prograátorského anuálu je dobré, alespoň zhruba prostudovat anuál užvatelský (příloha (C)), ve které čtenář získá představu o vzhledu prograu a bude snazší pochopt jak funguje prograová část. Protože jazyk C# uožňuje autoatcky generovanou dokuentac z koentářů v prograu, je tato uístěna na přložené CD. V této kaptole se tedy budee zabývat pouze prncpální popse jednotlvých tříd. Progra ůžee rozdělt do tří částí. GUI 7 - Wndows aplkace (okna). Zajšťuje otevírání a úpravu obrázků a sekvencí obrázků, dále slouží k zobrazení panelu nástrojů a spouštění vlastních algortů.. Panely nástrojů. Panel nástrojů je zobrazen v hlavní okně a ění se v závslost na vybrané etodě, tedy každá etoda á vlastní forulář, který se autoatcky zobrazuje př výběru etody. 3. Vlastní algortcká část. Obsahuje konkrétní algorty, které jsou strktně odděleny od GUI (část ) a jsou spouštěny z příslušného panelu nástrojů, který j přpraví data zobrazená v GUI. Dále obsahuje pleentac etody SVD (vz příloha (A)) a knhovnu pro atcové operace. Vstupní etoda prograu je uístěna ve třídě ManClass, která pouze spouští hlavní okno ManFor, vz (B.) GUI. Progra o základních funkcí uí také konvertovat vdeo ve forátu av na btapy, pleentace této část aplkace byla získána z [Šeda-04]. B. GUI řída ManFor reprezentuje hlavní okno, aplkace byla vytvořena jako MDI 8. ato třída obsahuje otevírání souborů ovládání některých funkcí (úprava obrázků), zajšťuje správný kontext panelu nástrojů a správné vykreslení dokuentů. Pravděpodobně nejdůležtější třídou tohoto bloku je třída PctureControl, která zajšťuje nejen vzualzac obrázků (nebo sekvence obrázků) ale zároveň uožňuje vzualzovat detekované body, korespondence. Další podstatnou vlastností třídy PctureControl je, že ve spoluprác s některý nástroj uožňuje zadávat body, korespondence, apod. Výsledky rekonstrukce jsou zobrazeny v PctureControl3D, který využívá OpenGL. PctureControl3D vzualzuje nožnu rekonstruovaných bodů. Do GUI dále zahrnujee několk dalších podpůrných dalogů pro výběr otevřených souborů IagesSelecton, pro konverz vdea na obrázky AvBp, atd. Příklady těchto dalogů naleznete v užvatelské anuálu (příloha (C)). 7 GUI Graphcs User Interface Grafcké užvatelské rozhraní 8 MDI Mult Docuent Interface Hlavní okno obsahuje dokuenty (vz užvatelský anuál, příloha (C)) 93

95 Z prograátorského hledska není tato část njak zajíavá (jde pouze o hrubou prograátorskou prác) a není tedy potřeba podrobně j rozebírat. B. Panely Nástrojů Panel nástrojů je vzuální rozhraní ez GUI a algortckou částí. Panely nástrojů jsou zděděny od třídy oolcontrol. Panel nástrojů uožňuje nastavt paraetry etody ke které přísluší. Dále zajšťuje vstupy algortů, tedy konverguje data (obrázky, body, korespondence) z podoby jakou ají v aktvní PctureControlu do podoby požadované daný algorte. Například vstupe Bodového detektoru je dvourozěrné pole, zatíco v PctureControlu je obraz reprezentován objekte Btap, je tedy potřeba příslušné pole z btapy získat. Pro každý algortus exstuje právě jeden nástrojový panel, následuje sezna jednotlvých nástrojových panelů: ManPontSelectonControl Nástroj pro anuální výběr a azání bodů. ManCorrControl Nástroj pro anuální výběr korespondujících bodů. HarrsControl Rozhraní pro Harrsův detektor, uožňuje nastavt paraetry Harrsova detektoru, vybrat sníky, na kterých se á detekce provést a provedení vlastní detekce. MEMParsControl Rozhraní pro algortus MEM-Pars, tj. hledání korespondencí. Pracuje s detekovaný, nebo zadaný body. RANSACControl Rozhraní pro algortus RANSAC, tj. robustní vylepšení odhadu korespondencí. Pracuje s detekovaný, nebo zadaný korespondence. PRecControl Rozhraní pro algortus Projektvní rekonstrukce. Výstup není ožno vzualzovat, je tedy vytvořen PctureControl3D, který nc neobsahuje, pouze obsahuje vypočtená data MRecControl Rozhraní pro algortus Metrcké rekonstrukce. Vstupe je výsledek projektvní rekonstrukce v aktvní PctureControl3D, výstup je zobrazen přío v PctureControl3D-u, ze kterého byla získána vstupní data. 94

96 B.3 Algortcká část ato část obsahuje etody, které se přío zabývají jednotlvý kroky rekonstrukce. Algortcká část je zcela oddělena od GUI, což uožňuje jednoduchou výěnu, nebo přdání nových etod. Soubory Vector, Matrx, SVD, obsahují třídy a etody které jsou nezbytné pro snazší prograování ateatcky založených algortů, např. násobení atc, výpočet nverzní atce,.... řída IProcessng obsahuje několk základních funkcí pro úpravu obrázků: konvoluce, dlatace, apod.. Hlavní pleentované algorty jsou reprezentovány následující třída Harrs Algortus detekující body na šedotónové obrázku. Vstupe je dvourozěrné pole, ntegrační ěřítko, dervační ěřítko a axální povolený počet korespondencí výstupe je pak pole obsahující nalezené body. MEMPars Algortus hledající ncalzační korespondence na dvou snících. Vstupe je trojce polí (sníky) a detekované body na každé sníku. Výstupe jsou pak nalezené korespondence. RANSAC Algortus na robustní zpřesnění nalezených (zadaných) korespondencí. Vstupe jsou pouze korespondence, výstupe jsou ty korespondence, které vyhovují nalezenéu odelu PRec MRec Algortus projektvní rekonstrukce, vstupe jsou korespondence získané RANSACE, nebo anuálně zadané. Výstupe jsou projektvně transforované atce kaer a pole 3D bodů. Algortus etrcké rekonstrukce, vstupe je výsledek rekonstrukce projektvní. Výstupe jsou etrcky transforované atce kaer a pole 3D bodů. eoretcké pozadí pleentovaných etod je ožno nalézt v příslušných kaptolách (4, 5, 6). Progra byl vytvořen tak, aby bylo jednoduchý způsobe přdávat další nástroje, nebo upravovat nástroje exstující. 95

97 Příloha C Užvatelský anuál k prograu Aplkace nepotřebuje žádnou specální nstalac, stačí spustt soubor rekonstrukce.exe. Progra je napsán v jazyce C#, k jeho funkc je tedy potřeba ít nanstalován.net Fraework. 9. Po spuštění prograu se otevře hlavní okno aplkace, vz obrázek (C.) Obrázek C.: Hlavní okno aplkace. Na obrázku (C.) vdíe lštu hlavního enu a dva nástrojové panely. Hlavní enu a Nástroje # se neění, panel Nástroje # je závslý na vybrané nástroj, ění se tedy s tí jaký nástroj je vybrán. V panelu Nástroje # je ožno nastavt jednotlvé paraetry vybrané etody, například na obrázku (C.) je vybraný nástroje Harrsův detektor 9.Net Fraework. je ožno stáhnout z URL= 96

98 Pops hlavní nabídky Nástrojové panely je ožno vypnout, nebo zapnout v hlavní enu: Zapne/Vypne panel nástrojů # Zapne/Vypne panel nástrojů # Obrázek C.: Vypínání a zapínání nástrojových panelů. Podrobný pops jednotlvých položek enu je názorně zobrazen na následujících obrázcích (C.3, C.4): Otevře soubor s obrázke Uloží aktvní obrázek Uloží aktvní obrázek ve zvolené forátu Otevře sekvenc obrázků Otevře dalog pro konverz vdea na obrázky Ukončí progra Ukládá nebo načítá detekované body, korespondence a zadané čáry Obrázek C.3: Pops jednotlvých položek v nabídce Soubor. Zavře všechny otevřené dokuenty Uspořádá dokuenty vybraný způsobe, Obrázek C.4: Pops jednotlvých položek v nabídce Okna. 97

99 Vyberee-l v nabídce Soubor ožnost Vytvoř sekvenc z otevřených souborů otevře se následující dalog, ve které s vyberee některé z otevřených souborů, které se ná spojí do sekvence: Obrázek C.5: Výběr několka z otevřených obrázků. Vyberee-l v nabídce Soubor nabídku Konverze (*.av) na (*.bp) otevře se standardní okno na otevírání dokuentů a po výběru souboru se zobrazí následující dalog: Obrázek C.6: Převod z vdea ve forátu av na obrázky. 98

100 je: Jž několkrát jse se zínl o sekvenc souborů, nyní s ukážee co to vlastně Sekvence souborů je několk sníků uístěných v jedno okně, zobrazení ůžee přepínat ez vertkální a horzontální zobrazení. Sekvence obrázků ukazujee na obrázcích (C.7). Obrázky C.7: Ukázka sekvencí obrázků. Pro načítání sekvencí ze souborů je potřeba nejprve zvolt Soubor Otevřít sekvenc souborů v dalogu na otvírání souborů vybrat více souborů vz obrázek (C.8). Obrázky C.7: Otevření sekvence souborů. 99

101 Pops panelu Nástroje # Upraví velkost otevřeného dokuentu (všech dokuentů) na orgnální velkost Zavře aktvní (všechna) okna Uožňuje vypnout vykreslování detekovaných bodů, korespondencí a čar Přepíná ez horzontální a vertkální sekvence Obrázek C.9: Pops panelu nástrojů # Panel Nástrojů # Obsah panelu nástrojů se ění podle toho, který z nástrojů je vybraný. Vybírat ůžee jeden z následujících nástrojů:. Harrsův bodový detektor. Manuální výběr korespondencí 3. Manuální zadávání/azání bodů 4. Autoatcké hledání korespondencí MEM-Pars 5. Autoatcké hledání korespondencí RANSAC 6. Projektvní rekonstrukce 7. Metrcká rekonstrukce Každý z těchto nástrojů á svá specfka a jejch ovládání je vel ntutvní. 00

102 Na závěr ukážee jak vypadá progra v plné provozu, tedy se zadaný korespondence, detekovaný body, atd.. Obrázek C.0: Ukázka aplkace za chodu. 0