Metody Počítačového Vidění (MPV) - 3D počítačové vidění Projektivní geometrie dvou pohledů Ing. Zdeněk Krňoul, Ph.D. Katedra Kybernetiky Fakulta aplikovaných věd Západočeská univerzita v Plzni Metody Počítačového Vidění (MPV) - 3D počítačové vidění
Obsah přednášky Perspektivní kamera model kamery kalibrace kamery rozklad matice projekce Projektivní geometrie dvou pohledů Epipolární geometrie Epipolární podmínka Fundamentální matice Odhad pohybu kamery 3D rekonstrukce Metody Počítačového Vidění (MPV) - 3D počítačové vidění 1 / 51
Perspektivní kamera obecný model perspektivní kamery slouží k popisu projekce 3D prostoru do 2D prostoru (obrazová rovina) vždy se jedná o středovou projekci Pozn. speciální případ... střed projekce leží v nekonečnu afinní kamera a jde o zobecnění tzv. paralelní projekce Metody Počítačového Vidění (MPV) - 3D počítačové vidění 2 / 51
projekce bodu X = (x, y, z) do obrazové roviny π souřadné osy (u, v) počátek souřadného systému světových souřadnic je v bode C vzdálenost obrazové roviny od tohoto bodu je tzv. ohnisková vzdálenost f Metody Počítačového Vidění (MPV) - 3D počítačové vidění 3 / 51
model kamery je reprezentován maticí P o velikosti 3 4 tzv. maticí projekce libovolný bod v prostoru se transformuje do obrazové roviny pouhým násobením maticí projekce: m = PX (1) a maticově zapíšeme jako: x m 1 f 0 0 0 m 2 = 0 f 0 0 y z (2) m 3 0 0 1 0 1 Metody Počítačového Vidění (MPV) - 3D počítačové vidění 4 / 51
Přechod z homogenní reprezentace: normalizujeme (na jedničku) třetí homogenní souřadnici [ m 1 m 3, m 2 m 3, 1] T... pak vlastně modeluje výpočet projekce takto: m 1 m 3 = fx z = u, m 2 m 3 = fy z = v, m 3 m 3 = 1 pro m 3 0 (3) říkáme, že vyjádříme bod v obraze Proč to tak je? ukázka přepočtu projekce za pomoci podobnosti trojúhelníků, náhled os (Y,Z) a obdobně platí pro (X,Z) Metody Počítačového Vidění (MPV) - 3D počítačové vidění 5 / 51
Model obecné kamery (matice P) zahrnuje další prvky (celkem 5 vnitřních a 6 vnějších parametrů), které poskytují další stupně volnosti projekce: posun počátku souřadnic obrazové roviny do levého horního rohu kompenzace nepravoúhlosti os senzoru. fk u fk u coth(θ) u 0 0 P = 0 fk v / sin(θ) v 0 0 resp. 0 0 1 0 fk u fk u coth(θ) u 0 K = 0 fk v / sin(θ) v 0 je kalibrační matice kamery 0 0 1 Metody Počítačového Vidění (MPV) - 3D počítačové vidění 6 / 51
+ 6 vnějších parametrů (3 krát rotace kolem třech základních os a posun kamery, resp. souřadnice středu promítání) posun a otočení počátku souřadnic světových souřadnic X = R(X camera C), kde R T R = I je matice rotace kamery oproti světovým souřadnicím Metody Počítačového Vidění (MPV) - 3D počítačové vidění 7 / 51
vše dohromady definuje obecný předpis pro perspektivní kameru, a projekce bodu je: m = KR[I, C]X přepisem můžeme vyjádřit jako: P = KR[I, C] (4) P = K[R, t] kde t = RC (5) perspektivní kamera má 11 stupňů volnosti: 1x ohnisková vzdálenost v pixelech + 1x poměr stran pixelu + 1x zkosení os + 2x počátek obrázku + 3x posun + 3x rotace kamery= 11 DOF (degree of freedom) Metody Počítačového Vidění (MPV) - 3D počítačové vidění 8 / 51
Kalibrace kamery z mnoˇziny zn am ych bod u - Camera resection Metody Poˇ c ıtaˇ cov eho Vidˇ en ı (MPV) - 3D poˇ c ıtaˇ cov e vidˇ en ı 9 / 51
kalibrace kamery je numerická metoda pro určení matice projekce P vyžaduje pozici prostorového bodu a jeho projekci do obrazové roviny z několika těchto dvojic můžeme určit matici projekce pro každý pár X i x i musí být splněna projekce x i = PX i pro i = 1 : N Poznámka 1: Předpokladem je linearita projekce tak jak je zmíněna a neuvažuje se distorze obrazu daná například čočkou objektivu Poznámka 2: Postup hledání projekční matice je velmi podobný hledání matice pro projektivní transformaci (rozdíl je pouze v rozměru matic) P a H Metody Počítačového Vidění (MPV) - 3D počítačové vidění 10 / 51
pro každou dvojici X i x i můžeme napsat vztah: 0 T w i X T i y i X T i p 1 w i Xi T 0 T x i X T i p 2 = 0 (6) y i X T x i X T i 0 T p 3 x i = (x i, y i, w i ) a p T 1 je první řádek matice P, podobně druhý a třetí řádek jsou složeny do sloupcového vektoru neznámých veličin o rozměru 1 12 podobně můžeme uvažovat pouze první dva řádky soustavy rovnic... třetí řádek je lineárně závislý na prvních dvou. Tedy: [ 0 T w i X T i y i X T i w i Xi T 0 T x i X T i ] 1 p p 2 = 0 (7) p 3 Metody Počítačového Vidění (MPV) - 3D počítačové vidění 11 / 51
pro množinu n známých prostorových bodů a jejich projekcí získáváme matici A velikosti (2n) 12 0 T X T 1 y 1 X T 1 X1 T 0 T x 1 X T 1 A =... (8) 0 T X T n y n X T n Xn T 0 T x n X T n řešením této soustavy (Ap = 0) získáme vektor p a tedy potřebné řádky matice projekce P. matice P má 12 prvků a 11 stupňů volnosti (není modelováno měřítko, k-násobek matice je stejná projekce) z každého prostorového bodu získáváme dvě rovnice teoreticky nám stačí pro DOF 11 přesně 5,5 prostorových bodů pak existuje jedno řešení pravý nulový prostor matice A Metody Počítačového Vidění (MPV) - 3D počítačové vidění 12 / 51
však nepřesnosti měření těchto bodů získáváme však pře-určenou soustavu rovnic... rank(a) = 9 hledáme řešení s nejmenší chybou (algebraickou nebo geometrickou) v základu proto použijeme SVD rozklad, nalezneme řešení s nejmenší algebraickou chybou... Ap = ɛ SVD minimalizuje Ap s podmínkou p = 1 tedy ɛ min a pokud A = UDV T a σ 12 σ 11 pak řešení p odpovídá poslednímu řádku matice V a ɛ = σ 12 Metody Počítačového Vidění (MPV) - 3D počítačové vidění 13 / 51
Existují jisté degenerativní konfigurace prostorových bodů, pro které nelze určit řešení a tedy matici projekce. Nejzávažnější jsou tyto: střed projekce kamery a prostorové body leží na twisted cubic kalibrační prostorové body leží v jedné rovině a na přímce, která prochází středem projekce aj. Metody Počítačového Vidění (MPV) - 3D počítačové vidění 14 / 51
Radiální zkreslení - Radial distorsion Všechny předchozí vztahy platí pro případ, že projekce je ideální středové promítání skutečný přístroj (fotoaparát nebo kamera) obsahuje čočku, která způsobuje více či méně jev, že prostorové přímky nejsou promítány na přímky v obraze - tzv. radiální zkreslení tento jev narůstá důležitosti s klesající ohniskovou vzdáleností a cenou objektivu Metody Počítačového Vidění (MPV) - 3D počítačové vidění 15 / 51
korekci zkreslení souřadnic obrázku můžeme přespat jako: ˆx = x c + L(r)(x x c ) ŷ = y c + L(r)(y y c ) (x, y) je bod v obraze který je podřízen radiálnímu zkreslení (xc, y c ) střed radiálního zkreslení r je radiální vzdálenost od středu radiálního zkreslení x 2 + y 2 L(r) je funkce popisující zkreslení, parametrem je vzdálenost od středu aproximaci funkce L(r) můžeme zvolit: L(r) = 1 + κ 1 r + κ 2 r 2 + κ 3 r 3 +... parametry popisující radiální zkreslení jsou pak (κ 1, κ 2, κ 3,... ), x c, y c Pozn. střed radiálního zkreslení může být zvolen principal point... projekce středu projekce do obrazu Metody Počítačového Vidění (MPV) - 3D počítačové vidění 16 / 51
určení funkce L(r) je často provedenou současně s výpočtem projekční matice (je zahrnuta do minimalizačního procesu) chybová veličina pak určuje odchylku skutečných bodů kalibračního obrazce v obraze od bodů popsaných lineární transformací Pozn. obdobně mohou být parametry radiálního zkreslení určeny během výpočtu homografie Metody Počítačového Vidění (MPV) - 3D počítačové vidění 17 / 51
Rozklad matice projekce P metodou kalibrace kamery získáváme přímo projekční matici P jako celek (tedy matici 3 4) matici můžeme použít pro případnou 3D rekonstrukci a není bezprostředně nutné znát jednotlivé vnitřní a vnější parametry kamery pokud však tyto parametry potřebujeme určit, musíme získanou projekční matici rozložit do zmíněného maticového součinu tedy víme, že P = KR[I, C] Metody Počítačového Vidění (MPV) - 3D počítačové vidění 18 / 51
dále matici budeme značit jako: P = [Q, q] KR[I, C], kde Q = KR R 3,3 je čtvercová matice, pro perspektivní kameru má plnou hodnost q R 3,1 střed systému světových souřadnic K R 3,3 je čtvercová matice horní trojúhelníková R R 3,3 je čtvercová matice rotace, je ortogonální (R 1 = R T a tedy R T R = I) pozn. vektory sloupců takové matice mají jednotkovou normu a jsou na sebe kolmé Metody Počítačového Vidění (MPV) - 3D počítačové vidění 19 / 51
Pro určení vnitřních parametrů můžeme například použít QR rozklad, resp. variantu RQ z teorie je RQ rozklad je dekompozice nějaké matice A tak, že platí A = RQ za podmínky, že R je horní trojúhelníková matice a Q je ortogonální matice (Nezaměnit s naším označením pro matice Q a R!) jednou z možností takového rozkladu je použití Givensových rotací postupně uvažujeme násobení matice Q (ta naše co vznikla z matice P) zprava maticemi R 1, R 2 a R 3 tak, aby platilo: c s 0 K = QR 1 R 2 R 3, R 1 = s c 0 0 0 1 kde c 2 + s 2 = 1 apod. R 2 a R 3 Metody Počítačového Vidění (MPV) - 3D počítačové vidění 20 / 51
Rotace kamery oproti světovým souřadnicím: c s 0 K = QR 1 R 2 R 3, R 1 = s c 0 0 0 1 chceme tedy na levé straně dostat horní trojúhelníkovou matici postupně tedy, hledám nejprve úhel reprezentovaný maticí R 1 na pozici Q 32 byl nulový. Pak hledám druhý úhel matice R 2 tak, aby prvek na pozici Q 31 byl nulový nakonec najdu třetí úhel v matici R 3, aby i třetí prvek pod diagonálou byl nulový, tedy prvek Q 21 máme tedy 3 vnější parametry... rotaci kamery ve světových souřadnicích Metody Počítačového Vidění (MPV) - 3D počítačové vidění 21 / 51
Ohnisková vzdálenost, posun počátku obrázku a kolmost os obrázku: přenásobením původní matice Q zprava všemi třemi získanými maticemi získávám kalibrační matici K a tedy potažmo i vnitřní parametry kamery: ohnisko, velikost pixelu, posun počátku obrázku a úhel os obrázku tedy K = QR 1 R 2 R 3 Metody Počítačového Vidění (MPV) - 3D počítačové vidění 22 / 51
Optický střed: poslední 3 vnější parametry jsou pro posun kamery od počátku světových souřadnic optický střed má tu vlastnost, že projekce tohoto bodu (C) je nulová pak PC = 0 a C jsou prostorové souřadnice středu projekce můžeme odvodit [ vztah ] pro určení optického středu jako: C 0 = PC = [Q, q] = QC + q C = Q 1 1 q Metody Počítačového Vidění (MPV) - 3D počítačové vidění 23 / 51
Uved me ještě další vlastnosti z odvozené matice projekce, které nejsou vnitřní ani vnější parametry kamery: optický paprsek optická rovina vztah optická rovina a optický paprsek... Metody Počítačového Vidění (MPV) - 3D počítačové vidění 24 / 51
Optický paprsek: optický paprsek je vektor, který směřuje z optického středu (C) směrem k prostorovému bodu (X ) v obrazové rovině pak určuje bod m bod v prostoru je dán jako: X = C + λd = C + λq 1 m d = Q 1 m (9) Metody Počítačového Vidění (MPV) - 3D počítačové vidění 25 / 51
Optická rovina: optická rovina je prostorová rovina, procházející optickým středem a určující přímku v obrazové rovině. potom optický paprsek daný bodem m je d = Q 1 m druhý paprsek jako d = Q 1 m Metody Počítačového Vidění (MPV) - 3D počítačové vidění 26 / 51
po dosazení získáme vztah pro normálový vektor optické roviny jako: p = d d = Q T (m m ) = Q T n Poznámka: optický paprsek z tohoto pohledu je si možné představit také jako průsečík dvou optický rovin Metody Počítačového Vidění (MPV) - 3D počítačové vidění 27 / 51
Shrnutí q T 1 q 14 P = [Q, q] = q T 2 q 24 = KR[I, C] q T 3 q 34 fk u fk u coth(θ) u 0 α x s x 0 K = 0 fk v / sin(θ) v 0 = 0 α y y 0 0 0 1 0 0 1 R... orientace kamery, ortogonální matice 3 3 C = rnull(p)... optický střed d = Q 1 m... optický paprsek det(q)q 3... optická osa Qq 3... principal point p = Q T n... optická rovina (n je přímka v obrazové rovině) Metody Počítačového Vidění (MPV) - 3D počítačové vidění 28 / 51
Projektivní geometrie dvou pohledů projektivní geometrie může být dále rozšířena v případě, že máme dva pohledy na stejnou scénu z různých směrů dva pohledy mohou být získány souběžně v jeden okamžik (dva přístroje) nebo jedním přístrojem postupně za sebou (pohyb přístroje před objektem) podobně pohyb objektu před přístrojem (stejné) tyto úlohy jsou duální a vedou na stejné řešení Metody Počítačového Vidění (MPV) - 3D počítačové vidění 29 / 51
první a druhý pohled je popsán maticí projekce P resp. P označení použije pro druhý pohled dále platí... x = PX a x = P X body v obraze x a x jsou tzv. sobě korespondující body protože pocházejí projekcí od stejného prostorového bodu X projektivní geometrie dvou pohledů umožňuje řešit následující skupiny problémů: geometrie korespondence - pro daný bod x nás zajímá, v jaké části v druhém obrazu je jeho korespondent x geometrie pohybu kamery - známe množinu sobě korespondujících obrazových bodů a zajímá nás, jaký pohyb je kamery (tedy pohyb mezi snímkem jedna a dva) geometrie trojrozměrné scény - opět známe sobě korespondující obrazové body a zajímá nás jejich pozice ve 3D Metody Počítačového Vidění (MPV) - 3D počítačové vidění 30 / 51
Epipolární geometrie epipolární geometrie popisuje vzájemný vztah dvou pohledů na scénu všechny vztahy a výpočty epipolární geometrie jsou nezávislé na geometrii scény závisí pouze na vnitřních parametrech daných dvou pohledů a na jejich vzájemné pozici Metody Počítačového Vidění (MPV) - 3D počítačové vidění 31 / 51
b je báze, spojnice středů kamer b = C 2 C 1 epipól e i π i je obraz středů v obrazové rovině, e 1 = P 1 C 2 a e 2 = P 2 C 1 l i π i je obraz roviny (epipolární roviny) spojující prostorové body ɛ = (C 2, X, C 1 ) l i je epilopární přímka Metody Počítačového Vidění (MPV) - 3D počítačové vidění 32 / 51
Epipolární podmínka vychází z podmínky, že d 1, d 2 a b leží v jedné rovině epipolární geometrii je možné zcela zahrnout do jedné 3 3 matice, tzv. fundamentální matice obrazový bod x v prvním pohledu a bod x z druhého pohledu jsou projekce společného bodu X pak platí: x T Fx = 0 (10) tento vztah se nazývá epipolární podmínka matice F se nazývá fundamentální matice Metody Počítačového Vidění (MPV) - 3D počítačové vidění 33 / 51
pokud F popisuje vztah kamer P 1 a P 2 pak transponovaná matice F T pak popisuje kamery P 2 a P 1 epipolární přímka v druhém obraze je vyjádřena jako l = Fx a podobně l = F T x pro epipól v druhém obraze platí e T F = 0, tedy je to levý nulový prostor fundamentální matice, a podobně pro epipól v prvním obraze Fe = 0 je pravý nulový prostor. Metody Počítačového Vidění (MPV) - 3D počítačové vidění 34 / 51
Fundamentální matice fundamentální matice F je čtvercová homogenní matice velikosti 3 3 hodnost matice je 2, je singulární (det(a) = 0), a má 7 stupňů volnosti má pravý a levý nulový prostor, které odpovídají epipólům fundamentální matice může být určena numerickým výpočtem pouze z několika sobě korespondujících bodů princip výpočtu vychází ze zmíněné epipolární podmínky, která musí platit pro každý pár bodů Metody Počítačového Vidění (MPV) - 3D počítačové vidění 35 / 51
Určení fundamentální matice mějme tedy několik sobě korespondujících bodů x x necht platí epipolární podmínka x Fx = 0 pokud je x = (x, y, 1) a x = (x, y, 1), pak epipolární podmínku můžeme pro jeden pár rozepsat jako: x xf 11 +x yf 12 +x f 13 +y xf 21 +y yf 22 +y f 23 +xf 31 +yf 32 +f 33 = 0 (11) tento vztah určuje sloupcový 9 1vektor f f představuje postupně řádky matice F parametry předchozí rovnice formují jeden řádek (rovnici) lineární soustavy rovnic (x x, x y, x, y x, y y, y, x, y, 1) (12) Metody Počítačového Vidění (MPV) - 3D počítačové vidění 36 / 51
pro n vzájemné korespondujících bodů v prvním a druhém obraze získáme maticový zápis n rovnic : x 1 x 1 x 1 y 1 x 1 y 1 x 1 y 1 y 1 y 1 x 1 y 1 1 Af =......... f=0 x nx n x ny n x n y nx n y ny n y n x n y n 1 (13) pokud je hodnost matice A právě 8, pak existuje právě jedno netriviální řešení, což je pravý nulový prostor matice A v důsledku přítomnosti šumu je tato soustava přeurčená a tedy často nemá řešení základní postup nalezení odhadu řešení je výpočet takového f s nejmenším kvadrátem chyby... postup je totožný s postupem použití SVD rozkladu např. při určení homografie tedy minimalizujeme normu Af s podmínkou měřítka f = 1 v tomto kontextu nalezení řešení používáme označení 8-bodový algoritmus. Metody Počítačového Vidění (MPV) - 3D počítačové vidění 37 / 51
I pokud nen ı F singul arn ı (rank(f > 2)), pak se epipol arn ı pˇr ımky neprot ınaj ı v jednom bodˇe (chyba) I pro zajiˇstˇen ı hodnosti 2 m uˇzeme prov est znovu SVD rozkladu opravenou F0 z ısk ame zpˇetnˇe pˇren asoben ım F = UDVT, kde uprav ıme D = diag (r, s, t) s t ım r s t a fundament aln ı matice F0 = Udiag (r, s, 0)VT minimalizuje Frobeniovu normu F F0 a jedn a se o nejbliˇzˇs ı singul arn ı matici k p uvodn ı matici F I I Metody Poˇ c ıtaˇ cov eho Vidˇ en ı (MPV) - 3D poˇ c ıtaˇ cov e vidˇ en ı 38 / 51
Další možnosti zpřesnění nalezeného odhadu řešení fundamentální matice: A je obecně předurčena ke špatné numerické stabilitě výpočtu, protože A je špatně podmíněná (velká rozdílnost prvků... v řádech) proto se často matice před vlastním výpočtem normalizuje tzv. umělé snížení rozdílnosti její prvků další úprava pro zvýšení robustnosti výpočtu fundamntální matice je použití pouze 7 bodů a následný postprocesing (tzv. 7 bodový algoritmus) Metody Počítačového Vidění (MPV) - 3D počítačové vidění 39 / 51
Automatický výpočet fundamentální matice často nemáme jistotu, že všechny nalezené páry jsou korespondenti (jsou nalezeny automaticky) pak musíme použít nějakou metodu iterativního zkoušení a hledání řešení, např.: použití Least median of squared residuals (LMedS) (r. 1984), metoda předpokládá alespoň 50 % všech párů jsou správní korespondenti, nebo Random Sample Consensus (RANSAC) (r. 1981) až 90 % bodů může být špatně korespondující Metody Počítačového Vidění (MPV) - 3D počítačové vidění 40 / 51
Esenciální matice historicky byla esenciální matice popsána dříve než matice fundamentální (r. 1981) tato matice má méně stupňů volnosti než fundamantální matice, jen 5 stupňů volnosti označme projekční matice obou pohledů jako: P = K[I, C 1 ] P = K R[I, (C 1 + b)] a vektor b = (b 1, b 2, b 3 ) matice R představuje relativní rotaci druhé kamery vůči kameře první a vektor b je posun středu druhé kamery od první kamery x T Fx = x T K T EK 1 x = 0 (14) matice E se nazývá esenciální matice a tedy F = K T EK 1 (15) Metody Počítačového Vidění (MPV) - 3D počítačové vidění 41 / 51
a naopak přenásobením kalibrační maticí zprava a zleva získáme vztah pro výpočet esenciální matice z fundamentální matice jako: pro esenciální matici dále platí: E = K T FK (16) E = RS(b) (17) kde S(b) je antisymetrická matice: 0 b 3 b 2 S(b) = b 3 0 b 1 (18) b 2 b 1 0 esenciální matice zachycuje relativní pozici druhé kamery oproti první kameře hodnost matice rank(e) 2 (5 stupňů volnosti = 3 rotace + 3 translace -1 nejednoznačnost rozkladu - první dvě vlastní čísla jsou stejné a třetí je nulové Metody Počítačového Vidění (MPV) - 3D počítačové vidění 42 / 51
Odhad pohybu kamery odhad pohybu kamery spočívá v určení vektoru báze b a matice rotace R ze známé množiny korespondujících bodů k 8 jde tedy o nalezení a rozklad esenciální matice v základu může být esenciální matice určena z fundamentální matice použitím kalibračních matic obou pohledů pokud neznámě tyto dvě projekční matice... odhad esenciální matice stejným způsobem jako odhad fundamentální matice jak? Pokud první pohled platí P = K[R t] a platí, že x = PX pak použijeme vztahu reprojekce s kalibrační maticí a získáme bod ˆx = K 1 x, který nazýváme bod v normalizovaných souřadnicích jinými slovy bod v těchto souřadnicích získáme projekcí s jedničkovou kalibrační maticí I (ohnisková vzdálenost je 1) a bod měřený v obraze vydávat za tento bod Metody Počítačového Vidění (MPV) - 3D počítačové vidění 43 / 51
potom pro projekci mluvíme o matici normalizované kamery, ztrácíme měřítko. dostaneme první pohled jako P = [I 0] a druhý pohled se stejnou projekcí, ale s pootočením a posunem je P = [R b] epipolární podmínka pro formulování rovnic získá tvar: ˆx T Eˆx = 0 (19) esenciální matici pak můžeme určit stejným postupem jako matici fundamentální, např. 8-bodovým algoritmem Metody Počítačového Vidění (MPV) - 3D počítačové vidění 44 / 51
Rozklad esenciální matice rozklad esenciální matice na E = SR použijeme známý SVD rozklad nejprve si definuje pomocné matice 0 1 0 W = 1 0 0 (20) 0 0 1 matice W je ortogonální 0 1 0 Z = 1 0 0 (21) 0 0 0 a matice Z je antisymentrická Metody Počítačového Vidění (MPV) - 3D počítačové vidění 45 / 51
pokud SVD rozklad E = UDV T matice rotace je možné určit dvěma způsoby, bud jako R = UWV T nebo jako R = UW T V T (neznámé znamínko) dále matice S je dána jako S = UZU T resp. b = V(0, 0, β ) T (opět neznámé znamínko) jinými slovy máme dvě možnosti jak určit matici R a dvě možnosti (znaménko) jak určit posun v kombinaci získáme celkem čtyři možná (správná) řešení pro matici P avšak pouze jedno z těchto řešení představuje pozorování scény před oběma pohledy (kamerami). Poznámka: esenciální (fundamentální) matici je možné použít přímo pro 3D rekonstrukci z páru nezkalibrovaných kamer (až r. 1990) Existuje několik postupů a doplňujících podmínek jak získat správnou metrickou rekonstrukci. Metody Počítačového Vidění (MPV) - 3D počítačové vidění 46 / 51
3D rekonstrukce - Linear triangulation pokud známe dvě projekční matice P a P a současně máme korespondující pár, tedy obrazový bod v prvním pohledu x a obrazový bod v druhém pohledu x pak můžeme určit 3D souřadnici neznámého bodu Poznámka: jediné body,které nelze rekonstruovat jsou body ležící na spojnici mezi středy kamer Metody Počítačového Vidění (MPV) - 3D počítačové vidění 47 / 51
pro tento pár musí platit epipolární podmínka, tedy x T Fx = 0 pro bod x můžeme očekávat bod x na epipolární přímce rovina spojující prostorový bod X a středy kamer určuje epipolární přímky v obou pohledech platí x = PX a x = P X a můžeme převést problém na formu AX = 0 měřítko dané homogenní souřadnicí je eliminováno vektorovým součinem např. pro první pohled jako x PX = 0 x(p 3T X) (p 1T X) = 0 y(p 3T X) (p 2T X) = 0 x(p 2T X) y(p 1T X) = 0 Metody Počítačového Vidění (MPV) - 3D počítačové vidění 48 / 51
jen 2 rovnice jsou vždy lineárně nezávislé po vypuštění třetí rovnice dostáváme vztah pro určení matice A složené ze čtyř rovnic (odpovídající dvou bodům) každý bod po dvou souřadnicích korespondenčního páru řešením soustavy získáváme neznámý vektor 4 1 X, tedy 3D rekonstrukci xp 3T p 1T A = yp 3T p 2T x p 3T p 1T (22) y p 3T p 2T Metody Počítačového Vidění (MPV) - 3D počítačové vidění 49 / 51
často měření obsahuje šum a soustava nemá netriviální řešení nalezení nejlepšího odhadu nezámého bodu je podobné předchozím případům tedy SVD rozklad A = UDV T a řešení je poslední sloupec matice V odpovídající nejmenšímu vlastnímu číslu nalezený odhad řešení dehomogenizujeme tak, X = (x 1, x 2, x 3, x 4 ) T poděĺıme poslední (homogenní) souřadnicí, tedy: (x, y, z) T = (x 1 /x 4, x 2 /x 4, x 3 /x 4 ) T Metody Počítačového Vidění (MPV) - 3D počítačové vidění 50 / 51
Algoritmus tzv. řídké 3D stereo rekonstrukce: použiji nějaký detektor významných bodů, detekce tzv. stabilních bodů... invariantních změně a posunu pohledu spočítat lokální deskriptor každého dobu v obou pohledech provést předběžné párování nalezených bodů porovnáním vektorů z deskriptoru nalézt pouze správné korespondenty např. s pomocí metody RANSAC a splněním epipolární podmínky provést 3D rekonstrukci těchto správných korespondentů Metody Počítačového Vidění (MPV) - 3D počítačové vidění 51 / 51