3D metody počítačového vidění, registrace, rekonstrukce

Transkript

1 3D metody počítačového vidění, egistace, ekonstkce účel měření - bezkontaktní měření polohy a vzdálenosti - zjištění/měření postoových ozměů - zjištění 3D tva evezní inženýing modely existjících věcí, modely po vitální ealit - zpostředkovaně ychlost s inomací o časech snímání Typy měření - s apioní znalostí velikost <->poloha - doba let velké vzdálenosti ada, ltazvkové detektoy - tianglace - tva z jas stín, odaz - z hlobky ostosti - inteeenční metody zázněje citlivé metody, malý ozsah hlobky, inteeenční obaz od maxima k maxim je ozdíl jedné vlnové délky ozdíl jeden požek mezi mřížkami eeenční a měřící - volba typ měření se volí podle ozměů objektů, scény a paametů objekt odazivost,

2 z z Point in space ϕ View - camea 2 y x Image pojection plane x Image o point z y x y ω b y View - camea 1 [0,0,0] b z b x Cente o pejection 2 base obecná sestava dvo pohledů po 3D měření Sočásti měření - scéna snímaný posto spojený s eálnými sořadnicemi - snímek výsledný 2D půmět scény pořízení snímačem s optiko 2D jasové pole - pohled dávající postoové paamety pořízených snímků. Repezentováno tansomací sořadnic - kamea čje způsob zobazení scény. Repezentováno vnitřní oientací paamety zobazení - objekty ve scéně deinované svými ozměy a jasovými vlastnostmi - více kame, objektů či pohledů spojených pevno tansomací steeo pá, složitější objekt - pohyb lze přidat ke všem sočástem, včetně kombinací Vstpní data - snímky půměty 3D na 2D - ltazvk 2D řezy - většino centální pomítání díková kamea, někdy ovnoběžné pomítání telecentické objektivy větší hlobka ostosti, méně světla - model kamey - vnitřní oientace zobazovací konstanta, střed pomítání, zkeslení - vnější oientace poloha a smě pohled

3 Poblémy - ztáta 1D inomace při pojekci - velké množství dat, složité zpacování, vyhledávání odpovídajících si objektů - ntnost najít objekty, poblémy s objekty bez jasových přechodů - vliv zkeslení vliv zkeslení na zobazení čtvecové sítě - změna scény přemístěním světel jiné odazy, stíny, elexy - ntnost stanovit paamety kame vnitřní oientaci a vazby kame - pixel odpovídá postoový jehlan - co je v něm se zobazí do pixel - ozlišovací schopnost hoší optiky dochází k ozmazání bodů a tedy jejich nepřesné lokalizaci po výpočty - přesnost čení polohy bod ovlivňje šm - objekty nejso na všech pohledech skyté objekty - jednodšších CMOS nejso všechny body snímány ve stejném čase zkosení obaz, po statické scény

4 Postp vyhodnocení snímání pořízení vstpních dat snímků egistace převod/spojování množin dat do společného systém koodinát. Vyhledání společných objektů na ůzných snímcích. ekonstkce vytvoření obaz/model předlohy Snímání snažíme se aby snímek měl velké množství snadno identiikovatelných a ozpoznatelných objektů snažíme se aby bylo co nejvíce objektů společných ůzným snímkům snímáme v ůzném čase, z ůzného místa, ůznými technikami -> vytvoření báze a tedy získání postoové inomace Registace pevná například snímky místností, domů, kajiny zjišťjeme polohy objektů lineání tansomace nepevná například snímky lidských ogánů hledáme posny v obaze např. hýbající se sdce, plíce, jeden člověk v ůzném čase, zjištění ozdílů daného jedince a nomálového člověka waping, Elastic Image Registation hledáme mapování bodů, oblasí, objeků mezizdojem eeencí a cílem. kombinace metod: - výpomoc obslhy zadá základní množin, nebo vše, řeší kolize - koelace obazová nebo ekvenční doména - významné body - hypotézy po spojování bodů hodnocení podobnosti objektů a kvality výsledk - epipolání geometie pedikce Rekonstkce 3D model plošný, dátový 3D data poze poloha nebo vzdálenost

5 Vnitřní oientace: - paamety zobazovacího systém optická část snímání - konstanta kamey místo ohniskové vzdálenosti, - střed zobazení místo hlavní přímky, pincipal point, - zkeslení většino zjednodšený model nejčastěji adiální zkeslení, - někdy i vliv cesty signál a gabbeů např. posntí jednotlivých řádků opoti sobě. Object x lens Image plane x a b 1 a + 1 b = 1 x h = x' zobazovací ovnice díkové kamey, základní zobazovací model Hlobka ostosti dává vzdálenost v objektovém posto o kteo můžeme objekt posnot, aniž by se ozmazal tj. aby se ideální bod zobazil do více než jednoho zobazovacího element po kožek půmě k je s 1 x x s2 = 2 k + 1 d 2 s =, k d.

6 D je půmě výstpní ppily je dán půmětem nejžšího místa do výstp, d světelnost objektiv dává vliv clony na hlobk ostosti. "ozmazání" objekt je úměné vzdálenosti od zaostřené oviny PSF. Pokd nemá objekt mnoho han, pak se na něj pomítá vzo, kteý je obsahje. Poblémem je že bližší hana může dávat ostost i povch, kteý je vidět za ní. Snímky lze získat také pomocí elektonových mikoskopů malé vzdálenosti. ga je vidět, že tato metoda je vyžitelná po vzdálenosti objektů kolem ohniskové vzdálenosti ob az ov a vzd ale no st objektova vzdalenost ávislost vzdálenosti obazové oviny na vzdálenosti objekt Depth o ocs objekt nebo kamea se pohybjí ve smě optické osy sledje se, kdy jso nejzaostřenější. šířka neboli ostost hany, kteá se zjistí na séii posntých snímků, má extém při zaostření Kalibace kamey: - zjištění hodnot vnitřní oientace kamey po zpřesnění výpočtů,

7 - lze povádět na testovacích vzoech nebo na eálných snímcích opatně, ntný větší počet bodů, nebo se vkládají kalibační body měle policie místo čin, půmyslové měření - Koekce zkeslení dxx,y, dyx,y Y [ x, y] = c, centální pomítání d dc 2 4 = dc = ca3 + ca c adiální zkeslení 2 4 dx = ca3 + ca koekce adiálního zkeslení ve smě koekce dalších složek zkeslení dt =J J2 +...cosα α [ p + 2 p x + 2 p xy][ 1+ P + P...] dx = koekce natočení os a nestejného měřítka dx = δ sin α x.sin + y.cos α α Vnější oientace paamety např. tansomace = tři otace, tři posntí, obecně až 16 paametů popisjící poloh kamey v posto vzájemný vztah sořadné sostavy kamey a světových koodinátů elativní oientace kamey absoltní tansomace báze kalibace systémů zjištění vlastních a vzájemných paametů pvků systém kamey, světla, objekty. Lze povést laboatoně na testovacích vzocích, následně požít ke kontole změny paametů ozladění systém je možné též zjistit během výpočtů

8 Učení 3D z 2D snímk - lze čit 3D inomaci i z jedné pojekce - ntnost apioní znalosti - znalost velikosti > měření vzdálenosti - znalost vzdálenosti > měření velikosti - vyžití homogenních tansomací tansomace 2D 2D Tianglace 3D ekonstkce - zjištění 3D polohy na základě potínání papsků - lze i jeden pohled a znalost měřeného objekt - více pohledů x z x x x x 0 b x základní schéma po měření 3D steeootogammetie s ovnoběžnými optickými osami paalaxa p=x -x bx x = x' p paalaxa úhlová změna pozice způsobená pohybem bx b y = y' x z = p p výpočet sořadnic

9 d x d y y R 1 R 2 O 1 D O 2 chyba disketizace vzniklá steeootogammetického měření σ = m D σ xp = 2 σ D xp 2 x1 2 1 σ = m σ xp + b + σ x σ p Ppix D = 3 výpočet chyby měření o[mm] ,5 1 1,5 2 2,5 3 3,5 4 4,5 5 5,5 6 Y [m] 12,0 10,0 8,0 6,0 4,0 2,0 0, S1 tva chyby disketizace v závislosti na vzdálenosti a poloze na detekto

10 Dvě kamey, vzájemný úhel pohled kame 90, dívají se do bod na ose kame. Honí řada dává poloh x, vzdálenost od kamey, y. Dolní řada dává příslšné chyby čení těchto hodnot. výsledný půběh plochy při požití koekce optiky a bez ní - Tento základní model vycházející z lidského vnímání je základem po 3D zobazování. - požívá se v 3D kinech - v sočasnosti pobíhá diskze o zavádění 3D do běžného života

11 - vyžívá se značné množství technologií snímání, zpacování kompese, přenos..., zobazování. Vysoká popatentovanost znemožňje dohod o jednotném řešení - vyvstávají nové poblémy například při snímání scén divadlo, spot... opoti standadním tv metodám pokd je objekt jen na jednom snímk, dochází k nepříjemným vjemům záběy málo vzdálených objektů - V sočasnoti založen v kalionii pvní bc. pogam plně zaměřený na 3D poblematik požadavek ilmových stdií - snímání se povádí pomocí dvojic kame. V sočasnosti snaha integovat do jednoho zařízení steeo kamey. Ntná synchonizace snímání. - výsledné snímky se ektiikjí pavjí tak aby odpovídaly lidském vnímání, odstaňjí se nepřesnosti optiky a HW speciální obazové pocesoy. - omát 3D šířka pásma. Dvojice nezávislých ilmů. Obaz a hlobková mapa. Obaz, hlobková mapa a pozadí. Anaglyph levá pavá společně. Střídání levý pavý. - zobazování: - SIRDS obtížné vnímání, není možné přenášet text - anaglyph baevné býle s ůzným baevným kódováním, nepříjemné, cenově velice dostpné - polaizace střídání po snímk, nebo dva zdoje, galvanizované plátno složité zařízení, kvalitní vjem, ntné býle - lentiklání technologie ůzné typy, pomocí čoček, nebo směového světla dostávají jednotlivé oči ozdílné snímky dobý vjem, malý úhel pohled, bez býlí - poblémy neexistence noem, ůzné pincipy a modiikace, ntnost implementovat nové vlastnosti například zobazování tv men do 3D snímk, citlovost oka na ozdíly ve snímcích jednotky stpňů

12 kázka ektiikace snímek vlevo otace kolem osy kamey je po úpavě v pořádk. Pavý snímek sklonění kamey vykazje chyb způsobeno ozdílno vzdáleností objektů SIRDS a anaglyph

13 WOWvx 2D-plsDepth omát WOWvx Declipse omát technologie imy newsight

14 - pasivní osvětlení zvýšení počt detekovatelných bodů velké množství ploch - aktivní osvětlení světlo je sočástí měření invezní papsky, nejjednodšeji jedna kamea a jedno světlo Ukázka změny polohy půmět v závislosti na výšce. Patný je i posn v ovině podstavy, závislý na výšce

15 - více pohledů může být tvořeno i pohybem pohyb měřeného objekt, nebo kamey např. obotická ka - 3D senzoy kombinace několika kame a světel laseů Typy osvětlení - bod jednodché, zdlohavé, ntná mechanická část - čáa jednodché, ychlé vyhodnocení, ntná mechanická část - sada ča kamea + laseový ph + posn = detekce lidí, áků kol, poilů - - modlované a pohyblivé čáy, vlny - vzoy kódy, bílý šm - baevné vzoy - inteeence lineání mřížky, křížové mřížky, khy - inteeence hologaie, spekle

16 Rozteč kok moié ča q v závislosti na úhl na točení voz ala a vzájemném pomě kok mřížek p1/p2 Metody po výpočty tianglace - koplanaita báze a vektoy spojjící ohniska a půměty tvoří ideálně ovin kiteiální nkce je Q = b. v1 x v2 - po dvojici pohledů stačí 5 bodů nelineání poblém. Obecně se pacje s 8 body - Bndle adjstment nelineání systém ovnic po zobazení bodů posto centálním pomítáním na 2D, a řešení těchto ovnic vůči neznámým paametůmhledané polohy, paamety systém vnitřní i vnější. Složí k postpném zlepšování vyhledání 3D paametů scéna, kamea, body. tátová nkce hodnotí předpoklad pomítnté objekty se sktečností vlastní půměty. Minimalizací ztátové nkce získáváme řešení

17 = o o o Y Y R z y x * R je bď nkce tří úhlů, nebo lze požít všech koeicientů k minimalizaci výsledné složky minimalizované nkce v Y Y Y Y v Y Y Y Y = = Po úpavě na implicitní ovnice, jso tyto požity jako vazební nkce v minimalizačním poces. Každý pomítntý bod tedy dává dvě vazební nkce. Přesnost měření - vzájemné místění kame - počet kame - ozmístění a typ měřených objektů Repezentace dat - 3D sořadnice vhodné po měření - dátový model hanice, vcholy, hany

18 - hlobková jasová mapa vyjádření hodnot vzdálenosti pomocí jasů ve 2D poli x,y - tojúhelníky a jejich sítě - plošky - voxely Vyhodnocování dat - egistace dvojic, poblém koespondence vyhledání, sesohlasení, - vyhledání zajímavých objektů jasové přechody body, hany, plochy s chaakteistickými vlastnostmi - spáování sesohlasení stejných objektů na ůzných pohledech - epipolání linie přímky, hypeboly - křivky na dhé kameře, na kteých se může objevit obaz sledovaného objekt.

19 - ektiikace naovnání epipoláních linií tak aby snímky měly ovnoběžné nomály -> ovnoběžné epipoláy. Tyto snímky jso vhodné po vyhodnocování člověkem. Rektiikace je možná poze v omezené míře. Pokd je scéna jso ve scéně objekty ůzně vzdáleny, potom při ektiikaci dochází k chybám velikost ektiikace je nkcí vzdálenosti - koelační koeicient mía shody, vyhodnocení vhodných kandidátů koespondjících bodů - lineání pogamování vztahy mezi body, dispaity gadient nevažjeme-li skoky, pak je to spojité a monotonní. akázaná oblast je-li v popředí menší objekt tyč, dát geometické vlastnosti snímaných objektů plochy jso hladké dispaity také snažíme se pedikovat vlastnosti plochy ovina, zakřivení - postp vyhodnocení získání dat - většino více zdojů, směů kalibace zjištění vzájemné polohy zdojů. Při měření nebo na kalib vhodný 3D objekt detekce povchů zjištění společných bodů, ploch. Vyhledání bodů po ekonstkci povch. Rekonstkce částí povch, kteé jso možné společně viditelné. Hbě a jemně mapa 3D. ekonstkce povchů spojení jednotlivých částí viditelných z páů zdojů do jednoho 3D celk složení globální 3D mapy.

20 tvoba model, vyhlazení převod do sozmitelných dat např. polygony, voxely a vyhlazení odstanění hbých vad a chyb na přechodech Geneace sítě, pvotní vyhlazení vyhlazení jso poktovány osté přechody, pokládání hladkými křivkami, optimalizace sítě snížení počt vcholů sítě, spojení sítí z ůzných pohledů, vyhlazení, optimalizace globální sítě, geometická optimalizace např. vylepšení smetených han a vcholů, topologická optimalizace inální optimalizace.