Optická triangulace pro měření a vizualizaci 3D tvaru objektů Ident.č.: 1470 Datum: 1. 12. 2011 Typ: projekt FRVŠ G1 Autoři: BABINEC, T.; RICHTER, M.; GOGOL, F. Popis: Cílem projektu bylo vytvořit specializované laboratorní pracoviště zaměřené na využití triangulačních technik a metod optické fotogrammetrie při měření a vizualizaci 3D tvarů. Technologie umožňující počítačové zpracování obrazu se již dlouhou dobu úspěšně uplatňují v praxi. V současné době se do popředí zájmu dostává oblast optické fotogrammetrie, která poskytuje techniky pro měření trojrozměrných vlastností snímané scény. Účelem realizovaného projektu je seznámit studenty s triangulačními metodami, které patří mezi nejužívanější postupy 3D měření a tvorby virtuálních modelů objektů v průmyslu a současně demonstrovat možnosti moderních vizualizačních prostředků. Při řešení úkolů spojených s aplikací triangulačních technik (kalibrace přístrojů, rekonstrukce 3D informace) budou studenti v bezprostředním kontaktu s nejnovější technologií pro vizualizaci prostorové informace, což je seznámí s principy aktuálních 3D médií (3D kino, 3D televize). Trojrozměrná prezentace získaných výsledků významně zvýší názornost a atraktivitu triangulačních úloh, které jsou svou povahou značně abstraktní a obtížně srozumitelné. Veškerá činnost na tomto projektu pro zkvalitnění výuky byla plně financována Ministerstvem školství, mládeže a tělovýchovy České republiky z prostředků grantu FRVŠ kategorie G1 číslo 1470 s názvem Optická triangulace pro měření a vizualizaci 3D tvaru objektů. Výsledky řešení projektu: Moderní výukové pracoviště pro pořízení, zpracování a vizualizaci stereo-snímků Výsledkem projektu je laboratorní pracoviště uvedené na obrázku 1, které bude sloužit při výuce předmětů MPOV a MAPV. Pro předmětu MPOV je určena úloha Záznam, úprava a zobrazení 3D obrazu. Pro předmět MAPV byla sestavena úloha Pasivní triangulace s kamerovým stereo-párem. Pracoviště je zároveň vhodné pro řešení semestrálních, bakalářských i diplomových prací. V současné době zde běží semestrální a navazující bakalářská práce s názvem Sledování 3D trajektorie předmětů pomocí kamerového stereo páru. Velkou výhodou nového pracoviště z pohledu laboratorní výuky jsou jeho malé prostorové nároky díky kompaktní realizaci kamerového páru. Pracoviště lze rozdělit do dvou částí: Pořízení obrazu: dvojice barevných průmyslových kamer upevněných rámem do stereo páru, rozšiřující FireWire karta pro komunikaci s kamerami, kalibrační vzor, snadno sledovatelný terč. Zpracování a vizualizace: výpočetní stanice s nvidia 3D vision systémem, LCD panel, aktivní 3D brýle. Součásti systému nvidia 3D vision pro trojrozměrnou visualizaci a karta pro komunikaci s kamerami jsou uvedeny na obrázku 2. Zadání úloh a návody k jejich řešení Úloha Pasivní triangulace s kamerovým stereo-párem je určena do předmětu Aplikace počítačového vidění. Kompletní zadání této úlohy i s teoretickým rozborem problému a návodem k vypracování je uvedeno na konci tohoto textu. Cílem úlohy je, aby si studenti procvičili základní postupy pasivní triangulace a zopakovali detekci objektů v obraze.
Úloha s názvem pořízení a vizualizace 3D obrazů je určena do předmětu Počítačové vidění. Kompletní znění úlohy je uvedeno na konci tohoto textu. Cílem úlohy je přiblížit studentům principy vzniku vjemu prostorového vidění. Posluchači si v praxi ověří vliv parametrů kamerové soustavy, rozvržení snímané scény, následného zpracování obrazu a použité 3D zobrazovací techniky (anaglyf, systém s aktivními 3D brýlemi) na výsledný prostorový vjem z pozorovaného obrazu. Přitom mohou využít grafické uživatelské prostředí vytvořené pro prostředí MatLab, viz obrázek 3. Prezentační aplikace pracoviště Pro prezentaci pracoviště v případě zájmu (např. Dny otevřených dveří na Ústavu automatizace a měřicí techniky) dobře poslouží grafická aplikace, viz obrázek 4. Hlavní předností aplikace je schopnost v reálném čase zpracovat obrazy z obou připojených kamer a produkovat rektifikované, disparitní a 3D obrazy sledované scény viz obrázek 3. Foto: LCD panel Dvojice barevných průmyslových kamer upevněných rámem ve stereo-páru Terč k detekci Analytická stanice Plošný kalibrační vzor Obrázek 1: Sestavené laboratorní pracoviště
nvidia 570 GTX Karta pro komunikaci s kamerami Aktivní 3D brýle nvidia Obrázek 2: nvidia 3D vision a karta pro komunikaci s kamerami Obrázek 3: Tvorba anaglyfu v GUI pro MatLab
Obrázek 4: Grafický výstup prezentační aplikace pracoviště (vlevo: 3D reprezentace scény, vpravo nahoře: originální obrazy, dole uprostřed: disparitní mapa, vpravo dole rektifikovaný obraz)
Název úlohy: Pasivní triangulace s kamerovým stereo-párem Seznam pomůcek: 1. Stereo-kamera tvořená dvojicí barevných průmyslových kamer pevně ukotvených v rámu 2. Plošný kalibrační vzor 3. Polohovatelný objekt s detekční značkou (terč) 4. Stativ 5. Výpočetní stanice s příslušenstvím Teoretický popis: Pasivní triangulace s kamerovým stereo-párem je v praxi často využívaná metoda pro mapování 3D vlastností scény. Umístění kamer do stereo páru znamená, že optické osy obou kamer jsou navzájem rovnoběžné a zároveň leží v jedné rovině. Na rozdíl od obecnějších metod triangulace, jako je například Structure from motion, je zpracování obrazové informace ve stereovidění významně jednodušší a umožňuje generovat husté 3D mapy scény v reálném čase. Slovo pasivní v tomto případě znamená, že metoda obecně nevyžaduje aktivní nasvícení scény strukturovaným zdrojem světla, jehož vlastnosti (poloha a směr zdroje) by byly využity při výpočtech 3D vlastností scény. Matematický model kamerového stereo-páru: Pro modelování projekčních vztahů ve stereo soustavě kamer se takřka výhradně využívá tzv. štěrbinový model kamery ( Pinhole camera ). Na obrázku 1 je uveden schematický náčrt kamerového stereo-páru pomocí štěrbinového modelu. C L a C R označují středy promítání levé a pravé kamery, O L a O R jejich optické osy. Průměty bodů P a P v x-ové ose systému z obrázku jsou označeny x a x s indexem příslušné kamery. Paralaxa obrazů bodu P je označena p. Symbol pro ohnisko kamer je f a B označuje tzv. kamerovou bázi, tedy vzdálenost mezi optickými středy kamer. V tomto případě je báze známá a činí 12cm. Obrázek 4: Schéma měření kmerovým stereo-párem
Rovnice (1,2,3) vyjadřují vztahy mezi jednotlivými veličinami v matematickém modelu a vycházejí z podobnosti trojúhelníků. p = x L xr, p = x L x R (1) p f p f =, = (2) B Z B Z B B Z Z = Z = f f (3) p p Veličina Z resp. Z zde označuje vzdálenost bodu P resp. P od kamerové báze v z-ové ose příslušného souřadného systému. Detekce terče a výpočet neznámých parametrů při triangulaci Kamerový stereo-pár umístěte tak (viz obrázek 2), aby optické osy obou kamer, které lze díky fixaci v rámu považovat za rovnoběžné, tvořily rovinu rovnoběžnou s rovinou kalibračního vzoru na pracovním stole. Zároveň zajistěte, aby hrana kalibračního vzoru byla kolmá k osám kamer. Za těchto podmínek lze k výpočtům neznámých parametrů použít schéma z obrázku 1 a rovnice (1,2,3). Pro automatickou detekci terče lze využít segmentaci objektů pomocí barevných vlastností (terč je červený). Zda segmentované oblasti skutečně označují polohu terče, je možné dále potvrdit na základě momentů obrazu (terč je kruhový) a prostřednictvím Houghovy transformace přímek (terč obsahuje kříž). Obrázek 5: Schéma triangulačního pracoviště Rektifikace obrazů Jelikož není možné zaručit naprosto přesné umístění kamer ve stereo páru, totožné vlastnosti kamer (velikost ohniska), ani bezchybné zobrazení scény optikou, využívá se v praxi rektifikace stereo obrazů. K tomuto účelu je nutné nejprve kamerový stereo-pár nekalibrovat, tzn. na základě snímání známého kalibračního vzoru určit polohu, natočení a projekční vlastnosti kamer společně s deformacemi způsobenými použitou optikou. Výsledkem mohou být transformační matice, které pohledy z obou kamer převádějí tak, že eliminují výše zmíněné zdroje nepřesností a tudíž i chyby měření. Návod k měření:
1. Úkolem je určit neznámé parametry scény: vzdálenost kamer od hrany kalibračního vzoru, velikost ohniska v pixelech a 3D souřadnice terče v nejméně třech odlišných polohách. 2. Umístěte kamerový stereo-pár dle pokynů v teoretickém úvodu. 3. Pořiďte skutečné i rektifikované snímky scény prostřednictvím softwaru kamery. Přitom měňte polohu snímaného terče tak, ať je možné splnit zadané úlohy. 4. Vytvořte algoritmy pro detekci terče v obrazu. 5. Do určeného místa v předloženém programu nastavte filtrační šumové masky tak, aby algoritmus byl schopen detekce mikrotečky. 6. Vypočtěte hledané parametry. 7. Diskutujte rozdíl mezi výsledky získanými z originálních a rektifikovaných obrazů. 8. Výsledky předveďte vyučujícímu. 9. Vše ukliďte na daná místa, případně vypněte (s ohledem na další cvičení po vás). Název úlohy: Pořízení a vizualizace 3D obrazů Seznam pomůcek: 1. Stereo-kamera tvořená dvojicí barevných průmyslových kamer pevně ukotvených v rámu 2. Stativ 3. Pozorované objekty scény 4. Výpočetní stanice s příslušenstvím Teoretický popis: Záznam scény za účelem jejího následného co možná nejvěrnějšího 3D zobrazení je v současné době velmi aktuální technologie používaná nejen na špičkových vědeckých pracovištích, ale i v kinematografii a reklamě. Základní princip těchto technologií je, zpřístupnit levému a pravému oku mírně posunuté 2D obrazy sledované scény a tím simulovat reálnou situaci, kdy pozorujeme skutečně trojrozměrný prostor. Existuje celá řada způsobů, jak tohoto 3D efektu dosáhnout. Zde je jejich přehled 4 nejznámějších: Polarizační metoda: Před každým okem jsou umístěny brýle s odlišně polarizujícími skly. Na dvou projektorech pak filtry, které polarizují stejnými způsoby jako filtry v brýlích. Každé oko tak dostává svůj vlastní kompletní obraz. Tuto technologii využívají například kina společnosti IMAX. Nevýhodou je pokles vnímaného jasu obrazu. Zatmívané brýle: Mají skla z tekutých krystalů, jež střídavě zatmívají oči synchronně s grafickou kartou počítače. Každé oko tak dostává obraz zvlášť (Nvidia 3D vision). Anaglyfie: Tato metoda využívá kódování obrázků do různých barev. Musí být pořízeny dva snímky odpovídající pohledům z každého oka, které jsou následně spojeny do jednoho obrázku. Princip je ukázán na jednoduchém příkladu dle obrázku 1. Jsou použity brýle, kde levý filtr má barvu červenou a pravý filtr azurovou (cyan), která je složena ze zelené a modré. Objekty se stejnou barvou, jako má filtr, vytvoří obraz v jasových stupních barvy filtru. Jinak zbarvené objekty jsou pozorovány jako černé obrysy. Tedy červený čtvereček pozorovaný přes červené sklíčko v tomto případě splývá s pozadím, které je bílé a proto obsahuje i červenou složku. Přes sklo azurové je čtvereček téměř černý. U azurové barvy je tomu přesně naopak. Nelze ji rozeznat přes azurové sklo, ale přes červený filtr je vidět její černý obrys.
Obrázek 1: Vnímání anaglyfického obrazu Systémy, kde ke sledování 3D obrazu nejsou zapotřebí žádné brýle. Plastické tvary může vidět hned několik diváků najednou. Dvěma kamerami, které jsou umístěny dále od sebe, se pořídí dva záznamy trojrozměrného prostoru. Speciální software z těchto záznamů následně interpolací vygeneruje 8 různých pohledů na scénu (jako při použití 8 kamer). Sousední dva pohledy vždy přesně odpovídají prostorovému vnímání člověka a vzniká tak plastický obrazový vjem. Příkladem jsou obrazovky využívající lentikulární technologii. Tvorba anaglyfů Existují dva základní způsoby jak sestavovat anaglyfické obrazy: 1. Oba pohledy na scénu se převedou do stupňů šedi, následně jsou obarveny dle užitých brýlí a spojeny do jednoho obrázku. Tímto postupem zcela ztratíme informaci o barvách v původním obraze. Proto jsou také označovány jako černobílé anaglyfy. 2. Z patřičných obrázků odebereme barevné složky, které daný filtr nepropouští, a obrazy složíme v jeden. Tímto způsobem máme alespoň částečně možnost zachovat původní barevnost scény. Kvalita barevného vjemu však závisí na použité kombinaci filtrů. Pro tvorbu anaglyfických obrazů můžete použít grafické uživatelské prostředí pro MatLab. Sledujte vliv vzájemného posunutí obrazů v obou osách na kvalitu a sílu vjemu hloubky. Vyzkoušejte také vliv barevné informace a použití různých barevných filtrů při tvorbě 3D obrazů. Rektifikace obrazů Jelikož není možné zaručit naprosto přesné umístění kamer ve stereo páru, totožné vlastnosti kamer (velikost ohniska, ), ani bezchybné zobrazení scény optikou, mohou ve vzniklém 3D obraze vznikat rušivé artefakty. V praxi se proto často využívá rektifikace stereo obrazů. K tomuto účelu je nutné nejprve kamerový stereo-pár nekalibrovat, tzn. na základě snímání známého kalibračního vzoru určit polohu, natočení a projekční vlastnosti kamer společně s deformacemi způsobenými použitou optikou. Výsledkem mohou být transformační matice, které pohledy z obou kamer převádějí tak, že eliminují výše zmíněné zdroje nepřesností a tudíž zpříjemňují prostorový vjem pro lidského pozorovatele. Návod k měření: 1. Úkolem je sestavit 3D obrazy totožné scény pro různé druhy anaglyfických i aktivních (zatmívaných) brýlí. 2. Sestavte scénu. Prostřednictvím dodané aplikace získejte vždy levý a pravý obraz scény a to jak originál, tak jeho rektifikovanou verzi. 3. Scénu postupně upravujte, aby se mohly projevit různé prostorové vjemy. 4. Pro každou dvojici obrazů sestavte černobílé i barevné anaglyfické obrazy a to jak pro originální tak i rektifikované snímky. 5. Pro každou dvojici obrazů vytvořte v doporučeném software také 3D obraz pro aktivní brýle.
6. Sledujte klady a zápory 3D obrazů z originálních a rektifikovaných. Pozorujte význam barvy pro 3D vnímání a porovnejte kvalitu 3D zobrazení anaglyfickými a aktivními 3D brýlemi. 7. Diskutujte důležité vlastnosti displeje pro kvalitní zobrazení 3D obrazu pro aktivní brýle. 8. Výsledky předveďte vyučujícímu. 9. Vše ukliďte na daná místa, případně vypněte (s ohledem na další cvičení po vás).