3D počítačové vidění

Transkript

1 3D počítačové vidění Markéta Dubská, Bronislav Přibyl, Pavel Zemčík Ústav počítačové grafiky a multimédií Fakulta informačních technologií Vysoké učení technické v Brně

2 Motto "Často potřebujeme 3D model scény, můžeme jen u existujících scén prostě sejmout?"

3 Přehled 3D rekonstrukce z jediného obrazu 3D z nekalibrované kamery 3D z kalibrované kamery Postupy rekonstrukce Výhled a závěr

4 Proč 3D z obrazu? virtuální prohlídky zachování kulturního dědictví kontrola kvality výrobků filmový průmysl hry robotické systémy interakce s počítači

5 Proč 3D zrovna z obrazu? kamery jsou poměrně kamery jsou všude (na PC) data z kamer obsahují potřebné informace (skoro) když to nestačí, můžeme si pomoci světlem

6 3D rekonstrukce z jediného obrazu (Single-View/Monocular reconstruction)

7 3D z jediného obrazu vždy je lepší rekonstruovat 3D z více pohledů kvůli přesnosti, ale někdy máme prostě jen 1 obrázek (zničená budova, znalecký posudek místa činu,...) nutná apriorní znalost parametrů kamery nebo vlastností scény, např.: velikost objektů překrytí objektů stíny, deformace textur symetrie objektů rovnoběžnost rovin/přímek kolmost rovin/přímek příslušnost bodů k rovině...

8 3D z jediného obrazu nekalibrovaná kamera kalibrace kamery kalibrovaná kamera výpočet 3D odhad 3D A. odhad 3D struktury z obrazu nekalibrované kamery B. výpočet 3D struktury z obrazu kalibrované kamery 3D

9 3D z nekalibrované kamery Př.: Automatic Photo Pop-up. D. Hoeim, A. A. Efros a M. Herbert, ACM Transactions on Graphics 24(3), klasifikace částí obrazu na vodorovné a svislé plochy a pozadí "nařezání" svislých ploch na bilboardy generování nových pohledů na scénu z 1 fotografie

10 3D z nekalibrované kamery Př.: Nonparametric Single View Reconstruction of Curved Obects using Convex Optimization. M. R. Oswald, E. Töppe, K. Kolev a D. Cremers, Pattern Recognition, ISBN , 2009, s segmentace modelu od pozadí (silueta) "nafouknutí" modelu v závislosti na vzdálenosti od okraje siluety uživatel může přidat další omezení na tvar objektu, eventuálně změnit parametry "nafouknutí" výsledkem je hladký povrch v podobě polyg. modelu

11 Geometrická kalibrace kamery = stanovení vnitřních a vnějších parametrů kamery libovolná nenulová změna měřítka 2D bod v souřadnicích obrazu matice kamery rotační matice transformační matice? relativní ohnisková vzdálenost [px] poměr stran pixelů zešikmení pixelů = souřadnice hlavního bodu (principal point) translační vektor kalibrační matice kamery 3D bod v souřadnicích scény

12 Reference - kalibrace kamery The Geometry of Multiple Images: The Laws That Govern the Formation of Multiple Images of a Scene and Some of Their Applications. O. Faugeras a Q. Luong. The MIT Press, USA, ISBN Strany Multiple View Geometry in Computer Vision. R. Hartley a A. Zisserman. University Press, UK, ISBN Strany An Introduction to 3D Computer Vision Techniques and Algorithms. B. Cyganek a J. P. Siebert. Willey, UK, ISBN Strany D Computer Vision: Efficient Methods and Applications. Ch. Woehler. Springer Verlag, DE, ISBN Strany Three-Dimensional Computer Vision: A Geometric Viewpoint. O. Faugeras. The MIT Press, USA, ISBN Strany

13 3D z kalibrované kamery Př.: Creating Architectural Models from Images. D. Liebowitz, A. Criminisi a A. Zisserman. Computer Graphics Forum 18(3), kalibrace kamery ze souřadnic úběžníků 3 navzájem kolmých směrů u, v a w

14 3D z kalibrované kamery Creating Architectural Models from Images. D. Liebowitz, A. Criminisi a A. Zisserman. Computer Graphics Forum 18(3), Příklad rekonstrukce prostoru z renesanční malby a budovy.

15 Reference Creating Architectural Models from Images. D. Liebowitz, A. Criminisi a A. Zisserman. Computer Graphics Forum 18(3), Single View Metrology. A. Criminisi, I. Reid a A. Zisserman. International Journal of Computer Vision 40(2), Automatic Photo Pop-up. D. Hoeim, A. A. Efros a M. Herbert, ACM Transactions on Graphics 24(3), Nonparametric Single View Reconstruction of Curved Obects using Convex Optimization. M. R. Oswald, E. Töppe, K. Kolev a D. Cremers, Pattern Recognition, ISBN , 2009, s

16 Structured Light

17 Vlastnosti Rozšířené v průmyslu (a dnes i obecné) Neinvazivní Přesné Automatické Závislé na detekci čar

18 Setup Zdroj světla (projektor, laser) Kamera (1 a více)

19 Triangulace Jednoduchá korespondence bodů

20 Single light stripe Hloubka bodu

21 Shrnutí Přesné (< 0.01 mm) Jeden pruh - pomalé Více pruhů (barev, tvarů) - složitější algoritmy, ale lepší výsledky Využití stínů?

22 Reference High-accuracy stereo depth maps using structured light. D Scharstein, R Szeliski, (CVPR 2003) 3D Photography on your desk. Jean-Yves Bouguet and Pietro Perona (ICCV 1998) Pattern codification strategies in structured light systems. Joaquim Salvi, Jordi Pagès, Joan Batlle. 3-D Surface Geometry and Reconstruction. U. Ch. Pati et al. Information Science Reference, USA, ISBN Strany 9-11.

23 3D z dvojice obrazů (Binocular Stereo)

24 Binokulární stereo vstup: 2 obrazy téže scény zachycené z různých známých pozic pokud nejsou pozice kamer známé, je nutné určit jejich vzájemnou polohu = s využitím epipolární geometrie vypočítat tzv. fundamentální matici algoritmus: najdi korespondující body v obou obrazech vypočti paprsky procházející těmito body skutečný 3D bod leží na průsečíku těchto paprsků výstup: hloubková mapa / point cloud

25 Epipóly Projekce středů promítání na průmětnu.

26 Epipoláry Epipolára l' bodu x je projekce přímky procházejíci středem promítaní O a promítnutým bodem x v průmětně. Projekce bodu X leží na přímce l'.

27 Fundamentální matice F Určuje mapování x l' Matice 3x3 řádu 2, 7 stupňů volnosti platí: x'tfx = 0 Fx = l', FTx' = l Fe = 0, FTe' = 0

28 Odvození matice F bod x a jeho obraz x' na epipoláře l' epipolára l' prochází body e' a x' fundamentální matice

29 Odvození matice F pomocí projekcí Matice projekce kamer P, P' PX = x, P'X = x'

30 Výpočet matice F v praxi Z korespondujících dvojic bodů x a x' 7 dvojic - minimum 8 dvojic - lineární systém rovnic více dvojic - SVD, RANSAC iterativní metody nelineární metody Maximum Likelihood Estimation

31 Esenciální matice E Fundamentální matice, která splňuje podmínku normalizovaných souřadnic, x Normalizované matice kamer Esenciální matice

32 Vztah F a E Kalibrované kamery - esenciální matice. Nekalibrované kamery - fundamentální mat. Esenciální matice má 5 parametrů (3 pro rotaci, 2 pro translaci). Fundamentální má 7 (2x2 pro epipóly a 3 pro homografii mezi epipolárami).

33 Epipolární geometrie v binokulárním stereu hledání korespondujících bodů se díky epipolárám redukuje z 2D problému na 1D problém rektifikace obrazů (projekce do roviny rovnoběžné se spojnicí optických středů) epipoláry rovnoběžné s řádky obrazu = 1D hledání korespondencí podél řádků obrazu

34 Hledání korespondencí Základní algoritmus: pro každý pixel levého obrazu (xl, yl) porovnej jej se všemi pixely (xr, yl) na epipoláře v pravém obrazu vyber nejpodobnější pixel (xr,best, yl) disparita d = xl - xr,best disparita

35 X Binokulární stereo hloubka z disparity: h = OL-OR * f / d při hledání korespondencí je možné porovnávat i okna, ne jen sam ostatné pixely problém s volbou velikosti okna velké okno h f f OL OR malé okno metrika podobnosti oken: většinou SSD (Sum of Squared Differences) výpočet disparity je obtížný v oblastech se slabou texturou

36 Reference Podrobná taxonomie algoritmů pro výpočet disparity: A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms. D. Scharstein a R. Szeliski, International Journal of Computer Vision 47(1), An Introduction to 3D Computer Vision Techniques and Algorithms. B. Cyganek a J. P. Siebert. Willey, UK, ISBN Strany Epipolar Geometry in Stereo, Motion and Object Recognition. G. Xu a Z. Zhang. Kluwer Academic Publishers, Holandsko, ISBN Vyhodnocení různých algoritmů pro výpočet disparity: middlebury.edu/stereo Stereo Matching by Compact Windows via Minimum Ratio Cycle. O. Veksler, 8th IEEE Conference on Computer Vision, 2001.

37 Multiple View Geometry

38 Motivace Matchmoving určení pohybu kamery z videa 3D modelování Kalibrace kamery

39 Úloha F - reprojection error

40 Minimalizace F počet rovnic 2nm počet neznámých 2n + 6(m - 1) - 1 konverguje do lokálniho minima třeba dobrý počáteční odhad

41 SLAM (Simultaneous Localisation and Mapping)

42 SLAM robotika současné mapování neznámého prostředí + lokalizace sebe sama v tomto prostředí fúze informací z více vstupních senzorů: laserový dálkoměr, LIDAR, sonar, RGB(D) kamera indoor funguje, outdoor stále problematický pohyb robota v uzavřených smyčkách umožňuje zpřesnit výsledky odstraněním kumulativních chyb

43 SLAM: formulace xk - pozice a orientace robota v čase k uk - řídicí vstup zadaný v čase k-1 mi - pozice význačného bodu i (statické prostředí) m = {mi 1 <= i <= n} - mapa prostředí zk,i - pozorování/měření význačného bodu i v čase k

44 SLAM: algoritmus 1. Time-update - odhad pohybu robota na zákl. řídícího vstupu a předchozí polohy - f popisuje kinematiku robota 2. Measurement-update - aktualizace pozice robota a mapy na základě pozorování, odhadu pozice robota a mapy - h popisuje geometrii měření

45 SLAM nepřesnosti měření --> nutnost použít pravděpodobnostní model (tzv. Probabilistic SLAM) např. extended Kalman filter (EKF-SLAM), RaoBlackwellised particle filter (FastSLAM), Iterated Closest Points (ICP-SLAM) Aktuální témata mapování rozsáhlých/venkovních prostředí dynamická prostředí

46 Reference Simultaneous Localisation and Mapping (SLAM): Part I The Essential Algorithms, Part II State of the Art, H. Durrant-Whyte and T. Bailey, The Mobile Robot Programming Toolkit,

47 Rekonstrukce 3D scény

48 Motivace Filmový průmysl Hry Virtuální světy Robotické systémy Rozpoznáváni obličejů Zachování kulturního dědictví

49 3D rekonstrukce Vstup 2 až n (stovky) různých pohledů Výstup point cloud polygonální model Různe metody materiál osvětlení (ne)známa pozice kamery textury

50 Přístupy Získaní modelu pomocí siluet korespondence barvy/textury osvětlení strukturálního světla kombinace technik

51 Postup zpracování Vstupní obrázky video, kontrolované podmínky (pozice, světlo) Pozice kamery zjištění/zpřesnění 3D rekonstrukce

52 Structure from motion Detekce význačných bodů SURF, SIFT, Harris Korespondence bodů RANSAC 3D rekonstrukce

53 Triangulace Výpočet 3D pozice z korespondujícich bodů/patchů

54 Aktuální témata objekty s lesklým povrchem (mramor, kov) automatizace rekonstrukce 3D rekonstrukce z libovolně se pohybující kamery průhledné objekty přesnost a "smyčky" zjištění povrchu (kde jsou plochy?) odstranění nejednoznačností

55 Reference A Comparison and Evaluation of Multi-View Stereo Reconstruction Algorithms, Steven M. Seitz, Richard Szeliski et. al. (CVPR 2006) A Survey of Methods for Volumetric Scene Reconstruction, Greg Slabaugh et. al. (VG 2001) : Volume Graphics Modelling Dynamic Scenes by Registering Multi-View Image Sequences, J-P. Pons, R. Keriven and O. Faugeras (CVPR 2005) Multi-view stereo via Volumetric Graph-cuts, G. Vogiatzis, P.H.S. Torr and R. Cipolla (CVPR 2005) Accurate and Scalable Surface Representation and Reconstruction from Images, Gang Zeng, Sylvain Paris, Long Quan, and Francois Sillion, (PAMI)