Fotorealistická sntéza obrazu 2006 Josef Pelikán MFF UK Praha Josef.Pelikan@mff.cuni.cz 10.4.2006
Obsah přednášk cíle a aplikace realistického zobrazování historie přehled používaných přístupů teoretické základ zobrazovací rovnice souhlas starších metod s teorií (fzikou) metod založené na zobrazovací teorii radiační metod (matné materiál) Monte-Carlo zobrazování (paprsk lesklé materiál) hbridní metod Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 2
Cíl realistického zobrazování věrně napodobit přírodu virtuální scéna reprezentovaná v počítači přesně simulovat šíření světla ve scéně test úspěšnosti laický pozorovatel nemá poznat že je obrázek umělý... rchlost vkreslování off-line rendering (nezáleží tolik na rchlosti) real-time (min. 25 fps) Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 3
Aplikace design architektura umění zábavní průmsl film (I&M Piar DreamWorks off-line ) videohr ( real-time ) média televize (virtuální studia...) reklam Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 4
Historie cíle a aplikace realistického zobrazování historie přehled používaných přístupů teoretické základ zobrazovací rovnice souhlas starších metod s teorií (fzikou) metod založené na zobrazovací teorii radiační metod (matné materiál) Monte-Carlo zobrazování (paprsk lesklé materiál) hbridní metod Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 5
Historie klasické zobrazování Sutherland 1974: Z-buffer ploškový model nejčastěji trojúhelníkové sítě výpočet viditelnosti Z-buffer přibližné světelné poměr lokální osvětlovací model vržené stín tetur shader Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 6
Historie Ra-tracing I Whitted 1980: základní Ra-tracing geometrický přístup sleduje se jenom ideálně odražený paprsek výpočetně velmi náročný výpočet průsečíku paprsku se scénou 95% času urchlovací metod snadné vlepšení vzhledu obrázku tetur anti-aliasing shader distribuované technik (viz dále) Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 7
Historie Ra-tracing II N R α A α P 0 t P 1 T Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 8
Historie Distributed R-T Cook 1984: Distributed Ra Tracing vlepšení kvalit výsledku integrál nahrazuje původně jediný vzorek měkké stín odraz lom difrakce rozmazání pohbem hloubka ostrosti kamer výpočetně velmi náročné metod Monte-Carlo algoritm stonásobně víc paprsků... Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 9
Historie Bidirectional R-T Arvo 1986: Backward Ra Tracing sledování opačného směru v první fázi se paprsk posílají ze světel a zachtávají na plochách vkreslení kaustik (1986 rok kaustik) později se z toho vvinul metod: ight-tracing Photon-tracing Photon-maps (Henrik Wann Jensen) Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 10
Historie Radiační metoda I Goral et al. 1984: Illumination for Computer-Generated Pictures předpoklad difusních materiálů ambertův zákon (dokonalý rozptl světla) metoda konečných prvků vede na soustavu lineárních rovnic různá vlepšení: iterace à la Southwell hierarchické přístup zobecněné konfigurační faktor (lesklé odraz) Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 11
Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 12 Historie Radiační metoda II základní rovnice pro radiositu i-té plošk: ( ) N j A i A j i j i i i i j da da g A B E B 1 1 ρ geometrický člen - konfigurační faktor F ij (část výkonu vzářeného ploškou A i dopadající na A j ) [ ] 2 1 m W N j ij j i i i F B E B ρ
Historie Hbridní metod Wallace 1987 Sillion 1989 1991... radiační metoda umí dobře difusní materiál metod založené na paprscích umí lesklé odraz Ra-tracing Distributed R-T Path-tracing Photon-tracing... kombinace několika metod pozor na duplikace! S DS * E většinou sériové zapojení více fází za sebou vkreslení: Ra-tracing (Path-tracing) S S D S DS * E D S E Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 13
Historie Zobrazovací rovnice J. T. Kajia: The rendering equation (SIGGRAPH '86) matematický přístup k zobrazování integrální rovnice popisující šíření světla algoritm založené na Monte-Carlo.. přesné (analtické) řešení není možné Path-tracing (už Kajia) později: ight-tracing Photon-tracing Bidirectional Path-tracing hbridní alg. Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 14
Teoretické základ cíle a aplikace realistického zobrazování historie přehled používaných přístupů teoretické základ zobrazovací rovnice souhlas starších metod s teorií (fzikou) metod založené na zobrazovací teorii radiační metod (matné materiál) Monte-Carlo zobrazování (paprsk lesklé materiál) hbridní metod Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 15
Základní radiometrické veličin výkon přijímaný (emitovaný) nějakou částí ploch: Φ in (Φ out ) [ W ] přijímaná (emitovaná) radiosita (hustota výkonu na ploše): B in (E B out ) [ W / m 2 ] intenzita (hustota výkonu v prostorovém úhlu ): I dφ / d [ W / sr ] Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 16
Radiance přijímaná (emitovaná) radiance ve směru : in () ( e () out ()) [ W / m 2 sr ] N out ( ) 2 Φ A cosθ θ d B out cosθ da I A cosθ Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 17
BRDF (lokální fce odrazivosti) ( Bidirectional Reflectance Distribution Function ) N in ( in ) out ( out ) d in θ out θ in f ( ) in out in ( ) in out ( ) cosθ out in in [ 1 sr ] Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 18
okální světelné model Bouknight 1970: difusní (ambert) a ambient Gouraud 1971: interpolace barv z vrcholů Phong 1975: navíc lesklá složka interpolace normál Blinn 1977 Cook et al. 1982: mikroplošk Kajia 1985 Cabral et al. 1987: vlepšení (anizotrop.) Wolf 1990: polarizace odraženého světla... Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 19
okální zobrazovací rovnice o ( o ) N i ( i ) d i e ( o ) θ i vakuum: i ( i ) o ( i ) o ( ) ( ) o e o vlastní vzařování f ( ) ( ) i o i i cosθ i d i Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 20
GRDF (globální fce odrazivosti) ( Global Reflectance Distribution Function ) N da o ( ) o ( ) θ F ( ) o 2 ( ) o ( ) cosθ A [ 2 1 m sr ] Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 21
Globální zobr. rovnice (s GRDF) N da o ( ) e ( ) θ o ( ) A Ω e ( ) ( ) F cosθ d da Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 22
Souhlas starších metod s teorií cíle a aplikace realistického zobrazování historie přehled používaných přístupů teoretické základ zobrazovací rovnice souhlas starších metod s teorií (fzikou) metod založené na zobrazovací teorii radiační metod (matné materiál) Monte-Carlo zobrazování (paprsk lesklé materiál) hbridní metod Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 23
Operátor šíření světla Zobrazovací rovnice pro radianci: e T e Te T 2 e T 3 e... Integrální operátor T lze rozložit na difusní (D) a lesklou (S) složku odrazu: T D S e ( D S ) e ( D S ) 2 e... e De Se DDe DSe SDe SSe... Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 24
Abeceda regulárních výrazů zdroj světla ( light ) difusní odraz D ( diffuse ) odraz podle ambertova zákona (všesměrový) lesklý odraz S ( specular ) směrový odraz odlesk směrová část BRDF idealizovaný zrcadlový odraz: S M oko pozorovatele E ( ee ) příspěvek výslednému obrazu Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 25
Cest šíření světla D DE DSE D 3 SE E S E Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 26
Přehled zobrazovacích metod stínování s odlesk a vrženými stín (např. Phongův model): ( D S ) E často se ignoruje výpočet vržených stínů Ra-tracing (Whitted): [ D S ] S M * E první lesklý odraz se počítá přesně ostatní se nahrazují ideálním zrcadlovým odrazem Distributed Ra-tracing (Cook): [ D ] S* E všechn lesklé odraz se odhadují korektně Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 27
Přehled zobrazovacích metod občejná radiační metoda: D* E pouze měkké odraz světla všechn možné cest světla: ( D S )* E přesné řešení zobrazovacích rovnic (Kajia) Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 28
Monte-Carlo zobrazování cíle a aplikace realistického zobrazování historie přehled používaných přístupů teoretické základ zobrazovací rovnice souhlas starších metod s teorií (fzikou) metod založené na zobrazovací teorii radiační metod (matné materiál) Monte-Carlo zobrazování (paprsk lesklé materiál) hbridní metod Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 29
Monte-Carlo zobrazování integrál zobrazovací rovnice je často mnohorozměrný anti-aliasing hloubka ostrosti rozmazání pohbem Monte-Carlo metod nejsou citlivé na všší dimenze integrand mají mnoho nespojitostí různých druhů nepožaduje se velká přesnost lidské vidění má velmi omezenou absolutní citlivost běžně postačí relativní přesnost 0.5-2 % Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 30
Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 31 Zobrazovací rovnice pro radianci ( ) ( ) ( ) ( ) Ω 1 cos e d f θ N θ ( ) ( ) ( ) ( ) ( ) Ω Φ A e o da d S W S θ cos
Path-tracing Monte-Carlo odhad toku Φ(S) i radiance ( 0 0 ) (omezení náhodné procházk pomocí ruské rulet): W cosψ Φ k ( S ) i i 0 j 1 path f e ( ) 0 0 S p ( ) ( ) j 1 j j 1 P p ( ) j 0 0 j 0 j cosθ j 1 e ( ) i i pravděpodobnost pokračování krokem j hustota pravděp. pro vstupní směr j Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 32
Schema šíření světla 1 3 θ 1 1 3 2 N 0 θ 0 ψ 0 θ 2 0 2 Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 33
Odhad příští události (NEE) občejný Path-tracing je velmi neefektivní náhodná procházka se musí trefit do zdroje světla! odhad příští události (NEE) zařídím příspěvk od zdrojů v každém kroku NEE je nejvýhodnější pro scén s malými ale dobře viditelnými plochami světelných zdrojů vzorkování světelných zdrojů tvoří dominantní složku výsledku Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 34
Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 35 ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) Ω Ω 1 1 cos cos r A e r r e d f da G f d f θ θ Odhad příští události II Rozdělení nepřímého osvětlení na dvě složk:
Schema šíření světla (NEE) 1 1 1 0 0 2 2 0 2 Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 36
Dualita v teorii zobrazování Kajia 1986: zobrazovací rovnice Smits 1992: zavedení pojmu důležitost (potenciál) aplikace v radiační metodě Pattanaik 1993: zavedení dualit do teorie zobrazování duální operátor a rovnice - prostředek k řešení úloh globálního osvětlení scén Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 37
Důležitost (potenciál) výkon procházející svazkem S jako důsledek jednotkové radiance z bodu směrem [ 1 ] o ( ) Φ o (S) N d S { } { } i j θ da W ( S ) o 2 Φ o ( S ) ( ) A cosθ Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 38
Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 39 Zobrazovací rovnice pro potenciál ( ) ( ) ( ) ( ) Ω e d W f W W θ cos N θ W( ) W( ) ( ) ( ) ( ) Ω Φ A e o da d S W S θ cos
ight-tracing celkový odhad paprsek vcházející ze zdroje (vzařovací charakteristik zdroje) Φ ( S ) light e ( ) 0 0 p ( ) 0 0 cosθ 0 0 k i i 0 j 1 f ( ) j j 1 j ( ) P p j j j cosθ j W e ( S ) i i Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 40
Schema šíření světla (střílení) 2 0 2 0 θ 2 3 θ 1 1 N 3 θ 3 3 1 Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 41
NEE pro ight-tracing 2 0 2 0 2 z 3 1 3 z 1 1 z Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 42
Aplikace ight-tracingu přímý výpočet realistického obrázku světlo se přijímá kamerou a ukládá v průmětně pomocný výpočet pro některou kombinovanou metodu světlo se ukládá do tzv. světelných map (fotonové map Photon-tracing ) větší suma potenciálu W e vede k efektivnějšímu výpočtu (nemusí se dělat NEE) Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 43
Hbridní metod cíle a aplikace realistického zobrazování historie přehled používaných přístupů teoretické základ zobrazovací rovnice souhlas starších metod s teorií (fzikou) metod založené na zobrazovací teorii radiační metod (matné materiál) Monte-Carlo zobrazování (paprsk lesklé materiál) hbridní metod Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 44
Vícekrokové (hbridní) metod kombinace radiačních metod (difusní odraz) a sledování paprsku (lesklé odraz) většinou se tto dva přístup střídají (algoritmus se dělí na jednotlivé průchod nebo krok) radiační přístup řeší (nepřímé) difusní osvětlení: D* sledování paprsku počítá lesklé odraz: S [M] * navíc se používá pro finální průchod (zobrazení) místo R-T lze použít Path-tracing nebo jeho vlepšení Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 45
Mezivýsledek fotonová mapa D S S * D D S * E S S E S * D S * E Photon-tracing Path-tracing Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 46
iteratura Andrew Glassner: Principles of Digital Image Snthesis Morgan Kaufmann 1995 Eric afortune: Mathematical Models and Monte Carlo Algorithms for Phsicall Based Rendering PhD thesis KU euven 1996 Matt Pharr Greg Humphres: Phsicall Based Rendering Morgan Kaufmann 2004 Henrik Wann Jensen: Realistic Image Snthesis Using Photon Mapping A K Peters 2001 Foto seminář 10.4.2006 Josef Pelikán http://cgg.ms.mff.cuni.cz/~pepca 47