Fotorealistická syntéza obrazu

Transkript

1 Fotorealistická syntéza obrazu Josef Pelikán, CGG MFF UK Praha a Photorealistic Josef Pelikán, 1 / 107

2 Obsah přednášky cíle a aplikace realistického zobrazování historie, přehled používaných přístupů teoretické základy zobrazovací rovnice souhlas starších metod s teorií (fyzikou) metody založené na zobrazovací teorii radiační metody (matné materiály) Monte-Carlo zobrazování (paprsky, unbiased ) hybridní metody (efektivita) efektivnější vzorkování (Metropolis) Photorealistic Josef Pelikán, 2 / 107

3 Cíle realistického zobrazování věrně napodobit přírodu virtuální scéna reprezentovaná v počítači přesně simulovat šíření světla ve scéně predictive rendering nebo důvěryhodné zobrazování laický pozorovatel nemá poznat, že je obrázek umělý... rychlost vykreslování off-line rendering (nezáleží tolik na rychlosti) real-time (min. 25 fps) Photorealistic Josef Pelikán, 3 / 107

4 Aplikace design, architektura, umění šíření světla v interiéru, kabině,.. zábavní průmysl filmy (IL&M, Piar, DreamWorks, off-line ) videohry ( real-time ) média televize (virtuální studia,...) reklamy Photorealistic Josef Pelikán, 4 / 107

5 Historie cíle a aplikace realistického zobrazování historie, přehled používaných přístupů teoretické základy zobrazovací rovnice souhlas starších metod s teorií (fyzikou) metody založené na zobrazovací teorii radiační metody (matné materiály) Monte-Carlo zobrazování (paprsky, unbiased ) hybridní metody (efektivita) efektivnější vzorkování (Metropolis) Photorealistic Josef Pelikán, 5 / 107

6 Historie klasické zobrazování Sutherland 1974: Z-buffer ploškový model nejčastěji trojúhelníkové sítě výpočet viditelnosti Z-buffer přibližné světelné poměry lokální osvětlovací model, vržené stíny tetury, shadery Photorealistic Josef Pelikán, 6 / 107

7 Historie Ray-tracing I Whitted 1980: základní Ray-tracing geometrický přístup sleduje se jenom ideálně odražený paprsek výpočetně velmi náročný výpočet průsečíku paprsku se scénou 95% času urychlovací metody snadné vylepšení vzhledu obrázku tetury, anti-aliasing, shadery distribuované techniky (viz dále) Photorealistic Josef Pelikán, 7 / 107

8 Historie Ray-tracing II L N R α A α P 0 +t P 1 T Photorealistic Josef Pelikán, 8 / 107

9 Historie Distributed R-T Cook 1984: Distributed Ray Tracing vylepšení kvality výsledku integrál nahrazuje původně jediný vzorek měkké stíny, odrazy, lomy, difrakce rozmazání pohybem hloubka ostrosti kamery výpočetně velmi náročné metody Monte-Carlo algoritmy stonásobně víc paprsků... Photorealistic Josef Pelikán, 9 / 107

10 Historie Bidirectional R-T Arvo 1986: Backward Ray Tracing sledování opačného směru v první fázi se paprsky posílají ze světel a zachytávají na plochách vykreslení kaustiky (1986 = rok kaustiky) později se z toho vyvinuly metody: Light-tracing, Photon-tracing Photon-maps (Henrik Wann Jensen) Photorealistic Josef Pelikán, 10 / 107

11 Historie Radiační metoda I Goral et al. 1984: Illumination for Computer-Generated Pictures předpoklad difusních materiálů Lambertův zákon (dokonalý rozptyl světla) metoda konečných prvků vede na soustavu lineárních rovnic různá vylepšení: iterace à la Southwell hierarchické přístupy zobecněné konfigurační faktory (lesklé odrazy) Photorealistic Josef Pelikán, 11 / 107

12 Photorealistic Josef Pelikán, 12 / 107 Historie Radiační metoda II základní rovnice pro radiositu i-té plošky: ( ) = + = N j A i A j i j i i i i j da da y g A B E B 1, 1 ρ geometrický člen - konfigurační faktor F ij (část výkonu vyzářeného ploškou A i dopadající na A j ) [ ] 2 1 m W N j ij j i i i F B E B = + = ρ

13 Historie Hybridní metody Wallace 1987, Sillion 1989, 1991,... radiační metoda umí dobře difusní materiály metody založené na paprscích umí dobře lesklý odraz Ray-tracing, Distributed R-T Path-tracing, Photon-tracing,... S LS + D DS * E S D kombinace několika metod pozor na duplikace! LS + DS * E většinou sériové zapojení = více fází za sebou vykreslení: Ray-tracing, Path-tracing L S E Photorealistic Josef Pelikán, 13 / 107

14 Historie Zobrazovací rovnice J. T. Kajiya: The rendering equation (SIGGRAPH '86) matematický přístup k zobrazování integrální rovnice popisující šíření světla, nestranné řeš. algoritmy založené na Monte-Carlo.. přesné (analytické) řešení není možné Path-tracing (už Kajiya) později: Light-tracing, Photon-tracing, Bidirectional Path-tracing, hybridní alg., Metropolis metody Photorealistic Josef Pelikán, 14 / 107

15 Teoretické základy cíle a aplikace realistického zobrazování historie, přehled používaných přístupů teoretické základy zobrazovací rovnice souhlas starších metod s teorií (fyzikou) metody založené na zobrazovací teorii radiační metody (matné materiály) Monte-Carlo zobrazování (paprsky, unbiased ) hybridní metody (efektivita) efektivnější vzorkování (Metropolis) Photorealistic Josef Pelikán, 15 / 107

16 Základní radiometrické veličiny výkon přijímaný (emitovaný) nějakou částí plochy: Φ in (Φ out ) [ W ] přijímaná (emitovaná) radiosita (hustota výkonu na ploše): B in (E, B out ) [ W / m 2 ] intenzita (hustota výkonu v prostorovém úhlu ω): I = dφ / dω [ W / sr ] Photorealistic Josef Pelikán, 16 / 107

17 Radiance přijímaná (emitovaná) radiance ve směru ω: L in (ω) (L e (ω), L out (ω)) [ W / m 2 sr ] N ω L out (, ω ) = 2 Φ A ω cosθ θ dω = ω B out cosθ da = I A cosθ Photorealistic Josef Pelikán, 17 / 107

18 BRDF (lokální fce odrazivosti) ( Bidirectional Reflectance Distribution Function ) N L in (ω in ) L out (ω out ) dω in θ out θ in f ( ω ω ) in out = L in ( ω ) in L out ( ω ) cosθ out in ω in [ 1 sr ] Photorealistic Josef Pelikán, 18 / 107

19 Lokální světelné modely Bouknight 1970: difusní (Lambert) a ambient Gouraud 1971: interpolace barvy z vrcholů Phong 1975: navíc lesklá složka, interpolace normály Blinn 1977, Cook et al. 1982: mikroplošky Kajiya 1985, Cabral et al. 1987: vylepšení (anizotrop.) Wolf 1990: polarizace odraženého světla Oren-Nayar 1993: difusní mikroplošky... Photorealistic Josef Pelikán, 19 / 107

20 Lokální zobrazovací rovnice OVTIGRE L o (,ω o ) N L i (,ω i ) dω i L e (,ω o ) θ i vakuum: L i (,ω i ) = L o (y,ω i ) vyzařování zdroje L o, o = L e, o f, i o L o y, i cos i d i Photorealistic Josef Pelikán, 20 / 107

21 GRDF (globální fce odrazivosti) ( Global Reflectance Distribution Function ) N da L o (y,ω y ) L o (,ω ) θ ω y F (, ω y, ω ) y = L o 2 (, ω ) L o ( y, ω ) cosθ y A ω [ 2 1 m sr ] Photorealistic Josef Pelikán, 21 / 107

22 Globální zobr. rovnice (s GRDF) N da L o (y,ω y ) L e (,ω ) θ ω L o ( ) y, ω y = y = A Ω L e ( ) ( ), ω F, ω y, ω y cosθ dω da Photorealistic Josef Pelikán, 22 / 107

23 Souhlas starších metod s teorií cíle a aplikace realistického zobrazování historie, přehled používaných přístupů teoretické základy zobrazovací rovnice souhlas starších metod s teorií (fyzikou) metody založené na zobrazovací teorii radiační metody (matné materiály) Monte-Carlo zobrazování (paprsky, unbiased ) hybridní metody (efektivita) efektivnější vzorkování (Metropolis) Photorealistic Josef Pelikán, 23 / 107

24 Operátory šíření světla Zobrazovací rovnice pro radianci: L = e + TL L = e + Te + T 2 e + T 3 e +... Integrální operátor T lze rozložit na difusní (D) a lesklou (S) složku odrazu: T = D + S L = e + ( D + S ) e + ( D + S ) 2 e +... L = e + De + Se + DDe + DSe + SDe + SSe +... Photorealistic Josef Pelikán, 24 / 107

25 Abeceda regulárních výrazů zdroj světla L ( light ) difusní odraz D ( diffuse ) odraz podle Lambertova zákona (všesměrový) lesklý odraz S ( specular ) směrový odraz, odlesk směrová část BRDF idealizovaný zrcadlový odraz: S M oko pozorovatele E ( eye ) příspěvek výslednému obrazu Photorealistic Josef Pelikán, 25 / 107

26 Cesty šíření světla D LDE LDSE LD 3 SE L LE S E Photorealistic Josef Pelikán, 26 / 107

27 Přehled zobrazovacích metod stínování s odlesky a vrženými stíny (např. Phongův model): L ( D S ) E často se ignoruje výpočet vržených stínů Ray-tracing (Whitted): L [ D S ] S M * E první lesklý odraz se počítá přesně, ostatní se nahrazují ideálním zrcadlovým odrazem Distributed Ray-tracing (Cook): L [ D ] S* E všechny lesklé odrazy se odhadují korektně Photorealistic Josef Pelikán, 27 / 107

28 Přehled zobrazovacích metod obyčejná radiační metoda: L D* E pouze difusní odraz světla všechny možné cesty světla: L ( D S )* E přesné řešení zobrazovacích rovnic, nestranné metody první z nich byla Path-tracing (Kajiya) Photorealistic Josef Pelikán, 28 / 107

29 Radiační metody cíle a aplikace realistického zobrazování historie, přehled používaných přístupů teoretické základy zobrazovací rovnice souhlas starších metod s teorií (fyzikou) metody založené na zobrazovací teorii radiační metody (matné materiály) Monte-Carlo zobrazování (paprsky, unbiased ) hybridní metody (efektivita) efektivnější vzorkování (Metropolis) Photorealistic Josef Pelikán, 29 / 107

30 Radiance přijímaná z plochy N θ i N y θ yo dω i da y cos θ = yo y da 2 Geometrický člen: faktor viditelnosti {0 1} G y, = V, y cos yo cos i y 2 Photorealistic Josef Pelikán, 30 / 107

31 Radiance přijímaná z plochy N θ i N y θ yo da y L o (, ω ) o = ( ) ( ) ( ) = L, ω + f, ω ω L, ω cos θ dω = e o i o i i i i Ω (, ω ) (, ω ω ) (, ω ) (, ) = L + f L y G y da e o i o o i S integrál přes všechny směry integrál přes povrch scény Photorealistic Josef Pelikán, 31 / 107

32 Zjednodušené značení L, z = L e, z S z radiance z bodu směrem do bodu z θ zi N z θo N θ i N y θ yo da y f y,, z L y, G y, da radiance zdroje (emitovaná) BRDF geometrický člen Photorealistic Josef Pelikán, 32 / 107

33 Rovnice pro radiositu předpokládáme ideálně difusní povrch BRDF není závislá na úhlech výstupní radiance L(,ω) nezávisí na směru ω L, z = L e, z S f y,, z L y, G y, da L, z = B / L e, z = E / f = / B = E S B y G y, da Photorealistic Josef Pelikán, 33 / 107

34 Rovnice pro radiositu B = E S B y g y, da G y, / = g y, řešení B je nekonečně-dimenzionální diskretizace úlohy klasické radiační metody konečné prvky na povrchu těles scény Photorealistic Josef Pelikán, 34 / 107

35 Obecná FEM radiační metoda ➊ rozdělení ploch na konečný počet elementů ➋ určení polohy uzlových bodů na elementech v těchto bodech se bude počítat hodnota radiosity ➌ volba aproimační metody a chybové metriky systém basických funkcí pro lineární (konvení) kombinace hodnot v uzlových bodech ➍ výpočet koeficientů soustavy lineárních rovnic konfigurační faktory ( form-factors ) Photorealistic Josef Pelikán, 35 / 107

36 Obecná FEM radiační metoda ➎ řešení soustavy lineárních rovnic výsledek: radiosita v uzlových bodech ➏ rekonstrukce přibližného řešení na celých plochách lineární kombinace bazických funkcí pomocí hodnot v uzlových bodech ➐ zobrazení výsledku (libovolný směr pohledu) intenzita osvětlení závisí na spočítané radiositě Photorealistic Josef Pelikán, 36 / 107

37 Poznámky krok ➌ se provádí ve fázi návrhu algoritmu v implementaci se přímo neobjevuje některé dokonalelší metody nepostupují striktně posloupností kroků ➊ až ➐ často se výpočet v některých fázích vrací a opakují se předcházející kroky (s lepší aproimací, lepším rozlišením,..) adaptivní techniky hierarchická radiační metoda Photorealistic Josef Pelikán, 37 / 107

38 Aproimace radiosity konstantní (uzly jsou těžiště ploch) bilineární (uzly jsou ve vrcholech) kvadratická (další uzly jsou uprostřed hran a stěn) Photorealistic Josef Pelikán, 38 / 107

39 Metoda konstantních elementů na elementu A i předpokládáme: konstantní odrazivost ρ i konstantní radiositu B i ( ) ( ) ( ) ( ) ( ) B = E + ρ B y g y, da průměr S přes plochu A i B = E + ρ i i i 1 A i A i N j= 1 B g( y ) j, da j da Aj i Photorealistic Josef Pelikán, 39 / 107

40 Metoda konstantních elementů.. přehození sumy a integrálu: N 1 B E ρ B g y da da A = + i i i j j= 1 i A i A j (, ) j i geometrický člen - konfigurační faktor F ij (část energie vyzářené ploškou A i dopadající na A j ) N i i i j ij j= 1 B = E + ρ B F [ ] W 2 m Photorealistic Josef Pelikán, 40 / 107

41 Fyzikálně intuitivní odvození N i i i i i j j ji j= 1 B A = E A + ρ B A F [ W ] emitovaný výkon = vlastní výkon + odražený výkon reciproční pravidlo: A F = A F j ji i ij B A = E A + ρ B F A A i i i i i j ij i j= 1 N N i i i j ij j= 1 B = E + ρ B F [ ] W 2 m i 1 Photorealistic Josef Pelikán, 41 / 107

42 Soustava lineárních rovnic N i i j ij j= 1 B ρ B F = E i = 1.. N 1 ρ 1F 11, ρ 1F 1, 2.. ρ 1F 1, ρ 2F2, 1 1 ρ 2F2, 2.. ρ 2F2, ρ F 1 ρ F ρ F i N N B1 E B2 E =.... B E N N, N N, N N, N N N vektor neznámých [B i ] 1 2 Photorealistic Josef Pelikán, 42 / 107

43 Soustava lineárních rovnic pro rovinné (konvení) plošky platí F ii = 0 na diagonále jsou pak samé jedničky nediagonální prvky matice mají typicky malou absolutní hodnotu matice je diagonálně dominantní soustava je dobře podmíněná a lze ji úspěšně řešit iteračními metodami při změně osvětlení se mění jenom pravá strana přímé metody rozklad matice zůstává Photorealistic Josef Pelikán, 43 / 107

44 Konfigurační faktory Rovnice pro radiositu (konstantní elementy): 1 F g( y ) i j =, daj dai = A = i A A 1 cos θ i cos θ A 2 i π y A i i A j j N 1 B E ρ B g y da da A = + i i i j j= 1 i A i A j (, ) j (, ) j V y da da j i i Photorealistic Josef Pelikán, 44 / 107

45 Nusseltova analogie N A j da i ω j.. [ cos θ ] r 2 j [ cos θ ] r = 1 i π F da A i j Photorealistic Josef Pelikán, 45 / 107

46 Polokrychle (částečné FF) F 2 = π z 2 A ( 2 z ) A 2 2 F 1 = π A ( y 1) y 1 A z 2 da i 2 Photorealistic Josef Pelikán, 46 / 107

47 Metody Monte-Carlo vrhání paprsků ze zdrojové plošky do scény najednou se spočítá celý řádek matice možnost klasického urychlení (průsečíky) vzorkování! Photorealistic Josef Pelikán, 47 / 107

48 Řešení radiační soustavy rovnic klasické iterační metody: Jacobi, Gauss-Seidel chytřejší: Southwell, progresivní radiosita nejsou slepé, používají třídění over-relaation modifikace: à la SOR Super-Shoot-Gather (SSG) maimálně využívá jednoho spočítaného řádku matice hierarchické přístupy multiresolution ( multigrid ) techniky úloha zdroje a příjemce světla není symetrická Photorealistic Josef Pelikán, 48 / 107

49 Gauss-Seidel = sbírání světla B j B i i i i j ij j i B = E + ρ B F Photorealistic Josef Pelikán, 49 / 107

50 Reziduum a Southwellova metoda Reziduum (chyba) k-té iterace: ( k) ( k) r = E M B Jacobiho i Gauss-Seidelova metoda v každém kroku výpočtu vynulují jednu složku rezidua naivní postup: pořadí dané očíslováním neznámých chytřejší přístup: Southwell dává přednost neznámým s větším reziduem složky s větší chybou se opravují častěji rychlejší konvergence Photorealistic Josef Pelikán, 50 / 107

51 Progresivní radiační metoda Cohen a spol., 1988 používá podobnou myšlenku jako Southwell plošky se třídí podle dosud nevystřelené energie musí se průběžně upravovat celý vektor reziduí je to vlastně Southwell + Jacobi sweep fyzikální analogie = střílení světla průběžné, interaktivní zobrazení možnost využít dosud nevystřeleného světla (okolní složka osvětlení) Photorealistic Josef Pelikán, 51 / 107

52 Střílení světla ( p+ 1) ( p) ( p) j j i B = B + r ρ F j ji B j B i Photorealistic Josef Pelikán, 52 / 107

53 Úprava rezidua po vystřelení Podle recipročního pravidla pro kon gurační faktory: ( p + 1) ( p) ( p) ( p) i ( p) j j j ji i j j ij i j r = r + ρ F r = r + ρ F A A r Distribuce energie v jednom kroku výpočtu: r ( p+ 1) i A = i 0 <1 ( p+ 1) ( p) ( p) j j j j j ij i r A = r A + ρ F r A j = 1.. N i Photorealistic Josef Pelikán, 53 / 107

54 Progresivní radiační metoda double B[N], E[N], db[n], F[N][N], A[N], ro[n]; for ( int i=0; i<n; i++ ) { // inicializace B, db B[i] := E[i]; db[i] := E[i]; } while ( nezkonvergovalo ) { // jeden krok výpočtu výběr i == argma i (db[i]*a[i]) for ( int j=0; j<n; j++ ) { double drad = db[i]*ro[j]*f[j][i]; B[j] += drad; db[j] += drad; } db[i] = 0.0; zobrazení mezivýsledku pomocí radiosit B[i] } Photorealistic Josef Pelikán, 54 / 107

55 Přestřelování ( over-relaation ) vystřelím světlo na dluh (předpokládám, že v budoucnu se do plošky vrátí) B r ( k + 1) ( k) i i = B + ω ( k + 1) ( ) ( k) i = 1 ω ri ( k) ri M musí se počítat i se zápornými hodnotami (abs) ii 1 třeba 1.2 hodnota ω se může v průběhu konvergence měnit na začátku jsem odvážnější, postupně více konzervativní přestřelování podle odhadu zbytkového světla Photorealistic Josef Pelikán, 55 / 107

56 Odhad zbytkového světla aproimace dosud nespočítaných odrazů světla celková dosud nevystřelená radiosita: B = B i A i A i průměrný koeficient odrazu: odhad zbytkové radiosity: = i A i A i B amb = B = B 1 Photorealistic Josef Pelikán, 56 / 107

57 Aplikace zbytkové radiosity instantní zobrazení radiosita každé plošky se jen pro účely zobrazení upraví: B i disp = B i i B amb dynamický koeficient přestřelování ω podle odhadu dosud nevystřelené radiosity.. vystřeluje se B i k i B amb pro 0 k 1 Photorealistic Josef Pelikán, 57 / 107

58 Super-Shoot-Gather (SSG) maimální využití spočítaných koeficientů mám k dispozici jednu řádku a jeden sloupec matice opakovené střílení z dané plošky do ostatních (a zpět) tato izolovaná soustava konverguje musím ukládat nevystřelenou radiositu v matici (řídké) eplicitní řešení: [M ' ] [ SG i ] = [ B i ] SG i = B i i j i F ij B j 1 i j i F ij j F ji B j = SG j SG j i = B j j F ji SG i Photorealistic Josef Pelikán, 58 / 107

59 Hierarchické radiační metody vyzařování příjem Photorealistic Josef Pelikán, 59 / 107

60 Dvoustupňová hierarchie Cohen a spol., 1986 elementy (N) se sdružují do plošek (M) M << N konfigurační faktory (mezi ploškami) F ij = q i F qj A q A i soustava rovnic (plošky) M B i = E i i j =1 B j F ij radiosity elementů M B q = E q q j =1 B j F qj Photorealistic Josef Pelikán, 60 / 107

61 Vícestupňová hierarchie q p F qp Link Photorealistic Josef Pelikán, 61 / 107

62 Uzel stromu ( Node ) Bg přijatá radiosita (v tomto kroku se nestřílí) Bs vystřelovaná radiosita E emitovaná radiosita (zdroj světla) A plocha ρ odrazivost plošky L seznam spojů, které na plošku svítí Uzly se vytvářejí až na základě potřeby: předzpracování (odhad konfiguračních faktorů F-rule ) adaptivní zjemňování scény ( BF-rule ) Photorealistic Josef Pelikán, 62 / 107

63 Iterace SolveHR() { // balance energy using HR links while not converged { foreach root node r GatherRad( r ); // gather up incoming energy foreach root node r PushPullRad( r, r.bg ); // give energy to children } } GatherRad( n ) { // get radiosity into this node n.bg = 0.0; foreach link L into n n.bg += n.ro * L.Fqp * L.p.Bs; // L.p is shooter patch foreach child r of n GatherRad( r ); // accumulate for each child } Photorealistic Josef Pelikán, 63 / 107

64 Distribuce světla v hierarchii float PushPullRad( n, Bdown ) { // node n inherits radiosity Bdown if ( n is leaf node ) Bup = n.e + n.bg + Bdown; else { Bup = 0.0; foreach child r of n Bup += r.a/n.a * PushPullRad( r, n.bg+bdown ); } n.bs = Bup; return Bup; } Photorealistic Josef Pelikán, 64 / 107

65 Adaptivní algoritmus základní algoritmus je statický hierarchie se staví pouze na začátku (podle odhadu konfiguračních faktorů F-rule ) adaptivní algoritmus modifikuje hierarchie v průběhu výpočtu zjemňování podle množství přenášené energie daným spojem ( BF-rule ) cíl sjednotit energie předávané jednotlivými spoji každý spoj pak má přibližně stejnou důležitost.. mizí rozdíl mezi sbíráním a střílením světla Photorealistic Josef Pelikán, 65 / 107

66 Monte-Carlo zobrazování cíle a aplikace realistického zobrazování historie, přehled používaných přístupů teoretické základy zobrazovací rovnice souhlas starších metod s teorií (fyzikou) metody založené na zobrazovací teorii radiační metody (matné materiály) Monte-Carlo zobrazování (paprsky, unbiased ) hybridní metody (efektivita) efektivnější vzorkování (Metropolis) Photorealistic Josef Pelikán, 66 / 107

67 Monte-Carlo zobrazování Monte-Carlo kvadratura: integrály zobrazovacích rovnic jsou mnoho-rozměrné anti-aliasing, hloubka ostrosti, rozmazání pohybem Monte-Carlo metody nejsou citlivé na vyšší dimenze integrandy mají mnoho nespojitostí různých druhů obyčejně se nepožaduje velká přesnost lidské vidění má velmi omezenou absolutní citlivost běžně postačí relativní přesnost ½ 2 % Photorealistic Josef Pelikán, 67 / 107

68 Urychlení konvergence M-C jittering, stratified sampling vzorkování s nižší diskrepancí vzorkování podle důležitosti ( importance sampling ) hustota pravděpodobnosti podobná integrované funkci generování vzorků s libovolnou hustotou pravděpodob. kombinované odhady, smíšené heuristiky (různé pr.) každé vzorkování (= hustota pravděpodobnosti) vyjadřuje jednu složku integrované funkce Metropolis vzorkování (později) Photorealistic Josef Pelikán, 68 / 107

69 Stratified sampling f(ξ 1 ) f() 1 0 N f d = i=1 N I strat = i=1 Ai f d f i A i 0 1 ξ 1 ξ 2 ξ 3 ξ 4 i A i chytrý rozklad na subintervaly: funkce f() má na subintervalech co nejmenší variaci Photorealistic Josef Pelikán, 69 / 107

70 Importance sampling f() f d = 0 f p dp p() I imp = f p 0 1 ξ 5 ξ 3 ξ 1 ξ 4 ξ 2 ξ 6 i Rnd p hustota p() má být co nejpodobnější funkci f()?! efektivní generování vzorků podle hustoty p()!? Photorealistic Josef Pelikán, 70 / 107

71 Combined sampling f() N I comb = i=1 w i i f i p i i p 1 () p 2 () 0 1 ξ 1 ξ 2 i Rnd p i N i=1 0 w i w i = 1 odhaduje se podle několika náhodných rozdělení každé rozdělení může charakterizovat jinou složku f().. Photorealistic Josef Pelikán, 71 / 107

72 Náhodná procházka řešení Fredholmovy soustavy druhého druhu: f = g 0 1 K, y f y dy neznámá funkce zadání nekonečná náhodná procházka řízená distribucemi p i f r = i =0 [ i j =1 K j 1, j p j j ] g i, 0 = Photorealistic Josef Pelikán, 72 / 107

73 Ruská ruleta odstranění nekonečné řady: k f Russ,r = i=0 [ i j=1 K j 1, j P j p j j ] g i P j udává pravděpodobnost pokračování v kroku j je logické, aby byla úměrná celkové odrazivosti K(,y) p j () je distribuce pro výběr dalšího prvku posloupnosti: ξ j Photorealistic Josef Pelikán, 73 / 107

74 Photorealistic Josef Pelikán, 74 / 107 Zobrazovací rovnice pro radianci ( ) ( ) ( ) ( ) Ω + = = 1 cos,,,, y y y y e d y L f L L ω θ ω ω ω ω ω N θ y y ω y L(,ω ) L(y,ω y ) ω ( ) ( ) ( ) Ω = Φ A e o da d S W L S ω θ ω ω cos,,,

75 Path-tracing Monte-Carlo odhad toku Φ(S) i radiance L( 0,ω 0 ) (omezení náhodné procházky ruskou ruletou): W cosψ Φ k ( S ) i i = 0 j = 1 path f = e ( ) 0, ω 0, S p (, ω ) ( ) j 1, ω j ω j 1 P p ( ω ) j 0 0 j 0 j cosθ j 1 L e (, ω ) i i pravděpodobnost pokračování krokem j hustota pravděp. pro vstupní směr ω j Photorealistic Josef Pelikán, 75 / 107

76 Schema šíření světla 1 3 θ 1 ω 1 ω 3 0 ω 2 N 0 θ 0 ψ θ 2 ω 0 2 Photorealistic Josef Pelikán, 76 / 107

77 Odhad příští události (NEE) obyčejný Path-tracing je velmi neefektivní náhodná procházka se musí trefit do zdroje světla! odhad příští události ( Net Event Estimation ) zařídím příspěvky od zdrojů v každém kroku NEE je nejvýhodnější pro scény s malými ale dobře viditelnými plochami světelných zdrojů vzorkování světelných zdrojů tvoří dominantní složku výsledku Photorealistic Josef Pelikán, 77 / 107

78 Photorealistic Josef Pelikán, 78 / 107 ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) Ω Ω + + = = = + = 1 1 cos,,,,, cos,,,,,, y y y r y A y y e y y y y y r r e d y L f da y G y L f d y L f L L L L ω θ ω ω ω ω ω ω ω θ ω ω ω ω ω ω ω Odhad příští události II Rozdělení nepřímého osvětlení na dvě složky:

79 Schema šíření světla (NEE) 1 y ω y 1 ω 1 ω y 0 0 ω y 2 ω 2 ω 0 2 Photorealistic Josef Pelikán, 79 / 107

80 Dualita v teorii zobrazování Kajiya 1986: zobrazovací rovnice Smits 1992: zavedení pojmu důležitost (potenciál) aplikace v radiační metodě efektivní zjemňování hierarchie ( BFI-rule ) ( zpřesňuji výpočet ne tam, kde je hodně světla, ale tam, kde je světlo potřeba = přispívá významně k výsledku ) Pattanaik 1993: zavedení duality do teorie zobrazování duální operátory a rovnice - prostředek k řešení úlohy globálního osvětlení scény Photorealistic Josef Pelikán, 80 / 107

81 Důležitost (potenciál) výkon procházející svazkem S jako důsledek jednotkové radiance z bodu směrem ω [ 1 ] L o (,ω ) Φ o (S) N ω dω S = { } { ω } i j θ da W (, ω, S ) = L o 2 Φ o ( S ) (, ω ) ω A cosθ Photorealistic Josef Pelikán, 81 / 107

82 Photorealistic Josef Pelikán, 82 / 107 Zobrazovací rovnice pro potenciál ( ) ( ) ( ) ( ) Ω + = = y y y y y e d y W y f W W ω θ ω ω ω ω ω cos,,,, y N y θ y ω W(y,ω y ) W(,ω ) ω y ( ) ( ) ( ) Ω = Φ A e o da d S W L S ω θ ω ω cos,,,

83 Light-tracing celkový odhad paprsek vycházející ze zdroje (vyzařovací charakteristiky zdroje) Φ ( S ) light = L e (, ω ) 0 0 p (, ω ) 0 0 cosθ 0 0 k i i = 0 j = 1 f ( ), ω ω j j 1 j ( ) P p ω j j j cosθ j W e (, ω, S ) i i Photorealistic Josef Pelikán, 83 / 107

84 Schema šíření světla (střílení) 2 0 ω 2 ω0 θ 2 3 θ 1 ω 1 N 3 θ 3 ω 3 1 Photorealistic Josef Pelikán, 84 / 107

85 NEE pro Light-tracing 2 0 ω 2 ω0 ω 2 z 3 ω 1 ω 3 z 1 ω 1 z Photorealistic Josef Pelikán, 85 / 107

86 Aplikace Light-tracingu přímý výpočet realistického obrázku světlo se přijímá kamerou a ukládá v průmětně pomocný výpočet pro některou kombinovanou metodu světlo se ukládá do tzv. světelných map (fotonové mapy, Photon-tracing ) větší suma potenciálu W e vede k efektivnějšímu výpočtu (nemusí se dělat NEE) Photon-mapping : moderní, ale nekorektní metoda zobrazování (Wann Jensen, 1995) Photorealistic Josef Pelikán, 86 / 107

87 Obousměrný Path-tracing Kombinovaná globální zobrazovací rovnice: Φ vlastní emitovaná radiance ( S) = diskrétní potenciál GRDF A, Ω A, Ω y ( ω ) ( ω ) ( ω ω ),,,,, = L W y S F y e e y y cos θ cos θ dω da dω da y y y integrály přes všechny plochy a směry zdrojů a všechny plochy a směry receptorů Photorealistic Josef Pelikán, 87 / 107

88 Rekurentní definice GRDF (, ω, ω ) δ (, ω,, ω ) F y = y + (, ω, ω ) δ (, ω,, ω ) F y = y + Ω y 1 y y ( ) ( ) + f z, ω ω F z, ω y, ω cos θ dω Ω z První odraz: z z y z z Poslední odraz: y y ( ) ( ) + f y, ω ω F, ω z, ω cos θ dω z y z y z Photorealistic Josef Pelikán, 88 / 107

89 Základy smíšené heuristiky Lineární kombinace obou rekurzivních vzorců: * * * F = δ + w T F + w TF, w + w = 1 Nekonečná Neumannovská řada: N * i j ij j= 0 i= 0 F = w T T δ, w = i= 0 i, N i 1 T i T * se odhadují stochasticky pomocí náhodné procházky ukončované ruskou ruletou. Bez odhadu příští události však má tato metoda velký rozptyl. Photorealistic Josef Pelikán, 89 / 107

90 Odhad příští události S přidáním neuzavřených cest: ( ) Φ S = w C k bipath, nee ij ij i= 1 j= 1 k * i = 1, j > 0: cesta od pozorovatele (bez NEE) i = 0, j 0: cesta od pozorovatele se vzorkem na zdroji i > 0, j > 0: světlo i-krát odražené od zdroje a j-krát od pozorovatele i 0, j = 0: cesta od zdroje se vzorkem na receptoru i > 0, j = 1: cesta od zdroje (bez NEE - neefektivní) Photorealistic Josef Pelikán, 90 / 107

91 Přehled vzorkování závislost příspěvku na vzorku na cestě od zdroje světla PT vzorku na cestě od receptoru y -1 y 0 LT C -1,1 C 1,-1 C 2,-1 C 3,-1 C 0,0 C 1,0 C 2,0 C 3,0 C 0,1 C 1,1 C 2,1 C 3,1 y 2 C -1,2 C 0,2 C 1,2 C 2,2 C 3,2 Photorealistic Josef Pelikán, 91 / 107

92 Obecná cesta (obousměrná) 0 y 1 ω y1 ω 0 C 2,1 y 0 ω y0 1 ω 1 2 y -1 Photorealistic Josef Pelikán, 92 / 107

93 Hybridní metody cíle a aplikace realistického zobrazování historie, přehled používaných přístupů teoretické základy zobrazovací rovnice souhlas starších metod s teorií (fyzikou) metody založené na zobrazovací teorii radiační metody (matné materiály) Monte-Carlo zobrazování (paprsky, unbiased ) hybridní metody (efektivita) efektivnější vzorkování (Metropolis) Photorealistic Josef Pelikán, 93 / 107

94 Vícekrokové (hybridní) metody kombinace radiačních metod (difusní odrazy) a sledování paprsku (lesklé odrazy) většinou se tyto dva přístupy střídají (algoritmus se dělí na jednotlivé průchody nebo kroky) radiační přístup řeší (nepřímé) difusní osvětlení: D* sledování paprsku počítá lesklé odrazy: S [M] * navíc se používá pro finální průchod (zobrazení) místo R-T lze použít Path-tracing nebo jeho vylepšení Photorealistic Josef Pelikán, 94 / 107

95 Mezivýsledek = světelná mapa D S L S * D D S * E S L S E L S * D S * E = Photon-tracing + Path-tracing Photorealistic Josef Pelikán, 95 / 107

96 Metropolis metody cíle a aplikace realistického zobrazování historie, přehled používaných přístupů teoretické základy zobrazovací rovnice souhlas starších metod s teorií (fyzikou) metody založené na zobrazovací teorii radiační metody (matné materiály) Monte-Carlo zobrazování (paprsky, unbiased ) hybridní metody (efektivita) efektivnější vzorkování (Metropolis) Photorealistic Josef Pelikán, 96 / 107

97 Metropolis vzorkování Nicholas Metropolis et al, 1953, výpočetní fyzika vzorkování podle dané funkce f v obtížných podmínkách generuje posloupnost vzorků { i } s hustotou úměrnou f stavový prostor Ω f : R + I f = f d f pdf = f / I f generování vzorků X = { i } i ~ f pdf f Přitom není potřeba počítat I(f) ani f pdf! Photorealistic Josef Pelikán, 97 / 107

98 Základní algoritmus Markovův řetězec vzorků: i závisí jen na i-1 generátor nového vzorku mutate() pravděpodobnost schválení accept() zajišťuje správnou a stacionární distribuci i State, 0, result[n]; = 0; for ( i = 0; i < N; i++ ) { // generate net sample State ' = mutate( ); float a = accept(, ' ); if ( random() < a ) = '; result[i] = ; } Photorealistic Josef Pelikán, 98 / 107

99 Rozšířený algoritmus vzorkuje i oblasti s nízkou hodnotou f() v limitě má stejný výsledek (distribuci) State, 0, result[2*n]; float weight; // standard sample weight float weights[2*n]; // result weights = 0; for ( i = 0; i < 2*N; ) { // generate net sample State ' = mutate( ); float a = accept(, ' ); result[i] = ; weights[i++] = (1-a)* weight; result[i] = '; weights[i++] = a * weight; if ( random() < a ) = '; } Photorealistic Josef Pelikán, 99 / 107

100 Mutace, přechody, schvalování hustota pravděpodobnosti přechodu od k ' je dána mutačním předpisem ( mutate() ) T ' pravděpodobnost schválení tohoto přechodu musí se spočítat (pozor na chyby!) je-li určena správně, zajišťuje správnou distribuci výsledků a ' Photorealistic Josef Pelikán, / 107

101 Pravděpodobnost schválení a() podmínka stacionární pravděpodobnosti výsledku f() f T ' a ' = f ' T ' a ' efektivní volba a(): a ' = min 1, f ' T ' f T ' Photorealistic Josef Pelikán, / 107

102 Volba přechodu cíle, rady pravděpodobnost schválení by měla být co nejvyšší lépe prozkoumáme stavový prostor minimalizujeme korelace (alias v grafice) preferujeme přechody, které budou spíše schváleny tj. přechody mířící do oblastí s větším f() adaptivní metody mutace můžeme měnit přechodovou funkci na základě zkušenosti musíme jen umět spočítat přechodové hustoty T(...) Photorealistic Josef Pelikán, / 107

103 Metropolis výpočet osvětlení L S Jen málo pravděpodobné cesty světla mohou přispět k výslednému obrázku.. D S E Photorealistic Josef Pelikán, / 107

104 Metropolis výpočet osvětlení stavový prostor: prostor náhodných procházek potenciálně přenášejících světlo od zdroje do receptoru inicializace: hledání efektivních cest světla obousměrný Path-tracing minimalizace zkreslení (počátečních několik mutací nezapočítávám do výsledku) různé typy mutací perturbace kamery: (L D)DS * E nahradím (stejná délka) perturbace kaustiky: (L D)S * DE nahradím delší řetězce: např. (L D)DS * DS * DE nahrazuji Photorealistic Josef Pelikán, / 107

105 Literatura - knihy Andrew Glassner: Principles of Digital Image Synthesis, Morgan Kaufmann, 1995 Henrik Wann Jensen: Realistic Image Synthesis Using Photon Mapping, A K Peters, 2001 Matt Pharr, Greg Humphreys: Physically Based Rendering, Morgan Kaufmann, 2004 Philip Dutre, Kavita Bala, Philippe Baekert: Advanced Global Illumination, A K Peters, 2006 Photorealistic Josef Pelikán, / 107

106 Literatura Eric Veach, Leonidas J. Guibas: Optimally Combining Sampling Techniques for Monte Carlo Rendering, SIGGRAPH'95 Proceedings Eric Lafortune: Mathematical Models and Monte Carlo Algorithms for Physically Based Rendering, PhD thesis, KU Leuven, 1996 Eric Veach, Leonidas J. Guibas: Metropolis Light Transport, SIGGRAPH'97 Proceedings Eric Veach: Robust Monte Carlo Methods for Light Transport Simulation, PhD Thesis, 1997 Photorealistic Josef Pelikán, / 107

107 Literatura S. Gortler, M. F. Cohen, P. Slusallek: Radiosity and Relaation Methods, IEEE CG&A, 16(6), 1994 David Cline, Parris Egbert: A Practical Introduction to Metropolis Light Transport, Tech. report, Brigham Young University, 2005 Matt Pharr: Metropolis Sampling, slides for cs348b course, May 2003 Photorealistic Josef Pelikán, / 107