Základy OpenGL Josef Pelikán CGG MFF UK Praha. OpenGL / 34

Transkript

1 Základy OpenGL Josef Pelikán CGG MFF UK Praha 1 / 34

2 Pokroky v hardware 3D akcelerace běžná i v konzumním sektoru hry, multimedia, i mobilní app. (OpenGL ES) vzhled kvalita prezentace velmi důmyslné techniky texturování kombinace mnoha textur, modularita zpracování vysoký výkon nejmodernější čipové technologie pro výrobu GPU (NVIDIA Pascal: 16 nm), masivní paralelismus velmi rychlé paměti (vícecestný přístup, GDDR5, HBM) výjimečné sběrnice mezi GPU a CPU (dnes PCI-E) 2 / 34

3 Pokroky v software dvě hlavní knihovny pro 3D grafiku OpenGL (SGI, open standard) a Direct3D (Microsoft) přístup je podobný, API je velmi ovlivněno hardwarem nastavení parametrů a úsporný přenos dat do GPU maximální sdílení společných datových polí programování grafického řetězce! revoluce v programování 3D grafiky vertex-shader : zpracování vrcholů sítě geometry/tesselation-sh. : generování elementů.. fragment-shader ( pixel-shader ): zpracování jednotlivých pixelů před vykreslením 3 / 34

4 Vývojové nástroje příjemné pro programátory i umělce vyšší jazyky pro programování GPU GLSL (OpenGL), HLSL (DirectX), Cg (NVIDIA) Cg a HLSL jsou téměř shodné kompozice grafických efektů kompaktní popis celého efektu (GPU programy, odkazy na data) v jednom souboru DirectX.FX formát, NVIDIA CgFX formát nástroje: Effect Browser (Microsoft), FX Composer (NVIDIA), RenderMonkey (ATI) 4 / 34

5 Schéma OpenGL (FFP) OpenGL Fixed Functionality Pipeline: Geom. Per-Vertex Operations Vertices Primitive Assembly Clip Project Viewport Cull Geom. Rasterize Fragment Processing Fragments Per-Fragment Operations App Memory Pixel Unpack Pixel Transfer Pixels Textures Texture Memory Frame Buffer Operations Pixels Pixel Pack Pixel Groups Read Control Frame Buffer 5 / 34

6 OpenGL: geometrická primitiva typy geometrických primitiv: bod, úsečka, lomená čára, smyčka polygon, trojúhelník, proužek trojúhelníků, vějíř trojúhelníků, čtyřúhelník, proužek čtyřúhelníků, zpracování jednotlivých vrcholů glvertex, glcolor, glnormal, gltexcoord,... neefektivní (mnoho volání gl* funkcí) pole vrcholů gldrawarrays, glmultidrawarrays, gldrawelements,... glcolorpointer, glvertexpointer,... nebo prokládání 6 / 34

7 Geometrická primitiva I GL_POINTS GL_LINES GL_LINE_STRIP GL_LINE_LOOP V 0 V 1 V 0 V 1 V 0 V 1 V 0 V 1 V 2 V 2 V 2 V 2 V 3 V 3 V 3 V 3 V 4 V 4 V 4 V 4 V 5 V 5 V 5 V 5 7 / 34

8 Geometrická primitiva II GL_TRIANGLES GL_TRIANGLE_STRIP GL_TRIANGLE_FAN V 0 V 1 V 0 V 1 V 6 V 5 V 4 V 2 V3 V 2 V3 V 0 V3 V 4 V 5 V 2 V 5 V 4 V 1 8 / 34

9 Geometrická primitiva III GL_QUADS V 0 V 3 GL_QUAD_STRIP V 1 V 0 GL_POLYGON V 6 V 5 V 4 V 1 V 2 V 3 V 2 V 3 V 4 V 7 V 5 V 4 V 0 V 2 V 6 V 6 V 1 V 5 V 7 9 / 34

10 Souřadné soustavy Souřadnice modelu (Object space) Modelovací transformace (Modeling transform) Světové souřadnice (World space) [x,y,z,w] -z Pohledová transformace (View transform) Souřadnice kamery (Eye space) xy -z Projekční transformace (Projection transform) Ořezávací souřadnice (Clip space) xy n f [x,y,z,w] -z xy -z xy 10 / 34

11 Souřadné soustavy II Ořezávací souřadnice (Clip space) [x,y,z,w] Perspektivní dělení (Perspective divide) Okénková transformace (Viewport transform) Normalizovaný prostor (Normalized device space) [x,y,z] -z Souřadnice v okně (Window space) [x,y,z] xy OpenGL: [-1,-1,-1] až [1,1,1] DirectX: [-1,-1, 0] až [1,1,1] [x,y] z skutečná velikost v pixelech na obrazovce (fragmenty) hloubka kompatibilní s z-bufferem 11 / 34

12 Souřadné soustavy III souřadnice modelu databáze objektů, ze kterých se skládá scéna 3D modelovací programy (3DS, Maya,..) světové souřadnice absolutní souřadnice virtuálního 3D světa vzájemná poloha jednotlivých instancí objektů souřadnice kamery 3D svět se transformuje do relativních souřadnic kamery střed projekce: počátek, směr pohledu: -z (nebo z) 12 / 34

13 Souřadné soustavy a transformace transformace model kamera společná transformační matice modelview světové souřadnice nejsou moc důležité projekční transformace definuje zorný objem = frustum [ l, r, b, t, n, f ] přední a zadní ořezávací vzdálenost: n, f výsledkem je homogenní souřadnice (před ořezáním) ořezávací souřadnice ( clip space ) výstupní souřadnice vertex shaderu! 13 / 34

14 Projekční transformace vzdálený bod f lze posunout do nekonečna [ ] 2n 2n r l r l 2n n t b 0 r l t b t b f n 1 r l t b f n r l t b 0 0 2fn r l t b 0 f n xy [ n ] n 0 f -z 14 / 34

15 Souřadné soustavy a transformace perspektivní dělení pouze převádí homogenní souřadnice do kartézských normalizované souřadnice zařízení ( NDC ) kvádr standardní velikosti OpenGL: [-1,-1,-1] až [1,1,1] DirectX: [-1,-1,0] až [1,1,1] souřadnice v okně ( window space ) výsledkem okénkové transf. a transformace hloubky používají se při rasterizaci a práci s fragmenty 15 / 34

16 Transformace tuhého tělesa zachovává tvar těles, mění pouze jejich orientaci skládá se jenom z posunutí a otáčení často se používá k převodu mezi souřadnicovými systémy (např. mezi světovými souřadnicemi a systémem spojeným s pozorovatelem) z u (up) r (right) v (view) y (levoruký = pravotočivý systém) x 16 / 34

17 Převod mezi dvěma orientacemi z u O s x y t [1, 0, 0 ] M stu xyz = s [0, 1, 0 ] M stu xyz = t [0, 0, 1 ] M stu xyz = u Souřadný systém má počátek v O a je zadán trojicí jednotkových vektorů [ s, t, u ] [ M stu xyz = M xyz stu s x s y s z t x t y t z u x u y u z] T = M stu xyz 17 / 34

18 Geometrická data na serveru VBO, VAO, počátky od OpenGL 1.5 pro.net skoro podmínkou (klientská paměť není fixována) buffer na straně grafického serveru obsahující geometrická data založení bufferu: glbindbuffer zadání dat z pole: glbufferdata, glbuffersubdata mapování do paměti aplikace: glmapbuffer, glunmap.. práce s klientskou pamětí nebo s bufferem glcolorpointer, glnormalpointer, glvertexpointer, / 34

19 Vertex Buffer Objects glbindbuffer( GL_ARRAY_BUFFER, 0 ); glvertexpointer( ); glnormalpointer( ); 0 1 [x,y,z,w] [N x,n y,n z ] [s,t] Vertex buffer [0,1,2] [1,2,3] [3,0,12] id=0 [x,y,z,w] [N x,n y,n z ] [s,t] VBO buffer objects Index buffer id=1 GPU memory glbindbuffer( GL_ELEMENT_ARRAY_BUFFER, 1 ); gldrawelements( GL_TRIANGLES, ); 19 / 34

20 Zpracování vrcholu transformace vrcholů modelovacími a projekčními maticemi glmatrixmode glloadidentity, glloadmatrix, glmultmatrix glrotate, glscale, gltranslate,... osvětlovací atributy gllight, gllightmodel, glmaterial 20 / 34

21 Sestavení a zpracování primitiv sestavení (Assembly) určení, kolik vrcholů primitivum potřebuje shromáždění balíčku dat a odeslání dál zpracování primitiv ořezávání ( clipping ) projekce do zorného objemu ( frustum ) dělení w projekce a ořezání do 2D okénka ( viewport ) odstranění odvrácených stěn ( culling ) - jednostranná vs. oboustranná primitiva 21 / 34

22 Rasterizace, fragmenty rasterizace = vykreslení vektorových primitiv rozklad geometrických objektů na fragmenty geometrické objekty: body, úsečky, trojúhelníky, bitmapy fragment rastrový element, který potenciálně přispívá k barvě nějakého pixelu velikost: stejná nebo menší než u pixelu (anti-aliasing) balíček dat procházející rasterizační jednotkou GPU: - vstup/výstup: x, y, z (pouze hloubku lze měnit!) - texturovací souřadnice t 0 až t n - lesklá a difusní barva, koeficient mlhy, uživatelská data,... - výstupní barva RGB a neprůhlednost α (frame-buffer op.) 22 / 34

23 Interpolace ve fragmentech atributy fragmentů se automaticky interpolují z hodnot ve vrcholech: hloubka (z nebo w) texturové souřadnice barvy (lesklá a difusní složka) uživatelské atributy,... rychlé HW interpolátory perspektivně korektní interpolace jen [ x, y ] se mění lineárně ostatní veličiny vyžadují jedno dělení na každý fragment 23 / 34

24 Zpracování fragmentů texturovací operace maximálně optimalizované operace výběr barvy z texturovací paměti interpolace texelů: - mip-mapping, anisotropic filtering,... kombinace několika textur (výběr z mnoha operací) zvláštní efekty (bump-mapping, environment mapping) výpočet mlhy podle hloubky z kombinace primární a sekundární barvy (diff., spec.) 24 / 34

25 Rastrové obrázky v OpenGL Geom. Per-Vertex Operations Vertices Primitive Assembly Clip Project Viewport Cull Geom. Rasterize Fragment Processing Fragments Per-Fragment Operations App Memory Pixel Unpack Pixel Transfer Pixels Textures Texture Memory Frame Buffer Operations Pixels Pixel Pack Pixel Groups Read Control Frame Buffer 25 / 34

26 Schéma OpenGL (Programmable Pip.) Texture Memory Geom. App Memory Vertex Processor Vertices Pixel Unpack Primitive Assembly Pixel Transfer Clip Project Viewport Cull Geom. Rasterize Pixels Textures Fragment Processor Fragments Per-Fragment Operations Frame Buffer Operations Pixels Pixel Pack Pixel Groups Read Control Frame Buffer 26 / 34

27 Vrcholový procesor nahrazuje modul zpracování vrcholů: transformace vrcholů transformace a normalizace normálových vektorů výpočet/transformace texturovacích souřadnic výpočet osvětlovacích vektorů nastavení materiálových konstant do vrcholů nemůže ovlivnit: počet vrcholů! (nelze přidat ani ubrat vrchol * ) typ / topologii geometrických primitiv - částečné řešení: degenerace primitivu 27 / 34

28 Fragmentový procesor nahrazuje modul zpracování fragmentů: aritmetické operace s interpolovanými hodnotami čtení dat z textur aplikace textur výpočet mlhy závěrečná syntéza barvy fragmentu možnost modifikace hloubky fragmentu nemůže ovlivnit: počet fragmentů! (nelze přidat ani ubrat fragment * ) polohu fragmentu na obrazovce [x,y] 28 / 34

29 Novinky v OpenGL ( ) dva další kroky zpracování geometrie na GPU geometry shader (OpenGL 3.2) tesselation shaders (OpenGL 4.0) 29 / 34

30 Geometrická primitiva IV GL_LINES_ADJACENCY GL_LINE_STRIP_ADJACENCY V 0 V 3 V 7 V 6 V 5 V 1 V 2 V 4 V 4 V 0 V 6 V 3 V5 V 1 V 2 V 7 30 / 34

31 Geometrická primitiva V GL_TRIANGLES_ADJACENCY GL_TRIANGLE_STRIP_ADJACENCY V 1 V 1 V 0 V 0 V 2 V 3 V 2 V 5 V 6 V 3 V 7 V 4 V 9 V 4 V 5 V 8 V 10 V / 34

32 Geometrické procesory Tesselation shaders nově v OpenGL 4.0 HW podporované dělení ploch, subdivision (spline pláty,...) dva shadery: tesselation control a tesselation evaluation první definuje topologii, druhý počítá geometrii (koeficienty) Geometry shader od OpenGL 3.2 těsně před rasterizační jednotkou možnost generovat/odstraňovat vrcholy i primitiva obecnější než TS, avšak pomalejší (na jednoduchá schémata dělení se nehodí) 32 / 34

33 Programování procesorů v GPU Vertex shader, Fragment shader, kód zavedený ve vrcholovém, fragmentovém, procesoru aplikační programátor může tyto kódy měnit! HW nezávislé * programovací jazyky mikrokód pro GPU se kompiluje až v době běhu aplikace (RT optimalizace, různé profily/verze) low-level instrukce (jazyk se podobá assembleru) nebo vyšší jazyky Cg, HLSL, GLSL (podobné) NVIDIA Microsoft OpenGL 33 / 34

34 Literatura Tomas Akenine-Möller, Eric Haines: Real-time rendering, 2 nd edition, A K Peters, 2002, ISBN: OpenGL ARB: OpenGL Programming Guide, 4 th edition, Addison-Wesley, 2004, ISBN: Randima Fernando, Mark J. Kilgard: The Cg Tutorial, Addison-Wesley, 2003, ISBN: / 34