Obraz s vysokým dynamickým rozsahem

Transkript

1 Obraz s vysokým dynamickým rozsahem High Dynamic Range () České vysoké učení technické v Praze Fakulta elektrotechnická Katedra radioelektroniky Technická Praha 6 16/11/2016 mmtg.fel.cvut.cz v7.00

2 Úvod do High dynamic range imaging Převodní charakteristika Mapa jasů Mapování jasů pro potřeby zobrazení Zpětně kompatibilní komprese Běžná fotografie 19 snímků Mapování jasů Měření a kalibrace DF Spektrální charakteristiky Opto-elektronická převodní charakteristika Ukázky snímků 19 snímků Mapování jasů 1/50

3 Úvod do Dynamický rozsah (DR) Poměr mezi nejsvětlejším L max a nejtmavším L min jasem ve scéně Scény reálného světa mohou mít DR řádu mnoha dekád DR spotřebních fotoaparátů je mnohem nižší než DR scény cd/m 2 DR Scény A B C DR fotoaparátu cd/m 2 Mnoho scén dosahuje DR : 1 DR je vysoký pokud scéna obsahuje zdroj světla nebo zrcadlové odrazy HVS (při plném rozsahu adaptace) může pracovat s DR až : 1 Běžné kompaktní digitální fotoaparáty nabízí DR okolo 400 : 1 Profesionální DSLR fotoaparáty mohou mít DR (RAW data) až : 1 2/50

4 Rec. BT.709 Minimální jas: cd/m 2 Maximální jas: 100 cd/m 2 Vychází z vlastností CRT monitorů Moderní displeje umí až 1000 cd/m 2 ( displeje i 6x více) Při kalibraci podle BT.709 nevyužívají potenciál V případě jiného mapování - zobrazení je jiné než tvůrce zamýšlel (rozdíl oproti masteru) Cílem je mít světlejší highlighty a tmavší stíny při zachování kresby (detailů) Tedy větší kontrast 3/50

5 Největší omezení dynamického rozsahu vzniká při post-produkci a distribuci Je možné vytvořit master starších děl 4/50

6 Blokové schéma obecného systému 5/50

7 Dynamický rozsah oka 6/50

8 Adaptabilita na černou 7/50

9 Vnímání dynamického rozsahu 8/50

10 Weber Fechnerův zákon charakterizuje vztah mezi autoři fyzikální intenzitou podnětu působícího na receptor subjektivním vjemem intenzity (požitkem), které toto působení vyvolá E. H. Weber (lékař, ) G. Th. Fechner (psycholog, ) S = k ln I I 0 Fyzikální význam S intenzita subjektivního vjemu; k konstanta; I fyzikální intenzita podnětu působícího na receptor; S = k I I 0 I 0 prahová intenzita, tedy absolutně nejnižší možná intenzita. 9/50

11 JND Just Noticeable Difference Lidský vizuální systém je schopen rozlišit zhruba 1% rozdíl v jasech Tato hodnota je přirozeně závislá na pozorovateli pozorovacích podmínkách obecně se dá ale říci, že se JND pohybuje v rozmezí 0,5-2%. Dynamický rozsah JND 2% 1% 0.5% 1:10 (kancelář) 116 (~7 bitů) 231(~8 bitů) 462 (~9 bitů) 1:30 (domácí prostředí, TV) 172 (~8 bitů) 342 (~9 bitů) 682 (~10 bitů) 1:100 (kinosál) 232 (~8 bitů) 463 (~9 bitů) 923 (~10 bitů) 1:1000 (sken filmu 3D) 348 (~9 bitů) 694 (~ 10 bitů) 1385 (~ 11 bitů) 1:10000 (sken filmu 4D) 469 (~ 9 bitů) 925 (~ 10 bitů) 1846 (~ 11 bitů) 10/50

12 přenosový řetězec 11/50

13 přenosový řetězec 12/50

14 EOTF PQ (Perceptual Quantizer) - SMPTE ST 2084 HLG (Hybrid Log-gamma) - navržena BBC/NHK (ITU-R BT.2100) 13/50

15 snímání Metody snímání obsahu LDR kamera Několik (po sobě jdoucích) expozic stejné scény Využívá výstup z běžných CMOS či CCD snímačů DF kamera Lze zrekonstruovat mapu rozložení jasu ve scéně Mapováním jasů se sníží DR na reprodukovatelný rozsah Problém s pohybem Modifikace snímacího čipu Např. snímací čip Fuji Super CCD SR Dva typy snímacích buněk lišící se svou plochou Zvýšení DR není dostačující pro věrné zachycení DR běžných scén Simultánní použití více kamer Adaptivní metody Zvýšení bitové hloubky pro detektor s velkou dynamikou Minimálně 17 bitů ( úrovní) Úprava postihne celý řetězec zpracování obrazu Nárůst datového objemu jednoho snímku je extrémní Tato metoda rozšíření DR není pro multimedia vhodná 14/50

16 snímání Simultánní použití více kamer odstraňuje problém s pohybem vyžaduje precizní optiku dynamický rozsah dán počtem senzorů každý další senzor zvyšuje cenu komplikuje přístroj snižuje objem světla 15/50

17 Adaptivní filtrace obrazu Adaptive Dynamic Range Imaging (ADRI) maska s měnitelnou optickou hustotou (denzitou) pro každý pixel limit rozlišení zpětnovazební systém kontinuální analýza obrazu zpětná vazba zanáší zpoždění 16/50

18 High Dynamic Range Imaging Základní kroky vytvoření snímku (bez použití speciálního HW) Sada expozic stejné scény (změna expozičního času) Rekonstrukce převodní charakteristiky DF a mapy jasů scény Mapování jasů do LDR snímku Rekonstrukce mapy jasů reálné scény Sejmutí sady snímků běžným DF LDR IN 1-15 Sada vstupních LDR snímků Zobrazení na běžném monitoru LDR OUT Mapování jasů na nízký DR Výstupní LDR snímek mapa jasů scény 17/50

19 Rekonstrukce mapy jasů scény (radiance map) Pro výpočet mapy jasů je důležitá převodní charakteristika DF Převodní charakteristika f Vztah mezi hodnotou pixelu Z i,j, osvětlením snímače E i a dobou expozice t j Zi, j f ( Ei t j ) Pro monotónní f lze určit inverzní funkci Po logaritmování f Z E t 1, i j i j 1 log f ( Zi, j ) log Ei logt j Zavedeme funkci g 1 g log f Potom platí g( Z ) log E logt i, j i j Existuje postup pro určení funkce g ze série LDR snímků Nikon D700 8bpc JPEG 18/50

20 Rekonstrukce mapy jasů scény (radiance map) Ze známé převodní charakteristiky a série LDR snímků Mapa osvětlení čipu Hodnoty osvětlení pro danou expozici lze určit ze známé funkce g a hodnoty pixelu log E g( Z ) logt i i, j j Kompletní mapa osvětlení se určí ze všech LDR expozic pomocí váhování log E i P j1 w( Z ) g( Z ) logt i, j i, j j P j1 wz ( ) i, j Pixelům blízkým saturaci se přidělí menší váha Výsledkem kombinace více snímků je také potlačení šumu Výsledná mapa jasů je proporcionální hodnotám osvětlení log Ei log Li mapa jasů scény 19/50

21 Obrazové formáty pro uložení mapy jasů Nutno pracovat s plovoucí řádovou čárkou (float) Dostatečná přesnost a zároveň velký dynamický rozsah Potřebná přesnost typicky 4B na barevný kanál Obrazový soubor je mnohem větší (96bpp) než standardní LDR (24bpp) Optimalizovaný formát Radiance RGBE (1985, *.hdr) 3x8b pro mantisu R, G, B a 8b pro společný exponent (32bpp) Kvantizační krok 1%, DR Upravený formát SGI LogLuv TIFF (1997, *.tif) Více variant 10b log luma + 14b CIEuv LUT = 24bpp (Kvantizační krok 1,1%, DR 10 4,8 ) 16b luma + 16b CIEuv = 32bpp (Kvantizační krok 0,3%, DR ) OpenEXR (2002, *.exr) 16b/32b float na kanál R, G, B (48bpp/96bpp) Kvantizační krok 0,1%, DR 10 10,7 Standard JPEG XR (2009, *.jxr) Podpora ztrátové komprese snímků 20/50

22 Zobrazení snímků Standardní displej nestačí pro přímé zobrazení mapy jasů Běžný LCD s neproměnným podsvětlením Výbojka CCFL (Cold Cathode Fluorescent Lamp) Dynamický rozsah 300:1 až 1000:1 Černá 0,1-1 cd/m 2, bílá maximálně cd/m 2 Speciální zobrazovače s vysokým dynamickým rozsahem Systém využívající v čase a po ploše proměnné podsvětlení Např. pomocí pole LED nebo se zadní projekcí Dosažitelný dynamický rozsah :1 Podsvětlení LCD pomocí zadní projekce Distribuce podsvětlení Zobrazený snímek 21/50

23 Zobrazení snímků SIM2 47E S 4K displej Podsvětlení maticí LED oblastí 1920 x 1080 pixelů, 4000 cd/m 2, kontrast :1 Zpracování obrazu v displeji SIM2 Zpracování 30 bitů na kanál TMO TMO -1 obraz Běžný LDR obraz Matice podsvětlení Barevný obraz s vysokým rozlišením (8 bitů na kanál) Modulace podsvětlení (12 bitů na kanál) Výsledný obraz () 22/50

24 Problematika mapování jasu Úkolem mapování jasů je upravit pro zobrazení na LDR zařízení Metoda by měla brát v úvahu vlastnosti lidského vizuálního systému Dosažení podobného vjemu jako při pozorování reálné scény Reálná scéna mapa jasů Mapování jasů LDR popis scény Pozorovatel Různé operátory pro mapování jasů: Globální operátory Lokální operátory Operátory pracující ve frekvenční doméně Operátory pracující s gradienty Vizuálně shodné 23/50

25 -2EV 0EV +2EV Rekonstrukce mapy jasů reálné scény Lokální mapování jasů Globální mapování jasů Ukázka mapování jasů Mapování jasů na nízký DR Výstupní mapované snímky 24/50

26 Operátory pro mapování jasu Globální operátory K převodu z na LDR se využívá kompresní funkce Výpočet pro každý pixel nezávisle na okolních bodech obrazu Výpočetní nenáročnost Malá účinnost pro velké DR Např. Millerův operátor, logaritmický a exponeciální operátor, adaptivní logaritmický operátor, Shlickův operátor, globální fotografický operátor, Lokální operátory Inspirovány lidským vizuálním systémem Dochází k adaptaci oka na právě pozorované místo a jeho jasovou úroveň Výpočetně náročnější Účinné i pro velké DR Problém s artefakty (okolí objektu s inverzí jasu) Např. prostorově variantní operátor, Rahmanův multiscale Retinex operátor, lokální fotografický operátor, 25/50

27 Ld Operátory pro mapování jasu Millerův globální operátor Jedna z prvních metod založená na psychovizuálních měřeních Kompresní funkce Jas reprodukčního zařízení v závislosti na původním jasu Qi ( x, y) Ld i ( x, y) L Q i max d max Q L L 0,338Li i 1,5 log i 6,1 i 0, Kompresní funkce - Miller log(lw) 26/50

28 Ld Operátory pro mapování jasu Exponenciální globální operátor Jednoduchá metoda, často používaná jako reference Kompresní funkce Lw x, y 1 Ld x, y 1 exp Lav log exp log Lw ( x, y) L avlog N xy, L 0,2126 L 0,7152 L 0,0722 L w R G B Logaritmické mapování Exponenciální mapování R Kompresní funkce L d s LG G d Ld Lw B d s d L d L L L L R w B w s log(lw) 27/50

29 Ld Operátory pro mapování jasu Logaritmický globální operátor Jednoduchá metoda, často používaná jako reference Kompresní funkce L d ( x, y) wmax log 1 L ( x, y) w log 1 L Logaritmické mapování Exponenciální mapování R Kompresní funkce L d s LG G d Ld Lw B d s d L d L L L L R w B w s log(lw) 28/50

30 Ld Operátory pro mapování jasu Adaptivní logaritmický globální operátor Empiricky optimalizovaná logaritmická kompresní funkce L w avlog L 0,01 ln L 1 L x y b d L L w d max w,, 0,7 0,9 log log L b wmax log0,5 L w ln 2 8 L wmax 1.4 Kompresní funkce - Drago b= b=0.8 b=0.9 b= log(lw) 29/50

31 Ld Operátory pro mapování jasu Shlickův kvantizační globální operátor Empiricky optimalizovaná logaritmická kompresní funkce L d JND L wmax Lw( x, y) p 1 k k j L L L p Lw ( x, y) ( x, y) ( p 1) L ( x, y) L wmin wmin wmax w wmax 1 Kompresní charakteristika - Shlick JND= k=0 k= k=0.4 k= k=0.8 k= log(lw) 30/50

32 Ld Operátory pro mapování jasu Globální fotografický operátor Inspirováno fotografickým měřením expozice k L w ( x, y) Lw( x, y), k 0,18 0,72 L L d avlog L( x, y) L( x, y) 1 2 Lwhite ( x, y) 1 L( x, y) Kompresní charakteristika - Fotografický operátor key=0.09 key=0.18 key=0.36 key= log(lw) 31/50

33 Vliv velikosti jádra, k = 2 Vliv parametru k, s = 32 Operátory pro mapování jasu Prostorově variantní operátor Inspirováno malířskými technikami (také nelze zaznamenat plný DR) Lokální úprava tvaru kompresní funkce (nebezpečí vzniku artefaktů) 1 Ld( x, y) Lw( x, y) blur k L ( x, y) w blur Gauss Gauss 1 x y Lw ( x, y) Lw( x, y) R ( x, y), R ( x, y) exp ( s) ( s) s = 16 s = 32 k = 1 k = 2 s = 64 s = 128 k = 4 k = 8 32/50

34 Operátory pro mapování jasu Rahmanův multiscale Retinex operátor Založen na modelu HVS Modeluje vlastnosti sítnice lidského oka Retinex Model ovlivňování pixelu okolím pomocí filtrace s různou velikostí jádra Potlačení artefaktů 33/50

35 Operátory pro mapování jasu Lokální fotografický operátor Vychází z globálního fotografického operátoru Analogie s metodou zastiňování a nadržování (dodge and burn) Model ovlivňování pixelu okolím pomocí filtrace Gaussovskou maskou 34/50

36 Vizuální obsah tvoří většinu přenosů dat po Internetu Více jak 1,8 miliardy fotografií sdílených denně 2/3 digitálního vesmíru tvořeno/spotřebováno uživateli Sledování videa, sdílení obrázků, sociální sítě, ZB 10 B 10 TB KPCB estimates based on publicly disclosed company data, 2014 YTD data per latest as of 5/14. 35/50

37 Skupina standardů JPEG Joint Photographic Experts Group Obrovské množství fotografií sdílených na Internetu Více jak 1,8 miliardy fotografií sdílených denně JPEG (Joint Photographic Experts Group) ISO/IEC JTC 1/SC 29/WG 1 a ITU-T SG16 MPEG (Moving Picture Experts Group) ISO/IEC JTC 1/SC 29/WG 11 a ITU-T SG16 Cena Emmy ( ) za vývoj technologie pro MPEG a JPEG 36/50

38 Perceptuálně bezeztrátové Algoritmy pro kompresi obrazu Bezeztrátová komprese Rekonstruovaný obraz je identický s originálem Ztrátová komprese Rekonstruovaný obraz je vůči originálu degradován Algoritmy pro ztrátovou kompresi Perceptuálně bezeztrátová komprese Pozorovatel nevnímá zkreslení Perceptuálně ztrátové komprese Pozorovatel vnímá zkreslení Bezeztrátová komprese Max. Bitrate Redukce redundance Entropie dat Redukce irelevance Důležitá podmínka návrhu Perceptuálně bezeztrátový systém Nutnost definovat psychovisuální redundanci Ztrátová komprese Min. Bitrate Dolní mez pro perceptuálně bezeztrátovou kompresi 37/50

39 Kompresní účinnost Skupina standardů JPEG Další vývoj AIC (Advanced Image Coding) V únoru 2015 byla zveřejněna výzva CfI (Call for Information) Hledání nových nástrojů pro kompresní standardy další generace Velký potenciál má vnitrosnímková komprese založená na HEVC Složitost 38/50

40 Zpětně kompatibilní ztrátová komprese obrazu Od roku 2013 připravovaný standard JPEG XT Rozšíření více než 20 let starého standardu JPEG Kódování obrazu pomocí JPEG po aplikaci TMO Přenos chybového signálu v postranních datech obraz Chybový obraz Vstupní obraz + Výpočet chybového obrazu - obraz Zkreslený obraz Mapování (TMO) Inverzní mapování (TMO -1 ) LDR obraz Zkreslený LDR obraz Kodér JPEG Dekodér JPEG q JPEG Komprimovaný LDR obraz Sloučení dat Dodatečná data JPEG kompatibilní obrazový soubor Kódování chybového obrazu Q 39/50

41 -VDP-2 (-) MRSE (db) SNR (db) Objektivní metriky pro verifikaci komprese obrazu Verifikační testy standardu JPEG XT Testovány tři profily od různých proponentů Velmi rozdílné výsledky pro různé dostupné objektivní metriky Testování provedeno pro pět snímků a pět operačních bodů (1-5 bpp) -VDP-2 MRSE SNR BloomingGorse2 CanadianFalls McKeesPub MtRushmore2 WillyDesk bpp (-) BloomingGorse2 BloomingGorse2 CanadianFalls 40 CanadianFalls McKeesPub McKeesPub MtRushmore MtRushmore WillyDesk WillyDesk bpp (-) bpp (-) 50 40/50

42 Hodnocení účinnosti komprese JPEG XT cadik desk01 Knossos8 LowerLewisFalls RevelStoke SwissSunset Zurich2 Sledované parametry Tři testované JPEG XT profily (Profile A, Profile B, Profile C) Vliv výběru operátoru pro mapování jasů (TMO) Jednoduchý TMO (ořezání + lineární komprese + inverzní gamma) Reinhard, Drago, icam06 Výběr snímků HD (1 snímek) a 4K (5 snímků) Plný rozsah testované kvality komprese Základní vrstva - q od 40 do 95 s krokem 5 a 99 Rozšiřující vrstva - Q od 20 do 95 s krokem 5 a 99 Použité metriky pro objektivní hodnocení kvality Základní metriky - SNR, MRSE Metriky založené na HVS - Feature Similarity Index (FSIM) a CIEDE /50

43 Výsledky (q = 75, Signal-to-Noise Ratio) Pinheiro, A., et al., Performance evaluation of the emerging JPEG XT image compression standard, MMSP /50

44 Měření a kalibrace DF pro Objektivní charakteristiky digitálních fotoaparátů Základní charakteristiky Rozlišovací schopnost - Spatial frequency response SFR (ISO ) Modulační přenosové funkce MTF, Bodová rozptylová funkce PSF Opto-elektronická převodní funkce OECF (ISO ) Vztah mezi osvitem v rovině snímače a úrovní digitálního signálu Detailní charakteristiky Spektrální odezva (spektrální citlivost obrazového snímače) Další důležité charakteristiky Citlivost ISO (ISO ), Šumové vlastnosti (ISO ) Různé nástroje pro vyhodnocení Určení parametrů kamery (např. Imatest) Pro přesné snímky jsou důležité parametry fotoaparátu Spektrální charakteristika Opto-elektronická převodní funkce atd. 43/50

45 Měření a kalibrace DF pro Příklad měření a kalibrace vybraných DF Nikon D700 a Nikon D90 hlavní rozdíl velikost snímače Měření spektrální charakteristiky Důležité pro všechny multimediální aplikace Ještě důležitější pro vědecké aplikace (astro) Opto-elektronická převodní charakteristika Základní charakteristika pro Vybrané objektivy Základní ZOOM AF-S Nikkor 24-70mm f/2.8g ED AF-S DX Nikkor mm f/ g ED VR Nikon D700 Nikon D90 Celkový počet pixelů milionů 12.9 milionů Efektivní počet pixelů 12.1 milionů (4256x2832) 12.3 milionů (4288x2848) Formát snímače FX DX Typ snímače CMOS CMOS Rozměry snímače 23.9 x 36.0mm 15.8 x 23.6mm Obrazový formát 12/14-bit NEF (RAW) 12-bit NEF (RAW) Rozsah citlivostí ISO Rozsah časů závěrky 30s-1/8000s 30s-1/4000s 44/50

46 Měření a kalibrace DF pro Opto-elektronická převodní funkce (OECF) Vztah mezi osvitem v rovině snímače a digitální výstupní úrovní pro optoelektronickou snímací soustavu Profesionální testovací tabulka ISO štítků s definovanou a kalibrovanou densitou Rovnoměrné osvětlení (5500K, 1300Lux) Série snímků (52 Nikon D90, 55 Nikon D700) Zafixovaná clona a proměnný expoziční čas Vyhodnocení OECF z RAW a JPEG obrazových dat Lineární převod 14bpp NEF (Nikon D700) a 12bpp NEF (Nikon D90) Lineární 16bpp TIFF bez barevné interpolace Nikon D700 CFA Nikon D90 CFA JPEG obrazová data zahrnují nelineární mapování a barevnou interpolaci (demosaicing) 45/50

47 Měření a kalibrace DF pro Opto-elektronická převodní funkce (OECF) +9EV Nikon D700 sekvence expozic (ISO 200) 30s 0EV 1/15s -9EV 1/8000s Krok 1/3EV 46/50

48 Měření a kalibrace DF pro Opto-elektronická převodní funkce (OECF) +9EV 30s Nikon D90 sekvence expozic (ISO 200) 0EV 1/15s -8EV 1/4000s Krok 1/3EV 47/50

49 Měření a kalibrace DF pro Opto-elektronická převodní funkce (OECF) Nikon D700 14bpp RAW Nikon D700 8bpc JPEG DR 13.5EV DR 1: DR 10EV DR 1:1 000 Lineární OECF Nelineární OECF Nikon D90 12bpp RAW Nikon D90 8bpc JPEG DR 12EV DR 1:4 000 DR 10EV DR 1:1 000 Lineární OECF Nelineární OECF 48/50

50 Měření a kalibrace DF pro Opto-elektronická převodní funkce (OECF) Nelineární převodní charakteristika Digitální kamera snímací řetězec Objektiv Závěrka Obrazový senzor ADC Nelinearita Jas scény Osvětlení snímače Osvit snímače Napětí na snímači Digitální hodnoty Saturace Kvantizace Komprese DR Převedené hodnoty Nikon D700 14bpp RAW Nikon D700 8bpc JPEG DR 13.5EV DR 1: DR 10EV DR 1:1 000 Lineární OECF Nelineární OECF 49/50

51 Měření a kalibrace DF pro Spektrální odezva kamery Není dostupná od výrobců (důležitá pro přesné použití) Měření v optické laboratoři (použití kalibrovaného monochromátoru) Halogenový světelný zdroj Polopropustné zrcadlo Napájecí zdroj Počítačem řízený monochromátor Vláknový spektrometr Měřená kamera PC 50/50

52 Měření a kalibrace DF pro Spektrální odezva kamery Zpracování surových obrazových dat RAW Nikon D700 14bpp NEF Struktura CFA RGR Nikon D90 12bpp NEF Struktura CFA GBG Nikon D700 CFA Nikon D90 CFA Příklad vyhodnocení spektrální odezvy (jedno z nejdetailnějších měření) Vlnové délky nm Krok monochromátoru 5nm (D700), 10nm (D90) Pro každou vlnovou délku je zachyceno spektrum pomocí spektrometru Měření provedeno pro citlivost kamery ISO 200 Rozsah expozičních časů 30s 1/4000s (D90), 1/8000 (D700) Více něž 1500 expozic pro každou kameru RAW obrazové soubory ukládány přímo na PC HDD přes rozhraní USB2.0 K automatizaci expozic byl použit program Nikon Camera Control Pro 51/50

53 Měření a kalibrace DF pro Spektrální odezva kamery Ukázka linearity surových dat RAW z obrazového sensoru Nikon D700 R-kanál Nikon D700 G- kanál Nikon D700 B- kanál nm nm nm Nikon D90 R- kanál Nikon D90 G- kanál Nikon D90 B- kanál nm nm nm 52/50

54 Měření a kalibrace DF pro Spektrální odezva kamery Ukázky změřené spektrální odezvy Nikon D700 odezva snímače Objektiv a UV filtr Nikon D700 celková odezva G UV filtr G UV filtr + objektiv B R UV filter + objektiv B R Objektiv Nikon D90 odezva snímače Objektiv a UV filtr Nikon D90 celková odezva B G R UV filtr + objektiv UV filtr Objektiv B G UV filtr + objektiv R 53/50

55 Měření a kalibrace DF pro Spektrální odezva kamery Ukázky změřené spektrální odezvy Porovnání Nikon D700 a Nikon D90 Plné křivky Nikon D700, čárkovaně Nikon D90 Zanedbatelný rozdíl (Použití stejné CFA technologie) Nikon D700, D90 odezva snímače Nikon D700, D90 optiky G Nikon D700 Nikon D90 G UV filtr + objektiv B B R R Nikon D700 Nikon D90 54/50

56 Příklady z testování Sekvence LDR snímků pro tvorbu Scéna s lampou a barevnými tabulkami 30s +9EV 1/15s 0EV 1/8000s -9EV Nikon D700 (1EV step) 55/50

57 Příklady z testování Sekvence LDR snímků pro tvorbu Scéna s lampou a barevnými tabulkami 30s +9EV 1/15s 0EV 1/4000s -8EV Nikon D90 (1EV step) 56/50

58 Příklady z testování Sekvence LDR snímků pro tvorbu Scéna s lampou a barevnými tabulkami 30s +9EV Saturace 1/2s +3EV Saturace 1/60s -2EV Nikon D700 Nikon D700 Nikon D90 Nikon D90 30s +9EV 1/2s +3EV 1/60s -2EV Saturace Saturace 57/50

59 Příklady z testování Sekvence LDR snímků pro tvorbu Nikon D700 Mapa jasů (32bpc plovoucí řádová čárka OpenEXR, Radiance, PSD, etc.) Adobe Photoshop Merge to zásuvný modul Mapování jasů pro potřeby zobrazení (8bpc) 120x80pix Lineární mapování Vyrovnání histogramu Lokální kontrast Nikon D90 1:200 1: x80pix Lineární mapování Vyrovnání histogramu Lokální kontrast 58/50

60 Příklady z testování Reálné scény Sejmuto pomocí digitální zrcadlovky Sekvence LDR snímků pro potřeby Sekvence LDR snímků (14bpp nebo 12bpp RAW data) mapa jasů (32bpc) Mapování jasů (8bpc) náhled Vybrané příklady Vybrané expozice Mapování jasů Vybrané expozice Mapování jasů 59/50

61 Příklady z testování Reálné scény Vybrané příklady Vybrané expozice Mapování jasů Vybrané expozice Mapování jasů 60/50

62 Mastering v Post-processing podle uměleckého záměru autorů Spousta parametrů OETF (PQ, HLG, vlastní, ) Barevný prostor (BT.709, P3, BT.2020, XYZ, ) Vyvážení bílé (D65, C, ) Minimální a maximální jas Charakteristiky použitého monitoru Parametry je třeba signalizovat displeji metadata Metadata lze využít také k zajištění zpětné kompatibility 61/50

63 zpětná kompatibilita Co rozumíme zpětnou kompatibilitou? Existuje několik přístupů Stejné procesy - zachování kamer, kodeků, post-produkčních procesů, atd. Kompatibilita s nižším rozlišením, bitovou hloubkou, atd. Ve skutečnosti je potřeba Jeden signál přímo zobrazitelný na kterémkoliv standardním zařízení NEBO Jeden signál z něhož bude možné získat i SDR signál NEBO Současně přenášet jeden a jeden SDR signál 62/50

64 zpětná kompatibilita Doposud navrhovaná řešení Technologie Kompatibilita základní vrstvy OETF Vylepšovací vrstva Statická metadata (ST 2086) Dynamická metadata Kompatibilita s SDR TV/STB Kompatibilita s TV/STB BDA/ 10 PQ žádná Ano Ne Ne S podporou 10 BBC/NHK SDR/ HLG žádná Ano Ne Ano (UHD) S podporou HLG Technicolor PQ žádná Ano Ano Ano s IP S Technicolor IP Technicolor SDR BT.709 žádná Ano Ano Ano S Technicolor IP Dolby Vision PQ přítomna Ano Ano Ano s IP S podporou 10 nebo Dolby IP Dolby Vision SDR BT.709 přítomna Ano Ano Ano S Dolby IP Dolby Vision žádná PQ žádná Ano Ano Ne S Dolby IP 63/50

65 standardizace OETF PQ: SMPTE ST 2084 HLG: ARIB STD-B67 & ITU-R BT.2100 Metadata SMPTE ST 2086 define standard color grading display metadata SMPTE ST 2094 dynamic metadata describing transformation SDR (připravováno) ETSI DTS/JTC-036 Single-layer SDR-Compatible System for use in Consumer Electronics devices 64/50

66 standardizace HDMI 2.0a: Support standard ST metadata ST still TBC: Hybrid Log Gamma (HLG), ST 2094 dynamic metadata, Dolby Vision? IMF ST 2086 metadata carriage support Compression: MPEG/ITU HEVC/AVC VUI values for PQ and HLG SEI messages: Mastering Display Colour Volume (ST 2086) Content Light Level Information Colour Remapping Information (CRI) Alternative Transfer characteristic Chroma resampling filter hint 65/50

67 standardizace Blu-Ray Disc Association (BDA) 10: HEVC main 10-bits + ST ST-2086 Metadata Optional proprietary metadata: Philips, Technicolor, Dolby Application standardization ARIB: HLG ( STD-B67) DVB: 10, HLG 10 (Technicolor/Philips and Dolby Vision for further consideration...) HLG number 1 for backward compatibility PQ number 1 for non-backward compatibility ATSC: PQ, HLG, Technicolor/Philips and Dolby Vision still under consideration. Industry forum Ultra HD Forum: 10 & HLG UHD Alliance: 10 66/50

68 Použitá literatura Použitá literatura [1] REINHARD, E. - WARD, G. - PATTANAIK, S. - DEBEVEC, P. Dynamic Range Imaging: Acquisition, display and image-based lighling. Morgan Kaufmann, [2] BĚLOVSKÝ, L. Zvýšení dynamického rozsahu digitálního fotoaparátu, Diplomová práce ČVUT FEL, [3] KATSAGGELOS, A. Super Resolution of Images, Morgan and Claypool Publishers, [4] CHAUDHURI, S. Super-Resolution Imaging, Springer, [5] HELLEU, L. Advanced image reconstruction algorithms, super-resolution, Diplomová práce ČVUT FEL, /50

69 Děkuji za pozornost! České vysoké učení technické v Praze Fakulta elektrotechnická Katedra radioelektroniky Technická Praha 6 16/11/2016 mmtg.fel.cvut.cz v7.00