ČESKÉ VYSOKÉ UČENÍ TECHNICKÉ V PRAZE FAKULTA STAVEBNÍ DIPLOMOVÁ PRÁCE

ČESKÉ VYSOKÉ UČENÍ TECHNICKÉ V PRAZE FAKULTA STAVEBNÍ DIPLOMOVÁ PRÁCE PRAHA 2012 Karel KUŽELKA

ČESKÉ VYSOKÉ UČENÍ TECHNICKÉ V PRAZE FAKULTA STAVEBNÍ OBOR GEOINFORMATIKA DIPLOMOVÁ PRÁCE PRŮZKUM MOŽNOSTÍ A TVORBA HDR (HIGH DYNAMIC RANGE) SNÍMKŮ Vedoucí práce: prof. Dr. Ing. Karel Pavelka Katedra mapování a kartografie leden 2012 Karel KUŽELKA

ZDE VLOZIT LIST ZADANI Z duvodu spravneho cislovani stranek

ABSTRAKT Práce se zabývá technikami vzniku fotografií s vysokým dynamickým rozsahem, možnostmi využití takto vzniklých fotografií při fotografické dokumentaci památkových objektů a technikami mapování tonality fotografií s vysokým dynamickým rozsahem na výstupní obrazy s nízkým dynamickým rozsahem. Součástí práce je porovnání nejčastěji používaných dostupných softwarů pro práci s vysokým dynamickým rozsahem ve fotografii a vlastní aplikace HDRplan vytvořená v prostředí MATLAB umožňující vytvoření a uložení fotografie s vysokým dynamickým rozsahem i následný převod na obraz s nízkým dynamickým rozsahem pomocí metod mapování tonality. KLÍČOVÁ SLOVA vysoký dynamický rozsah, vícenásobná expozice, mapování tonality, fotogrammetrie, památková péče ABSTRACT The thesis is concerned with high dynamic range photograph creation techniques, possibilities of utilization of such photographs for photodocumentation in monument preservation and tone mapping techniques for high dynamic range to low dynamic range image conversion. A component part of the thesis is a comparison of current high dynamic range imaging softwares and a new application called HDRplan developed in MATLAB environment. The application is able to create and save high dynamic range images as well as convert the high dynamic range image to low dynamic range image using tone mapping techniques. KEYWORDS high dynamic range, multiple exposures, tone mapping, photogrammetry, monument preservation

PROHLÁŠENÍ Prohlašuji, že diplomovou práci na téma Průzkum možností a tvorba HDR (high dynamic range) snímků jsem vypracovala samostatně. Použitou literaturu a podkladové materiály uvádím v seznamu zdrojů. V Praze dne................................................. (podpis autora)

PODĚKOVÁNÍ Děkuji prof. Dr. Ing. Karlu Pavelkovi za odborné vedení diplomové práce. Děkuji doc. Ing. Róbertu Marušákovi, Ph.D. za podporu během studia.

Obsah Úvod 8 1 Základní pojmy a literární rešerše 10 1.1 Dynamický rozsah............................ 10 1.1.1 Hodnota dynamického rozsahu.................. 10 1.1.2 Dynamický rozsah reálných scén................. 11 1.2 HDR fotografie.............................. 12 1.2.1 Využití HDR........................... 13 1.2.2 Kódování HDR obrazů...................... 14 1.3 Vznik HDR obrazů............................ 17 1.3.1 Vícenásobná expozice....................... 17 1.3.2 Metody přímého snímání HDR................. 23 1.3.3 HDR z analogové fotografie................... 25 1.4 Zobrazení HDR fotogafie......................... 25 1.4.1 Přímé zobrazení HDR...................... 25 1.4.2 Mapování tónů.......................... 26 1.5 Využití HDR ve fotogrammetrii..................... 31 2 Použité vybavení a software 33 2.1 Použité vybavení............................. 33 2.2 Použitý software............................. 34 2.2.1 MATLAB R2011b........................ 34 2.2.2 HDRI software.......................... 35 3 Zpracování 39 3.1 Snímání vícenásobné expozice...................... 39 3.2 Porovnání HDRI software........................ 42 3.2.1 Photomatix Pro 4.1.4....................... 42 3.2.2 FDRtools Advanced....................... 45 3.2.3 Picturenaut 3.2.......................... 47

3.2.4 Photoshop CS3.......................... 49 3.2.5 Photosphere........................... 52 3.2.6 MATLAB 2011b......................... 53 3.3 Tvorba HDR aplikace........................... 55 3.3.1 Načtení a seřazení fotografií................... 55 3.3.2 Zarovnání fotografií........................ 56 3.3.3 Odvození charakteristické křivky fotoaparátu.......... 60 3.3.4 Sloučení do HDR......................... 64 3.3.5 Mapování tonality........................ 65 3.3.6 Lokální TMO Photoreceptor................... 73 3.3.7 Grafické rozhraní......................... 76 Závěr 80 Literatura 82 Obsah CD 85

ÚVOD Úvod HDR fotografie (High Dynamic Range, fotografie s vysokým dynamickým rozsahem, nazývaná také Radiance map, mapa jasů scény) na rozdíl od konvenční fotografie mapuje reálné rozložení jasů fotografované scény. Naprostá většina fotografovaných scén obsahuje vyšší rozsah jasů, než může být zobrazen na běžných monitorech či vytisknut na papír, a velké množství fotografovaných scén obsahuje vyšší rozsah jasů, než může být zaznamenán senzorem digitálního fotoaparátu či zachycen fotografickou emulzí na filmovém políčku. Možnosti zachycení skutečného rozložení jasů scény jak senzorem digitálního fotoaparátu, tak kinofilmovým políčkem jsou limitovány nejmenším možným jasem, který na senzoru či filmovém políčku při dané expozici vyvolá odezvu, a jasem, který pixel senzoru či fotografické zrno filmu zcela nasytí. Konvenční fotografie takových scén nutně postrádá informace o rozložení jasů v části dynamického rozsahu snímku; podle nastavení expozice buď v tmavé či velmi jasné oblasti dynamického rozsahu, nejčastěji pak v obou oblastech. V HDR fotografii jsou uloženy informace o skutečném rozložení jasů od nejtmavšího bodu scény až po nejjasnější detail, který může mít až milionkrát vyšší jas než nejtmavší bod. Je zřejmé, že takové množství informací nemůže být uloženo v tradičním osmibitovém kódování obrazu běžných obrazových formátů. Pro uchování HDR fotografií bylo třeba vyvinout nové způsoby kódování a nové formáty. Ze zřejmých důvodů také není možné HDR fotografii vytisknout na papír nebo si ji prohlédnout na monitoru (s výjimkou speciálních HDR monitorů). Výsledky HDR technik, které si prohlížíme na papíře nebo na monitorech počítače, jsou obrazy s nízkým dynamickým rozsahem (LDR, Low Dynamic Range) vzniklé z HDR obrazů pomocí metod mapování tonality - metod komprimujících reálný rozsah jasů scény na rozsah zobrazitelný běžným monitorem, na rozsah kódovaný do škály hodnot od 0 do 255, na rozsah tzv. výstupního standardu. Přestože nelze HDR fotografii přímo zobrazit, výhody použití HDR fotografií jsou nesporné v téměř všech aplikacích, kde jsou obrazy dále zpracovávány a využívány k obrazovým analýzám. Možnosti HDR fotografie a HDR obrazů jsou v posledních 8

ÚVOD letech intenzivně zkoumány a zvyšovány, HDR techniky jsou využívány ve stále širším spektru aplikací. Cílem této práce je prozkoumat techniky vzniku HDR fotografie a práce s ní. Bude provedena rešerše a rozebrány techniky jednotlivých fází zpracování dat s vysokým dynamickým rozsahem od jejich pořízení až po jejich zobrazení na výstupních zařízeních s nízkým dynamickým rozsahem. Bude otestováno několik softwarů určených pro práci s HDR fotografiemi a porovnány jejich možnosti. Techniky teoreticky rozebrané v úvodní rešerši budou využity při tvorbě vlastní aplikace generující HDR obraz a umožňující jejich mapování do LDR obrazu. 9

1. ZÁKLADNÍ POJMY A LITERÁRNÍ REŠERŠE 1 Základní pojmy a literární rešerše HDR fotografie (high dynamic range, fotografie s vysokým dynamickým rozsahem), je taková fotografie, které mapuje skutečné rozložení jasů ve fotografované scéně a jejíž dynamický rozsah odpovídá dynamickému rozsahu scény. 1.1 Dynamický rozsah Dynamický rozsah je bezrozměrná veličina, která se může vztahovat k několika rozdílným fyzikálním mírám. Pro digitální obraz je dynamický rozsah definován jako poměr mezi nejjasnějším a nejtmavším pixelem. Hodnota dynamického rozsahu vypočítaná podle této definice může být zkreslená, neboť nejvyšší a nejnižší naměřená hodnota je s velkou pravděpodobností odlehlou hodnotou [23]. Spolehlivější odhad dynamického rozsahu digitálního obrazu může být získán, pokud je z výpočtu vyloučeno jisté procento nejjasnějších a nejtmavších pixelů. Pro zobrazení (vytištěný obraz, display) je dynamický rozsah definován jako poměr maximálního a minimálního jasu, který je zobrazení schopno vyzářit či odrazit. Dynamický rozsah digitálního fotoaparátu je poměr jasu, který právě nasytí senzor a minimálního jasu, který vyvolá odezvu na senzoru vyšší než je hodnota směrodatné odchylky nad hladinou šumu [23]. 1.1.1 Hodnota dynamického rozsahu Kontrastní poměr Standardním způsobem vyjádření dynamického rozsahu je kontrastní poměr [2]. Např. kontrastní poměr 1:1000 znamená, že největší jas v obraze je 1000krát vyšší než nejnižší jas. Dynamický rozsah bývá často zjednodušeně vyjádřen počtem řádů kontrastního poměru [23]. Při kontrastním poměru 1:1000 dosahuje tedy dynamický rozsah tří řádů. 10

1. ZÁKLADNÍ POJMY A LITERÁRNÍ REŠERŠE Expoziční hodnota Dynamický rozsah lze vyjádřit také pomocí expoziční hodnoty. Expoziční hodnota (Exposure Value, EV) je fotografická jednotka vyjadřující množství světla zasahující citlivou vrstvu filmu či snímače. Expoziční hodnota rovna nule je definována Mezinárodní standardizační organizací (ISO) jako expoziční hodnota při cloně f/1 a čase 1 sekunda. Zvýšení či snížení expoziční hodnoty o jeden stupeň (1 EV) znamená zvýšení množství světla na dvojnásobek, resp. snížení na polovinu. Zvýšení EV o jeden stupeň lze dosáhnout buď zvýšením expozičního času na dvojnásobek, nebo zmenšením clony o jedno clonové číslo, tzn. vydělením aktuálního clonového čísla hodnotou 2. Zmenšení clony o jedno clonové číslo znamená zvětšení otvoru mezi lamelami clony na dvojnásobek. Expoziční hodnota tedy vyjadřuje dynamický rozsah logaritmicky. Zvýší-li se dynamický rozsah o 1 EV, kontrastní poměr se dvojnásobí. Vyjádření dynamického rozsahu pomocí expozičních hodnot a kontrastního poměru je ekvivalentní a vzájemně převoditelné podle vztahů 1.1. 2 EV = k, (1.1) log 2 k = EV, kde k je kontrastní poměr a EV je počet expozičních stupňů dynamického rozsahu fotografie. 1.1.2 Dynamický rozsah reálných scén Reálný svět má mnohem větší dynamický rozsah, než je možné zachytit metodami běžnými v současné digitální fotografii. Například slunce v poledne je a? 10 12 jasnější než svit hvězd. Lidská zraková soustava je schopna adaptace na světelné podmínky měnící se v téměř 10 řádech [8]. V jedné scéně je lidský zrakový systém schopen vnímat rozsah více než pěti řádů intenzity zároveň [23]. Slunná exteriérová scéna či interiérová scéna s výhledem na jasné světlo může mít dynamický rozsah až 16-25 EV (5-7 řádů) [2]. Dynamické rozsahy scén a zařízení jsou přehledně uvedeny v tabulce 1.1. 11

1. ZÁKLADNÍ POJMY A LITERÁRNÍ REŠERŠE Tab. 1.1: Dynamické rozsahy scén a zařízení. Údaje převzaty z [9], [23] a [8] Scéna, zařízení Rozsah jasů Rozsah v EV Rozsah od max. slunečního jasu po svit hvězd 1 000 000 000 000:1 40 Plný rozsah lidského oka po adaptaci 1 000 000 000 : 1 30 Slunná exteriérová scéna 1 000 000 :1 20 Lidský zrak v jedné scéně 100 000:1 17 Černobílý negativní film 10 000:1 13 Senzor typické DSLR 500:1 9 LCD monitor 350:1 8-9 CRT monitor 200:1 7-8 Kvaltiní fotopapír 100:1 7 Běžný papír 50:1 5-6 Běžná současná zobrazovací zařízení (CRT, LCD, LED monitory, tisk) jsou schopna reprodukovat rozdíly intenzity pouze do přibližně dvou řádů, což zdaleka neodpovídá limitům lidského zraku. Pro zobrazení fotografie současnými zobrazovacími zařízeními je zcela dostatečné uchovávat fotografie v 8bitové hloubce (24 bitů/pixel) nazývané výstupní standard. Větší bitové hloubky nejsou obvykle používány, neboť zobrazovací zařízení nejsou schopna reprodukovat zvětšený dynamický rozsah do úrovně praktické pro lidské vidění. Drtivá většina digitálních fotografií je kódována osmi bity (což odpovídá 256 různým hodnotám) v každém barevném kanálu na každý pixel. Toto kódování obvykle probíhá v okamžiku pořízení snímku, čímž je nenávratně ztraceno velké množství informace obsažené ve fotografované scéně. 1.2 HDR fotografie Digitální obrazy, které obsahují popis scény v rozsahu intenzit odpovídající skutečnému rozsahu intenzit scény, se nazývají HDR (high dynamic range) nebo alternativně radiance maps. Naproti tomu obrazy vhodné pro zobrazení současnými 12

1. ZÁKLADNÍ POJMY A LITERÁRNÍ REŠERŠE zobrazovacími technologiemi se nazývají LDR (low dynamic range, obrazy s nízkým dynamickým rozsahem) [23]. 1.2.1 Využití HDR Na rozdíl od konveční fotografie je HDR fotografie přizpůsobena scéně, kterou popisuje, nikoliv zobrazovacímu zařízení, na němž bude zobrazena. Výsledkem je, že HDR mnohem věrněji reprodukuje skutečnost, než je tomu u konvenční fotografie. Data vztažená ke scéně se dají s prospěchem využít v následujících aplikacích: Renderování na fyzikálních základech bylo pravděpodobně první aplikací HDR obrazů. Programy renderující obrazy scén se simulovaným osvětlením musí kromě LDR scén pro zobrazovací zařízení uchovávat i absolutní radiometrické hodnoty za účelem dalších analýz. V některých případech je potřeba zaznamenat větší rozsah, než je viditelný lidským zrakem. Kromě toho může být vyžadována velká přesnost kódování, aby nedocházelo ke kumulovaným chybám. Dálkový průzkum země. Satelitní obrazy či jiná data mohou obsahovat velmi široký rozsah. Při využití HDR reprezentace můžou být data obsahující široké spektrum vlnových délek analyzovány a zobrazeny v nepravých barvách. Obrazové analýzy a zpracování obrazu. Tím, že HDR poskytuje data vztažená ke scéně, umožňuje získat z obrazu mnohem větší množství informace a provádět široké spektrum obrazových analýz, které by s LDR obrazem nebyly možné. Velké množství operací při zpracování obrazu, jako například rozostření, detekce hran, barevné korekce, obrazové korelace, přepokládají proporcionální vztah mezi pixelovou hodnotou a jasem scény [4]. Tento předpoklad splňují HDR obrazy na rozdíl od konvenčních fotografií. HDR formáty obrazu radikálně zvětšují možnosti zpracování obrazu díky zvýšené přesnosti kódování. Mnoho obrazových operací by bylo v LDR jen obtížně realizovatelných či zcela nerealizovatelných v důsledku kumulace chyb a postupné ztráty informace v obraze. 13

1. ZÁKLADNÍ POJMY A LITERÁRNÍ REŠERŠE HDR reprezentace scény je využívána i v dalších aplikacích, jako je virtuální realita, digitální film, počítačové hry. 1.2.2 Kódování HDR obrazů HDR obraz zaznamenává nepoměrně větší škálu hodnot než konvenční LDR obraz. Aby mohly být HDR obrazy efektivně uchovávány a zpracovávány, vyžadují speciální formáty a kódování. Kódováním se rozumí bitová reprezentace hodnoty pixelu. Pojem formát pak zahrnuje vše, co umožňuje z jednotlivých pixelů vytvořit kompletní obraz [23]. Pro účely HDR bylo vyvinuto několik speciálních formátů i způsobů kódovaní. Jejich porovnání je v tabulce 1.2. Tab. 1.2: Porovnání formátů a kódování HDR obrazů Podle [23] a [2]. Obsahuje i porovnání se standadním JPEG formátem. Formát Kódování Velikost (bitů/pixel) Dyn. rozsah Ztráta informace (%) JPEG srgb 24 2 řády různá HDR RGBE 32 76 řádů 1,0 XYZE 32 76 řádů 1,0 TIFF IEEE RGB 96 79 řádů 0,000003 LogLuv24 24 5 řádů 1,1 LogLuv32 32 38 řádů 0,3 OpenEXR Half RGB 48 11 řádů 0,1 HDR formát Jedním z nejčastěji používaných formátů je HDR (nebo také Radiance) formát (přípony.hdr,.pic), který byl prvně představen v roce 1989 [23]. S formátem HDR je spojeno 32 bitové kódování RGBE či jeho alternativa XYZE. V kódování RGBE je každý pixel kódován čtyřmi osmibitovými komponentami R M, G M, B M a E (ex- 14

1. ZÁKLADNÍ POJMY A LITERÁRNÍ REŠERŠE ponent), převedenými z hodnoty pixelu obrazu vztaženého ke scéně (R W, G W, B W ) těmito vztahy (1.2): E = log 2 (max(r W, G W, B W )) + 128 R M = 256R W 2 E 128 G M = 256G W 2 E 128 B M = 256B W 2 E 128 (1.2) Kódování XYZE je analogické k RGBE s tím rozdílem, že hodnoty R,G a B jsou nahrazeny hodnotami X, Y a Z barevného prostoru XYZ definovaného Mezinárodní komisí pro iluminaci (Commission Internationale de l Éclairage, CIE). Mezi výhody formátu patří obrovský dynamický rozsah, který v něm může být kódován, poměrně malá paměťová náročnost a podpora tohoto formátu většinou softwarů. Nevýhodou je menší přesnost barev a omezený barevný gamut. TIFF formát Dalším formátem umožňujícím uchovávání HDR obrazů je TIFF (Tagged Image File Format) formát (s příponami.tif,.tiff). Standardním kódováním souvisejícím s tímto formátem je IEEE RGB kódování v pohyblivé řádové čárce. Každá z komponent R, G, B je kódována 32 bity, což umožňuje uchovat HDR obraz s rozsahem téměř 79 řádů (přibližně 262 EV). Nevýhodou tohoto kódování je paměťová náročnost. TIFF obraz kódovaný pomocí IEEE RGB zabírá třikrát více místa než HDR formát. Kromě toho neexistuje zdroj, který by byl schopen vytvořit obraz vyžadující tak vysokou přesnost kódování, s výjimkou zcela syntetických obrazů. Formát TIFF je schopen uchovat také kompaktnější reprezentace HDR obrazu získané pomocí 24bitového či 32bitového kódování LogLuv. LogLuv kódování dokáže reprezentovat celý rozsah viditelných barev a uchovává vysoký dynamický rozsah s přesností na hranici vnímání lidského zraku. Princip kódování je pro obě varianty stejný, liší se pouze maximálním možným rozsahem. Data vztažená ke scéně jsou převedena na hodnotu jasu (Y W ) a CIE hodnoty odstínu a saturace (u,v). Prvních deset (L 10 ), resp. patnáct (L 15 ) bitů kódů LogLuv 24 a LogLuv 32 je zaplněno logaritmickou hodnotou jasu vypočítanou podle vztahu 1.3. Zbylé bity pak obsahují 15

1. ZÁKLADNÍ POJMY A LITERÁRNÍ REŠERŠE informaci o barevnosti. Nevýhodou formátu LogLuv TIFF je malá podpora aplikacemi. L 10 = 64(log 2 Y W + 12 L 15 = 256(log 2 Y W + 64 (1.3) OpenEXR formát EXtended Range formát (přípona.ext) vyvinutý společností Industrial Light & Magic [12] je založen na floating-point kódování s poloviční přesností, v němž je každá z barev RGB kódována 16 bity. Prvních šest bitů je vyhrazeno pro exponent, zbylých deset obsahuje mantisu. Jeden pixel je tedy kódován celkem 48 bity. OpenEXR formát podporuje také 96bitové (32 bitů/kanál) a 72bitové (24 bitů/kanál) kódování vyvinuté společností Pixar. Výhodami jsou vysoká přesnost a poměrně vysoký dynamický rozsah a také skutečnost, že tento formát je stále více využíván a podporován. Existuje několik dalších kódování, které lze použít ke kódování HDR obrazů nebo obrazů se středním dynamickým rozsahem (dynamický rozsah mezi dvěma a čtyřmi řády), ale žádný z nich není široce využíván. Ztrátové formáty Všechny zmíněné formáty jsou označovány jako bezztrátové. Pojem bezztrátový v této souvislosti značí, že jakmile jsou hodnoty originální scény zakódovány, nedochází již k žádným dalším ztrátám při uchovávání či pozdějším načítání. V některých případech je vhodné uchovávat HDR obraz v takovém formátu, aby byl zobrazitelný většinou grafických prohlížečů. HDR obraz je pak uchován ve dvou částech: první je LDR obraz vzniklý mapováním tonality, druhou částí jsou pak dodatečná data umožňující LDR obraz znovu doplnit na původní HDR. Příkladem takového formátu je JPEG-HDR formát kompatibilní s 8bitovým JPEG standardem [28]. Tento formát uchovává LDR vzniklým tone-mappingem jako JPEG/JFIF soubor. V metadatech JPEG souboru jsou uložena data umožňující obnovit originální HDR data rekombinací s LDR. Ve většině případů zabírají tato dodatečná data přibližně 20 16

1. ZÁKLADNÍ POJMY A LITERÁRNÍ REŠERŠE % velikosti JPEG obrazu. Naproti tomu většina bezztrátových formátů vyžaduje až 16krát více paměti než JPEG. 1.3 Vznik HDR obrazů HDR obraz může vzniknout v zásadě dvěma způsoby. První možností je renderování syntetického obrazu vytvořeného počítačem. Druhou možností je zachycení reálné scény. Pro zachycení reálné scény do HDR obrazu lze použít speciální fotografické přístroje určené k přímému zaznamenání HDR obrazu, které se v současné době nově objevují na trhu. Většina HDR fotografií ale stále vzniká za pomoci konvenčního fotografického vybavení. 1.3.1 Vícenásobná expozice Senzory současných běžných digitálních fotoaparátů mají dynamický rozsah 9-10 EV, špičkové senzory dosahují dynamického rozsahu 13 EV [2]. V důsledku takto limitovaných možností není možné pomocí běžného digitálního fotoaparátu zachytit všechny úrovně jasu snímané scény. Pokrýt celý dynamický rozsah scény je možné pomocí vytvoření sekvence rozdílně exponovaných fotografií s dostatečným rozsahem expozic. Každá fotografie z této sekvence bude mít různé části scény správně exponované a jiné části scény podexponované nebo přeexponované. Každý pixel by ale měl být správně exponován na jedné nebo více fotografiích. Za předpokladu, že odezva senzoru digitálního fotoaparátu je dokonale lineární, pixelové hodnoty všech fotografií lze sjednotit vydělením hodnoty každého pixelu expozičním časem. Tím jsou hodnoty záření L e zachycené fotoaparátem převedeny na hodnoty ozáření E e. HDR obraz pak vznikne zprůměrováním hodnot odpovídajících pixelů při vyloučení přeexponovaných a podexponovaných pixelů (rovnice 1.4). L i = N j=1 Z ij w(z ij ) N w(z ij ), (1.4) t j j=1 kde L i je hodnota pixelu i HDR obrazu, N je počet snímků vstupujících do 17

1. ZÁKLADNÍ POJMY A LITERÁRNÍ REŠERŠE výpočtu, Z ij je hodnota pixelu i j-té fotografie, t j je expoziční čas j-té fotografie, w(z ij ) je váha pixelu i v j-tém snímku. V praxi nemají fotoaparáty zdaleka lineární odezvu, je tedy důležité do výpočtu zahrnout i funkci odezvy (charakteristickou křivku) fotoaparátu. Za předpokladu, že je funkce odezvy f() známá a daná rovnicí Z ij = f(l e (i), t j ), lze z inverzní funkce f 1 () odvodit výpočet HDR obrazu: L i = N j=1 f 1 (Z ij )w(z ij ) t j N w(z ij ). (1.5) Nastavení vah jednotlivých pixelových hodnot v rovnicích 1.4 a 1.5 je řešeno různými autory rozdílně. Debevec a Malik [4] využívají jednoduchou funkci určenou vztahem 1.9 a založenou na předpokladu, že středně exponované pixely mají mít větší váhu než pixely blízko obou konců rozsahu. Stejně jsou přiřazeny pixelovým hodnotám váhy i při odvození charakteristické křivky fotoaparátu. Mann a Picard [16] navrhují váhovou funkci založenou na derivaci funkce odezvy fotoaparátu. Mitsunaga a Nayar [19] využívají teorii signálu a váhovou funkci Manna a Pickarda násobí polynomickou funkcí vysokého stupně, aby minimalizovali hladinu šumu. Pro korektní výpočet hodnot HDR obrazu je tedy potřeba přesně vědět, jaký jas se namapuje na konkrétní úroveň pixelu, znát charakteristickou křivku fotoaparátu. Kromě toho velmi zřídka nedojde mezi jednotlivými snímky k alespoň minimálnímu pohybu fotoaparátu či objektů na fotografii. Důležité jsou tedy také metody zarovnání fotografií a odstranění "duchů", zdvojených obrazů vzniklých v důsledku pohybu objektu mezi jednotlivými expozicemi. j=1 Snímání vícenásobné expozice Pro snímání sekvence fotografií platí několik důležitých pravidel. Stabilní pozice fotoaparátu. Fotografování probíhá za pomoci stativu. V případě nouze lze vytvořit sekvenci fotografií i z monopodu. Drobný posun doleva/doprava či nahoru/dolů lze srovnat zarovnávacími algoritmy; důležité je eliminovat naklonění fotoaparátu. Rotace obrazu při zarovnávání může být problém. 18

1. ZÁKLADNÍ POJMY A LITERÁRNÍ REŠERŠE Minimalizace pohybu fotoaparátu. Ideální je, pokud v průběhu snímání sekvence není třeba se fotoaparátu dotknout. Stisk spouště či operace s dalšími ovládacími prvky může způsobit pohyb, který znemožní perfektní zarovnání snímků. Kabelové nebo dálkové ovládání umožní nastavení expozice i sejmutí snímků. Užitečnou funkcí je autobracketing. Jedná se o automatické sejmutí sekvence různě exponovaných snímků podle předchozího nastavení. Digitální zrcadlovky disponují režimem předsklopení zrcadla. Tento režim zpozdí expozici asi o vteřinu po zvednutí zrcadla, což je doba, během které se ustálí vibrace fotoaparátu způsobené nárazem zrcadla při jeho zvedání. Neměnné nastavení. Jediným parametrem, který se v průběhu snímání sekvence mění, je čas závěrky. Změny clony by způsobily změnu hloubky ostrosti fotografie, změna ISO mění reakci senzoru na šum. Jsou-li obrazy snímány do formátu JPEG, je potřeba vypnout veškerá vylepšení obrazu (doostření, zlepšení kontrastu atd.). Vyvážení bílé nesmí být nastaveno na automatický režim, jinak hrozí, že pro každou z fotografií bude vyvážení nastaveno jinak a fotografie budou tonálně odlišné; musí být nastaveno na fixní hodnotu či na jeden z předdefinovaných režimů. Stejně tak musí být zachováno zaostření, čehož lze dosáhnout zvolením režimu manuálního nastavení. Rozsah sekvence. Každý z pixelů musí být alespoň na dvou fotografiích správně exponován, tzn. ani zcela černý, ani přepálený. Pomoci může zjištění expozice pro nejtmavší a nejsvětlejší obraz. Rozdíl jednotlivých snímků nemá být větší než 2 EV, ideálním rozdílem je 1 EV. Funkce odezvy fotoaparátu Charakteristická křivka. Lidský zrak nereaguje na světlo lineárním způsobem. Odezva je spíše logaritmického charakteru. Odráží-li objekt dvojnásobné množství fotonů, nejeví se lidskému zraku jako dvakrát jasnější. Vnímaný rozdíl je znatelně menší, čím je objekt jasnější. Odezva negativního filmu je velmi podobná odezvě lidského zraku. Charakteristická křivka filmu zobrazující závislost optické hustoty filmu na expozici vyjádřené logaritmicky (v EV) má tvar protáhlého písmene S. 19

1. ZÁKLADNÍ POJMY A LITERÁRNÍ REŠERŠE Ve své dominantní prostřední části je lineární, což znamená, že odezva filmu je v této oblasti přesně logaritmická. Pouze na obou koncích, v oblastech, kde jsou fotografická zrna téměř nasycena nebo kde se fotochemická reakce sotva spustila, jsou přechodové, výrazně nelineární oblasti. Digitální senzory nesdílí logaritmickou odezvu filmu a lidského zraku. Jsou založeny na počítání fotonů lineárním způsobem. Aby výsledná fotografie odpovídala lidskému vnímání světla, je potřeba detekované hodnoty převést na hodnoty ekvivalentní v logaritmické odezvě. To se děje tzv. gama převodem pomocí převodní exponenciální funkce srgb gama. Výsledkem jsou gama zkreslené hodnoty, které jsou kódovány do obrazových souborů [2]. Ve skutečnosti nejsou odezvy senzorů vždy zcela lineární a stejné, každý typ senzoru je ve své reakci na světlo jedinečný. Často jsou například modifikovány konce charakteristické křivky za účelem změkčení světel a redukce viditelnosti šumu ve stínech [23]. Mezi světelnými hodnotami scény a úrovněmi pixelů v obraze není vždy jednoduchý vztah založený na funkci gama. Charakteristická křivka není tedy přesně logaritmická, i když jí může být velmi blízká. Odvození charakteristické křivky fotoaparátu. Jednoduchý algoritmus pro odvození charakteristické křivky ze dvou různě exponovaných fotografií popisují Mann a Picard [16]. V prvním kroku je ve fotografii a vybrán relativně tmavý pixel o souřadnicích (x 0, y 0 ) s hodnotou f 0. Víme, že neznámé množství světla q 0 je funkcí f mapováno na hodnotu f 0, neboli f(q 0 ) = f 0. Odpovídající pixel ve fotografii b s k-krát delší expozicí má hodnotu b(x 0, y 0 ) = f(q 1 ) = f(kq 0 ). Dále je potřeba ve fotografii a nalézt pixel s hodnotou f(q 1 ) a označit jeho souřadnice (x 1, y 1 ): a(x 1, y 1 ) = f(q 1 ). Na fotografii b má odpovídající pixel b(x 1, y 1 ) hodnotu f(q 2 ). Můžeme napsat: f(q 2 ) = f(kq 1 ) = f(k 2 q 0 ). Opakováním tohoto postupu získáme hodnoty křivky fotoaparátu v bodech f(q 0 ), f(kq 0 ), f(k 2 q 0 ),..., f(k n q 0 ). Postup dále rozpracovali Debevec a Malik [4]. Tato metoda předpokládá vstup P různě exponovaných fotografií a stálost jasu E i jednotlivých pixelů. Hodnoty pixelů jsou značeny Z i j, kde i je prostorový index pixelů a j indexuje jednotlivé expozice 20

1. ZÁKLADNÍ POJMY A LITERÁRNÍ REŠERŠE s expozičním časem t j. Funkci odezvy můžeme psát ve tvaru 1.6. Z ij = f(e i t j ), neboli f 1 (Z ij ) = E i t j (1.6) Po zlogaritmování obou stran přirozeným logaritmem a definování g = lnf 1 dostaneme soustavu rovnic 1.7 g(z ij ) = lne i + ln t j (1.7) Cílem je nalézt hodnoty E i a t j tak, aby co nejlépe odpovídaly soustavě rovnic 1.7. Označují-li Z min a Z max nejmenší a největší pixelové hodnoty a N počet pixelů vstupujících do výpočtu, může být objektivní funkce, kterou je potřeba minimalizovat, psána ve tvaru 1.8. O = N i=1 P {w(z ij [g(z ij ) lne i + ln t j ]} 2 + λ j=1 Z max+1 z=z min +1 [w(z)g (z)] 2 (1.8) Hodnota λ určuje zhlazení funkce a měla by být volena podle očekávaného šumu v pixelových hodnotách vstupujících do výpočtu. Váhy jednotlivých pixelů zvolené podle 1.9 zdůrazňují středovou část křivky oproti oběma krajům. z Z min forz 1 w(z) = (Z 2 min + Z max ) Z max z forz 1(Z 2 min + Z max ) (1.9) Výpočet je řešen pro každý z RGB kanálů samostatně. Postup vyžaduje minimálně dvě fotografie, ale využití více fotografií zlepší výsledek z důvodu citlivosti na šum [4]. Použité fotografie si musí být expozičně natolik blízké, aby některé pixely byly ve střední části křivky na více fotografiích, jinak chybí informace potřebná k propojení fotografií. Počet pixelů využitých pro výpočet vychází z počtu rozsahu fotografií. Aby byl systém dostatečně přeurčen, mělo by platit N(P 1) > (Z max Z min ). Přístup založený na odvození polynomiální aproximace charakteristické křivky navrhli Mitsunaga a Nayar [19]. Výhodou metody je schopnost vyřešit přesný poměr expozicí v případě, že expoziční časy či clony jednotlivých fotografií nejsou známy přesně. 21

1. ZÁKLADNÍ POJMY A LITERÁRNÍ REŠERŠE Zarovnání fotografií Velmi často dochází mezi jednotlivými snímky k alespoň minimálnímu pohybu fotoaparátu. Jsou-li vzájemně posunuté snímky složeny do HDR obrazu, objeví se ve výsledném obraze několikanásobné hrany či neostrost. Zabránit tomuto jevu mají techniky zarovnání obrazu. Standardním způsobem zarovnání fotografií je posun ve vodorovném a svislém směru. Zkušenosti ukazují, že i v případě fotografování sekvence bez použití stativu není potřeba v 90 % případů využít rotace k zarovnání fotografií [23]. Jednou z možností zarovnání je logika rozpoznání vzorků [2]. Při tomto procesu prochází program celý obraz, vyhledává výrazné hrany a rohy a označuje je kontrolním bodem. Poté, co jsou kontrolní body umístěny do všech fotografií, porovná program bodové struktury kontrolních bodů a uspořádá fotografie. Tato metoda je schopna řešit posunutí, otáčení či deformaci obrazu. Metody založené na vyhledávání hran mohou mít ale potíže při aplikaci na obrazy s velkým rozsahem expozicí, protože rozložení hran v obraze se mění s různými expozičními úrovněmi. Metodu, která umí pracovat s pohybem fotoaparátu i objektů, navrhli Kang a další [13]. Metoda je navržena pro tvorbu HDR videa, avšak funguje i pro HDR fotografie. Je založena na metodě odhadu pohybu. Pro každý pixel je spočítán vektor pohybu mezi následujícími snímky. Za pomoci dalších technik jsou pak sousedící snímky spojeny. Nejčastěji využívaná je jednoduchá, ale robustní, rychlá a účinná metoda zarovnání pomocí bitmap středních prahových hodnot (median threshold bitmap; MTB) [27]. Vstupem pro tuto metodu je N osmibitových obrazů ve stupních šedi. Ty můžou být reprezentovány zeleným kanálem RGB obrazu, nebo vypočítány z osmibitového RGB obrazu váženým průměrem kanálů podle vztahu 1.10. Y = (54R + 183G + 19B)/256 (1.10) Na obraz v odstínech šedi je aplikováno prahování s prahovou hodnotou získanou jako medián pixelových hodnot. Výsledkem jsou černobílé bitmapy, které jsou téměř identické pro všechny snímky nezávisle na expozičních parametrech. Tyto bitmapy jsou pětkrát postupně zmenšovány vždy na poloviční velikost, čímž vzniká pyramida 22

1. ZÁKLADNÍ POJMY A LITERÁRNÍ REŠERŠE stále menších rozlišení. Na poslední úrovni zmenšení se obrazy posunují o jeden pixel v každém směru (tzn. o 32 pixelů originálního obrazu) a kontroluje se shoda. Jsou-li obrazy shodné, program si zapamatuje aktuální posun a nastaví ho jako výchozí pro pár obrazů s vyšším rozlišením. Opakováním tohoto procesu postupuje algoritmus pyramidou obrazů a postupně vylepšuje zarovnání obrazů. Na konci postupu jsou srovnány oba původní obrazy. Ke kontrole posunu může být také přidána kontrola otočení. Výhodou MTB je velká rychlost (je až 10krát rychlejší oproti Kangově metodě [23]), neboť pracuje s mnohem menším množstvím dat. V některých aplikacích může být nevýhodou, že MTB zarovnává vždy celé obrazy; není možné zarovnat pouze část obrazu (např. pohybující se objekt). 1.3.2 Metody přímého snímání HDR V současné době probíhá překotný vývoj senzorů s vysokým dynamickým rozsahem. Dynamický rozsah senzorů se stává jedním z nejdůležitějších testovacích kritérií digitálních fotoaparátů. Jednou z možností zvýšení dynamického rozsahu senzoru je snížit základní úroveň šumu. Takový senzor by byl schopen zaznamenávat slabší signály. Snížení základní hladiny šumu je možno dosáhnout chlazením senzoru, což je technika využívaná v profesionálních digitálních stěnách [2]. Zabudovat efektivní chladící zařízení do běžně dostupných fotoaparátů však zatím není reálné. Další testovanou cestou je zvýšení podílu záření, které je zachyceno fotodiodami senzoru a využito k tvorbě obrazu. Tento podíl je u současných CMOS senzorů přibližně jedna třetina [2]. Zbylé záření dopadající na senzor způsobuje pouze zahřívání senzoru a zvýšení šumu. Řešením by bylo přidání horní vrstvy složené z milionů malých čoček. Každá čočka by byla zodpovědná za jeden pixel a veškeré světlo by nasměrovala na fotodiodu. V roce 2003 společnost Fuji představila senzor Super CCD SR se zvýšeným dynamickým rozsahem. Ke každé fotodiodě v senzoru byla přidána sekundární fotodioda jiného typu. Sekundární fotodioda je mnohem menší než primární fotodioda a má tedy menší citlivost. Zatímco velká primární fotodioda zachycuje běžný obraz, menší dioda zachycuje detaily světel. Oba obrazy jsou pak sloučeny do jednoho souboru v RAW formátu s širokým dynamickým rozsahem. Dynamický rozsah je tedy rozší- 23

1. ZÁKLADNÍ POJMY A LITERÁRNÍ REŠERŠE řen směrem nahoru, na konec oblasti světel. Fuji udává, že celkový dynamický rozsah tohoto senzoru dosahuje 13 EV. Důležité je, že na rozdíl od vícenásobné expozice je celý HDR obraz exponován v jeden okamžik. Tuto metodu lze tedy použít i pro jiné než statické scény. Byly patentovány speciální fotoaparáty obsahující několik senzorů. Světlo procházející jedním objektivem je zachycováno současně na několik senzorů s různým expozičním nastavením. Takovýto fotoaparát by umožňoval snímání HDR obrazu i pohybujících se objektů. Taková řešení ale vyžadují velmi přesné uspořádání optických elementů a senzorů fotoaparátu [1]. Byl také popsán speciální senzor, který obsahuje několik snímacích prvků s rozdílnou citlivostí pro každý pixel [1]. Elegantní způsob zachycení HDR obrazu navrhují Brajovic a Kanade [3]. Místo konvenčního registrování aktuálního náboje naakumulovaného v každém pixelu po zadaném expozičním čase byl zvolen alternativní přístup. Navržený senzor registruje u každého pixelu čas potřebný k úplné saturaci. Dynamický rozsah by se rozšířil od času odezvy obvodů (pro nejjasnější místa) až po nastavený maximální přijatelný expoziční čas. Naměřené časy pak mohou být snadno převedeny na HDR obraz. Reinhard a další [?] vidí problém tohoto řešení ve velkém opotřebení senzoru, který je při každém snímku zcela saturován a také ve velmi problematickém navržení nové logiky načtení hodnot. Přístup nazvaný SVE (Spatially Varying Exposure prostorově proměnlivá expozice) představili Nayar a Mitsunaga [20]. V tomto přístupu se senzor skládá ze čtveřic pixelů, v nichž každý má jinou citlivost. Při jedné expozici jsou zaznamenány čtyři různě exponované obrazy, každý s rozlišením jedné čtvrtiny celkového rozlišení senzoru. Pomocí agregace a interpolace je rekonstruován obraz s původním rozlišením. Teoreticky by tato metoda mohla zečtyřnásobit dynamický rozsah senzoru, čímž by se rozsah běžného čipu zvýšil až na 30 EV. Metodu pro snímání panoramatického HDR obrazu navrhli Aggarwal a Ahuja [1]. Tato metoda uvažuje masku s proměnlivou propustností umístěnou na senzor rotujícího panoramatického fotoaparátu. Protože se propustnost masky mění podél směru rotace fotoaparátu, každý bod snímané scény je zaznamenán v různém 24

1. ZÁKLADNÍ POJMY A LITERÁRNÍ REŠERŠE expozičním nastavení. Ze sekvence získaných obrazů pak může být zkonstruován panoramatický obraz s vysokým dynamickým rozsahem. 1.3.3 HDR z analogové fotografie Standardní černobílý negativní film je schopen korektně zaznamenat scénu s rozsahem jasů 1:10 000 (4 řády), což odpovídá přibližně 13-14 EV. Pomocí analogového fotoaparátu lze tedy získat obraz se středním dynamickým rozsahem. Problém ale nastává s přenesením tohoto dynamického rozsahu z filmového políčka. Dynamický rozsah vyvolané či tištěné fotky je přinejlepším 1:100 (7 EV). Možností by bylo skenování negativu a následné uložení do některého HDR formátu. Bohužel neexistuje scanner s tak velkým dynamickým rozsahem, do jednoho obrazu je uložena jen část informace, zatímco informace o světlých nebo tmavých oblastech je ztracena [4]. Jedinou možností získání digitálního obrazu se středním dynamickým rozsahem je tedy vícenásobné skenování téhož negativu standardním filmovým scannerem. 1.4 Zobrazení HDR fotogafie 1.4.1 Přímé zobrazení HDR Moderní svět nabízí spoustu médií zobrazujících digitální obraz a význam těchto médií oproti tradičnímu tisku na papír stále stoupá. Stále zřetelnější jsou tendence k vývoji digitálních zobrazovacích médií s vysokým dynamickým rozsahem. Na trhu je již komerčně dostupný HDR display vyráběný společností BrightSide Inc. Podstatou tohoto HDR displeje je spojení technologií LCD a LED. Displej z tekutých krystalů (LCD) je zodpovědný za barvy a vrstva LED diod pod LCD displejem vytváří osvětlení. Zatímco běžné LCD displeje jsou rovnoměrně podsvíceny, v HDR displeji jsou LED diody aktivovány jednotlivě. Pouze tam, kde je v obraze jas, svítí z obrazovky světlo. Podrobně tento přístup popisují Seetzen a další [26]. Běžné LCD displeje mají dynamický rozsah vyjádřený kontrastním poměrem 350:1, HDR displej BrightSide dokáže zobrazit kontrast 200 000:1 (odpovídá 18 EV). 25

1. ZÁKLADNÍ POJMY A LITERÁRNÍ REŠERŠE Podobným přístupem, který popisují Seetzen a další [25] je využít jako podsvícení LCD displeje digitální projektor. Jasné bílé světlo prochází nejprve černobílým LCD displejem, který je zodpovědný za jasovou složku obrazu. Druhý LCD displej, barevný, je zodpovědný za podání barev. Maximální teoretický kontrast zobrazený touto soustavou je 240 000:1. Toto řešení má však nevýhody ve velikosti soupravy, velké energetické náročnosti lampy projektoru a velkém množství vznikajícího tepla. Nově existují také displeje s povrchovou vodivostí emitující elektrony (surfaceconduction electron-emitter display, SED) vyvinuté společnostmi Canon a Toshiba. Jsou založené na elektronových emitorech nanoskopických rozměrů a mají potenciál dosažení kontrastu až 100 000:1. 1.4.2 Mapování tónů Mezi konečnými výstupy fotografií drží stále první místo tisk na papír. Jak již bylo zmíněno, tisk na velmi kvalitní fotopapír může dosáhnout dynamického rozsahu 100:1, u většiny papírů je to spíše méně. Dynamický rozsah běžných displejů je jen o málo vyšší. Aby bylo možné zobrazit HDR obrazy na těchto výstupních médiích, je potřeba HDR obraz zkomprimovat na LDR obraz tak, aby všechny informace o jasu v dynamickém rozsahu skutečné scény mohly být zobrazeny na monitoru nebo tištěné fotografii. Tento proces se nazývá mapování tonality nebo mapování tónů (tone mapping). Snížit dynamický rozsah na určenou hodnotu by bylo možné jednoduchou lineární transformací. Výsledkem by ale byl velmi tmavý obraz s kompletní ztrátou kresby detailů. Byly proto hledány techniky komprimující dynamický rozsah HDR obrazu na rozsah daného zobrazení při zachování detailů. Tyto techniky se nazývají operátory mapování tónů (tone mapping operators; TMO) a představují obecnou množinu pravidel, která popisuje převedení původního rozsahu. Obecně se operátory mapování tónů snaží vycházet z fungování lidského zraku, který je schopen dobře rozlišovat lokální kontrast za současného potlačení kontrastu globálního. Operátory mapování tónů se dají rozdělit do dvou kategorií. Globální operátory aplikují proces mapování tonality na všechny pixely 26

1. ZÁKLADNÍ POJMY A LITERÁRNÍ REŠERŠE v obraze stejným způsobem. S pixely se stejnou vstupní hodnotou se zachází totožně. Globální operátory jsou založeny na transformaci pomocí tonální křivky. Různé globální TMO aplikují tonální křivky různého předdefinovaného tvaru, křivky vypočítané z histogramu či různé tonální křivky pro jednotlivé kanály. Globální TMO jsou vhodné pro obrazy se středním dynamickým rozsahem, při velkém kontrastu nebývá výsledek vždy dobrý. Lokální operátory zpracovávají jednotlivé skupiny pixelů samostatně. Jejich základní myšlenka spočívá v simulaci mechanismu místní adaptace lidského oka. Přihlížejí k hodnotám okolních pixelů a dokážou selektivně posunout expozici v různých oblastech snímku. Lokální operátory jsou nenahraditelné při práci s extrémním kontrastem. Některými autory jsou ze skupiny lokálních operátorů odděleny další dva typy operátorů. Frekvenční operátory fungují na principu konverze dat v obraze na frekvence. Nízké frekvence odpovídají kontrastu ve velkém měřítku, vysoké frekvence odpovídají kontrastu v detailech. Operátory aplikují různé nastavení na části s nízkou a vysokou frekvencí. Jsou schopny vyhladit velké rozdíly v nízkých frekvencích, zatímco jsou zvýrazněny kontrasty v detailech. Operátory gradientu jsou založeny na podobné bázi, k rozpoznání globálního kontrastu a kontrastu v detailech ale slouží změna gradientu. Velké změny v globálním měřítku jsou charakteristické dlouhým a pozvolným spádem, u detailů je spád krátký a prudký. Níže je popsáno několik nejužívanějších operátorů mapování tónů. Sigmoidní operátory mapování tonality Sigmoidní operátory jsou založené na transformaci pomocí sigmoidní tonální křivky. Tonální křivka je nástroj sloužící k úpravám tonální charakteristiky obrazu určením transformačních hodnot mezi vstupními a výstupními úrovněmi jasu. Na vodorovné ose jsou vstupní hodnoty jasu v logaritmickém měřítku, případně vstupní 27

1. ZÁKLADNÍ POJMY A LITERÁRNÍ REŠERŠE pixelové hodnoty. Svislá osa zobrazeny výstupní pixelové hodnoty. Transformací pomocí tonální křivky je vstupní hodnota mapována na hodnotu tonální křivky v bodě odpovídající vstupní hodnotě. Je-li tonální křivkou úsečka o sklonu 45, zůstane po transformaci obraz nezměněn. Sigmoidní křivka je pro mapování tónů vysokého dynamického rozsahu velmi vhodnou funkcí. Prostřední část je téměř lineární a tak odpovídá logaritmickému vnímání jasů zrakem. Sigmoidní funkce má dvě asymptoty; k jedné se blíží velmi vysoké hodnoty jasu, k druhé velmi nízké. Velmi světlé tmavé části tak nejsou oříznuty, ale postupně zhušťovány. Sigmoidní křivku využívá dosti početná skupina operátorů. Photoreceptor Globální TMO Photoreceptor [21] modeluje způsob vnímání jasů zrakovým orgánem (fotoreceptorem). Byl formulován do rovnice 1.11: V (x, y) = I(x, y) I(x, y) + σi a (x, y), (1.11) kde I je vstup do fotoreceptoru, V je odezva fotoreceptoru, I a je aktuální úroveň adaptace fotoreceptoru a σ je semisaturační konstanta, která je pro praktické využití vypočítána podle vztahu 1.12. σ(i a (x, y)) = (fi a (x, y)) m. (1.12) V této rovnici jsou f a m uživatelské parametry. Parametr f řídí celkový jas obrazu. Hodnota exponentu m leží nejčastěji mezi hodnotami 0,2 a 0,9. Počáteční hodnota může být odhadnuta pomocí empirického vztahu z minimálního, maximálního a průměrného jasu: m = 0, 3 + 0, 7k 1,4 k = Lmax Lav L max L min. (1.13) Úroveň adaptace může být odhadnuta jako logaritmická průměrná hodnota jasu, nebo spočítána podle několika odlišných přístupů založených na různých fyziologických předpokladech. Photographic tone reproduction Jiný operátor využívající sigmoidní transformaci byl vyvinut Reinhardem a dalšími [22]. Tento operátor simuluje zvětšování fotografií z negativního filmu, je-li využita jeho globální varianta. Lokální varianta 28

1. ZÁKLADNÍ POJMY A LITERÁRNÍ REŠERŠE tohoto TMO sumuluje zvětšování fotografie včetně selektivní kratší či delší expozice jednotlivých regionů ve fotografii, tzv. nadržování a vykrývání. V prvním kroku je aplikováno lineární normování podle vztahu 1.14. Pro průměrně jasné scény by průměrná logaritmická hodnota jasu měla být namapována na 18 % výstupního rozsahu. Ve vztahu 1.14 je dána jako uživatelský parametr a. Pro některé aplikace může být tento parametr odhadnut z histogramu. L m (x, y) = a L W L W (x, y). (1.14) Následuje transformace hodnot pomocí funkce, která více komprimuje vyšší jasy, což simuluje chování moderních fotomateriálů. L d (x, y) = L m(x, y) 1 + L m (x, y) (1.15) Touto funkcí jsou všechny pozitivní hodnoty namapovány do rozsahu 0-1. Vzhledem k tomu, že 1 je asymptota této funkce a vstupní obraz neobsahuje pixely s nekonečnou hodnotou, nedosáhnou žádné výstupní pixely hodnoty 1. V některých případech také můžeme chtít vytvořit v některých oblastech přepal. Tohoto efektu lze dosáhnout spojením funkce 1.15 s lineárním mapováním: ( ) L m (x, y) 1 + Lm(x,y) L 2 white L d (x, y) = 1 + L m (x, y) bílou. (1.16) Uživatelský parametr L white označuje nejmenší jas, který bude namapován na Aby mohlo být provedeno napodobení fotografického nadržování a vykrývání, je třeba pro každý pixel najít maximální okolí neobsahující ostré kontrasty. To je dosaženo porovnáním hodnot gaussovského rozostření nejbližšího okolí pixelu a většího okolí. Pokud v okolí pixelu není žádný velký kontrast, rozdíl těchto dvou hodnot bude blízký nule. Funkce centra a okolí je určena vztahem 1.17: V s (x, y) = Lblur s L blur s+1 2 Φ a/s s + L blur s, (1.17) kde Φ je uživatelský parametr ovlivňující ostrost výsledného obrazu. Nalezení maximálního okolí s nízkým kontrastem je převedeno na nalezení maximálního měřítka 29

1. ZÁKLADNÍ POJMY A LITERÁRNÍ REŠERŠE s max, pro niž platí, že rozdíl hodnot gausovského rozostření je nižší než mezní hodnota ε: rovnicí s max : V smax (x, y) < ε. (1.18) Funkce lokálního operátoru napodobujícího nadržování a vykrývání je pak dána L d (x, y) = L m(x, y) 1 + L blur s max. (1.19) Hodnota jasu tmavého pixelu v jasném okolí splňuje L m (x, y) < L blur s max, operátor tedy sníží hodnotu tohoto pixelu. Stejně tak jasný pixel v tmavém okolí je zvýrazněn zvýšením jeho hodnoty. V obou případech je zvýšen kontrast pixelu proti jeho okolí. Další operátory Image appearance models. Modely vzhledu obrazu (image appearance models) jsou v současné době předmětem intenzivního výzkumu. Tyto modely se pokoušejí predikovat odezvu vnímání obrazu objektů a barev v různých světelných podmínkách [11]. Jsou založené na fyziologických i empirických poznatcích o zrakovém vnímání. Nejsou navržené specificky jako algoritmy mapování tónů, ale jako obecné prediktory barevného vzhledu. Jsou ale schopné predikovat vzhled jednotlivých pixelů obrazu HDR scény a mohou být využity pro mapování tonality [7]. Jedním z nejpoužívanějších modelů vzhledu obrazu je icam [7, 11]. Bilaterální filtrování. Bilaterální filtrování je lokální operátor, který efektivně zhladí obraz, ostré hrany však zachová nedotčené. Operátor je založen na dvoustupňovém rozkladu obrazu na základní vrstvu charakterizující globální změny jasu a na vrstvu detailů. Kontrast je redukován pouze v základní vrstvě, čímž je zachován detail v obraze. Základní vrstva je získána použitím bilaterálního filtru, nelineárního filtru, kde váha každého pixelu je vypočítána pomocí Gaussova rozložení vah násobeného funkcí, která snižuje váhu pixelů s velkými rozdíly jasu [6]. Zpětným složením vrstvy detailů se zhlazenou základní vrstvou vznikne LDR, kde jsou zachovány všechny detaily. 30

1. ZÁKLADNÍ POJMY A LITERÁRNÍ REŠERŠE Histogram adjustment. Jedná se o skupinu převážně automatických operátorů založených na myšlence, že by měl být zachován soulad mezi reálnou scénou a jejím zobrazením a že by mělo být zamezeno vylaďování kontrastu, jasu a barevnosti na základě subjektivních dojmů. Pro mapování hodnot jasu na výstupní hodnoty jsou využívány funkce pracující s tvarem kumulativního histogramu HDR obrazu. Funkce využívající tvar histogramu jsou stále vylepšovány, aby výsledné zobrazení kontrastu a viditelnosti bylo co nejvěrnější [5], nebo jsou zahrnuty algoritmy simulující fungování lidského oka [14]. Porovnání TMO Ledda et al. [15] porovnávali výsledky šesti operátorů mapování tónů zahrnující vyrovnání histogramu, bilaterální filtraci, fotografickou reprodukci, icam, logaritmické mapování a lokální adaptaci. Cílem bylo určit, který z používaných operátorů produkuje LDR nejvíce odpovídající reálné scéně. Účastníci experimentu vyjadřovali preferenci jednomu z dvojice LDR obrazů vytvořených různými TMO v porovnání s referenčním HDR obrazem promítaným zároveň na HDR displeji. Hodnocena byla celková podobnost barevného a černobílého obrazu, zachování detailů ve světlech a ve stínech. Byli-li účastníci tázáni pouze na jednoduché porovnání s referenčním obrazem, nejlépe hodnoceny byly výsledky operátoru icam. V případě vyhodnocení obrazu ve stupních šedi, stejně jako ve vyhodnocení podání detailů byl preferován model fotografické reprodukce. Nabízí se interpretace, že fotografická reprodukce vede v zobrazení kontrastu, zatímco icam má výhodu lepšího barevného podání. Referenčnímu obrazu velmi málo odpovídaly LDR vytvořené bilaterálním filtrováním, neboť obsahují velmi velký kontrast a příliš výrazné detaily. Pokud ale byly LDR prohlíženy bez referenčního HDR, měli lidé tendenci tento operátor upřednostňovat před ostatními. 1.5 Využití HDR ve fotogrammetrii V oboru fotogrammetrie může HDR fotografie a LDR obraz vzniklý mapováním tónů přispět k řešení problémů spojených s dokumentací památkových objektů. 31

1. ZÁKLADNÍ POJMY A LITERÁRNÍ REŠERŠE Interiéry staveb jsou typickým příkladem scény s vysokým dynamickým rozsahem. Zvláště specifické jsou v tomto ohledu interiéry kostelů, kaplí, hradních sálů a dalších památkových staveb, kde kombinace často velmi nedostatečně osvětleného interiéru a velmi jasných oken může mít za důsledek dynamický rozsah fotografované scény až 20 EV. Možností řešení tohoto problému a snížení dynamického rozsahu scény je profesionální nasvícení objektu. To je ale řešení velmi drahé a časově náročné, které je v běžné památkové dokumentaci prakticky nerealizovatelné. Jsou-li fotografována celá panoramata, je tento problém velmi aktuální, protože výsledná fotografie zcela jistě obsahuje jak nejjasnější, tak nejtmavší místa fotografovaného objektu. Dnešní technologie tvorby panoramatických obrazů proto s tímto problémem počítají a většinou jej dokážou efektivně řešit. V mnoha případech se nelze scéně s vysokým dynamickým rozsahem vyhnout ani v případě snímání fotografií interiérů pro účely průsekové fotogrammetrie a stereofotogrammetrie, je-li cílem vytvořit 3D model památkového objektu. V těchto případech může být při použití konvenční fotografie problémem identifikace bodů ležících v tmavé nebo naopak světlé oblasti scény; někdy může být identifikace zcela nemožná, neboť fotografie obsahuje zcela černé či přepálené oblasti bez jakékoliv informace o detailech. Řešením tohoto problému může být identifikace bodů v HDR fotografii, která uchovává skutečný jas každého pixelu a nedojde zde ke ztrátě kresby. Pracovat s HDR fotografií však dokážou zatím pouze specializované softwary. Podobného efektu může být dosaženo pomocí výsledku mapování tonality, LDR obrazu s vyváženými jasy. Zvláště užitečné může být v tomto případě mapování tonality pomocí lokálních operátorů, které zvyšují kontrast detailů. Podobným případem jako interiéry památkových staveb mohou být také reliéfy, sochy a další trojrozměrné objekty, které v závislosti na osvětlení mohou vykazovat vysoký dynamický rozsah a přepaly zároveň s podexponovanými prvky na konvenční fotografii. I u těchto objektů je možné zobrazit detaily pomocí HDR technik. Ve fotogrammetrii mohou být tedy techniky HDR využity jako příprava či předzpracování dat pro následné analýzy a výpočty, usnadňující či umožňující provedení následného zpracování obrazu. 32

2. POUŽITÉ VYBAVENÍ A SOFTWARE 2 Použité vybavení a software 2.1 Použité vybavení Canon EOS 30D Canon EOS 30D je jednooká digitální zrcadlovka zařazená do poloprofesionální třídy fotoaparátů. Na trh byla uvedena společností Canon v roce 2006. Obraz je zachycován snímačem typu CMOS s efektivním rozlišením přibližně 8,2 MPix; maximální velikost snímku je 3504 x 2336 pixelů. Rozměry snímače jsou 22,5 x 15,0 mm, crop factor má hodnotu 1,6. Obrazová data jsou zpracovávána procesorem DIGIC II. Fotoaparát je vybaven funkcí autobracketingu (automatického sejmutí sekvence několika snímků s rozdílnou expozicí) umožňující sejmutí maximálně tří snímků s krokem nejvýše 2 EV. Tamron AF 17-35/2,8-4 Di LD Aspherical Jedná se o širokoúhlý objektiv s rozsahem ohniskových vzdáleností 17 35 mm (při použití s fotoaparátem vybaveným snímačem APS-C s crop faktorem 1.6 jsou ohniskové vzdálenosti ekvivalentní rozsahu 27 56 mm u kinofilmu) a rozsahem clon 2.8-22 pro ohnisko 17 mm a 4-32 pro ohnisko 35 mm. Objektiv obsahuje 14 čoček v 11 skupinách. Při širokých ohniscích vykazuje soudkovité zkreslení postupně se zmírňující směrem k delšímu konci rozsahu zoomu. Canon EF 70-200/4 L USM Jedná se o teleobjektiv s rozsahem 70 200 mm (pro APS-C ekvivalent kinofilmu 112 320 mm) se světelností 4 v celém rozsahu transfokátoru. Objektiv obsahuje 16 čoček ve 13 skupinách a disponuje vnitřním ostřením pomocí ultrazvukového motoru. 33

2. POUŽITÉ VYBAVENÍ A SOFTWARE Velbon Sherpa 250R Kovový stativ určený pro použití se zrcadlovkami je vybaven třícestnou pákovou hlavou s rychloupínacím mechanismem. Maximální doporučené zatížení stativu je 4 kg. 2.2 Použitý software 2.2.1 MATLAB R2011b MATLAB je technický programovací jazyk a interaktivní prostředí pro numerické vědeckotechnické výpočty, vývoj algoritmů, vizualizaci a analýzy dat [17]. MATLAB byl vytvořen na konci sedmdesátých let; v roce 1984 byl uveden na trh firmou MathWorks. Program původně určený pro matematické účely byl postupně rozšiřován a je v současnosti využíván v širokém spektru aplikací. Dnes je celosvětovým standardem v oblasti technických výpočtů a simulací ve sféře vědy, výzkumu, průmyslu a vzdělávání. Možnosti využití MATLABu v jednotlivých oborech jsou rozšiřovány pomocí aplikačních knihoven a bloků, v terminologii MATLABu nazývaných toolboxy a blocksety, obsahujících tematicky související rozšiřující funkce a nástroje. Byly použity následující. Image Processing Toolbox Image Processing Toolbox je sadou funkcí a nástrojů pro zpracování a analýzu obrazu. Obsahuje nadstavby pro návrhy filtrů, rekonstrukci a analýzu obrazů, dále nadstavby pro manipulaci s barvami, geometrií a strukturou obrazů včetně 2-D transformací. Součástí toolboxu jsou i jednoduché funkce pro sloučení fotografií do HDR obrazu, uložení v radiance formátu a získání LDR obrazu pomocí mapování tonality. 34

2. POUŽITÉ VYBAVENÍ A SOFTWARE GUIDE MATLAB GUIDE ( Graphical User Interface Developing Environment, prostředí pro vývoj grafického uživatelského rozhraní) je nástroj pro interaktivní navrhování a vývoj grafických rozhraní. grafického rozhraní a následné nastavení hodnot vložených komponent a editaci jejich vlastností. GUIDE dále obsahuje nástroje pro vytváření menu a pro rozmístění a zarovnání komponent. Výstupem GUIDE je.fig soubor popisující grafické rozložení vytvořeného GUI a.m soubor obsahující kód pro zobrazení.fig souboru a základ volací funkce jednotlivých ovládacích prvků. Do těchto funkcí je pak vkládán kód popisující funkčnost ovládacího prvku a chování uživatelského rozhraní. 2.2.2 HDRI software V souvislosti s šířením využívání HDR technik vznikají desítky aplikací pro High Dynamic Range Imaging, pracovní postupy využívající obrazy s vysokým dynamickým rozlišením. Existuje široké spektrum softwarů pracujících s HDR, od jednoduchých prográmků pracujících pouze v příkazové řádce přes zásuvné moduly tradičních fotografických editorů až po specializované propracované softwary s přívětivým grafickým uživatelským rozhraním a množstvím složitých nástrojů. Obecným znakem HDRI editorů je důraz na techniky mapování tónů. LDR obrazy s redukovaným globálním kontrastem a naopak zvýrazněným kontrastem detailů jsou v současné době mezi fotografy módní záležitostí a jsou nejžádanějším produktem HDRI technik. Výrobci softwarů se snaží tomuto trendu vyhovět a velké úsilí je vkládáno do zdokonalování technik mapování tónů s cílem vytvořit realisticky vypadající LDR fotografii či zvýšit lokální kontrast za současné eliminace halo a dalších artefaktů. Skutečné obrazy s vysokým dynamickým rozsahem, radiance maps, jsou postaveny na nižší příčky priority. Některé HDRI editory neumožňují uložení HDR obrazu v žádném z HDR formátů, jejich jediným produktem je osmibitový LDR obraz vzniklý mapováním tonality. Existují také programy zařazované mezi HDRI software, u nichž ve skutečnosti HDR obraz během zpracování fotografií vůbec nevzniká. Produkt těchto programů, LDR obraz s mapovanou tonalitou, 35

2. POUŽITÉ VYBAVENÍ A SOFTWARE vzniká pomocí techniky zvané exposure fusion, při níž je výsledný obraz zonálně složen ze zdrojových fotografií s rozdílnou expozicí. Detaily ve stínech jsou vzaty z déle exponovaných fotografií, zatímco detaily světel jsou převzaty z podexponovaných fotografií. Bitová hloubka zůstává během celého procesu neměnná. Při zpracovávání diplomové práce bylo vyzkoušeno a porovnáno několik nejznámějších a nejpoužívanějších HDRI softwarů. Photomatix Pro 4.1 Photomatix zaujímá v současnosti dominantní postavení mezi HDRI softwary. Program existuje od roku 2003, kdy byl uvolněn jako jednoduchý program pro slučování různě exponovaných obrazů pomocí techniky exposure fusion. Jedná se o velmi komplexní program s širokou paletou funkcí umožňujících jak plně automatický proces, tak interaktivní kontrolu procesu. Photomatix nabízí funkce pro vytváření, ukládání a několik technik mapování tónů HDR obrazu, stejně tak jako mapování pomocí exposure fusion technik. Automatické i manuální zarovnání snímků dokáže posouvat a otáčet jak celé snímky zároveň, tak i selektivně jednotlivé části fotografie pomocí technik feature alignment. Photomatix obsahuje pokročilé funkce pro odstranění tzv. duchů (zdvojených obrazů vzniklých v důsledku pohybu objektu mezi jednotlivými expozicemi) a algoritmy pro snížení šumu a chromatické aberace. Výhodou je pokročilý systém dávkového zpracování a široká podpora vstupních formátů, včetně několika typů raw souborů. Photomatix je dostupný pro platformy PC i Mac. Plnou verzi programu Photomatix Pro je možno koupit za cenu 99 $, zjednodušený Photomatix Essetnials je dostupný za cenu 39 $ [10]. Oba programy existují ve formě plně funkčních trialových verzí, které do výsledných obrazů při použití vybraných funkcí umístí vodoznak. FDRTools FDRTools (Full Dynamic Range Tools) je vyvíjen od roku 2002. Na první pohled jednoduchý program obsahuje jedinečné funkce pro slučování fotografií do HDR formátu a vysokou úroveň uživatelské kontroly nad celým procesem. Kromě klasického automatického průměrového výpočtu nabízí manuální selekci úrovní jednotlivých 36

2. POUŽITÉ VYBAVENÍ A SOFTWARE snímků umožňující manuální potlačení zdvojení obrazů. Dále je zde automatický mód pro tvorbu HDR z fotografií s pohybujícím se objektem a kreativní mód tvorby HDR, který umožňuje sloučit fotografie s rozdílným nastavením clony, vyvážením bílé, rozdílným použitím blesku či dokonce s rozdílným zaostřením. Ve vývoji je funkce umožňující sloučit různě zaostřené fotografie do obrazu se zvětšenou hloubkou ostrosti [24]. Samozřejmostí jsou funkce pro zarovnání fotografií (v případě FDR- Tools pouze posun celé fotografie) a několik metod mapování tonality. Program FDRTools je dostupný pro platformy PC a Mac ve dvou verzích. Placená verze FDRTools Advanced stojí 39 EUR, zjednodušená verze FDR Tools Basic je zdarma a je ochuzena o kreativní mód slučování obrazů do HDR, lokální operátor mapování tonality a některé další pokročilejší funkce. FDRTools Advanced je nabízen také v trialové verzi, která je plně funkční bez časového omezení; do obrazů vzniklých za pomoci vybraných funkcí je umístěn vodoznak. Picturenaut 3.2 Picturenaut je vyvíjen od roku 2005. Stejně jako předchozí programy nabízí Picturenaut standardní funkce pro práci s HDR: konverzi z raw formátů, automatické zarovnání obrazu, sloučení do HDR, odstranění duchů, redukci šumu, dva globální a jeden lokální operátor mapování tonality. Přidanou hodnotou tohoto softwaru je plná kontrola uživatele nad použitou reakční křivkou fotoaparátu a důraz na rychlost zpracování. Díky speciální architektuře probíhají procesy mapování tonality zcela v reálném čase [18]. Picturenaut je šířen jako donationware; pro akademické a osobní použití je program k dispozici zdarma, v případě spokojenosti uživatele nebo komerčního použití programu je doporučeno podpořit vývoj softwaru finančním darem. Program v současnosti pracuje pouze pod operačním systémem Windows, podpora pro Mac OS je aktuálně připravována [18]. Adobe Photoshop CS3 Přestože Photoshop obsahuje funkce pro práci s HDR obrazy, nepatří mezi specializovaný HDRI software. Jedná se o obecný bitmapový grafický editor vytvořený 37

2. POUŽITÉ VYBAVENÍ A SOFTWARE firmou Adobe Systems určený pro tvorbu a úpravy bitmapové grafiky. V oboru bitmapové grafiky patří Photoshop mezi nejznámější a nejpoužívanější programy a je světovým profesionálním standardem. Jedná se o velmi komplexní software s širokým záběrem možných aplikací od úprav digitální fotografie přes nejrůznější grafické práce až po využití ve vědě a výzkumu. Funkce pro HDRI tvoří jen malý zlomek veškeré funkčnosti programu. První verze Photoshopu byla vydána v roce 1990; funkce pro HDRI se objevily poprvé ve verzi Photoshop CS2 vydané v roce 2003. V současnosti je dostupná verze CS5 za cenu od 792 EUR. 38

3. ZPRACOVÁNÍ 3 Zpracování 3.1 Snímání vícenásobné expozice Sekvence různě exponovaných fotografií byly pořízeny v kostele Nanebevzetí Panny Marie v Kynšperku nad Ohří, kde byly vyfotografovány celkem čtyři scény s vysokým dynamickým rozsahem. Během pořizování sekvence fotografií bylo postupováno podle doporučeních uvedených v kapitole 1.3.1. Postup byl následující: 1. Fotoaparát byl upevněn na stativ, byl zvolen záběr a zafixována poloha fotoaparátu. 2. Parametry fotoaparátu byly nastaveny na neměnné hodnoty (tabulka 3.1). Byla aktivována funkce předsklopení zrcadla, která eliminuje zachvění fotoaparátu způsobené sklopením zrcadla. Při stisknutí spouště je předsklopeno zrcadlo, k samotnému otevření závěrky a expozici fotografie dojde po přibližně dvou sekundách. Tato funkce je užitečná při fotografování statických scén, kdy nevadí, že se prodlužuje čas mezi jednotlivými expozicemi. Tab. 3.1: Nastavení fotoaparátu pro snímání sekvence různě exponovaných snímků Parametr Nastavení Režim expozice Manuální Režim ostření Manuální Korekce kontrastu Vypnuto Korekce sytosti barev Vypnuto Doostřeníi Vypnuto Vyvážení bílé Denní světlo ISO 100 Clona 5,6 Kompenzace expozice 0 39

3. ZPRACOVÁNÍ 3. Bylo provedeno zaostření pomocí autofokusu a autofokus vypnut, aby nedošlo k posunutí roviny zaostření mezi jednotlivými expozicemi. 4. Byl odhadnut nejkratší expoziční čas s ohledem na nejvyšší jasy scény. Správný expoziční čas je takový, který právě zachytí jasy bez přepalů. Nemá být ale zbytečně krátký, aby bylo dosaženo co nejmenšího počtu snímků v expoziční řadě. 5. Byly exponovány jednotlivé snímky. Vzhledem k omezeným možnostem nastavení autobracketingu ve fotoaparátu Canon EOS 30D bylo nutno měnit expoziční čas manuálně pro každou fotografii. Manuální změna expozičního času pomocí ovládacích prvků fotoaparátu může být zdrojem chyb. Důvodem je jednak možnost vychýlení fotoaparátu při manipulaci a jednak delší trvání celé expozice a možnost pohybu objektů či změny světelných podmínek. Rozdíl expozice mezi jednotlivými fotografiemi byl nastaven na 1 EV. Obvykle není potřeba fotografovat po jednom stupni EV, krok mezi jednotlivými expozixemi by však neměl přesáhnout 2 EV. Vzhledem k tomu, že u většiny softwarů vstupuje do výpočtu HDR obrazu hodnota expozičního času, není nutné, aby krok mezi expozicemi byl pravidelný. 6. Fotografování sekvence bylo ukončeno ve chvíli, kdy nejtmavší místa scény byly exponovány do středních tónů na fotografii. Ukázku výsledné sekvence deseti fotografií je představuje obr. 3.1. Krok mezi jednotlivými expozicemi je 1 EV, tzn. každý snímek je exponován dvakrát delším časem než předchozí. 40

ČVUT Praha 3. ZPRACOVÁNÍ Obr. 3.1: Sekvence deseti expozic s krokem 1 EV. 41

3. ZPRACOVÁNÍ 3.2 Porovnání HDRI software 3.2.1 Photomatix Pro 4.1.4 Photomatix je nejstarším programem pro HDRI, který byl původně určen pro slučování různě exponovaných fotografií do jednoho obrazu pomocí technik exposure fusion. Až v dalším vývoji programu byl přidán pomocný krok,který sloučil fotografie do HDR snímku, z něhož finální obrazy vznikaly pomocí mapování tónů. Časem se pak z tohoto mezikroku stala nejdůležitější funkce softwaru. Dnes je Photomatix pravděpodobně nejvyspělejším a nejlépe ovladatelným programem pro HDRI. Obr. 3.2: Pracovní prostředí programu Photomatix Pro 4.1.4 Velkým kladem Photomatixu je kombinace automatizace veškeré práce a možnost do velké míry kontrolovat celý proces interaktivně. Volba je ponechána na uživateli - je možné celý proces nechat na automatice programu, nebo zvolit uživatelskou kontrolu. V případě uživatelské kontroly nabídne program ještě před samotným vytvořením HDR řadu pokročilých funkcí. 42

3. ZPRACOVÁNÍ Zarovnání je řešeno buď pomocí posunů, nebo pomocí vyhledávání odpovídajících objektů, v závislosti na volbě uživatele. Fakultativní součást zarovnání fotografií je korekce perspektivního zkreslení. Další funkcí je odstranění duchů probíhající buď zcela automaticky či manuálně pomocí pokročilého interaktivního nástroje. Velmi užitečnou funkcí je redukce fotografického šumu; zde dává Photomatix na výběr nejen sílu úpravy, ale také umožňuje selektivně vybrat např. jen tmavé fotografie, u nichž má potlačení šumu větší význam. Poslední funkcí předzpracování fotografií je redukce chromatické aberace. Pro určení charakteristické křivky fotoaparátu skýtá Photomatix několik možností, je možná kalibrace konkrétního fotoaparátu za účelem získání křivky, získání křivky z aktuální sekvence snímků či použití standardní předdefinované křivky. Photomatix nabízí také možnost načíst fotografie v RAW formátu, čímž zcela odpadá potřeba pracovat s charakteristickou křivkou, neboť v RAW souborech pixelové hodnoty popisují množství fotonů dopadajících na fotodiody senzoru a uchovávají si lineární závislost na jasu. Nevzniká tak potřeba žádného převodu. Po zadání potřebných informací proběhne sloučení do HDR obrazu automaticky. Photomatix umí pracovat s HDR soubory formátu Radiance, OpenEXR a TIFF Float a do těchto formátů je možno vzniklý HDR obraz uložit. Po sloučení fotografií do HDR nabídne Photomatix dvanáct předdefinovaných voleb získání LDR obrazu včetně náhledů výsledného obrazu, které je možné přímo aplikovat na obraz nebo použít jako výchozí nastavení a dále dolaďovat. Jedná se o různá nastavení celkem tří metod, z nichž dvě jsou operátory mapování tónů vzniklého HDR obrazu, třetí možností je Exposure Fusion, získání LDR obrazu prostým prolnutím vstupních obrazů. Program zároveň umožňuje uživateli definovat spektrum svých preferovaných či často používaných nastavení a uložit. Oblíbené nastavení je pak aplikováno jediným kliknutím. Photomatix nabízí jeden globální a jeden lokální operátor mapování tonality. Globální operátor je nazván Tone Compressor a funguje na bázi globálního operátoru Photoreceptor [2]. Výsledný obraz je možno ovlivnit třemi ovládacími prvky - celkový jas obrazu, síla komprese dynamického rozsahu a nastavení kontrastu. Vzniklý obraz je možné zároveň vylepšit dodatečnými úpravami aplikovanými po provedení 43

3. ZPRACOVÁNÍ mapování pomocí ovladačů umístěných přímo pod ovladači operátoru (obr. 3.3). Výsledek celkově odpovídá výstupům globálních operátorů, barevnost může být mírně pozměněná. To lze ale eliminovat pomocí nabízeného postzpracování. Obr. 3.3: Obraz vzniklý globálním mapováním tónů v programu Photomatix. Silnou stránkou tohoto softwaru a funkcí, na které si Photomatix nejvíce zakládá, je lokální operátor Details Enhancer. Jedná se o velmi propracovaný nástroj a je považován za současný nejdokonalejší lokální operátor pro fotografické využití [9]. Details Enhancer je operátor s opravdu velkými možnostmi. Při rozbalení pokročilých nastavení je k dispozici celkem patnáct posuvníků s různými efekty a další ovládací prvky, pomocí kterých lze vytvořit jak realisticky vypadající fotografii, tak obraz podobný surrealistické malbě (obr. 3.3). Ovládací prvky jsou rozmístěny podle logiky postupného dolaďování obrazu a tak zcela nahoře lze nalézt prvky s nejsilnějším efektem. Prvním z nich je síla lokálního mapování regulující potlačení globálního kontrastu obrazu, ale také zodpovídající za vznik halo efektů. Dalšími ovládacími prvky lze regulovat nasycenost barev, celkový jas obrazu a zvýraznění detailů. Ostatní ovladače slouží k pokročilému zjemňování a dolaďování obrazu definovaného výše zmíněnými ovladači. Jsou zde ovládací prvky pro nastavení barev, vyhlazení světlých oblastí nebo naopak stínů, redukci šumu oblastí s nízkou frekvencí, nastavení černého a bílého bodu atd. Výsledný obraz, vzniklý 44

3. ZPRACOVÁNÍ jak pomocí globálního, tak pomocí lokálního operátoru je možno uložit přímo do 8- bitového JPEG formátu, tak do formátu TIFF se zvětšenou 16-bitovou hloubkou vhodnou pro další následné úpravy. Obr. 3.4: Obraz vzniklý lokálním mapováním tónů v programu Photomatix. Celkově lze Photomatix hodnotit jako velmi povedený a univerzální software pro práci s HDR fotografií, vhodný jak pro tvorbu umělecké fotografie, tak pro dokumentační a technické účely. Velmi výrazným pozitivem je možnost dávkově zpracovat desítky fotografií bez zásahu uživatele nebo naopak dokonalá manuální kontrola nad celým procesem a výsledným produktem. 3.2.2 FDRtools Advanced FDRtools je program s poměrně jednoduchým vzhledem a jednoduchým ovládáním neoplývajícím desítkami ovladačů a přídavných funkcí, ale širokými možnostmi. Práce probíhá v několika oknech obsahujících hlavní menu programu, ovladače aktuálního nástroje, navigaci v obraze, 100% náhled vzniklého obrazu a textové informace o obraze (obr. 3.5). Program je jedinečný v procesu spojování obrazů do HDR. Po načtení fotografií (program umí načítat také RAW formáty) jsou k dispozici tři volby pro sloučení obrazů. První z nich je klasický vážený průměrový výpočet HDR ze zdrojových 45

3. ZPRACOVÁNÍ Obr. 3.5: Pracovní prostředí programu FDRtools Advanced fotografií. Při druhé volba, nazvaná Separation, je každý pixel výsledného HDR obrazu určen nikoli jako průměr hodnot jasu, nýbrž je určen pouze z fotografie, v níž je nejlépe exponován. Je to metoda plýtvající dostupnými daty, ale účinně potlačující zdvojení obrazu a nabízející kontrolu nad konečným výstupem uživatel může selektivně vybírat v jednotlivých expozicích úrovně, které budou pro sloučení do HDR použity. Třetí volba, Creative, umožňuje uživateli nastavit váhu jednotlivým expozicím, zdůraznit či naopak potlačit stíny a světla, použít z konkrétních fotografií pouze jasovou složku. Použitá metoda dovoluje sloučit dokonce fotografie s rozdílným nastavením clony, vyvážením bílé a zaostřením. Unikátní na tomto programu je spojení tvorby HDR obrazu s mapováním tónů v jeden proces. Dovoluje návrat od mapování tonality zpět k postupu generování HDR snímku a úpravu parametrů tohoto procesu podle nastavení mapování tonality. Po zvolení funkce Tone Mapping je zobrazena nabídka obsahující čtyři volby. První z nich, Identity slouží k uložení HDR obrazu. FDRtools pracuje s formáty Radiance a OpenEXR. Simplex je velmi jednoduchý a rychlý operátor mapování využívající lineární transformace hodnot určený k prohlédnutí výsledku sloučení obrazů do HDR. Globální operátor Receptor je opět založen na fungování známého 46

ČVUT Praha 3. ZPRACOVÁNÍ operátoru Photoreceptor (obr. 3.6). K nastavení operátoru slouží dva ovladače, jeden pro regulaci komprese dynamického rozsahu a druhý pro celkový jas obrazu. Lokální operátor nazvaný Compressor je výkonným nástrojem se záměrně jednoduchým ovládáním. Počet ovladačů je snížen na čtyři a efekt jejich rozsahu je omezen. Ve FDRtools tedy není možné vyprodukovat surrealisticky vypadající obraz podobný výsledku lokálního mapování v Photomatixu při extrémních hodnotách nastavení. Výsledkem je ale velmi kvalitní obraz s prokreslenými detaily ve světlech i stínech a zároveň s příjemným a realistickým vzhledem (obr. 3.7). V záložce každého operátoru mapování tónů jsou zároveň umístěny funkce pro postprocessing vzniklého obrazu, kterými může být nastaven černý a bílý bod, upraven kontrast a saturace barev. Obr. 3.6: Obraz vzniklý globálním mapováním tónů v programu FDRTools. Přestože FDRtools může na první pohled vzbudit nedůvěru jednoduchým vzhledem a malým množstvím ovládacích prvků, jedná se o silný univerzálně použitelný nástroj s neobvyklými funkcemi a dobrou uživatelskou kontrolou nad celým procesem. 3.2.3 Picturenaut 3.2 Picturenaut je jednoduchý HDRI program vytvořený s ohledem na vysokou kvalitu výstupních obrazů. Nenabízí desítky nejrůznějších funkcí, ale všechny imple- 47

ČVUT Praha 3. ZPRACOVÁNÍ Obr. 3.7: Obraz vzniklý lokálním mapováním tónů v programu FDRTools. mentované funkce jsou dovedeny k dokonalosti a umožňují dokonalou kontrolu nad procesem. Při výběru fotografií ke sloučení do HDR může uživatel aktivovat některé z funkcí preprocessingu automatické zarovnání obrazů, které je zde řešeno pouze posunem obrazů, potlačení zdvojených obrazů, vyvážení barev a korekci expozice. Zároveň je možno kontrolovat použitou převodní křivku výběrem ze čtyř možností. Uživatel má dokonce možnost výběru rozložení vah pro výpočet HDR obrazu: buď je použito maximální množství využitelných pixelů s varováním, že výsledný obraz může mít sníženou kvalitu v případě, že vstupní fotografie obsahují šum, nebo lze použít vyšší hodnoty vah pro střední tóny každé vstupní fotografie s rizikem menšího pokrytí tmavých a světlých ploch. Výsledný HDR obraz je možno uložit v pěti HDR formátech (Radiance, OpenEXR, PFM, TIFF Float, TIFF LogLuv). Silnou stránkou programu je změna velikosti HDR obrazu, Picturenaut nabízí sedm kvalitních převzorkovacích algoritmů. Kromě jednoduché selekce expozice, kdy je HDR scéna vyfotografována s libovolným expozičním časem, nabízí Picturenaut dva globální a nově i jeden lokální operátor mapování tonality. Prvním z globálních operátorů je již klasicky používaný Photoreceptor. Druhým je poměrně silný operátor Adaptive Logarithmic s ovladači 48

3. ZPRACOVÁNÍ Obr. 3.8: Pracovní prostředí programu Picturenaut celkového jasu, projasnění stínů a kontrastu. Uživatel může vybrat také jas či jednotlivé barevné kanály pro automatickou úpravu jasu a kontrastu. Lokální operátor Bilateral má pouhé dva ovládací prvky. Jeden slouží pro regulaci celkového kontrastu, druhý pro regulaci sytosti barev. Přes velmi jednoduché ovládání a malé možnosti nastavení, dává tato metoda poměrně dobrý výsledek. Všechna nastavení u jednotlivých operátorů mapování tónů mohou být uložena a později okamžitě načtena. Program také nabízí volbu 8-bitového, 16-bitového nebo 32-bitového kódování výstupního obrazu a množství výstupních formátů. Největší předností Picturenautu je rychlost procesu při mapování tónů. Všechny operátory mapování tónů probíhají v reálném čase a o programu je psáno jako o světově nejrychlejším mapovači tonality [18]. 3.2.4 Photoshop CS3 Photoshop je univerzální grafický editor zaujímající vedoucí postavení na trhu editačních aplikací. Za mnoho let vývoje programu byly implementovány desítky nej- 49

ČVUT Praha 3. ZPRACOVÁNÍ Obr. 3.9: Ukázka obrazu vzniklého mapováním tónů globálním opeátorem Adaptive Logarithmic (nahoře) a lokálním operátorem Bilateral (dole) v programu Picturenaut různějších pokročilých funkcí pro práci s tradičním osmibitovým obrazem. Funkce pro vytváření HDR obrazu se poprvé objevily ve verzi CS2 a narušily základy dlouho vyvíjeného programu. Pro práci s HDR musely být kompletně přepracovnány vnitřní datové struktury a každá jednotlivá funkce programu. Ve verzi Photoshop CS3 dosud nedošlo ke kompletnímu přepracovnání aplikace, pro práci s HDR obrazem je 50

3. ZPRACOVÁNÍ definováno pouze několik funkcí. Základní funkce pro složení fotografií do HDR a mapování tónů jsou v aplikaci obsaženy a mohou podat velmi dobrý výsledek. Obr. 3.10: Pracovní prostředí programu Photoshop CS3 Při slučování fotografií do HDR nenabízí Photoshop tak vysokou uživatelskou kontrolu jako předchozí softwary. Uživatel může zvolit nabízenou možnost zarovnání snímků a selektivně vybrat zahrnutí jednotlivých snímků do výpočtu HDR obrazu. Použitá charakteristická křivka je vypočítána automaticky, případně může být načtena křivka již dříve odvozená a uložená do souboru. Zbytek procesu proběhne zcela automaticky. Mapování tonality je součástí konverze HDR obrazu na nižší bitovou hloubku. Photoshop nabízí celkem čtyři metody. První z nich je jednoduchá expozice, vyfotografování snímku o konkrétním expozičním čase. Podstatou metody je oříznutí přebývajícího dynamického rozsahu stejným způsobem, jako senzor fotoaparátu ořízne dynamický jas scény. Další dvě metody jsou globálními operátory mapování tonality; jsou však naprosto automatické bez jakékoli možnosti uživatele ovlivnit výsledek. Výsledky nejsou proto příliš dobré. Operátor Hihglight Compression zkomprimuje dynamický rozsah v oblasti světel. Při větším dnymaickém rozsahu fotografie ale zbylá část zůstává velmi tmavá a bez kontrastu. Funkce Equalize Histogram aplikuje 51

3. ZPRACOVÁNÍ převodní křivku vyrovnávající histogram podle zastoupení tónů; více zastoupené hodnoty jsou roztaženy do většího rozsahu. Tato metoda dává lepší výsledek, obraz je však naopak až příliš kontrastní a ve světlech přepálený. Nemožnost jakéhokoliv uživatelského ovládání těchto funkcí je činí prakticky nepoužitelnými. Lokální operátor je ve Photoshopu nazván Local Adaptation a jedná se o dosti silný nástroj. Ovládací prvky jsou pouze tři, ale plně nahrazují množství ovaldačů např. v Photomatixu. První posuvník ovlivňuje poloměr okolí každého pixelu, které je použito k určení jeho lokálního kontrastu. Druhým posuvníkem je ovládána prahová hodnota určující, jak velký může být rozdíl pixelových hodnot v okolí pixelu, aby byly zahrnuty do výpočtu. Tyto ovladače tedy regulují především zvýraznění lokálního kontrastu na úkor kontrastu globálního. Veškeré nastavení jasů, černého a bílého bodu, potlačení světel, projasnění stínů a další operace s jasem fotografie jsou realizovány nastavením tonální křivky. Stejně jako charakteristická křivka fotoaparátu, popisuje tonální křivka závislost výstupních úrovní na hodnotách vsupujících do výpočtu. Vzhledem k tomu, že Photoshop dovoluje prakticky jakékoliv nastavení křivky, které zaručuje jednoznačnost výstupní úrovně pro celý rozsah vstupních úrovní, jsou možnosti tohoto nástroje téměř neomezené. Křivka je zároveň nástrojem dosti citlivým a vyžaduje opatrnou práci, neboť malá změna křivky má velký dopad na vzhled výsledného obrazu. Zcela nespornou výhodou Photoshopu je stabilní prostředí, uživatelská přívětivost, rychlost odezvy a celková použitelnost programu i díky množstí dalších funkcí, které umožňují doladění vyprodukovaného LDR obrazu. Použitelnost dále zvyšují funkce schopné pracovat i s HDR obrazem, např. editace pomocí štětce či klonovacího razítka, práce ve vrstvách a množství dalších funkcí, které s každou novou verzí Photoshopu roste. 3.2.5 Photosphere Photosphere je zajímavý program vytvořený v této práci několikrát citovaným výzkumníkem Gregem Wardem a značně odlišný od dosud popsaných softwarů. Zatímco ostatní popisované softwary jsou určeny především fotografům pro vylepšení vzhledu jejich fotografií a jejich logika směřuje k jasnému cíli kvalitní LDR fotografie 52

3. ZPRACOVÁNÍ Obr. 3.11: Ukázka obrazu vzniklého mapováním tónů v programu Photoshop vzniklé mapováním tónů HDR obrazu, funkce Photosphere spíše ilustrují výsledky autorova výzkumu v oblasti HDR, mapování jasů a počítačové grafiky. Photosphere podporuje všechny existující formáty HDR, včetně velmi vzácně používaného JPEG-HDR. Kromě vysoce přesné metody skládání fotografií do HDR, několika pokročilých technik mapování tónů a funkce pro spojování HDR panoramatických obrazů obsahuje několik zcela unikátních funkcí. Příkladem je funkce generování HDR v nepravých barvách a vytváření HDR z měřených hodnot osvětlení, funkce vhodné pro designery a analytiky osvětlení [2]. Nevýhodou tohoto softwaru je fakt, že je omezen pouze na platformu Mac OS. Z tohoto důvodu také nebyl v této práci testován. Díky své jedinečnosti však určitě stojí za zmínku. 3.2.6 MATLAB 2011b Bylo zmíněno, že Image Processing Toolbox obsahuje funkce pro sloučení obrazů do HDR a mapování tónů. Funkce makehdr vypočítá HDR obraz ze zadaných fotografií, funkce tonemap převede HDR obraz do zobrazitelné bitové hloubky. Tyto funkce jsou použitelné pro zběžný náhled na HDR fotografii, nelze je použít k vytvoření kvalitního obrazu. Pokud byl jak proces sloučení do HDR, tak mapování tónů 53

3. ZPRACOVÁNÍ provedeno pomocí těchto funcí v MATLABU, nebyl výsledek nijak dobrý (obr. 3.12). Celý obraz obsahuje velmi výrazný šum a barevnost je zcela posunuta. Lepšího výsledku nebylo dosaženo ani využitím Photomatixu k mapování tónů HDR obrazu vzniklého zmíněnou funkcí MATLABu. V případě opačného postupu, kdy byl pro vytvoření HDR obrazu použit Photomatix a mapování tónů proběhlo v MATLABu, byl výsledek znatelně lepší (obr. 3.12). Výsledná fotografie postrádá barevnost a obsahuje výrazný šum, došlo však k velmi dobrému namapování jasů. Jak nejtmavší stíny, tak velmi světlá okna obsahují všechny detaily. Obr. 3.12: Výsledný obraz vzniklý funkcemi MATLABu makehdr a tonemap. 54

3. ZPRACOVÁNÍ Obr. 3.13: Výsledný obraz vzniklý funckí MATLABu tonemap z HDR obrazu vytvořeného pomocí Photomatixu. 3.3 Tvorba HDR aplikace 3.3.1 Načtení a seřazení fotografií Jsou-li scény s vysokým rozsahem jasů fotografovány vícenásobnou expozicí s krokem 1 EV, je u některých scén k zachycení celého dynamického rozsahu potřeba exponovat více než desetkrát. Velikost (v bytech) nekomprimované fotografie kódované osmi bity odpovídá součinu počtu pixelů a počtu kanálů. Pokud bude aplikace uchovávat v paměti všechny fotografie, které budou použity k výpočtu HDR obrazu, bude spotřeba paměti velmi vysoká. Například pro sekvenci deseti expozic vytvořených desetimegapixelovým fotoaparátem bude pouze pro uchování načtených fotografií potřeba 300 MB paměti. S ohledem na tyto vysoké hodnoty je celá aplikace navržena tak, aby při žádné operaci nebyla v daný okamžik v paměti uložena více než jedna ze zdrojových fotografií. Aplikace umožňuje načíst fotografie obsahující metadata vkládaná do souborů digitálními fotoaparáty (tzv. EXIF, Exchangeable Image File format) a informace o expozičních časech fotografie načíst z EXIFu. Druhou možností je načíst ze souboru pouze obrazové informace, zatímco příslušné expoziční časy jsou zadány interaktivně uživatelem. Tato varianta dovoluje vytvořit HDR i z obrazových souborů 55

3. ZPRACOVÁNÍ neobsahujících EXIF, např. pokud vstupní soubory vznikly skenováním fotografického negativu. V prvním případě jsou pro všechny fotografie načteny z EXIFu hodnoty expozičních časů. Podle získaných expozičních časů je pole s názvy fotografií setříděno od nejkratší po nejdelší expozici pomocí algoritmu bublinkového setřídění. V druhém případě jsou zadané expoziční časy přiřazeny k příslušným fotografiím a opět srovnány. 3.3.2 Zarovnání fotografií Zarovnání fotografií je řešeno pomocí algoritmu MTB (median threshold bitmap, bitmapa střední prahové hodnoty) popsaného v kapitole 1.3.1. Jedna ze sekvence fotografií je zvolena jako referenční a porovnávána se všemi ostatními fotografiemi. Pro každou dvojici fotografií je vytvořen obraz v odstínech šedi podle vzorce 1.10 a určen medián pixelových hodnot obrazu. Bitmapa střední prahové hodnoty vznikne nahrazením pixelových hodnot menších či rovných mediánu nulou a hodnot vyšších než medián jedničkou. Následně je vytvořena pyramida obrazů s rozlišením vždy sníženým na polovinu (obr. 3.14). V každé úrovni snížení rozlišení je porovnáván referenční obraz s devíti variantami urovnávaného obrazu: posun o 1 pixel v každém z osmi směrů a bez posunu. Pro porovnání je použit operátor exkluzivního logického součtu (XOR) pro každý pixel porovnávaných obrazů a zjištěn počet TRUE hodnot (lišící se pixelové hodnoty). Varianta posunu s nejmenším množstvím lišících se pixelových hodnot je považována za správně srovnanou v dané úrovni zmenšení. Posunutí zmenšeného obrazu o jeden pixel odpovídá posunu původního obrazu o 2 n pixelů, kde n značí aktuální úroveň snížení rozlišení obrazu. Registrovaný posun je nastaven v nižší úrovni zmenšení jako výchozí. Maximální posun, který lze vyrovnat touto metodou, odpovídá 2 n+1 1 pixelům při n úrovních snížení rozlišení. Problémem pro zarovnávací algoritmus mohou být příliš tmavé či příliš světlé fotografie. Přestože i v případě velmi tmavých a velmi světlých fotografií jsou bitmapy středních prahových hodnot téměř totožné, obsahují velké množství šumu způsobeného zhuštěním většiny pixelů obrazu do několika digitálních hodnot v tmavém či 56

ČVUT Praha 3. ZPRACOVÁNÍ Obr. 3.14: Dvě původní fotografie a pyramida jejich bitmap mediánové prahové hodnoty světlém konci histogramu. Velké množství pixelů má pak digitální hodnotu blízkou nebo rovnou hodnotě mediánu. V případě zvýšeného množství šumu v příliš světlých nebo příliš tmavých fotografiích je možné hodnotu mediánu nahradit hodnotou 17. respektive 83. percentilu [23]. V takovém případě by měla být aplikována stejná prahová hodnota na oba porovnávané obrazy. Je-li ale jako prahová hodnota použit jiný než 50. percentil, je k dispozici menší množství pixelů pro porovnání a celá metoda je méně stabilní. Lze konstatovat, že je-li využit medián jako prahová hodnota, 57

3. ZPRACOVÁNÍ je tato metoda velmi robustní. I velmi tmavé fotografie (obr. 3.1) byly metodou bitmapy střední prahové hodnoty bezchybně urovnány. Algoritmus zarovnání fotografií byl testován na příkladě výřezů z původních expozic simulujících posun expozic při fotografování bez použití stativu. Z každé expozice byla vyříznuta oblast o přesně daném rozměru (1200 na 1600 pixelů). Pozice výřezů byla náhodná. Maximální vzájemný posun výřezů činil 64 pixelů ve vodorovném a 63 pixelů ve svislém směru. Fotografie byly pomocí metody MTB zcela bezchybně srovnány a následně sloučeny do HDR obrazu. Rozdíl mezi výslednými obrazy vzniklými sloučením výřezů bez urovnání a s urovnáním metodou MTB demonstruje obr. 3.15. Obr. 3.15: Obrazy vytvořené sloučením výřezů fotografií bez zarovnání resp. se zarovnáním pomocí metody MTB. Zároveň bylo provedeno porovnání posunu jednotlivých expozic při snímání ze stativu a bez použití stativu (z ruky) pro různé ohniskové vzdálenosti objektivu. Srovnání bylo provedeno pro ohniskovou vzdálenost 20 mm (ekvivalent 32 mm pro kinofilm) a 200 mm (ekvivalent 320 mm pro kinofilm) při rozlišení fotoaparátu 8 MPx. Jednotlivé posuny jsou uvedeny v tabulce 3.2. Je-li použita funkce autobracketingu (automatické sejmutí několika různých expozic) a s fotoaparátem není během snímání sekvence nijak manipulováno, je při použití stativu posun expozic menší než jeden pixel a tedy nedetekovatelný zarovnávacím algoritmem pro obě testované ohniskové vzdálenosti. Stativ a funkce autobracketingu je tedy optimální variantou. U použitého fotoaparátu Canon EOS 58

3. ZPRACOVÁNÍ Tab. 3.2: Relativní posuny jednotlivých snímků ve svislém, resp. vodorovném směru při různém způsobu stabilizace fotoaparátu pro dvě různé ohniskové vzdálenosti Snímek Posuny při f = 20 mm (px) Posuny při f = 200 mm (px) Stativ, autobracketing 1 0 0 0 0 2 0 0 0 0 3 0 0 0 0 Stativ, manuální změna exp. času 1 0 0 0 0 2 0 0 2 2 3 0 0 2 3 4 0 0 3 2 5 0 0 4 3 6 0 0 5 2 Bez použití stativu, autobracketing 1 0 0 0 0 2-10 -6 43 46 3-2 1 27-3 30 D, stejně jako u velkého množství dalších modelů, je rozsah autobracketingu omezen na tři snímky a rozsah ± 2 EV. Obsahuje-li scéna vyšší dynamický rozsah, je nutné exponovat vícekrát. Vzhledem k tomu, že při snímání fotografií nebyla k dispozici kabelová spoušť umožňující změnu expozičního času bez přímé manipulace s fotoaparátem, byl expoziční čas měněn manuálně přímo pomocí ovládacích prvků fotoaparátu. Tato manipulace nijak neovlivnila stabilitu fotoaparátu při použití širokoúhlého objektivu, kdy posuny jednotlivých expozic zůstaly nulové. Snímání teleobjektivem již bylo manipulací s ovládacími prvky fotoaparátu ovlivněno. Při sejmutí šesti snímků rostl svislý posun až na 5 pixelů proti prvnímu snímku, zatímco vodorovný se pohyboval kolem 2 pixelů. Příčinou je pravděpodobně jak vliv menšího zorného úhlu objektivu, tak vliv větší hmotnosti a rozměrů teleobjektivu. 59

3. ZPRACOVÁNÍ Při snímání z ruky je důležitým parametrem expoziční čas. Jsou-li zachovány přiměřené hodnoty expozičních časů (přibližně do 1/f s, kde f je hodnota ohniskové vzdálenosti; maximálně však 1/50 s), je možné při použití autobracketingu sejmout sekvenci fotografií z ruky. Pro širokoúhlý objektiv činil maximální posun 10 pixelů, při použití teleobjektivu přesáhly posuny v obou směrech 40 pixelů. S těmito posuny si zarovnávací algoritmus dokázal poradit. Při snímání z ruky je vhodné nastavit kontinuální snímání, kdy všechny expozice autobracketingu jsou realizovány jedním stiskem a podržením spouště fotoaparátu. Manuální změna expozičního času při snímání z ruky nepřipadá v úvahu. 3.3.3 Odvození charakteristické křivky fotoaparátu Do vytvářené aplikace byla implementována metoda odvození charakteristické křivky fotoaparátu z pixelových hodnot fotografií a hodnot expozičních časů, kterou navrhli Debevec a Malik [4]. Tato metoda byla stručně popsána v kapitole 1.3.1. Minimalizace objektivní funkce (rovnice 1.8) popisující sumu kvadratických odchylek pixelových hodnot od součtu logaritmických hodnot jasu pixelu a expozičního času byla provedena podle algoritmu navrženého Debevcem a Malikem. Podle autorů je k dostatečně přesnému odvození křivky potřeba, aby do výpočtu vstoupily hodnoty alespoň 255/P pixelů, kde P je počet fotografií. Pixely vstupující do výpočtu jsou vybírány buď manuálně nebo automaticky. Manuální výběr pixelů Pro manuální výběr pixelů slouží grafické okno umožňující načtení grafického vstupu pomocí kurzoru myši (obr. 3.16). Počet vybíraných pixelů mírně přesahuje minimální požadavky použité metody. Umístění pixelů by mělo být vybíráno tak, aby bylo dosaženo přiměřeně rovnoměrného zastoupení všech pixelových hodnot ve fotografii a zároveň aby vybrané pixely byly přibližně rovnoměrně rozmístěny v ploše fotografie. Pixely mají být vybírány z oblastí s nízkou variabilitou intenzity, aby jas scény mohl být považován za konstatní v celé ploše pixelu [4]. 60

ČVUT Praha 3. ZPRACOVÁNÍ Obr. 3.16: Grafické okno pro manuální výběr pixelů Výpočet charakteristické křivky je proveden samostatně pro každý kanál. Obr. 3.17 obsahuje bodové grafy pixelových hodnot v závislosti na jasu proložené charakteristickými křivkami pro jednotlivé kanály. Vypočítané charakteristické křivky všech tří kanálů jsou porovnány v obr. 3.18. Obr. 3.17: Manuální výběr pixelů - hodnoty vybraných pixelů proložené charakteristickou křivkou pro jednotlivé kanály 61

3. ZPRACOVÁNÍ Obr. 3.18: Manuální výběr pixelů - charakteristické křivky kanálů R,G,B. Automatický výběr pixelů Při automatickém procesu jsou pixely vybírány tak, aby pixelové hodnoty byly rovnoměrně rozloženy v celém rozsahu pixelových fotografie. Rovnoměrné rozložení v souřadnicích fotografie je zabezpečeno náhodným generováním souřadnic pixelů ve fotografii. Výpočet charakteristické křivky je proveden samostatně pro každý kanál. Obr. 3.19 obsahuje bodové grafy pixelových hodnot v závislosti na jasu proložené charakteristickými křivkami pro jednotlivé kanály. Vypočítané charakteristické křivky všech tří kanálů jsou porovnány v obr. 3.20. Obr. 3.19: Automatický výběr pixelů - hodnoty vybraných pixelů proložené charakteristickou křivkou pro jednotlivé kanály 62

3. ZPRACOVÁNÍ Obr. 3.20: Automatický výběr pixelů - charakteristické křivky kanálů R,G,B. Předdefinovaná křivka Tvar křivky, podle které je ve fotoaparátu mapována vstupní hodnota jasu na výstupní pixelovou hodnotu, je závislá na mnoha faktorech. Zásadní vliv má výrobce a typ fotoaparátu; každý výrobce svou charakteristickou křivku definuje trochu jinak, křivky se liší mezi různými senzory a firmwary. Ani v rámci konkrétního fotoaparátu nejsou vždy vstupní hodnoty jasu mapovány stejně. Křivka je dále ovlivněna nastavením hodnoty ISO, fotoaparát používá rozdílné křivky v závislosti na zvoleném režimu fotografování. Tyto změny lze eliminovat stabilním nastavením fotoaparátu (stejné ISO, bez korekcí barevnosti a kontrastu). Je-li křivka generována ze sekvence fotografií, nemusí vždy odpovídat reálné charakteristické křivce fotoaparátu. Pokud jsou ve fotografované scéně některé z barev R,G,B v převaze (viz obr. 3.19: modrý kanál je zde potlačen - zatímco pixelové hodnoty v červeném a zeleném kanálu jsou rovnoměrně rozděleny, modrý kanál má těžiště v nižších hodnotách), budou odvozené křivky velmi pravděpodobně mírně zkreslené. Ideálním řešením by byla databáze charakteristických křivek podle typu a nastavení fotoaparátu. Na základě metadat obsažených v EXIFu by byla vybrána odpo- 63

3. ZPRACOVÁNÍ vídající křivka. To je ale prakticky nerealizovatelné. Předdefinovaná křivka použitá v aplikaci byla vytvořena jako průměrná křivka odvozená z pixelových hodnot fotografií několika různých scén vyfotografovaných několika různými fotoaparáty. 3.3.4 Sloučení do HDR Výpočet HDR obrazu ze vstupních fotografií probíhá podle vzorce 1.5 uvedeného v kapitole 1.3.1. Pro každý pixel je vypočítán vážený průměr jasů odvozených z pixelových hodnot pomocí charakteristické křivky. Váhy jednotlivých pixelových hodnot byly nastaveny podle vztahu 1.9 navrženého Debevcem a Malikem [4]. HDR obraz může být uložen ve formátu.hdr nebo dále upravován metodami mapování tonality za účelem převedení do LDR obrazu se sníženým kontrastem pro zobrazení na monitorech nebo tisk. Obr. 3.21: Histogram jasu HDR obrazu Histogram na obr. 3.21 ilustruje rozložení hodnot v HDR obraze. Jedná se o jasovou složku HDR obrazu vzniklého sloučením fotografií na obr. 3.1. Maximální pixelová hodnota jasové složky je 1154,59, minimální hodnota je 0,0893. Dynamický rozsah tedy odpovídá kontrastnímu poměru 1:12 928 neboli 13,66 EV. Průměrná pixelová hodnota je 12,71, medián je 2,95. Více než 94 % pixelů má jas menší než je 64

3. ZPRACOVÁNÍ setina maximálního jasu; více než 30 % pixelů má dokonce menší jas, než je tisícina maximálního jasu ve fotografii. 3.3.5 Mapování tonality Aby mohly být HDR fotografie zobrazeny na běžných monitorech, musí být jejich dynamický rozsah snížen na dynamický rozsah výstupního standardu. Výsledkem této komprese dynamického rozsahu je opět obraz s nízkým dynamickým rozsahem. Není však možné snížit rozsah jasů pouhou lineární transformací pixelových hodnot. V takovém případě by byl výsledkem velmi tmavý obraz s několika světlými místy a právě jedním bílým pixelem (obr. 3.22). Za účelem zobrazení HDR fotografií na LDR zobrazovacích zařízeních byly vyvinuty tzv. operátory mapování tonality, funkce, které namapují hodnoty HDR fotografií do přirozeně vypadajících LDR obrazů. Obr. 3.22: Obraz vzniklý lineární transformací hodnot HDR fotografie. Do aplikace byly implementovány dva globální a dva lokální operátory mapování tonality. Globální operátory mapují tonalitu aplikací tonální křivky, která je totožná pro všechny pixely v obraze. Výsledkem je realisticky vypadající obraz, protože výstupní pixelové hodnoty jsou vždy úměrné (nelineárně) hodnotám jasu. Lokální operátory mapují hodnotu pixelů selektivně v závislosti na hodnotách okolních pixelů. V důsledku potlačení globálního kontrastu a naopak zvýraznění kontrastu detailů se 65

ČVUT Praha 3. ZPRACOVÁNÍ uplatní spíše v umělecké fotografii, neboť pomocí nich lze dosáhnout působivějších a líbivějších výsledků. Lokální operátory jsou náchylné k vytváření halo a artefaktů. Globální TMO Photographic Tone Reproduction Jak již bylo zmíněno v kapitole 1.4.2, jedná se o simulaci zvětšování fotografie z fotografického negativu. Hodnoty jasů scény zaznamenané v HDR obraze jsou transformovány pomocí sigmoidní tonální křivky napodobující křivku odezvy fotopapíru. "Délka expozice fotopapíru"je určena uživatelským parametrem 𝑎, neboli tzv. key value. Tato hodnota se pohybuje v intervalu <0,1> a po vynásobení stem je definována jako percentil výstupního rozsahu, na který bude namapována průměrná logaritmická hodnota jasu. Pro průměrně jasné scény je 𝑎 = 0, 18, pro tmavé scény (tzv. low key scény) je nižší, pro světlé (tzv. high key naopak vyšší. Obr. 3.23 ukazuje porovnání výsledných obrazů při nastavení key value na hodnoty 0,1, 0,2, 0,3 resp. 0,4. Obr. 3.23: Vliv parametru key value. Parametr nastaven zleva na 0,1, 0,2, 0,3 a 0,4. Obr. 3.24: Vliv parametru white level. Parametr nastaven zleva na 1, 0,15, 0,05 a 0,02. 66

3. ZPRACOVÁNÍ Druhým parametrem je white level určující logaritmickou hodnotu minimálního jasu, která bude namapována na bílou barvu. Při hodnotě 0 jsou na bílou namapovány všechny pixelové hodnoty, při hodnotě 1 je na bílou nampována hodnota pixelu s nejvyšším jasem vypočteným ze tří kanálů pomocí vztahu navrženého autory TMO [22]: Y = 0.27R + 0.67G + 0.06B (3.1) Vliv parametru je ilustrován na obr. 3.24. Důvod velmi malé změny po radikální změně hodnoty parametru je zřejmý při pohledu na histogram na obr. 3.21. Je jím velmi malé množství pixelů vysokých hodnot v této fotografii. Změna parametru se tak viditelně projeví až ve chvíli, kdy jsou na bílou namapovány více zastoupené nízké hodnoty. Celý výsledek globálního operátoru mapování tonality Photographic tone reproduction je zobrazen v obr. 3.25. Parametr key value má hodnotu 0.36, úroveň bílé má hodnotu 1. Celkově lze výsledek považovat za dobrý. Obraz vypadá velmi přirozeně a zobrazuje mnohem více detailů než kterákoliv ze zdrojových fotografií. Na této scéně s vysokým dynamickým rozsahem lze pozorovat i nevýhodnou vlastnost globálních operátorů. Globální operátory jsou velmi vhodné pro scény se středně velkým dynamickým rozsahem. Je-li dynamický rozsah scény velmi vysoký, globální operátory už si s takovým HDR obrazem nedokážou poradit. Ve výsledném obraze se tak nadále objevují jak přepálená, tak zcela černá místa, přestože je jejich výskyt výrazně nižší než u konveční fotografie. Lokální TMO textitphotographic Tone Reproduction Předchozí operátor může být rozšířen o napodobení tzv. nadržování a vykrývání. V HDR obraze jsou hledány oblasti s nízkým kontrastem a do dalších výpočtů vstupují průměrné pixelové hodnoty těchto homogenních oblastí (rovnice 1.19).Homogenní oblastí se rozumí maximální okolí pixelu, kde není nalezen velký jasový kontrast. V každém pixelu obrazu je porovnána hodnota váženého průměru pixelových hodnot s vahami danými gaussovským filtrem pro nejbližší okolí s hodnotou váženého průměru pro širší okolí. Pokud rozdíl obou průměrů nepřekročí definovanou prahovou 67

3. ZPRACOVÁNÍ Obr. 3.25: Obraz vzniklý mapováním tónů pomocí globálního operátoru Photographic tone reproduction hodnotu, jsou oba průměry považovány za shodné a celé širší okolí je považováno za oblast s nízkým kontrastem. V souladu s autory TMO [21] je počáteční nejbližší okolí pixelu nastaveno na kruh o poloměru 0,5 pixelu, tedy pouze samotný pixel. Širší okolí je podle autorů definováno poloměrem 1,6krát větším než je poloměr nejbližšího okolí. Je-li rozdíl obou průměrů malý, pokračuje se dalším krokem, ve kterém je původní širší okolí považováno za nejbližší okolí bodu. Tento postup je opakován, dokud rozdíl průměrných pixelových hodnot pro blízké a širší okolí bodu nepřekročí stanovenou prahovou hodnotu, nejvýše však osmkrát. Zmíněná prahová hodnota je jedním z uživatelských parametrů této metody a výrazně ovlivňuje výslednou podobu získaného obrazu (obr. 3.26). Hodnota doporučená autory metody jako výchozí je 0.05. Je-li hodnota vyšší, roste tolerance rozdílu mezi oběma půrměry. Zároveň se zvětšuje okolí bodu považované za homogenní a do rovnice 1.19) vstupuje hodnota průměru okolních pixelových hodnot více se lišící od 68

3. ZPRACOVÁNÍ Obr. 3.26: Vliv prahové hodnoty pro nalezení oblastí nízkého kontrastu. Hodnota nastavena zleva na 0,01, 0,05 a 0,1. hodnoty daného pixelu. Tím se zvětšuje lokální kontrast v obraze. Naopak zmenšení prahové hodnoty lokální kontrast snižuje. Z obrázku 3.26 je také zřejmé, že čím větší oblasti jsou považovány za homogenní a čím více se lokální průměr liší od hodnoty pixelu, tím je větší nebezpečí výskytu hal a artefaktů. Při nastavení prahové hodnoty na 0.01 nedošlo k velkému zvýraznění lokálního kontrastu a v obraze se nevyskytly žádné nežádoucí artefakty. Při použití prahové hodnoty 0.05 je lokální kontrast už dosti zvýrazněn. V blízkosti výrazných hran se objevují artefakty. Při dalším zvýšení prahové hodnoty až na 0.1 jsou halo a artefakty již velmi výrazné. Obr. 3.27: Vliv parametru Φ ovlivňujícího ostrost hran. Hodnota nastavena zleva na 6, 8, 10 a 12. Defaultní hodnota parametru Φ kontrolujícího zaostření hran je nastavena na 8 v souladu s metodikou Reinharda [21]. Jak je patrné z obrázku 3.27, zvyšování hodnoty parametru silně zvýrazňuje hrany. Poslední z autory definovaných parametrů, je key value ovlivňující celkový jas vzniklého obrazu. Funkce tohoto parametru v globální i lokální verzi operátoru mapování tónů Photographic tone reproduction. 69

3. ZPRACOVÁNÍ Aby bylo dosaženo snížení přehnané saturovanosti barev způsobené tímto operátorem, byla rovnice 1.19 doplněna exponentem, který umocňuje čitatele i jmenovatele rovnice hodnotou v rozmezí <0,1>. Tím snižuje velký kontrast fotografie a redukuje nasycenost barev. Vliv exponentu je zřetelný na obrázku 3.28. Snížení přehnané saturovanosti barev je možné realizovat následnou úpravou vzniklého obrazu v grafickém editoru. Výsledný získaný pomocí operátoru ilustruje obr. 3.29. Obr. 3.28: Vliv exponentu ovlivňujícího kontrast. Hodnota nastavena zleva na 0,6, 0,7, 0,8 a 0,9. Celkově lze konstatovat, že tento operátor názorně ilustruje všechny obecné přednosti i nedostatky lokálních operátorů. Dokáže si poradit s fotografií obsahující vysoký dynamický rozsah a vykreslit detaily jak v nejvyšších jasech, tak v nejtmavších oblastech. Možnost zvýraznění detailů a hran může být v některých aplikacích také výhodná. Cenou za tyto přednosti je nepřirozený vzhled fotografie, působí často spíše dojmem kresby. Při málo citlivém nastavení se obzvláště v místech velkého kontrastu objevují artefakty. Kolem světlých objektů se objevuje tmavé postupně mizející ohraničení, kolem tmavých objektů naopak světlé - tzv. halo. Na první pohled vynikne výrazná silně saturovaná barevnost výsledného obrazu, která je v příkladovém obraze obzvláště zřetelná. LDR obraz vzniklý pomocí tohoto operátoru mapování tonality bude potřeba v mnohých případech doupravit v některém z grafických editorů. Globální TMO Photoreceptor Operátor Photoreceptor vychází z vnímání jasů v obraze zrakovým orgánem, fotoreceptorem. Operátor má dva uživatelské parametry. Prvním z nich je celkový jas 70

ČVUT Praha 3. ZPRACOVÁNÍ Obr. 3.29: Obraz získaný z HDR fotografie pomocí lokálního operátoru Photographic tone reproduction (nahoře). Přehnaná saturovanost barev byla redukována v grafickém editoru (dole). 71

ČVUT Praha 3. ZPRACOVÁNÍ 𝑓 související se schopností lidského oka adaptovat se na různé světelné podmínky. Hodnota parametru se pohybuje přibližně v rozmezí 𝑒 8 a 𝑒8. Vyšší hodnoty parametru znamenají tmavší výsledný obraz (obr. 3.30). Obr. 3.30: Vliv parametru f. Parametr nastaven zleva na 0,001, 0,01, 0,1 a 1. Druhý parametr, exponent 𝑚, upravuje celkový kontrast obrazu. Při hodnotách parametru 𝑓 menších než 1 jsou s klesajícím exponentem tmavší pixely ztmavovány více než světlé (obr. 3.31). Je-li hodnota 𝑓 větší, jsou naopak více zesvětlovány světlé oblasti. Obrázek 3.32 ukazuje výsledek mapování s nastavením parametru 𝑓 na 0,04 a exponentu 𝑚 na 0,8. Obr. 3.31: Vliv parametru m. Parametr nastaven zleva na 2, 5 a 9. Globální Photoreceptor je velmi podobný předchozímu globálnímu operátoru. Přestože je přístup k mapování tónů rozdílný, využívá ve výsledku podobnou tonální křivku. Má ale větší možnosti nastavení parametrů a vysoký dynamický rozsah dokáže zkomprimovat o něco lépe než předchozí operátor. Při vhodném nastavení parametrů jsou více zkomprimovány střední tóny, takže více vynikne kresba v tmavých nebo světlých oblastech. 72

3. ZPRACOVÁNÍ Obr. 3.32: Obraz vzniklý mapováním tónů pomocí globálního operátoru Photoreceptor 3.3.6 Lokální TMO Photoreceptor Lokální varianta tohoto operátoru v literatuře neexistuje, byla však pro toto použití odvozena autorem této práce. Veličina I a v rovnici 1.11 je nazývána aktuální úrovní adaptace fotoreceptoru na jas scény a je odvozena jako logaritmická průměrná hodnota jasu celé fotografie. Lidské oko ale disponuje schopností lokální adaptace; umí se přizpůsobit nejen jasu celé scény, ale omezeně také jasu malé oblasti scény. Byla využita technika nalezení oblastí s nízkým kontrastem používaná v lokální variantě operátoru Photographic tone reproduction. Aktuální úroveň adaptace pak byla počítána pro každý pixel zvlášť jako vážený průměr hodnot jasu v nalezené homogenní zóně. Tato metoda podobně jako lokální verze operátoru Photographic tone reproduction zvětšuje kontrast konkrétního pixelu proti jeho okolí v nalezené homogenní zóně. Pro určení úrovně lokální adaptace fotoreceptoru je použit vážený průměr globální hodnoty určené jako logaritmická průměrná hodnota jasu celé fotografie a 73

3. ZPRACOVÁNÍ lokální hodnoty určené jako vážený průměr hodnot jasu homogenního okolí pixelu. Váhy globální a lokální hodnoty jsou uživatelským parametrem určujícím sílu zvýraznění lokálního kontrastu. Tento operátor má celkem pět uživatelských parametrů. První dva, řídící celkový jas a kontrast výstupního obrazu, jsou analogické s parametry globální verze operátoru. Další dva, parametr P hi zvýrazňující hrany a prahová hodnota pro nalezení oblastí nízkého kontrastu jsou totožné s parametry lokálního operátoru Photographic tone reproduction. Pátým parametrem jsou již zmíněné váhy pro globální a lokální úroveň adaptace fotoreceptoru. Jejich vliv lze pozorovat na obr. 3.33. Výsledný produkt tohoto operátoru je na obrázku 3.34. Jasový parametr f je nastaven na hodnotu 0,05, exponent m ovlivňující kontrast má hodnotu 0,7, hranovému parametru P hi a prahové hodnotě byly ponechány defaultní hodnoty a váha globální úrovně adaptace byla nastavena na 0,06. Obr. 3.33: Vliv různého nastavení váhy pro globální úroveň adaptace. Váha nastavena zleva na 0, 0,01, 0,05 a 0,4. Tento navržený lokální operátor mapování tónů přinesl velmi dobré výsledky. Lze říci, že spojil výhody lokálního operátoru Photographic tone reproduction a globálních operátorů. Ve vzniklém obraze jsou zachovány detaily kresby ve světlech i ve stínech, lokální kontrast lze podle potřeby zvýšit zvětšením prahové hodnoty a ostřícího parametru. Obraz si zároveň zachovává přirozený vzhled, velmi dobře vyváženou barevnost a celkový kontrast obrazu. Výběr operátoru mapování tónů by měl záviset na konkrétním použití výsledného obrazu; zda má být výstupem realisticky vyhlížející fotografie, nebo mají být zvýrazněny detaily ve světlých a tmavých oblastech snímku. Jak bylo ukázáno, každý 74

3. ZPRACOVÁNÍ Obr. 3.34: Obraz vzniklý mapováním tónů pomocí lokálního operátoru Photoreceptor. z operátorů má své silné i slabé stránky. Aby byl výčet výhod a nedostatků jednotlivých metod úplný, je třeba se zmínit ještě o několika nevýhodách lokálních operátorů, které nebyly dříve uvedeny. Nevhodným důsledkem zvýšení lokálního kontrastu je zvýšené množství viditelného šumu. Vzhledem k tomu, že šum ve fotografii má značně jiné pixelové hodnoty než je průměrná hodnota okolí, je lokálními operátory silně zvýrazněn. Tento efekt je zřetelný zejména v tmavších oblastech fotografie, kde jsou pixelové hodnoty HDR snímku určovány z malého množství fotografií. Pro snížení šumu v tmavých oblastech by bylo potřeba rozšířit sekvenci fotografií o několik fotografií s ještě delším expozičním časem. Podobným způsobem působí lokální operátory také na chromatickou vadu objektivu, tzv. chromatickou aberaci. Chromatická aberace je efekt způsobený závislostí indexu lomu materiálu na vlnové délce procházeného světla. Čočka láme světlo různých vlnových délek pod různým úhlem. Na fotografii se chromatická aberace 75

3. ZPRACOVÁNÍ projevuje barevným lemováním kontrastních hran. Velkým problémem je chromatická aberace pro moderní objektivy s velkým množstvím čoček. U kvalit objektivů je tato vada různými způsoby kompenzována. Lokální operátory vnímají toto kontrastní barevné lemování jako lokální kontrast a snaží se ho zvýraznit. Zatímco lokální operátory dokázaly chromatickou aberaci existující ve zdrojových fotografiích poměrně dobře potlačit, na obrazech vzniklých pomocí lokálních operátorů je aberace velmi výrazná 3.35. Má-li být výsledný obraz bez výrazné chromatické aberace, je vhodné ji na původních snímcích před složením do HDR obrazu softwarově eliminovat. Obr. 3.35: Chromatická aberace. Zleva doprava: původní snímek; mírně potlačená aberace globálním operátorem (Photoreceptor), silně zvýrazněná lokálními operátory (Photoreceptor, Photographic tone reproduction). 3.3.7 Grafické rozhraní Grafické rozhraní bylo generováno pomocí nástroje GUIDE. Byla vytvořena dvě grafická okna. První slouží k výběru fotografií a volbě nastavení tvorby HDR obrazu z vybraných fotografií. Druhé okno, které je aktivováno po dokončení výpočtu HDR obrazu, obsahuje volby pro uložení HDR obrazu a mapování tonality. Volby tvorby HDR obrazu První okno grafického uživatelského rozhraní aplikace HDRplan (obr. 3.36) se otevře po spuštění souboru HDRplan.m a umožňuje buď načíst existující HDR obraz ve formátu Radiance, nebo zadat volby pro vytvoření HDR obrazu z vícenásobné 76

3. ZPRACOVÁNÍ Obr. 3.36: Uživatelské rozhraní pro výběr fotografií a volby sloučení do HDR. expozice. Kliknutím na tlačítko Open files se otevře standardní okno pro otevírání souborů. Je povolen vícenásobný výběr, aby uživatel mohl vybrat všechny fotografie, z nichž bude HDR obraz generován. Názvy vybraných souborů jsou zobrazeny v tabulce dominující levé části okna. V druhém sloupečku se v závislosti na aktuální volbě načtení expozičních časů objevuje informace, že expoziční čas bude načten z EXIFU, nebo výzva k vložení hodnoty přímo do tabulky, která se volbou manuálního nastavení časů stane editovatelnou. Pravá část okna obsahuje volbu zjištění expozičního času a volbu získání charakteristické křivky fotoaparátu. Pro zjištění expozičního času má uživatel možnost nechat načíst potřebné informace z EXIFu fotografií, nebo zadat expoziční čas ke každé fotografii manuálně. Pro odvození charakteristické křivky může být potřebný počet pixelů vybrán automaticky či mauálně (obr. 3.16). Třetí možností je použití předdefinovaných křivek. Uživatel má možnost vygenerované křivky zobrazit. Při 77

3. ZPRACOVÁNÍ aktivaci tohoto checkboxu jsou zobrazeny křivky pro všechny tři kanály včetně pixelových hodnot, z nichž byly odvozeny, podobně jako na obrázcích 3.19 a 3.20. Pod těmito volbami je umístěn checkbox aktivující zarovnání fotografií. Ve spodní části okna je tlačítko sloužící k výběru již existujícíh HDR obrazu uloženého ve formátu Radiance. Je-li vybrán soubor, dojde k otevření existujícího souboru a nový HDR obraz není vytvářen. Kliknutí na tlačítko Cancel zavře okno, tlačítko OK rozeběhne proces tvorby HDR. Po dobu tvorby se v okně zobrazí nápis Please wait..., po dokončení procesu je okno automaticky zavřeno a otevře se okno pro mapování tónů. Uložení HDR obrazu a mapování tónů Obr. 3.37: Uživatelské rozhraní pro uložení HDR obrazu a mapování tonality. Okno obsahuje ovládací prvky umožňující uložit aktuální HDR obraz a provést mapování tónů za vzniku LDR obrazu. Okno je rozděleno na dvě části. V levé části jsou umístěny všechny ovladače, pravá část je vyplněna náhledem zobrazujícím výsledek mapování tónů při aktuálním nastavení. Ovladače jsou rozděleny do pěti panelů. Zcela nahoře je umístěno tlačítko pro uložení aktuálního HDR obrazu ve formátu Radiance. Při jeho aktivaci se zobrazí standardní dialogové okno pro ukládání souborů. Zbylé čtyři panely obsahují ovladače pro jednotlivé operátory mapování tónů, jak již bylo zmíněno 78