Rok / Year: Svazek / Volume: Číslo / Number: 2010 12 6 Program pro zobrazení černobílých snímků v nepravých barvách Pseudo-colour Paging of the Monochromatic Picture Libor Boleček xbolec01@stud.feec.vutbr.cz Fakulta elektrotechniky a komunikačních technologií VUT v Brně Abstrakt: Článek obsahuje shrnutí metodiky zobrazení černobílých snímkův nepravých barvách (pseudobarvení) a stručný popis vytvořeného software pro tyto účely. Aktuální verze programu, kterou jsem vytvořil v rámci diplomové práce, je volně ke stažení na stránkách ústavu radioelektroniky http://www.urel.feec.vutbr.cz/. Vytvořená aplikace umožňuje zvýšení diagnostické výtěžnosti snímku. K pseudobarvení, je použito několik různých metod, které jsou pro získání co nejlepších výsledků kombinované s úpravami jasové stupnice snímku zvyšujícími kontrast obrazů. Abstract: This paper deals with an imaging of the monochromatic pictures by the pseudocolours and it also contains a brief description of the software created for these purposes. The created application allows you to increase the diagnostic yield of frames. Several different methods are used for the pseudocolouring, that are combined with adjustments of the brightness scale of frames for increasing the image contrast.
Program pro zobrazení černobílých snímků v nepravých barvách Libor Boleček 1 1 Fakulta elektrotechniky a komunikačních technologií VUT v Brně Email: xbolec01@stud.feec.vutbr.cz Abstrakt Článek obsahuje shrnutí metodiky zobrazení černobílých snímků v nepravých barvách (pseudobarvení) a stručný popis vytvořeného software pro tyto účely. Aktuální verze programu, kterou jsem vytvořil v rámci diplomové práce, je volně ke stažení na stránkách ústavu radioelektroniky http://www.urel.feec.vutbr.cz/. Vytvořená aplikace umožňuje zvýšení diagnostické výtěžnosti snímku. K pseudobarvení, je použito několik různých metod, které jsou pro získání co nejlepších výsledků kombinované s úpravami jasové stupnice snímku zvyšujícími kontrast obrazů. 1 Úvod V mnoha oborech bývají často při měření výstupní data reprezentována černobílým (monochromatickým) snímkem např. rentgenovým, sonografickým nebo termovizním. Monochromatický snímek je snímek, který pracuje pouze s jedním odstínem barvy, a proto rozlišovacím prvkem je pouze jas. Barva může být sice libovolná, v praxi se ale nejčastěji používá bílá, a tím vzniknou klasické černobílé snímky, které jsou často v literatuře označovány jako šedotónové (anglicky grayscale). Konkrétní aplikace nachází tato technika např. v lékařské diagnostice, při multispektrálním dálkovém průzkumu Země, při termovizním hodnocení tepelného vyzařování, v oděvním průmyslu a mnoha dalších oborech. Obecně je metoda zobrazování v nepravých barvách vhodná tam, kde je hledaná obrazová informace vyjádřena rozdílným jasem jednotlivých bodů nebo částí daného snímku. Důvodem využití metody zobrazení v nepravých barvách za účelem zvýšení diagnostické výtěžnosti je skutečnost, že průměrný pozorovatel je schopen rozeznat mnohem více barevných odstínů než odstínů šedi. Proto při přiřazení barevných odstínů původně šedotónového obrazu (barvy s nulovou sytostí) může diagnostik získat lepší subjektivní vjem ze snímku a rozezná v něm mnohem víc detailů, přestože tato operace nijak nerozšiřuje původní objem obrazových informací. Převod černobílého snímku s více jasovými úrovněmi do nepravých barev lze realizovat několika způsoby. První možností je využití fotografických postupů využívající jevu pseudosolarizace. Další variantou je hardwarové řešení pomocí programovatelných logických obvodů. Jiný způsob představuje ryze softwarové řešení. Této variantě je věnován článek. V první části článku jsou popsány použité metody. Následuje základní popis programu, včetně vývojového diagramu, a v poslední části článku je uvedena ukázka dosažených výsledků. 2 Použité metody Hlavním cílem aplikace je zvýšení diagnostické výtěžnosti snímků. Je proto třeba, aby byl původní šedotónový snímek převeden do nepravých barev pomocí cíleně volené barevné stupnice tak, aby umožnil pozorovateli lépe vyhodnotit hledané informace skryté v jasové distribuci obrazu. Proto mimo několika různých metod pseudobarvení snímků poskytuje program uživateli, před samotnou transformací do barev, také možnosti upravení hodnot jasu snímku. Tyto úpravy jsou předzpracováním a mohou také vést k zlepšení diagnostické výtěžnosti a k zvýraznění důležitých detailů. 2.1 Transformace jasové stupnice Úpravy jasové stupnice jsou v programu využívány pro zvýšení kontrastu snímku a efektivnější využití jasového rozsahu, který je v běžných digitálních snímcích v rozsahu 0 255. Zmíněný rozsah jasu je uvažován v celém článku i v programu. Pokud některé metody vyžadují rozsah proměnné f 0, 1, je to v článku uvedeno a v programu je hodnota převedena vždy zpět na rozsah f 0, 255. Využití transformace jasové stupnice je nejvýhodnější v situacích, kdy má původní snímek špatnou jasovou dynamiku a využívá jen malou část celkového rozsahu jasu. Program nabízí celkem pět jasových transformací. První transformací je známá úprava invertující jasy v obraze zvaná negativ, která sice nezvyšuje kontrast, ale přesto může její použití při subjektivním hodnocení pomoci. Tuto transformaci lze matematicky zapsat q ( x, = 255 f x, y, (1) ( ) kde q (x, jsou jasy výstupního obrazu a f (x, jasy vstupního obrazu. Další nelineární transformací je tzv. gama korekce, která je používána pro úpravu špatné expozice, kdy je část objektu v příliš tmavé nebo naopak příliš světlé části snímku. Tato korekce se často používá k úpravě špatně exponovaných rentgenových snímků. Matematicky lez korekci vyjádřit vztahem [6] ( x, c f ( x γ g =,, (2) kde vstupní hodnoty jasové funkce f jsou definovány v rozsahu f 0, 1. Konstanta c je rovna 255 a upravuje rozsah výstupní funkce na g 0, 255. Rozhodující pro průběh 125 1
transformované funkce g je velikost konstanty γ. Pokud platí γ > 1, bude výsledný efekt korekce snížení jasu snímku, a naopak pro γ < 1, bude výsledkem zvýšení jasu. Kontrast snímku bude vždy snížen, tato metoda neslouží k zvětšení kontrastu, ale ke korekci špatné světelné expozice. Uživatel má v aplikaci možnost hodnotu γ nastavit. Hodnota parametru gama je teoreticky v rozsahu 0,, ale praktické využití má zpravidla v rozsahu 0, 3. Důležitou transformací je zvýraznění části histogramu [5] Tato technika je nejúčinnější v obrazech s malou dynamikou jasu (viz histogram na obrázku 1). Takové rozložení jasů v obraze vede k malému kontrastu, a tím k obtížnému vyhodnocování snímku. Metoda představuje selektivní zvýraznění kontrastu ve vybrané části jasové stupnice, zatímco ve zbytku stupnice je naopak kontrast zcela potlačen Využitím korekce je dosaženo přiřazení celého rozsahu výstupních hodnot úzké části jasové stupnice vstupního snímku. Uživatel programu zvolí rozsah jasů ve vstupním obraze, který chce zvýraznit. S využitím tohoto postupu jsou i původně malé rozdíly jasu ve výstupním obrazu zvýrazněny. Obrázek 1 znázorňuje změnu histogramu. Obrázek 1: Princip metody zvýraznění časti histogramu Podobnou metodou jako zvýraznění části histogramu je lineární zvýraznění kontrastu. Principem je roztažení využitého jasového rozsahu ve vstupním snímku na maximální možný rozsah (viz obrázek 2). Rozdíl v daných korekcích spočívá v rozsahu jasů, který je zvýrazněn. V první metodě je zvolen uživatelem, zatímco ve druhé je určen automaticky maximálním a minimálním jasem ve vstupním snímku. Oba přístupy mají výhody i nevýhody. Obrázek 2: Princip metody lineární transformace jasu Poslední transformací jasové stupnice, která je v aplikaci k dispozici, je tzv. ekvalizace neboli vyrovnání histogramu. Tento postup je za účelem zvýšení kontrastu používaný jako jedna z metod předzpracování signálu pro LCD zobrazovače. Metoda vylepšuje kontrast obrazů změnou rozložení jasových hodnot. Po provedení ekvalizace je teoreticky zajištěno stejně četné zastoupení jednotlivých jasových úrovní napříč celým jasovým spektrem. Matematicky lze vyrovnání histogramu zapsat [7] q q q = Γ p k o ( p) = H ( s) + q0 M N i= p0, (3) kde q 0 a q k jsou horní a dolní mez výstupního jasového rozsahu, M a N jsou rozměry snímku a H (i) histogram vstupního snímku. 2.2 Metody zobrazení v nepravých barvách Z důvodu efektivní práce programu je k dispozici několik metod pseudobarvení. Při výběru použitých metod byl kladen důraz na možnost ovlivnění přiřazení barev uživatelem. Proto byly vybrány metody, ve kterých může diagnostik nastavením jednoho či dvou parametrů změnit výsledný vzhled snímku a přizpůsobit si ho tak svým potřebám. Aplikace nabízí celkem šest různých metod. První a nejnázornější je metoda barevné palety. Základem je pole dat, které má 256 řádku a 3 sloupce. Číslo řádku představuje vstupní hodnotu jasu a hodnoty ve sloupcích jednotlivé barevné složky RGB. Program obsahuje několik předpřipravených palet. Uživatel může také vytvořit vlastní paletu, a tím zcela jednoznačně určit přiřazení barev ve výstupním obrazu konkrétním vstupním jasům. Metoda hustotních řezů je kompromisem mezi technikou jednoduchého práhování a metodou Barevné palety. Při jednoduchém práhování je prováděno porovnávání okamžité hodnoty vstupní proměnné (v tomto případě jas obrazového bodu) s jedním předem určeným prahem. Kromě prahu je potřeba také určit hodnoty, které bude nabývat výstupní proměnná v obou případech (f (x, < práh nebo f (x, > práh). Tyto hodnoty jsou obvykle definovány jako maximální a minimální hodnota rozsahu výstupní proměnné. Hustotní řezy se liší od základního práhování tím, že má víc prahů. V limitu s 256 prahy odpovídá výše zmíněné metodě Barevné palety. Prahy v aplikaci nejsou zvoleny náhodně, ale vhodně pro medicínské obrazy na základě měření. Další metodou je metoda parametrické křivky [2]. Je založena na skutečnosti, že pseudobarvení můžeme matematicky popsat pomocí transformace křivky v barevném prostoru (viz obrázek 3). Křivka je vytvořena z ekvidistantně rozložených bodů. Bodů je stejný počet, jako je počet stupňů šedi ve vstupním snímku. Každá hodnota ze vstupní šedotónové stupnice je transformována na konkrétní RGB barvu definovanou souřadnicemi vzorku v barevném prostoru (krychli). Při požadavku realizovat obarvení a přitom zachování kontinuální změny jasu, musí transformační křivka představovat spirálu točící se kolem hlavní diagonály (spojující body reprezentující bílou a černou barvu). 125 2
Obrázek 3: Transformační křivka [2] V třírozměrném spojitém prostoru je spirála kolem osy z, s parametrem t dána vektorem v x() t r( t) sin( ωt + ϕ) r () () ( ) () () v t = y t = r( t) cos ωt + ϕ z t z t (4) Fáze ϕ definuje směr a frekvence ω souvisí s počtem otáček kolem osy z. Funkce r (t) určuje tvar spirály a funkce z (t) její vývoj. Pro použití této rovnice pro pseudobarvení musí být mapovány kolem hlavní diagonály RGB krychle (viz obr 4.2), což může být provedeno pomocí následující matice R r G = M v B (5) V další fázi je třeba stanovit matici M jako rotaci kartezského systému. Po provedení potřebných výpočtů a dosazení, získáme finální vztah pro výpočet RGB složek R 1+ 3 1 3 2 r() t sin( ω t + ϕ) 1 () ( ) () G = 1 3 1+ 3 2 r t cosω t + ϕ (6) 2 3 B 2 2 2 z t V tomto vztahu fáze ϕ definuje počáteční barvu (barvu kterou bude nabývat pixel o nulovém jasu). Zatímco frekvence ω určuje dynamiku barevné změny. Tyto parametry může uživatel v programu zadat a tím ovlivnit přiřazení barev a získat velké množství barevných spekter. Funkce r (t) a z (t) určují tvar a vývoj spirály a musí zajišťovat udržení smyčky v omezené RGB krychli. Odvození jejího konkrétního tvaru a vztahů (7), (8) vychází z omezení objemu krychle dvěma trojúhelníky. Funkce z (t) musí být zvolena tak, aby platilo, že z (0) = 0 a z (1) = 3. r 2 3 () t = t ( 1 t) (7) () t t z = 3 (8) Další metoda je založena na převodu do prostoru HSI (H odstín, S sytost, I intenzita), změně parametru sytosti a převodu do prostoru RGB. Z původních hodnot jasu monochromatického snímku získáme parametry v prostoru HSI pomocí vztahu I = f ( x, 2 π f ( x, H = L k f ( x, f ( x, L / 2 S = k ( L f ( x, ) f ( x, > L / 2. (9) Kde L je maximální hodnota jasu ve vstupním obraze a "k" je proměnný parametr ovlivňující proces (často bývá cca 1,5 a v programu jej zadá uživatel). Následujícím krokem bude převedení z prostoru HSI do barevného prostoru RGB vhodného pro zobrazení. Ke konverzi jsou použity vztahy R 1 0,204124 0,612372 I G = 1 0,204124 0,612372 V1 B 1 0,408248 0 V 2. (10) Kde V 1 = S cos H V 2 = S sin H. Poslední metoda je pracovně nazvána Schrodingerova pseudobarvící kostka. Tato metoda pro zobrazování v nepravých barvách byla vyvinuta v roce 1990 v laboratořích Youvan [3]. Na obrázku 4 je znázorněna RGB krychle s grafickým vyznačením algoritmu. V levém dolním rohu je černá a v pravém horním bílá barva. Všechny výstupní barvy jsou umístěny na hranách krychle. Vývoj barev je znázorněn šipkami. Vstupní jasový rozsah 0 255 je rozdělen na 6 segmentů, v nichž se výstupní barva pixelu tvoří dle tabulky, přičemž první sloupec udává rozsahy jasů vstupního pixelu a další tři sloupce udávají chování barevných složek pro dané rozsahy. Tabulka 1:Popis přiřazení složek RGB v metodě Schredingerovi krychle Rozsah jasů červená modrá zelená 0 0 0 0 1-42 0 roste 0 43-84 0 klesá roste 85-128 roste 0 255 129-170 maximum 0 klesá 171-212 maximum roste 0 213-255 maximum maximum Roste 125 3
při hledání objektu a náhlých změn ve snímku. V prvním kroku metody je vytvořena pomocí vhodného lokálního operátoru hranová reprezentace vstupního snímku, a poté je tato reprezentace obarvena. Stručně řečeno, tam kde je velký rozdíl jasu mezi sousedními pixely je nalezena hrana a ta je následně kontrastně obarvena. Tato metoda se liší od všech ostatních použitých metod tím, že na výslednou barvu má nejen odpovídající vstupní pixel, ale i jeho okolí. 3 Popis programu Obrázek 4: Metoda Schodingerovi barvící krychle [3] Pokud na daném rozsahu složka roste, tak při jasu odpovídajícímu maximu daného rozsahu dosahuje maximální intenzity, tedy hodnoty 255. Naopak pokud složka na daném rozsahu klesá, tak při jasu odpovídajícímu maximu rozsahu dosáhne nulové hodnoty. Pokud hodnota není rovna mezní hodnotě daného rozsahu, je vypočítána poměrově. Při použití této metody může uživatel zadáním parametru v rozmezí od 1 do 3 zadat rychlost barevné změny. Přesně řečeno hodnota udává kolikrát je na vstupním jasovém rozsahu využita každá z barev výstupního rozsahu. Jedna z nabízených metod je založena na vztazích mezi hodnotami jasu sousedních pixelů [4]. Tato metoda je účinná Při tvorbě programu byl kladen důraz na uživatelskou přívětivost, variabilitu metod a možnost ovlivnění přiřazení barev uživatelem. Program nabízí kromě zobrazení statických snímků v nepravých barvách, také možnost převedení jednotlivých snímků videa do nepravých barev. Je možné obarvit jednotlivé snímky získané zachycením obrazovky videa (capture) nebo krátké videosekvence. K tvorbě programu bylo využité volně šiřitelné prostředí Visual studio 2008 a programovací jazyk C#. Uživatel ovládá program prostřednictvím grafického rozhraní (viz obrázek 5). Na obrázku 6 je znázorněný vývojový diagram činnosti programu. Diagram ukazuje jednotlivé kroky uživatele při práci s programem a nevěnuje se činnosti (algoritmu) samotné aplikace v konkrétních krocích postupu. Po spuštění aplikace Peacock je prvním krokem načtení snímku. Snímek je po načtení automaticky zobrazen a jeho data původně ve formátu bitmap, což je typ proměnné v jazyku C# (data načtené z komponenty PictureBox), převedena na dvojrozměrné pole typu byte vhodné k další práci. Vstupem programu mohou být obrazy v několika běžně používaných formátech (JPEG, BMP, PNG, GIF). Obrázek 5: Pracovní okno aplikace 125 4
Obrázek 6: Vývojový algoritmus aplikace Vzhledem k faktu, že rozhodování znalého uživatele o využití transformaci jasové stupnice je závislé na histogramu snímku, je dalším krokem výpočet a zobrazení histogramu. Na základě zobrazení histogramu se může uživatel rozhodnout, zda je nutné zvýšit kontrast snímku pomocí jasové transformace nebo jestli přistoupí přímo k zobrazení v nepravých barvách (jasová transformace ANO/NE). V tento okamžik dochází k větvení vývojového diagramu. V případě, že se uživatel rozhodne použít transformaci jasové stupnice, následuje volba vhodné transformace (další větvení běhu programu, které však není v tomto celkovém 125 5
diagramu znázorněno). Po zvolení konkrétní transformace je metoda aplikována na snímek a výsledek je zobrazen. Po zobrazení snímku uživatel subjektivně vyhodnotí zlepšení kontrastu snímku a rozhodne se, zda je spokojen a přistoupí již k zobrazení v nepravých barvách nebo jestli vyzkouší upravit snímek pomocí jiné transformace jasové stupnice (spokojenost ANO/NE). Jestliže je spokojen, tak v dalším kroku následuje volba metody pro pseudobarvení. Kromě všech již zmíněných metod má uživatel ještě možnost vybrat si z nabídky Obarvení výřezu. V tomto případě uživatel pomocí myši určí levý horní a pravý dolní roh oblasti vstupního snímku a jen tato oblast je zobrazena v nepravých barvách. Zvolená metoda je aplikována na snímek a výstupní obraz ve falešných barvách je zobrazen. Uživatel má několik možností. Může snímek hned diagnostikovat, uložit jej na pevný disk nebo vytisknout. Následně může začít upravovat další obraz nebo ukončit práci s programem. 4 Dosažené výsledky Obrázek 7: Původní snímek Vzhledem k šířce možnosti použití různých metod a jejich kombinaci má výsledné přiřazení barev mnoho variant. Tento fakt je znásoben možností volby parametrů transformací. Na následujících snímcích je proto jen malá ukázka zobrazení v nepravých barvách získaných programem. 5 Závěr Program Peacock poskytuje velikou variabilitu zobrazení v nepravých barvách a to díky implementaci 6 různých metod pseudobarvení a pěti různých transformací jasové stupnice. Diagnostika snímků lidským operátorem je velice subjektivní, a právě proto je široká nabídka metod a možnost nastavování jejich parametrů zásadní výhodou a přínosem. Pro zkušeného diagnostika, který přesně ví, co v obraze hledá, je velkým kladem možnost vytvořit si vlastní paletu barev a tím precizně vytvořit velké kontrasty přesně v té jasové oblasti, kde to potřebuje. Pro méně zkušeného uživatele naopak může aplikace díky svému jednoduchému ovládání a rozsáhlé nápovědě obsahující teoretický popis metod posloužit jako výukový nástroj. Bude probíhat další vývoj aplikace a posouzení využití optimalizačních metod, které v současné době nejsou využity. Obrázek 8: Použití metody barvící krychle s parametrem 1 Obrázek 9: Použití metody barvící krychle s parametrem 2 125 6
Obrázek 10: Metody barvící krychle v kombinaci s ekvalizací Obrázek 13: Metoda IHS s parametrem 2 Obrázek 11: Metoda křivky s ω = 10 a φ = 8 Obrázek 14: Metoda IHS s parametrem 1,6 Obrázek 12: Metoda křivky s ω = 20 a φ = 8 Obrázek 15: Metoda založená na hranové reprezentaci 125 7
Poděkování Tento příspěvek vznikl za podpory grantů GACR 102/08/H027 Pokročilé metody, struktury a komponenty elektronické bezdrátové komunikace a výzkumného záměru MSM 0021630513. Literatura [1] JAN, Jiří. Číslicová filtrace, analýza a restaurace signálů. Brno: Vysoké učení technické v Brně, 2002. 426s., ISBN 80-214-2911-9. [2] LEHMAN, Thomas, KASER, Andreas, REPGES, Rudolf. A simple parametric equation for pseudocoloring grey scale images keeping their original brightness progression [online]. 1993-1996 [cit. 2009-11-23]. Dostupný z WWW: <http://ganymed.imib.rwthaachen. de/deserno/ps-pdf/ivc_1997-15%283%29251-257.pdf>. [3] DOUGLAS, Youvan. YOUVAN FOUNDATION: Pseudocolor in Pure and Applied Mathematics [online]. 2008 [cit. 2009-11-25]. Dostupný z WWW: <http://www.youvan.com/>. [4] LU, Xiang- Ju, DING, Ming-Xiao, WANG, Yun- Kua. A New Pseudo-color Transform for Fibre Masses Inspection of Industrial Images [online]. 2009 [cit. 2009-11-26]. Dostupný z WWW: http://www.aas.net.cn/qikan/manage/wenzhang/2007-1284.pdf. [5] DOBROVOLNÝ, Petr. Radiometrická zvýraznění [online]. 2004 [cit. 2009-11-27]. Dostupný z WWW: <http://www.geogr.muni.cz/archiv/vyuka/dpz_cvice NI/Texty/DZO_04_zvyrazneni_1.pdf>. [6] DOBEŠ, Michal. Zpracování obrazu a algoritmy v C#. Praha: BEN, 2008. 144 s. ISBN 978-80-7300-23-6 [7] HLAVÁČ, Václav; SEDLÁČEK, Miloš. Zpracování signálů a obrazů. Praha : ČVUT, 2007. 255 s. ISBN 978-80-01-03110-0. 125 8