Západočeská univerzita v Plzni. Fakulta aplikovaných věd. Katedra kybernetiky DIPLOMOVÁ PRÁCE. Bc. Josef Ježek PLZEŇ, 2015

Transkript

1 Záadočeská univerzita v Plzni Fakulta alikovaných věd Katedra kybernetiky DIPLOMOVÁ PRÁCE PLZEŇ, 2015 Bc. Josef Ježek

2

3

4 PROHLÁŠENÍ Předkládám tímto k osouzení a obhajobě dilomovou ráci zracovanou na závěr studia na Fakultě alikovaných věd Záadočeské univerzity v Plzni. Prohlašuji, že jsem dilomovou ráci vyracoval samostatně a výhradně s oužitím odborné literatury a ramenů, jejichž úlný seznam je její součástí. V Plzni dne...

5 Abstrakt Dilomová ráce se zabývá segmantací obrazu omocí teorie Markovských náhodných olí. Práce zkoumá segmentaci metodou Grah cut, zkoumá výhody i nevýhody této segmentační metody. Věnuje se i ředzracování vstuních obrazů takovým zůsobem, aby výsledná segmentace doadla co možná nejlée. Práce uvádí ostuy automatického získání jasových modelů, ty jsou určeny střední hodnotou a roztylem. Porovnáními ukazuje vliv vyočtené hodnoty roztylu z různé velikosti okolí střední hodnoty na výsledné segmentace. Porovnává Grah cut s odobnými segmentačními metodami. Práce řináší výsledky raktických exerimentů i zhodnocení exerimentů. Klíčová slova Markovská náhodná ole, Grah cut, jasový model, histogram, Probabilistic Rand index, normální rozdělení, roztyl

6 Abstract This diloma thesis is focused on image segmentation based on theory of Markov Random Fields. Segmentation based on Grah cut method is studied in this thesis, advantages and disadvantages of this method are exlored. Attention is aid also inut image re-rocessing in order to final segmentation was as good as ossible. The methods of automatic gaining brightness models are ublished, brightness models are determined by mean value and variance. The influence on resulting segmentations of comuted variance value from different sizes of mean value environ is roved by comarisons. Grah cut is comared with similar segmentation methods. The results of ractical exeriments and the evaluation of the exeriments are resented. Keywords Markov Random Fields, Grah cut, brightness model, histogram, Probabilistic Rand index, Normal distribution, variance

7 Obsah 1 Úvod Základní ojmy Histogram Konvoluce Vyhlazení histogramu Střední hodnota Roztyl Normální rozdělení Segmentace Rand index Probabilistic Rand index Markovská náhodná ole v očítačovém zracování obrazu Proč rávě Markovská náhodná ole Segmentace a zařazení ixelů do tříd Přístu za omoci ravděodobnosti Okolí Definice Markovských náhodných olí Hammersley-Cliffordův teorém a Gibbsova náhodná ole Modely Otimalizace Grah cut Maximální tok (minimální řez) Large moves α-exansion α-β swa Praktická část Vyhlazení histogramu Detekce maxim Nevýhody funkce argrelextrema Automatické vytvoření jasových modelů Skóre funkcí aic a bic[5] Berkeley Segmentation Data Set[9][10]

8 4.7 Pokusy s PR indexem Závěry k určování velikosti okolí Porovnání Felzenszwalbův algoritmus Krátký ois algoritmu Porovnání výsledků algoritmu s metodou Grah cut Cut-normalized Krátký ois algoritmu Porovnání výsledků algoritmu s metodou Grah cut Možná vylešení Vhodnost reálného nasazení metody Grah cut a teorie Markovských náhodných olí v raxi Medicínské snímky Závěr Použité zdroje

9 Seznam obrázků Obr. č. 2.1 Vykreslený digitalizovaný obraz v šedotónové rerezentaci Obr. č. 2.2 Histogram šedotónového obrazu Lena (obr. č. 2.1) Obr. č. 2.3 Vyhlazený histogram šedotónového obrazu Lena (obr. č. 2.1) za oužití jádra o velikosti Obr. č Vyhlazený histogram šedotónového obrazu Lena (obr. č. 2.1) za oužití jádra o velikosti Obr. č. 2.5 Ilustrační ukázka segmentace metodou Grah cut, vlevo ůvodní obraz, vravo segmentovaný obraz, metoda segmentovala obraz do tří tříd na základě hodnot jasu Obr. č. 2.6 Ukázka říkladů manuálních segmentací ůvodního obrázku Man with hat (vlevo nahoře), obrázek ochází ze sady Berkeley Segmentation Data Set[9][10]. 21 Obr. č. 3.1 Ilustrační ukázka čtyřokolí, urostřed mřížky se nachází zracovávaný ixel, vybarvené čtverce v okolí ředstavují ixely, se kterými se racuje v říadě čtyřokolí 27 Obr. č. 3.2 Ilustrační ukázka osmiokolí, urostřed mřížky se nachází zracovávaný ixel, vybarvené čtverce v okolí ředstavují ixely, se kterými se racuje v říadě osmiokolí Obr. č. 3.3 Ilustrační ukázka dělení klik v závislosti na očtu uzlů a v závislosti na uvažovaném okolí[3] Obr. č. 3.4 Ilustrační ukázka sestaveného grafu ro hledání minimálního řezu grafem s naznačeným řezem grafem, S je uzel source a T je uzel sink[11] Obr. č. 3.5 Ilustrační ukázka ráce algoritmů založených na large moves. Obrázek (a) ukazuje segmentovaný obraz. Obrázky (c) a (d) ukazují výsledky algoritmů α-exansion (c)) a α-β swa (d)), které v jednom kroku změní labely velkému množství ixelů. Algoritmy založené na standard moves změní v jednom kroku řiřazení ouze jednomu ixelu.[11] Obr. č. 4.1 Obrázek Mountains church ze sady Berkeley Segmentation Data Set[9] a lidmi vytvořené manuální segmentace Obr. č. 4.2 Obrázek Mountains church ze sady Berkeley Segmentation Data Set[9] vlevo, vravo segmentace obrázku metodou Grah cut, uvažovaná velikost okolí je 30, α, β = 1, střední hodnoty jasových modelů se nachází na jasových úrovních 30 (tmavě modrá), 60 (světle modrá), 100 (žlutá), 255 (tmavě červená) Obr. č. 4.3 Hodnoty PR indexu segmentace metodou Grah Cut v závislosti na velikosti okolí, obrázek Mountains Church

10 Obr. č. 4.4 Obrázek Elehants ze sady Berkeley Segmentation Data Set[9] vlevo, vravo segmentace obrázku metodou Grah cut, uvažovaná velikost okolí je 30, α, β = 1, střední hodnoty jasových modelů se nachází na jasových úrovních 38 (modrá), 75 (zelená), 139 (tmavě červená) Obr. č. 4.5 Hodnoty PR indexu segmentace metodou Grah Cut v závislosti na velikosti okolí, obrázek Elehants Obr. č. 4.6 Obrázek Polar bears ze sady Berkeley Segmentation Data Set[9] vlevo, vravo segmentace obrázku metodou Grah cut, uvažovaná velikost okolí je 30, α, β = 1, střední hodnoty jasových modelů se nachází na jasových úrovních 13 (modrá), 125 (zelená), 182 (tmavě červená) Obr. č. 4.7 Hodnoty PR indexu segmentace metodou Grah Cut v závislosti na velikosti okolí, obrázek Polar Bears Obr. č. 4.8 Obrázek Church ze sady Berkeley Segmentation Data Set[9] vlevo, vravo segmentace obrázku metodou Grah cut, uvažovaná velikost okolí je 30, α, β = 1, střední hodnoty jasových modelů se nachází na jasových úrovních 97 (tmavě modrá), 123 (světle modrá), 155 (žlutá), 255 (tmavě červená) Obr. č. 4.9 Hodnoty PR indexu segmentace metodou Grah Cut v závislosti na velikosti okolí, obrázek Church Obr. č Obrázek Lady dots ze sady Berkeley Segmentation Data Set[9] vlevo, vravo segmentace obrázku metodou Grah cut, uvažovaná velikost okolí je 30, α, β = 1, střední hodnoty jasových modelů se nachází na jasových úrovních 158 (modrá), 195 (zelená), 238 (tmavě červená) Obr. č Hodnoty PR indexu segmentace metodou Grah Cut v závislosti na velikosti okolí, obrázek Lady Dots Obr. č Obrázek Moon ze sady Berkeley Segmentation Data Set[9] vlevo, vravo segmentace obrázku metodou Grah cut, uvažovaná velikost okolí je 30, α, β = 1, střední hodnoty jasových modelů se nachází na jasových úrovních 27 (modrá), 79 (zelená), 255 (tmavě červená) Obr. č Hodnoty PR indexu segmentace metodou Grah Cut v závislosti na velikosti okolí, obrázek Moon Obr. č Ukázka segmentace Felzenszwalbovým algoritmem (vravo) vstuního obrazu Man with hat ze sady Berkeley Segmentation Data Set[9] (vlevo), arametry byly nastaveny na následující hodnoty: měřítko ovlivňující velikost shluků bylo zvoleno 1, 10

11 sigma ro vyhlazení Gaussovským jádrem byla nastavena na hodnotu 5 a minimální velikost jedné složky byla nastavena na hodnotu Obr. č Porovnání segmentací vstuního obrázku Farm ze sady Berkeley Segmentation Data Set[9] metodou Grah cut (urostřed) a Felzenszwalbovým algoritmem (vravo), hodnota PR indexu u metody Grah cut byla v tomto říadě 0.450, hodnota PR indexu segmentace Felzenszwalbovým algoritmem byla Obr. č Porovnání segmentací vstuního obrázku Birds ze sady Berkeley Segmentation Data Set[9] metodou Grah cut (urostřed) a Felzenszwalbovým algoritmem (vravo), hodnota PR indexu u metody Grah cut byla v tomto říadě 0.966, hodnota PR indexu segmentace Felzenszwalbovým algoritmem byla Obr. č Porovnání segmentací vstuního obrázku Eskymo ze sady Berkeley Segmentation Data Set[9] metodou Grah cut (urostřed) a Felzenszwalbovým algoritmem (vravo), hodnota PR indexu u metody Grah cut byla v tomto říadě 0.668, hodnota PR indexu segmentace Felzenszwalbovým algoritmem byla Obr. č Ukázka segmentace algoritmem Normalized cut (vravo) vstuního obrazu Man with hat ze sady Berkeley Segmentation Data Set[9] (vlevo), kromě arametru rahu, který byl nastaven na hodnotu 0.05, byly hodnoty ostatních arametru onechány na výchozích hodnotách Obr. č Porovnání segmentací vstuního obrázku Mushroom ze sady Berkeley Segmentation Data Set[9] metodou Grah cut (urostřed) a metodou Normalized cut (vravo), hodnota PR indexu u metody Grah cut byla v tomto říadě 0.507, hodnota PR indexu segmentace metody Normalized cut byla Obr. č Porovnání segmentací vstuního obrázku Birds ze sady Berkeley Segmentation Data Set[9] metodou Grah cut (urostřed) a metodou Normalized cut (vravo), hodnota PR indexu u metody Grah cut byla v tomto říadě 0.966, hodnota PR indexu segmentace metody Normalized cut byla Obr. č Porovnání segmentací vstuního obrázku Deer ze sady Berkeley Segmentation Data Set[9] metodou Grah cut (urostřed) a metodou Normalized cut (vravo), hodnota PR indexu u metody Grah cut byla v tomto říadě 0.690, hodnota PR indexu segmentace metody Normalized cut byla Obr. č Názorné orovnání hodnoty PR indexu segmentací Grah cutem, N-Cutem a Felzenszwalbovým algoritmem na některých obrázcích sady Berkeley Segmentation Data Set[9], od číslem 23 se skrývá střední hodnota PR indexu metody

12 Obr Snímek z CT, v játrech (segmentována žlutě) je řítomen hyerdenzní nádor, ten je řiřazen do šatné třídy, segmentace získána výše navrženým zůsobem, roztyly jsou očítány na základě okolí velikosti 30 jasových úrovní, řítomno velké množství šumu61 Obr Stejný snímek jako na obrázku 4.23, segmentace získána výše navrženým zůsobem s řenásobením korekčního koeficientu o velikosti 20, roztyly jsou očítány na základě okolí velikosti 30 jasových úrovní, řenásobením korekčním koeficientem došlo k otlačení šumu Obr Snímek z CT, v játrech (segmentována žlutě) je řítomen hyodenzní nádor, ten je řiřazen do šatné třídy, segmentace získána výše navrženým zůsobem, roztyly jsou očítány na základě okolí velikosti 30 jasových úrovní, řítomno velké množství šumu62 Obr Stejný snímek jako na obrázku 4.25, segmentace získána výše navrženým zůsobem s řenásobením korekčního koeficientu o velikosti 20, roztyly jsou očítány na základě okolí velikosti 30 jasových úrovní, řenásobením korekčním koeficientem došlo k otlačení šumu, v tomto říadě také ke srávnému zařazení nádoru do třídy odovídající nejbližšímu jasovému modelu Obr Snímek z CT, v játrech (segmentována žlutě) je řítomen hyerdenzní nádor, který nebyl ve výsledné segmentaci detekován Obr Snímek z CT, v játrech (segmentována žlutě) je řítomen hyodenzní nádor, v tomto říadě došlo ve výsledné segmentaci k detekci nádoru, nádor by řiřazen srávně do třídy odovídající nejbližšímu jasovému modelu

13 1 Úvod Pokrok neřináší jen vývoj nových technologií. Pokroku lze dosáhnout též zdokonalováním již objevených a vynalezených technologií. Mnohdy zdokonalováním již objeveného objevíme nečekané věci, či rozkoumáme jevy, o kterých toho dosud není mnoho známo. V osledních letech se do oředí zájmu dostává očítačové zracování obrazu a očítačové vidění. Mezi slabiny tohoto řístuu atří vysoká výočetní náročnost, nicméně s dokonalejšími výočetními rostředky je možné v této oblasti dosáhnout velmi usokojivých výsledků. Motivací ro ráci bylo vylešení modelů sloužících k segmentaci metodou Grah cut. Použití segmentovaných obrazů metodou Grah cut je široké, roto ovažuji ráci na modelech sloužících k segmentaci touto metodou jako smyslulnou. Segmentaci Grah cutem je totiž možné oužít v široké oblasti reálných úloh, naříklad i k detekci nádorů v lékařských snímcích. Tato ráce se zabývá segmentací obrazů omocí teorie Markovských náhodných olí. Segmentace v ráci byly rováděny metodou Grah cut. Aby mohla segmentace roběhnout bylo nutné vytvořit jasové modely z každého vstuního obrazu. Jasové modely byly vytvořeny automaticky na základě histogramu vstuního obrazu. Aby bylo možné jasové modely vytvořit, bylo nutné řistouit k ředzracování histogramu. Histogram byl vyhlazen Gaussovským jádrem. Ve vyhlazeném histogramu ak byla detekována informačně nejvýznamnější maxima. Na jasové úrovni těchto maxim byly automaticky vytvořeny jasové modely. Jasové modely jsou Gaussovy křivky, střední hodnotu ředstavuje jasová úroveň, roztyl byl získán na základě charakteristiky histogramu v okolí střední hodnoty. Pro zjištění nejleších jasových modelů byla rovedena srovnání výsledných segmentací rovedených s těmito automaticky získanými modely. Segmentace byly orovnány za omoci Probabilistic Rand Indexu (= PR index)[6]. Pro orovnání byly využity obrázky ze sady Berkeley Segmentation Data Set[9][10]. Porovnání se rovádí vždy nad množinou sady lidmi segmentovaných obrázků. Cílem takového orovnání je zajištění smyslulnosti výsledných segmentací. Byl očekáván určitý růběh hodnot PR indexu[6] segmentací, které k výočtu roztylu uvažují různé velikosti okolí střední hodnoty. Bylo očekáváno, že největší hodnota PR indexu bude ři orovnáváních získána řibližně u velikosti okolí 30 úrovní. 13

14 Cílem ráce bylo i orovnání segmentací metodou Grah cut se segmentačními metodami, které obdobně jako Grah cut stojí na základě řezu grafem. Cílem bylo dokázat, že metoda Grah cut je oužitelná v reálných úlohách očítačového zracování obrazu. Práce je rozdělena na dvě části. První částí je část teoretická. V teoretické části je čtenář obeznámen s ojmy, které byly oužity ři vyracování ráce. Jedná se o ojmy z oblasti očítačového zracování obrazu[1],[2] i statistiky[4]. Jeden díl teoretické části je věnován rozsáhlé oblasti teorie Markovských náhodných olí[5],[7],[8]. V raktické části jsou uvedeny získané výsledky a ostuy, kterými bylo rezentovaných výsledků dosaženo. V raktické části jsou rovněž osány exerimenty, úsěšné i neúsěšné, a orovnání. Porovnání byla rovedena za omoci PR indexu[6], jednak sledováním vývoje hodnoty PR indexu i orovnáním hodnot PR indexu segmentací metodou Grah cut s dalšími dvěma odobnými segmentačními metodami. 14

15 2 Základní ojmy 2.1 Histogram Histogram[1],[2] je grafickým vyjádřením četnosti dat v určitém souboru dat. V oblasti zracování digitalizovaného obrazu vyjadřuje histogram četnost jasových úrovní v obraze o rozměrech N M ixelů. Absolutní histogram sestavíme tak, že ro každou hodnotu jasu sečteme body s danou hodnotou jasu (viz obr. č. 2.2). H ( ) N M = x y f ( x, y, ), f ( x, y, ) = 1: f ( x, y) =, f ( x, y, ) = 0 : f ( x, y). (2.1) V oblasti zracování digitalizovaného obrazu je často oužíván relativní histogram. Relativní histogram vyjadřuje ravděodobnost výskytu dané jasové úrovně v obraze. Relativní histogram získáme vydělením četnosti každé jasové úrovně očtem ixelů v obraze. H ( ) = 255 r = 0 r H ( ), H ( ) 255 = 0 H ( ) = 1. (2.2) Histogram oskytuje informaci o četnostech jasů v obraze. Histogram má i svoje nevýhody, nař. ro různé obrazy můžeme získat stejný histogram[3]. 15

16 Obr. č. 2.1 Vykreslený digitalizovaný obraz v šedotónové rerezentaci Obr. č. 2.2 Histogram šedotónového obrazu Lena (obr. č. 2.1) 16

17 2.2 Konvoluce Konvoluce[3] je matematický ostu, který slouží k filtraci signálů, často nař. k vyhlazení signálů. Na vstuu jsou dvě funkce funkce, kterou chceme filtrovat, a jádro. Výstuem konvoluce je již filtrovaná funkce. Konvoluci značíme hvězdičkou a je definována následovně: ( f g)( t) = + f ( τ ) g( t τ ) dτ. (2.3) Kovoluce je očítána v bodě t. V oblasti očítačového zracování obrazu neracujeme se sojitými funkcemi, očítáme s diskrétními signály. Tyto signály bývají konečné. Diskrétní konvoluce je definována následovně: ( )[ ] + f g n = f [ m] g[ n m]. = m (2.4) 2.3 Vyhlazení histogramu Histogram obsahuje mnoho nevýznamných lokálních extrémů, ty ovažujeme za šum a ztěžují další ráci s histogramem, naříklad ři umístění rahu během rahování nebo během tvorby jasových modelů. Pro další ráci s histogramem je užitečná znalost nejvýznamnějších lokálních extrémů včetně jejich olohy. Cílem vyhlazení histogramu je otlačení nevýznamných lokálních extrémů. Po vyhlazení je získán histogram obsahující ouze významné lokální extrémy. Za účelem vyhlazení histogramu[1],[3] oužíváme diskrétní konvoluci. Vstuem je histogram obrazu a jádro. Jelikož nechceme změnit olohy lokálních extrémů, oužíváme taková jádra, která jsou symetrická a mají největší hodnotu urostřed. Velikost jádra volíme s ohledem na řešený roblém. Příliš malá jádra neotlačí všechny nevýznamné lokální extrémy (viz obr. č. 2.4), naoak říliš velká jádra otlačí i významné lokální extrémy (obr. č. 2.3). 17

18 Obr. č. 2.3 Vyhlazený histogram šedotónového obrazu Lena (obr. č. 2.1) za oužití jádra o velikosti 5 Obr. č Vyhlazený histogram šedotónového obrazu Lena (obr. č. 2.1) za oužití jádra o velikosti 3 18

19 2.4 Střední hodnota Střední hodnota[4] je ve statistice hojně oužívána. Střední hodnota je číslo, které znamená růměrnou hodnotu. Této růměrné hodnoty nabývá náhodná veličina X. Střední hodnota je ve sojitém říadě definována: E( X ) = + x f ( x) dx. (2.5) V diskrétním říadě se integrál mění na sumu a střední hodnota je definována: E( X ) = N i= 1 x i i. (2.6) 2.5 Roztyl Roztyl[4] je ve statistice často oužíván. Jedná se o druhý centrální moment náhodné veličiny a vyjadřuje variabilitu rozdělení hodnot souboru kolem střední hodnoty tohoto souboru. Roztyl je definován jak ro sojitou, tak diskrétní náhodnou veličinu. Pro sojitou náhodnou veličinu je definován následovně: 2 σ + 2 ( E( X )) f ( x). = dx x i (2.7) Pro diskrétní náhodné veličiny je roztyl definován takto: 2 σ = N i= 1 2 ( x E( X )). i i (2.8) 2.6 Normální rozdělení Normální, neboli Gaussovské, rozdělení[4] je určeno střední hodnotou µ a roztylem 2 σ. Normální rozdělení je sojité a značíme jej: 19

20 2 N ( µ, σ ). (2.9) Hustota ravděodobnosti normálního rozdělení f(x) je dána vzorcem: f ( x) = 1 2 2πσ e 2σ 2 2 ( x µ ). (2.10) Ve statistice a ravděodobnosti je normální rozdělení velmi často oužíváno, obzvláště ři aroximacích. 2.7 Segmentace Segmentací[1],[2],[3] v oblasti očítačového zracování obrazu rozumíme rozdělení zracovávaného obrazu na oblasti zájmu a na ozadí, viz obr. č Oblasti zájmu mohou být objekty reálného světa, které hledáme v obraze. Při segmentaci často oužíváme znalosti o řešeném roblému za účelem zlešení výsledku segmentace. Existuje mnoho různých technik segmentace. Mezi nejznámější atří rahování, srovnávání se vzorem, hledání hranic mezi oblastmi nebo v této ráci oužitá metoda Grah cut. Obr. č. 2.5 Ilustrační ukázka segmentace metodou Grah cut, vlevo ůvodní obraz, vravo segmentovaný obraz, metoda segmentovala obraz do tří tříd na základě hodnot jasu 20

21 2.8 Rand index Solu se segmentací je v oblasti očítačového zracování obrazu řešena kvalita i hodnocení kvality segmentace. Pro hodnocení kvality segmentace nejsou jasně definovány základy ani ravidla. Neexistence základů a ravidel je zůsobena nejednoznačným ohledem na segmentaci. Jinak obrázek automaticky segmentuje očítač, tentýž obrázek odlišně segmentuje člověk. V současné době je ro hodnocení kvality segmentace využíváno více řístuů. Velmi oblíbeným zůsobem ro ohodnocení kvality segmentace se v oslední době stalo srovnávání automatické, očítačem vytvořené, segmentace s množinou člověkem segmentovaných vzorků obrazů. Úmyslně zmiňuji množinu člověkem segmentovaných vzorků obrazů. Obrazy byly rozdány lidem, lidé tyto obrazy nasegmentovali. Každý účastník tohoto exerimentu nasegmentoval obraz trochu jinak. Jeden oddělil objekt od ozadí, jiný rozdělil ozadí či objekt na více částí, viz obr. č Obr. č. 2.6 Ukázka říkladů manuálních segmentací ůvodního obrázku Man with hat (vlevo nahoře), obrázek ochází ze sady Berkeley Segmentation Data Set[9][10] 21

22 Jednou z metod ohodnocení kvality segmentace je metoda Rand index[6]. Metodu navrhl William Rand. Je hledána funkce odobnosti, srovnávané segmentované obrazy mohou mít i jiný očet tříd. Hodnota funkce je sočítána jako odíl čísel dvojic bodů, které byly segmentovány do stejné třídy ve dvou různých segmentací S a S. Rand index je možné vyočítat: R( S, S' ) = 1 1 ( n + n ) 2 N ( N 1) / u u v v u, v n 2 uv, (2.11) kde S a S jsou dvě různé segmentace jednoho obrazu. N vyjadřuje celkový očet ixelů v obraze, n uv je očet ixelů, které atří do třídy u v segmentovaném obraze S a které atří do třídy v v segmentovaném obraze S. Značením třídy u v segmentovaném obraze S a značením třídy v v segmentovaném obraze S. Platí, že: n u vyjadřujeme očet ixelů zařazených do n v vyjadřujeme očet ixelů zařazených do n n u = v = N = v u u n n n uv uv,, u = v n v. (2.12) Vyočtené hodnoty metodou Rand index se ohybují v intervalu mezi nulou a jedničkou. Nula znamená, že dvě odlišné segmentace jednoho obrazu nemají žádné shody, jednička znamená, že dvě odlišné segmentace jednoho obrazu jsou shodné. 2.9 Probabilistic Rand index Probabilistic Rand index[6], neboli ravděodobnostní Rand index, využívá statistické vlastnosti metody Rand index. Oět máme obrázek X a sadu lidmi manuálně segmentovaných vzorků obrazu X, tuto sadu označíme ísmenem A. A = { S, S, 2 K, S }. 1 K (2.13) 22

23 23 Obrázek X má určité rozměry a obsahuje N ixelů. Dále mějme nějakou očítačem vytvořenou segmentaci obrazu X, tu nazveme S. Automatická segmentace je srovnávána s množinou lidmi manuálně segmentovaných vzorků obrazu X. Pixel x i z obrazu X zařazený do nějaké třídy v očítačem vytvořené segmentaci S označíme l i a (k ) i l bude označení stejného ixelu v manuální segmentaci S k. Předokládáme, že existuje množina srávných zařazení ixelu x i, takovou množinu označíme i l. Je nutné vzít v úvahu, že neexistuje jen jedna množina srávných zařazení ixelu do tříd, takových množin existuje totiž celá řada. Cílem je srovnání automatické segmentace S s množinou A a získat hodnotu měření stálosti ), ( 1 K S S d K. Díky sadě manuálních segmentací obrazu X můžeme vyočítat ravděodobnost vztahu zařazení do třídy mezi ixely x i a x j následovně: (2.14) Pak ravděodobnostní Rand index (= PR index) vyočteme jako: (2.15) Výsledné hodnoty PR indexu se oět ohybují v intervalu od nuly do jedné včetně. Hodnotu nula získáme v říadě, když automatická segmentace S a sada A lidmi segmentovaných vzorků obrazu X neobsahují žádnou shodu. To znamená, že automatická segmentace S obsahuje jen jednu třídu, zatímco sada A lidmi segmentovaných vzorků obrazu X obsahuje mnoho tříd každá třída obsahuje jen jeden ixel. Stejnou hodnotu dostaneme i v oačném říadě. Nejvyšší hodnotou PR indexu je hodnota jedna. Tu dostaneme v říadě, že jsou všechny segmentace shodné. ( ) ( ). ) ( 1 1 ) (, 1 ) ( 1 ) ( ) ( 1 ) ( ) ( j i K k k j k i j i K k k j k i j i l l P l l K l l P l l K l l P = = = = Ι = = Ι = = { }. ) ( ) ( ) ( ) ( 2 1 ), (, 1 + Ι = = Ι = j i j i j i j i j i j i K l l P l l l l P l l N S S PR K

24 3 Markovská náhodná ole v očítačovém zracování obrazu 3.1 Proč rávě Markovská náhodná ole Markovská náhodná ole jsou v současné době oužívána v úlohách očítačového zracování obrazu. Jsou nyní nejvíce využívána v nižší úrovni očítačového zracování obrazu, naříklad ři segmentaci obrazu, restauraci obrazu, v úlohách syntézy obrazu a v dalších úlohách očítačového zracování obrazu[3],[5]. Markovská náhodná ole[3],[5] ředstavují jednu z možností, na základě které lze očítačově zracovávat obraz. Oroti jiným metodám využívá kontextuální informaci, konkrétně ixely v okolí zracovávaného ixelu a souvislosti mezi sousedními ixely. Ve světě kolem nás není nic usořádáno jen tak náhodou, všude je možné najít určité souvislosti. Využití kontextu je ro analýzu v očítačovém zracování obrazu velmi užitečné. Kontext si v digitálním obrazu můžeme ředstavit tak, že význam jednoho ixelu je nějak závislý na významech ixelů v okolí. Naříklad okud v obraze atří zracovávaný ixel určité významové oblasti, je velmi ravděodobné, že do stejné významové oblasti atří i ixely v okolí zracovávaného ixelu[7],[8]. Nástrojem ro modelování kontextu je využití statistických kritérií, v říadě Markovských náhodných olích je nejčastěji využíváno maximální aosteriorní ravděodobnosti. 3.2 Segmentace a zařazení ixelů do tříd Při očítačovém zracování obrazu řešíme roblém zařazení jednotlivých ixelů do definovaných tříd[3],[5],[7]. Každý digitální obraz o rozměrech ixelů. Každý ixel má svoje souřadnice (i, j), na kterých se nachází v obraze. m n obsahuje rávě N N = m n. (3.1) 24

25 Množinu všech ixelů v obraze označíme ísmenem S. S = { 1, K, N }. (3.2) Dále ro každý očítačově zracovávaný obraz existuje množina labelů L. Label, nebo též štítek, oskytuje absolutní informaci o klasifikaci daného ixelu. V diskrétním říadě nabývá množina labelů L určitou diskrétní hodnotu z množiny o M labelech. L d = { l, L, l } 1 M. (3.3) Vztah lze uvést i v jednodušší odobě: L d = { 1, L, M }. (3.4) Pro jednoduchost si uvedeme říklad množiny L d : L d = {hrana, nehrana} nebo L d = {objekt, ozadí}. V teorii Markovských náhodných olí ředstavuje label skrytou roměnnou. Během očítačového zracování obrazu řešíme roblém řiřazení určitého labelu z množiny L každému ixelu obrazu. Každý ixel obrazu má svůj říznakový vektor f r. Všechny ixely v obraze mají množinu říznakových vektorů f. f = { f, L, f }. 1 m (3.5) Když řešíme roblém řiřazení nějakého labelu z množiny L každému ixelu obrazu, hledáme vlastně zobrazení z S do L: f : S L. (3.6) V teorii Markovských náhodných olí je toto zobrazení označováno jako konfigurace ole. Obrázek o rozměrem m n obsahuje rávě m n L takovou konfiguraci ole, která bude z určitého hlediska nejotimálnější. možných konfigurací. Cílem je vybrat 25

26 3.3 Přístu za omoci ravděodobnosti V oblasti očítačového zracování obrazu často oužíváme ravděodobnost i statistiku[5],[8]. Nejčastěji jsou řešeny roblémy nad určitou sadou dat, o kterých máme k disozici určitou informaci. Definujeme ravděodobnostní míru ω jako odmíněnou ravděodobnost P( ω f ), která odovídá ravděodobnosti konfigurace ole daného vstuního obrazu f. V takových říadech můžeme oužít ro nalezení nejleší konfigurace ole ω, tj. ro určení maximální aosteriorní ravděodobnosti, metodu maximální věrohodnosti[5]. ω MAP = arg max P( ω ω Ω f ). (3.7) Pokud známe ještě funkci hustoty ravděodobnosti, dosáhneme nejleších výsledků za oužití Bayesova ravidla. ( f P( ω f ) = ω) P( ω). ( f ) (3.8) Bayesova teorie atří mezi základní teorie v oblasti rozhodování a odhadu, na roblém rozhodování a odhadu ohlíží z ravděodobnostního hlediska[5],[8]. Aosteriorní ravděodobnost je vyočtena dle vzorce (3.8). Pro výočet aosteriorní znalosti za oužití Bayesova ravidla je nutná znalost hustoty ravděodobnosti a ravděodobnostní funkce. P (ω) označuje ariorní ravděodobnost třídy ω, ( f ω) je odmíněná hustotní funkce třídy ω a funkce hustoty ravděodobnosti ( f ) vyjadřuje rozložení obrazů. Pokud je obraz dán, ak ( f ) je konstanta. Markovská náhodná ole se zabývají určením ariorní ravděodobnosti P (ω) a určením odmíněné hustotní funkce ( f ω). 3.4 Okolí Nejen Markovská náhodná ole oužívají ojem okolí. Okolím máme na mysli ixely, které sousedí se zracovávaným ixelem. V oblasti očítačového zracování obrazu uvažujeme nejčastěji dva tyy okolí[7],[8]. Tyto tyy se nazývají čtyřokolí a osmikolí. 26

27 Čtyřokolí (obr. č. 3.1) uvažuje ouze čtyři ixely sousedící se zracovávaným ixelem. Jsou uvažovány sousedící ixely v horizontálním a vertikálním směru. Osmiokolí (obr. č. 3.2) uvažuje všechny ixely sousedící se zracovávaným ixelem. Vedle sousedících ixelů v horizontálním a vertikálním směru uvažujeme také ixely ve všech diagonálních směrech. Obr. č. 3.1 Ilustrační ukázka čtyřokolí, urostřed mřížky se nachází zracovávaný ixel, vybarvené čtverce v okolí ředstavují ixely, se kterými se racuje v říadě čtyřokolí Obr. č. 3.2 Ilustrační ukázka osmiokolí, urostřed mřížky se nachází zracovávaný ixel, vybarvené čtverce v okolí ředstavují ixely, se kterými se racuje v říadě osmiokolí 27

28 3.5 Definice Markovských náhodných olí Jestliže jsme definovali okolí zracovávaného ixelu, můžeme definovat Markovské náhodné ole. Náhodné ole lze definovat jako graf následovně[3],[5]: G ( V, E). (3.9) V je množina uzlů, V { 1, 2, K, N} =, do které náleží ixely. E je množina hran mezi uzly. V množině hran mezi uzly E mohou být ouze takové hrany, které slňují odmínky okolí. Hrany definují sousednost mezi uzly. Každá hrana začíná u jednoho uzlu a končí u jiného uzlu. Pak latí, že: (, q) E q N. (3.10) Každý uzel má řiřazenou jednu náhodnou roměnnou nabývá hodnoty ω L. N označuje množinu uzlů sousedících s uzlem. Ω. Tato náhodná roměnná Abychom náhodné ole mohli nazvat Markovským náhodným olem, musí slňovat určité odmínky. Markovské náhodné ole musí slňovat dvě odmínky[5] ozitivitu a Markovianitu. Pozitivita: P( ω) > 0, ω Ω, (3.11) kde Ω nazýváme rostor všech možných konfigurací ole. Jde o skuinu náhodných roměnných definovaných v rámci náhodného ole. Ω = { Ω, Ω, 2 K, Ω }. 1 m (3.12) Každá náhodná roměnná Ω nabývá hodnoty ω z množiny možných konfigurací náhodného ole L. Pozitivita říká, že ravděodobnost konfigurace P (ω) jakéhokoliv náhodného ole je jednoznačně určena odmíněnou ravděodobností daného uzlu. 28

29 Markovianita: ( { ωq} ) = P ω { ωq} q V ( ) P( ω ωn ). P ω = q \ N (3.13) Markovianita oisuje lokální charakteristiky náhodných roměnných Ω. Markovianita oisuje, že výsledná hodnota jednoho uzlu závisí jen na sousedních uzlech. V říadě oisů závislostí vzdálených uzlů můžeme oužít závislosti blízkých uzlů. 3.6 Hammersley-Cliffordův teorém a Gibbsova náhodná ole V Markovských náhodných olích se snažíme určit ravděodobnost P (ω). Určení této ravděodobnosti je roblémové. Řešení lze nalézt díky Hammersley-Cliffordově teorému[3],[5],[8]. Množinu Ω všech náhodných roměnných můžeme nazvat Gibbsovým náhodným olem[5] ouze v říadě, že se řídí Gibbsovým rozložením. Gibbsovo rozložení je definováno: P( ω) = 1 Z e 1 E( ω) T, (3.14) kde Z je normalizační konstanta, která nabývá hodnoty: Z = ω Ω e 1 E( ω) T. (3.15) Ve vzorci se objevuje konstanta T. Konstantu T nazýváme telotou a určuje, jak moc bude šičaté Gibbsovo rozložení. Pokud je telota T vysoká, jsou všechny konfigurace téměř rovnoměrně rozloženy. Pokud je telota T naoak nízká, rozložení se ohybuje okolo minima energie. Funkci energie značíme E (ω). Hodnota energie závisí na lokální konfiguraci kliky c. E( ω) = V c c C ( ω). (3.16) 29

30 řádů: Vztah (3.16) jde rozesat na více členů. Tyto členy odovídají klikám jednotlivých E( ω) = V ( ω ) { } C {, q} C {, qk} 1 V ( ω, ω ) + K + 2 q V ( ω, ω K). n C n q (3.17) Klikou c v grafu G ( V, E) nazveme množinu, která je odmnožinou množiny V grafu G (vzorec (3.18)). Pro kliku latí, že uzel v této množině musí být sousedem zbylých uzlů této množiny., q c; q : N q. (3.18) Kliky jsou rozděleny odle očtu uzlů. Klika s jedním uzlem se nazývá singleton, klika se dvěma uzly se nazývá doubleton, klika se třemi uzly se nazývá trileton... (viz obr. č. 3.3). Obr. č. 3.3 Ilustrační ukázka dělení klik v závislosti na očtu uzlů a v závislosti na uvažovaném okolí[3] Vyjádření energie konfigurace ole E (ω) za omoci otenciálů klik v grafu nám umožňuje hledat nejotimálnější konfiguraci Markovského náhodného ole. Proto oužíváme Gibbsovo rozložení. Problém maximalizace ravděodobnosti P (ω) totiž řechází na roblém minimalizace energie E (ω). Otimalizací roblému se snažíme nalézt konfiguraci Markovského náhodného ole s co nejmenší energií. 3.7 Modely Velmi často omezujeme uvažované okolí ouze na čtyřokolí. Děje se tak z několika důvodů. Hlavním důvodem je menší náročnost výočtu. Omezením na čtyřokolí dojde 30

31 ke zjednodušení vzorců ro výočet nejotimálnější konfigurace ole. V říadě omezení na čtyřokolí jsou uvažovány ouze singletony a doubletony v horizontálním i vertikálním směru. Vzorec ro výočet energie omocí otenciálů klik v grafu se skládá ouze ze dvou členů, které odovídají klikám rvního a druhého řádu: E( ω) = V1( ω ) + V { } E( ω) = E 2 C1 {, q} C 2 data ( ω) + E smoothnees ( ω, ω ), ( ω). q (3.19) Jisté tyy Markovských náhodných olí mohou být určeny ečlivým vybráním V 1 a V 2. Vzorec výše si můžeme ředstavit jako součet dvou sum. První suma, E (ω), ředstavuje shodu konfigurace s daty. Za druhou sumou se skrývá kontext, je kladen důraz na homogenní oblasti. Existují dva druhy modelů binární a víceúrovňový[3],[5]. Isingův model[3],[5] je říkladem binárního modelu vzhledem k očtu labelů -> { 0,1} L =. Druhý člen ve vzorci, V ( ω, ω ), ztvárňuje změny v označení labelů. 2 q data V 2 ( ω, ω ) = β ω ω δ ( ω, ω ) q q 1 0 q ω ω q ω = ω q = βδ ( ω, ω ),, q (3.20) kde δ ω, ω ) je Kroneckerova delta. Parametr β určuje jak moc vysoká bude enalizace ( q v říadě změny labelů. Pokud je arametr β malý, nejsou detekované objekty říliš komaktní. Ve výsledné segmentaci se objeví mnoho změn v označení labelů, bude zde i velký očet izolovaných ostrovů. Izolovanými ostrovy myslím jiné označení labelu než v okolí. Při zvětšujícím se arametru β budou objekty více celistvé. Můžeme říci, že arametr β dává řednost sojitým oblastem ve výsledné segmentaci. Velkou nevýhodou Isingova modelu je rávě jeho binárnost. Isingův model je velmi oužívaný, nicméně v říadech s větším očtem různých labelů se nehodí. Pro větší očet různých labelů byl zavedem Pottsův model. Množina labelů v Pottsově modelu[3] může být velmi rozsáhlá: L = { 1, 2, K M }. (3.21) 31

32 Pottsův model[3] vyžaduje jinou definici členu V ( ω, ω ), který modeluje změny v označení labelů. Člen V ( ω, ω ) je definován následovně: 2 q 2 q V 2 ( β ω, ωq ) = β ω ω. ω = ω (3.22) Význam arametru β zůstává zachován. Parametr β oět určuje jak moc vysoká bude enalizace v říadě změny labelů. Čím vyšší hodnota arametru β, tím sojitější získáme oblast ve výsledné segmentaci. 3.8 Otimalizace Nyní máme řádně sestavený graf, vybrali jsme model a zbývá nalézt nejotimálnější konfigurace Markovského náhodného ole[5]. Hledání nejotimálnější konfigurace Markovského náhodného ole je složité, neboť funkce energie obsahuje velké množství lokálních minim. Nalezení globálního minima je výočtně velmi náročné. Pro nalezení nejotimálnější konfigurace ole, tj. ro hledání minim funkce energie, je k disozici řada otimalizačních metod. Zmíním nař. gradientní metody, simulované žíhání, genetické algoritmy, či v ráci oužitá metoda grah cut. V ráci robíhaly veškeré segmentace ouze díky metodě grah cut. Proto tato metodu bude blíže osána v dalším textu. Některé metody, nař. žíhání nebo náhodné hledání, rohledávají malý úsek funkce energie, jsou lokální. Je nutné ošetřit jeden významný roblém uváznutí v lokálním extrému. Tento roblém lze vyřešit nař. vícenásobnou inicializací metody. Hledání globálního extrémů je velmi výočetně náročné. To samé latí i ro metody, které hledají globální minimum funkce energie. Naříklad metoda grah cut využívající algoritmy α-exansion a α- ß swa zaručuje, že nalezne takový extrém, který je v nejhorším říadě ouze c-krát horší, než globální extrém. Konstanta c je ředem známa. 32

33 3.9 Grah cut Metoda grah cut[3],[5] je v současnosti hojně oužívána v oblasti očítačového zracování obrazu. Je oužívána v úlohách segmentace obrazů, restaurace, syntézy či v úlohách stereovidění. V odstatě se jedná o skuinu algoritmů, které hledají minimální řez grafem. Existují dvě skuiny algoritmů. První skuina algoritmů je založena na hledání řezu grafem na základě maximálního toku. Druhá skuina algoritmů využívá velkých změn, tzv. large moves Maximální tok (minimální řez) Při hledání minimálního řezu grafem[5] vyjdeme oět z grafu. Sestavíme orientovaný graf G ( V, E). E je množina hran, váhy všech hran jsou nezáorné. V ředstavuje množinu uzlů. Množina uzlů V obsahuje v říadě hledání řezu grafem dva další uzly. Tyto uzly se nazývají source (označení S) a sink (označení T) viz obr Potom řez E c grafem G je odmnožina množiny hran E, která slňuje následující odmínky. Podgraf grafu bez E c, tj. ~ ~ G = ( V, E ), je nesouvislý. Pokud řidáme do odmnožiny grafu G = ( V, E ) E c ~ jakokouliv hranu z E c, tj. G = ( V,( E E ) { e}); ( e ), je tento graf souvislý. Celkové c E c náklady na řez grafem E c jsou sumou vah hran řezu E c. E c Obr. č. 3.4 Ilustrační ukázka sestaveného grafu ro hledání minimálního řezu grafem s naznačeným řezem grafem, S je uzel source a T je uzel sink[11] 33

34 Problém hledání minimálního řezu grafem sočívá v nalezení vhodného kritéria. Kritérium ro hledání řezu můžeme definovat jako: C ( L) = λ R( L) + B( L). (3.23) Kriteriální funkce obsahuje dvě části. Konstanta λ má funkci váhy. Váží vliv oblasti a okraje na výsledné kritérium. R(L) ředstavuje váhy oblasti. R( L) = R ( L ). P (3.24) B(L) bere v otaz okraje segmentace. Penalizuje nesojitosti, největší enalizaci obdrží izolované ixely, tj. ixely s jiným label než je v okolí. B( L) = B δ ( L, L {, q} q N 1 ) = 0 {, q} δ ( L L L L = L, L q q. q ), (3.25) Cílem je najít takový řez, který bude mít co nejmenší náklady Large moves Metodu Grah cut je možné oužít i na roblémy segmentace do více tříd. Cílem je oět najít co nejotimálnější konfiguraci ole z ohledu energie. Mnohé algoritmy mění v jednom kroku labely ouze dvou ixelů. Tyto změny byly nazvány standard moves [11]. Algoritmy založené na velkých změnách, tzv. large moves[5],[11], dokáží v jednom kroku změnit labely velkého množství ixelů. Takové algoritmy dosahují v očítačovém zracování obrazu leších výsledků. 34

35 Obr. č. 3.5 Ilustrační ukázka ráce algoritmů založených na large moves. Obrázek (a) ukazuje segmentovaný obraz. Obrázky (c) a (d) ukazují výsledky algoritmů α-exansion (c)) a α-β swa (d)), které v jednom kroku změní labely velkému množství ixelů. Algoritmy založené na standard moves změní v jednom kroku řiřazení ouze jednomu ixelu.[11] Vyjdeme ze vzorce ro energii otenciálů klik rvního a druhého řádu v grafu: E( ω) = { } V ( ω ) C 1 {, q} C 2 V ( ω, ω ). q (3.26) swa. Problém nalezení nejotimálnější konfigurace ole řeší algoritmy α-exansion a α-β α-exansion Algoritmus α-exansion[5],[11] ředokládá, že druhý člen výrazu energie E smoothness (ω) ředstavující hladkost oblastí je měřitelný. Pokud je tento člen měřitelný, ak musí slňovat určité odmínky. V2( ω, ωq ) 0, (3.27) V ( ω, ω ) = 0 ω = ω, 2 q q (3.28) V2( ω, ωq ) = V2( ωq, ω ), (3.29) V2( ω, ωq ) V2 ( ω, ωr ) + V2 ( ωr, ωq ). (3.30) 35

36 V každé iteraci algoritmu existuje α L a množina labelů o dvou rvcích { α, non α}. V algoritmu je řešen roblém řiřazení labelů metodou grah cut do dvou tříd. Algoritmus rozhoduje, zda ixel i, i S, ω α, řeřadit z třídy α do třídy nonα. Algoritmus robíhá tak i dlouho, dokud energie klesá. Algoritmus α-exansion je schoen najít takové minimum, které je nejhůře c-krát horší než globální minimum. Konstanta c je ředem známa. Pseudokód algoritmu α-exansion[5]: Begin 1. Initialize f with an arbitrary labeling; 2. Flag: = false; 3. For each label α L ; a. Find f = arg min( E( f ' ) among f ' within one α exansion of f; b. If E ( f ) < E( f ), set f : = f and Flag: = true; End 4. If Flag = true goto ste 2 5. Return f; α-β swa α-β swa[5],[11] je iterační algoritmus metody Grah cut. Algoritmus ředokládá, že druhý člen výrazu energie E (ω) ředstavující hladkost oblastí je semimetrický. To smoothness znamená, že latí následující odmínky. V2( ω, ωq ) 0, (3.31) V ( ω, ω ) = 0 ω = ω, 2 q q (3.32) V2( ω, ωq ) = V2 ( ωq, ω ). (3.33) V každé iteraci algoritmu jsou vybrány dva labely, α, β L. Dále definujeme dvě odmnožiny S { i S ω α} a S { i S ω β}. Algoritmus určí dvě odmnožiny α = i = β = i = 36

37 S α S α a S β S β, dále dojde k rohození labelů mezi těmito odmnožinami. Algoritmus skončí, okud hodnota funkce energie neklesá. Algoritmus α-β swa negarantuje nalezení minima, které je nejhůře c-krát horší než globální minimum jako v říadě algoritmu α-exansion. Pseudokód algoritmu α-β swa[5]: Begin 1. Initialize f with an arbitrary labeling; 2. Flag: = false; 3. For each air { α, β} L ; a. Find f = arg min( E( f ' ) among f ' within one α β swa of f; b. If E ( f ) < E( f ), set f : = f and Flag: = true; End 4. If Flag = true goto ste 2 5. Return f; 37

38 4 Praktická část 4.1 Vyhlazení histogramu Histogramy obecně obsahují velké množství šumu. Za šum v histogramu ovažujeme velké množství lokálních nevýznamných extrémů. Tyto lokální nevýznamné extrémy velmi znesnadňovaly další ráci. V zašuměném histogramu bylo velmi obtížné stanovit informačně nejdůležitější lokální extrémy, na základě kterých byly určovány jasové modely ro segmentaci. Z důvodu velkého zašumění histogramu jsem řikročil k vyhlazení histogramu. K vyhlazení histogramu jsem oužil konvoluci histogramu s Gaussovským jádrem[3]. Pro vyhlazení histogramu je nutné brát v úvahu velikost jádra. Velikost jádra totiž velmi zásadně ovlivňuje výsledný vyhlazený histogram. Příliš malé jádro neotlačí nevýznamné lokální extrémy, naoak říliš velká jádra signál říliš vyhladí. Z říliš vyhlazeného histogramu není možné určit informačně nejvýznamnější lokální extrémy. Tyto teoretické oznatky jsem si ověřil během volby velikosti Gaussovského jádra ro vyhlazení histogramu. Exerimentálně jsem došel k následujícím závěrům. Při velikosti jádra menší než tři nedošlo k otlačení nevýznamných lokálních extrémů. Při velikosti jádra šest a více došlo k řílišnému vyhlazení signálu, informačně nejvýznamnější maxima byla již otlačena. Nejotimálnější velikost jádra ro ozdější vytváření jasových modelů byla čtyři, nebo ět. Při této velikosti jádra došlo k dostatečnému otlačení nevýznamných lokálních extrémů, informačně nejdůležitější lokální extrémy byly zachovány. Během exerimentů jsem racoval s velikostí jádra ět. 4.2 Detekce maxim Po vyhlazení histogramu jsem řistouil k automatické detekci maxim ve vyhlazeném histogramu. Cílem automatické detekce maxim ve vyhlazeném histogramu bylo nalézt všechna informačně významná maxima. Informačně významné maximum v histogramu nemusí být nutně maximum s největší četností jasů. Takové maximum s naříklad třetinovou četností jasů oroti největšímu maximu v histogramu může nést také velké množství 38

39 informace otřebné ro vytvoření jasových modelů. Nalezená maxima dále sloužila k vytvoření jasových modelů ro segmentační metodu Grah cut. Maxima v histogramu jsem detekoval za omoci funkce argrelextrema z balíku SciPy rogramovacího jazyka Python. Funkce detekuje extrém tak, že orovnává hodnoty dvou o sobě jdoucích rvků signálu. Argumentem < a <= volíme detekci maxim. Pokud jsem zadal ve funkci arametr ro nalezení extrémů <, detekoval jsem ouze ostrá maxima. Částečné zlešení oskytl argument funkce <=. Při tomto argumentu byly detekovány i některé body, které neatří mezi maxima, či více hodnot v okolí maxima. Podmínkami jsem ošetřil, aby byla detekována ouze maxima. Dalšími odmínkami jsem ošetřil detekci ouze jednoho maxima v určitém okolí. Více o nevýhodách funkce argrelextrema v dalším odstavci. 4.3 Nevýhody funkce argrelextrema Funkce argrelextrema se nachází v knihovně SciPy v balíku signal rogramovacího jazyka Python. Funkce jsem oužil ro detekci lokálních maxim ve vyhlazeném signálu. Tato funkce má ovšem i svoje nevýhody. Funkce s argumentem ro detekci maxim dokáže najít ouze ostrá lokální maxima. Neostrá lokální maxima nebyla touto funkcí detekována. Neostrá lokální maxima řitom není možné vyloučit. Určité zlešení situace jsem očekával ři zadání argumentu <=. Při zadání tohoto argumentu by mělo dojít k detekci ostrých i neostrých maxim. V některých říadech roběhla detekce lokálních maxim bez roblémů, v dalších říadech byly detekovány body vedle lokálních minim. Šatně detekované body bylo nutné vyloučit, čehož jsem dosáhl sesáním vlastní metody. Podmínkami jsem ošetřil, aby funkce argrelextrema s argumentem <= detekovala ouze maxima. K detekování hodnot v okolí minim docházelo vždy v říadě, že se třikrát oakovala stejná hodnota a za tímto oakováním následoval ještě okles hodnot. Funkce argrelextrema vyhodnocuje řítomnost maxima se zadanou odmínkou větší rovno řihlédnutím na jednu hodnotu řed a za detekovaným bodem. Podmínkou jsem ošetřil, aby funkce zohledňovala hodnoty o dvě řed i za detekovaným bodem. Rozdílem detekované hodnoty bodu a hodnoty bodu o dvě řed i od dvě za detekovaným bodem jsem získal informaci, zda je na detekovaném bodu maximum. Pokud byl rozdíl asoň na jedné straně záorný, vyloučil jsem takto detekovaný bod. 39

40 Podmínkami jsem ošetřil i říady, že došlo k vícerému detekování bodů v maximu a jeho okolí. Pokud bych tento říad neošetřil, zhoršil bych kvalitu výsledné segmentace metodou Grah cut. Okolo bodu, na kterém bylo detekováno maximum, jsem vytvořil okolí, ve kterém nesmí být detekováno další maximum. Pokud se tak stane, musí být toto další detekované maximum vyloučené. Velikost okolí jsem nastavoval na základě výsledků detekce maxim funkcí argrelextrema s argumentem větší rovno. Pokud došlo k vícerému detekování bodů v okolí maxima, bylo to vždy do vzdálenosti ěti hodnot od maxima na obě strany. Proto jsem zvolil velikost okolí ět. 4.4 Automatické vytvoření jasových modelů Po detekování maxim ve vyhlazeném histogramu jsem mohl řistouit k automatickému vytvoření jasových modelů, které otřebuje metoda Grah cut ři segmentaci. Modely byly vytvořeny aroximací Gaussovou funkcí v bodě, ve kterém bylo detekováno maximum. Gaussova funkce vyžaduje dva arametry střední hodnotu a roztyl. Střední hodnotu Gaussovy funkce ředstavuje bod, ve kterém bylo detekováno maximum. Větší roblém ro srávnou aroximaci Gaussovou funkcí ředstavuje srávné stanovení roztylu. Je nutné zohlednit okolí maxima, nař. okud je na hodnotách v okolí detekovaného maxima v histogramu velké skoková změna. Roztyl jsem určoval z hodnot histogramu v okolí maxima. Tento řístu ři určení roztylu se ukázal jako vhodný, Gaussova funkce řibližně koírovala vzhled maxima ve vyhlazeném histogramu. Bylo nutné vyřešit roblém určení srávné velikosti okolí maxima. O řešení tohoto roblému ojednávají další odstavce. 4.5 Skóre funkcí aic a bic[5] Funkce aic a bic se nachází v knihovně scikit-learn v balíku mixture rogramovacího jazyka Python. Cílem oužití obou těchto funkcí bylo ohodnocení velikosti okolí okolo střední hodnoty jasového modelu. Obě funkce vrací hodnotu skóre nad ixely dané sady jasových modelů. Skóre je vyočítáno na základě odobnosti dat sady jasových modelů se statisticky získaným modelem. Obě funkce jsou si velmi blízké, vzájemně se liší 40

41 ohodnocením šatných říadů. V říadě funkce bic je enále za šatný říad větší. U hodnot skóre obou funkcí latí, že čím nižší je skóre, tím leší je shoda. Exerimentálně jsem určoval skóre těchto funkcí ro sadu jasových modelů. Sledoval jsem změnu skóre v závislosti na velikosti okolí okolo střední hodnoty jasového modelu. Získal jsem hodnoty skóre funkcí aic i bic ro hodnoty okolí v intervalu ět až devadesát úrovní. Výsledky skóre obou funkcí se od sebe říliš nelišily. V obou říadech však byly hodnoty skóre říliš veliké. Hodnoty se ohybovaly v řáde desítek milionů až desítek miliard. Z výsledků jsem vyozoroval, že čím větší okolí střední hodnoty jasového modelu bereme v úvahu, tím nižší skóre. Z exerimentů vylynulo, že funkce aic a bic nejsou ro ohodnocení velikosti okolí střední hodnoty jasového modelu vhodné. 4.6 Berkeley Segmentation Data Set[9][10] Pro stanovení roztylu jasového modelu jsem vycházel z okolí střední hodnoty jasového modelu. Bylo nutné zjistit, jak velké okolí střední hodnoty je třeba uvažovat. Velikost okolí zásadně ovlivňuje výsledek segmentace. Při říliš malém okolí ztrácíme část informace, která je nutná ro jasový model, naoak ři říliš velkém okolí uvažujeme i část informace jiného jasového modelu. Pro stanovení nejotimálnější velikosti okolí bylo nutné exerimentovat. Pro exerimenty, obzvláště ro exerimenty s metodou Probabilistic Rand Index[6], jsem využil sady obrázků ro segmentaci [9],[10], které jsou k disozici na stránkách univerzity Berkeley v Kalifornii v USA. Jedná se o velmi různorodou sadu obrázků a vzorků lidmi manuálně segmentovaných obrázků (viz obr. 4.1). Na vzorcích manuálně segmentovaných obrazů můžeme názorně ozorovat, že každý vnímáme obraz trochu odlišně. Někteří účastníci exerimentů nasegmentovali obraz jen na ředmět zájmu a okolí, jiní účastníci exerimentů zaběhli více do detailů. 41

42 Obr. č. 4.1 Obrázek Mountains church ze sady Berkeley Segmentation Data Set[9] a lidmi vytvořené manuální segmentace 4.7 Pokusy s PR indexem K okusům s PR indexem[6] jsem řikročil z důvodu stanovení nejotimálnější okolí ro ráci s jasovými modely. Exerimenty jsem rováděl nad sadou obrázků Berkeley Segmentation Data Set[9]. Na části sady obrázků jsem očítal hodnotu PR indexu. Pro výočet PR indexu byly využity lidmi manuálně nasegmentované vzorky obrázků. Tyto manuálně nasegmentované obrázky byly srovnávány s automatickou segmentací téhož obrázku metodou Grah Cut. Byl sledován vliv velikosti okolí střední hodnoty jasového modelu na výsledné hodnoty PR indexu. Předokládal jsem, že ři malém okolí bude hodnota PR indexu malá. Se zvětšujícím se okolím bude hodnota PR indexu narůstat. Očekával jsem, 42

43 že nejvyšších hodnot dosáhne hodnota PR indexu mezi hodnotami velikosti okolí 30 a 40. Větší hodnoty okolí jasového modelu uvažují i jasové úrovně jiných jasových modelů a dojde tak k zanesení chyby. Při větším okolí bude hodnota PR indexu klesat. Exerimenty jsem došel k následujícím závěrům. Nejčastějším jevem byla zvětšující se hodnota PR indexu v závislosti na zvětšujícím se okolí střední hodnoty daného jasového modelu. Názorně tento říad vývoje PR indexu ukazuji na obrázku Mountains church (obr. č. 4.2 a 4.3). Pro tento říad vývoje hodnoty PR indexu je nutné zmínit, že v říadě obrázku Man With Hat došlo ke skokové změně hodnoty PR indexu. Skoková změna nastala mezi okolím o velikosti 35 a okolím o velikost 40 úrovní. Hodnota PR indexu se skokově zvýšila z hodnoty 0,398 na hodnoty 0,693. Obr. č. 4.2 Obrázek Mountains church ze sady Berkeley Segmentation Data Set[9] vlevo, vravo segmentace obrázku metodou Grah cut, uvažovaná velikost okolí je 30, α, β = 1, střední hodnoty jasových modelů se nachází na jasových úrovních 30 (tmavě modrá), 60 (světle modrá), 100 (žlutá), 255 (tmavě červená) PR index [-] Vývoj PR indexu - obrázek Mountains church 0,652 0,65 0,648 0,646 0,644 0,642 PR index 0,64 0,638 0,636 0,634 0, Velikost okolí [jasová úroveň] Obr. č. 4.3 Hodnoty PR indexu segmentace metodou Grah Cut v závislosti na velikosti okolí, obrázek Mountains Church 43

44 V části říadů hodnota PR indexu narůstala se zvětšujícím se okolí s vytvořením jednoho malého lokálního maxima hodnoty PR indexu. Při velikosti okolí od 15 do 25 docházelo k výskytu menšího lokálního maxima hodnoty PR indexu, s dále se zvětšujícím okolí hodnota PR indexu neustále stouala. Jako názornou ukázku tohoto říadu ukazuji vývoj hodnoty PR indexu na obrázku Elehants (viz obr. č. 4.4 a 4.5). Obr. č. 4.4 Obrázek Elehants ze sady Berkeley Segmentation Data Set[9] vlevo, vravo segmentace obrázku metodou Grah cut, uvažovaná velikost okolí je 30, α, β = 1, střední hodnoty jasových modelů se nachází na jasových úrovních 38 (modrá), 75 (zelená), 139 (tmavě červená) 0,645 Vývoj PR indexu - obrázek Elehants PR index [-] 0,64 0,635 0,63 0,625 0,62 0,615 PR index 0, Velikost okolí [jasová úroveň] Obr. č. 4.5 Hodnoty PR indexu segmentace metodou Grah Cut v závislosti na velikosti okolí, obrázek Elehants Časté byly i říady, ve kterých byl růběh hodnot PR indexu v závislosti na okolí následující. Při velmi malém okolí (okolí 5 úrovní) byla hodnota PR velká, ři zvětšujícím se 44

45 okolí nejdříve hodnota PR indexu klesala. V některých říadech došlo k oětovnému nárůstu hodnoty PR indexu ři okolí 50 úrovní a větším. Názorně tento říad dokumentuje obrázek Polar Bears (obr. 4.6 a 4.7). Obr. č. 4.6 Obrázek Polar bears ze sady Berkeley Segmentation Data Set[9] vlevo, vravo segmentace obrázku metodou Grah cut, uvažovaná velikost okolí je 30, α, β = 1, střední hodnoty jasových modelů se nachází na jasových úrovních 13 (modrá), 125 (zelená), 182 (tmavě červená) 0,63 Vývoj PR indexu - obrázek Polar bears 0,62 PR index [-] 0,61 0,6 0,59 PR index 0,58 0, Velikost okolí [jasová úroveň] Obr. č. 4.7 Hodnoty PR indexu segmentace metodou Grah Cut v závislosti na velikosti okolí, obrázek Polar Bears Předokládaný vývoj hodnoty PR indexu jsem ozoroval v minimálním očtu říadů. Důkazem toho je obrázek Church (viz obr. 4.8 a 4.9), kde k ředokládanému vývoji hodnoty PR indexu došlo od velikosti okolí 15 úrovní. 45

46 Obr. č. 4.8 Obrázek Church ze sady Berkeley Segmentation Data Set[9] vlevo, vravo segmentace obrázku metodou Grah cut, uvažovaná velikost okolí je 30, α, β = 1, střední hodnoty jasových modelů se nachází na jasových úrovních 97 (tmavě modrá), 123 (světle modrá), 155 (žlutá), 255 (tmavě červená) PR index [-] 0,519 0,518 0,517 0,516 0,515 0,514 0,513 0,512 0,511 0,51 0,509 Vývoj PR indexu - obrázek Church Velikost okolí [jasová úroveň] PR index Obr. č. 4.9 Hodnoty PR indexu segmentace metodou Grah Cut v závislosti na velikosti okolí, obrázek Church Za zmínku stojí i následující dva říady. V minimálním očtu říadů byl zaznamenán vyrovnaný růběh hodnoty PR indexu v závislosti na okolí. Hodnota PR indexu se s různou velikostí okolí měnila jen neatrně. Tento jev jsem ozoroval v říadě obrázku 46

47 Lady Dots (obr a 4.11). Zajímavý byl i další růběh hodnoty PR indexu v závislosti na okolí. Tento růběh jsem zaznamenal jen v jednom říadě. Jednalo se o obrázek Moon (obr a 4.13). Hodnota PR indexu se ři zvětšujícím se okolí skoro ořád klesala. Nejvyšší hodnotu PR indexu v závislosti na okolí jsem v tomto říadě zaznamenal ři velikosti 5 úrovní. Obr. č Obrázek Lady dots ze sady Berkeley Segmentation Data Set[9] vlevo, vravo segmentace obrázku metodou Grah cut, uvažovaná velikost okolí je 30, α, β = 1, střední hodnoty jasových modelů se nachází na jasových úrovních 158 (modrá), 195 (zelená), 238 (tmavě červená) 0,61 Vývoj PR indexu - obrázek Lady dots 0,605 PR index [-] 0,6 0,595 0,59 PR index 0,585 0, Velikost okolí [jasová úroveň] Obr. č Hodnoty PR indexu segmentace metodou Grah Cut v závislosti na velikosti okolí, obrázek Lady Dots 47

48 Obr. č Obrázek Moon ze sady Berkeley Segmentation Data Set[9] vlevo, vravo segmentace obrázku metodou Grah cut, uvažovaná velikost okolí je 30, α, β = 1, střední hodnoty jasových modelů se nachází na jasových úrovních 27 (modrá), 79 (zelená), 255 (tmavě červená) PR index [-] 0,92 0,91 0,9 0,89 0,88 0,87 0,86 0,85 0,84 0,83 Vývoj PR indexu - obrázek Moon Velikost okolí [jasová úroveň] PR index Obr. č Hodnoty PR indexu segmentace metodou Grah Cut v závislosti na velikosti okolí, obrázek Moon Během exerimentů byly zjištěny různé hodnoty PR indexu. Zaznamenal jsem hodnoty PR indexů od 0,300 o 0,980. Tyto hodnoty PR indexu značí, jak moc významově odovídala automatická segmentace metodou Grah Cut manuálním segmentacím. Ve větším očtu říadů byly zaznamenány výsledky nad 0,600, což lze brát jako velmi dobrý výsledek. V menším očtu říadů byly zaznamenány horší výsledky. 48

49 4.8 Závěry k určování velikosti okolí Exerimentálně jsem zjistil, že určení otimálního okolí maxima ro stanovení roztylu je skoro nemožné. Srávné určení velikosti okolí maxima velmi závisí na vstuních datech. Liší se říad od říadu. Velikost uvažovaného okolí maxima velmi ovlivňuje hodnotu roztylu. Pokud budeme uvažovat ouze malé okolí maxima, ztratíme velkou část informace otřebné k vytvoření jasového modelu. Při malém nebo žádném uvažovaném okolí maxima nejsme schoni určit srávně hodnotu roztylu Gaussovy funkce tak, aby výsledná Gaussova funkce srávně aroximovala vzhled maxima a jeho okolí ve vyhlazeném histogramu. V oačném říadě okud budeme uvažovat říliš velké okolí maxima, zaneseme do hodnoty roztylu šum. Za šum zde ovažuji, že v hodnotě roztylu se romítnou i vzdálenější hodnoty. Tyto vzdálenější hodnoty zůsobí, že výsledná hodnota roztylu bude mít takový vliv na Gaussovu funkci, že výsledná Gaussova funkce nebude aroximovat skutečný vzhled maxima ve vyhlazeném histogramu. Tím ádem bude Gaussova funkce zkreslená. 4.9 Porovnání Metodu Grah cut jsem orovnal s obdobnými algoritmy, které k roblému segmentace řistuují na základě konstrukce grafu a následného rozdělení sestrojeného grafu. Grah cut jsem orovnal s Felzenszwalbovým algoritmem[12] a s algoritmem Normalized cut[13]. Jako výchozí arametry metody Grah cut ři orovnání s odobnými metodami jsem zvolil velikost okolí 30, arametry α i β byly rovny jedné. Výsledky všech metod jsem orovnával za omoci PR indexu[6] na obrázcích sady Berkeley Segmentation Data Set[9]. 49

50 4.10 Felzenszwalbův algoritmus Krátký ois algoritmu Felzenszwalbův algoritmus[12] řistuuje k roblému segmentaci za omoci konstrukce grafu a následného rozdělení zkonstruovaného grafu do oblastí. Nejdříve je zkonstruován neorientovaný graf G = ( V, E). V je množina uzlů grafu ředstavující ixely obrazu, E je množina hran grafu. Hrany jsou uvažovány vždy jen mezi dvěma sousedícími uzly. Každá hrana z množiny E je ohodnocena vahou w, která je větší než nula. Cílem segmentace S je rozdělení grafu G do určitých hranami roojených oblastí G = ( V, E ), E E. Dále je zavedena funkce D, která vyhodnocuje, zda má v daném místě dojít k vytvoření hranice mezi oblastmi v segmentovaném obrazu. Definujme vnitřní rozdíl odgrafu C V jako největší váhu v minimálně se větvícím stromu odgrafu. Minimálně se větvící strom odgrafu, tj. strom, který sojí všechny uzly v odgrafu tak, aby celková váha hran byla minimální, označme jako MST ( C, E). Potom vnitřní rozdíl odgrafu je definován: Int( C) = max e MST ( C, E ) w( e). (4.1) Dále definujeme rozdíl mezi dvěma odgrafy sojující dva odgrafy. C 1, C 2 V jako minimální váhu hrany Dif ( C, C 1 2 ) = min v C, v C, ( v, v ) E i 1 j 2 i j w( v, v i j ). (4.2) Pokud neexistuje sojení mezi odgrafy C 1 a C 2, je rozdíl mezi dvěma odgrafy rovný nekonečnu, Dif C 1, C ) =. Rozdíl mezi dvěma odgrafy Dif C 1, C ) je vždy relativně ( 2 ( 2 větší než vnitřní rozdíl odgrafu, ať už rozdíl vnitřního odgrafu Int C ), nebo vnitřní rozdíl druhého odgrafu Int C ). Funkce D je binární a nabývá hodnot: ( 2 ( 1 D( C, C 1 2 true okud Dif ( C1, C2 ) > MInt( C1, C ) = false jinak 2 ), (4.3) 50

51 kde MInt C 1, C ) je minimální vnitřní rozdíl. ( 2 MInt ( C1, C2 ) = min( Int( C1) + τ ( C1), Int( C2 ) + τ ( C2 )), (4.4) kde τ lní funkci rahu. Tato rahová funkce kontroluje a orovnává velikosti vnitřních rozdílů odgrafů s rozdílem mezi odgrafy tak, aby mohla být zřízena nová hranice mezi oblastmi v segmentovaném obrazu. Prahovou funkci můžeme vyjádřit jako: τ ( C ) = k C, (4.5) kde C je velikosti odgrafu C, k je volená konstanta. Pokud zvolíme k malé, ožadujeme větší důraz na vytváření nových hranic mezi odgrafy, ve výsledné segmentaci bude méně oblastí. Pro samotný algoritmus ředokládáme, že vždy existuje nějaká segmentace vstuního obrazu. Algoritmus robíhá v několika krocích. Nejdříve je načten vstuní obrázek a zkonstruován graf G = ( V, E) o n uzlech a m hranách. Graf G = ( V, E) je vstuem algoritmu, výstuem algoritmu je segmentace S, S = C, K, C ) množiny V. Dále jsou ( 1 r vzestuně usořádány rvky množiny hran E odle váhy, π = o, K, o ). V dalším kroku ( 1 m ředokládáme segmentaci S 0, kde každý uzel množiny V ředstavuje jeden odgraf. Následující krok je oakován, dokud není nalezena nejotimálnější segmentace. Vytvoř segmentaci q S, která vychází se segmentace q 1 S následovně. Zvolme uzly vi v j V,, které jsou sojeny q-tou hranou z usořádané množiny hran odle velikosti vah o = v, v ). q ( i j Pokud jsou uzly v, v V v rozdílných odgrafech v segmentaci i j q 1 S a vnitřní rozdíl obou odgrafů je malý, soj tyto odgrafy. Pokud tomu tak není, nic nedělej. Toto lze nasat i jinak nechť odgraf q 1 C i je složkou segmentace q 1 S obsahující uzel v i a nechť odgraf q 1 C j je odgrafem stejné segmentace a obsahuje uzel v j. Pokud C C a q 1 1 q i j w ( o q ) MInt( C, C q 1 q 1 i j ), ak segmentace q S vznikne sloučením odgrafů q 1 C i a q 1 C j. Pokud tomu tak není, latí S q = S q 1. Na závěr vrať nejvhodnější segmentaci, S = S. 51

52 Obr. č Ukázka segmentace Felzenszwalbovým algoritmem (vravo) vstuního obrazu Man with hat ze sady Berkeley Segmentation Data Set[9] (vlevo), arametry byly nastaveny na následující hodnoty: měřítko ovlivňující velikost shluků bylo zvoleno 1, sigma ro vyhlazení Gaussovským jádrem byla nastavena na hodnotu 5 a minimální velikost jedné složky byla nastavena na hodnotu Porovnání výsledků algoritmu s metodou Grah cut Felzenszwalbův algoritmus jsem oužil v rogramovacím jazyce Python za omoci balíčku scikit-image. V balíčku scikit-image se nachází funkce felzenszwalb, která je imlementací Felzenszwalbova algoritmu. Funkce vyžaduje čtyři vstuní arametry. Prvním arametrem je obrázek k segmentaci, další arametry ředstavují měřítko, velikost Gaussovského jádra ři oeraci ředzracování a minimální velikost odgrafu. Velikost Gaussovského jádra jsem nastavil 5, to znamená, že jsem nastavil stejnou hodnotu jako ři vyhlazování histogramu. Další arametry jsem nastavil emiricky. Velikost měřítka jsem nastavil na hodnotu 20 a minimální velikost složky jsem nastavil na hodnotu 100. Čím vyšší 52

53 hodnoty těchto arametrů nastavíme, tím větší a komaktnější získáme výsledné shluky. Ukázka segmentace felzenszwalbovým algoritmem je na obrázku číslo Hodnoty PR indexu metody Grah cut byly ve většině říadů nižší než hodnoty PR indexu Felzenszwalbova algoritmu, viz obr. č Hodnoty PR indexu metody Grah cut byly často o 15% až 20% horší než hodnoty PR indexu výsledných segmentací Felzenszwalbova algoritmu, nař. obr. č Horší výsledky segmentací metodou Grah cut z ohledu PR indexu byly získány díky tomu, že Grah cut segementoval do značně menšího očtu složek než Felzeszwalbův algoritmus. Na druhou stranu jsou výsledné segmentace metodou Grah cut o něco srozumitelnější. Výsledné segmentaované oblasti jsou komaktnější, lze z nich vyčíst, co je objekt a co ozadí. Výsledné segmentace Felzeszwalbovým algoritmem jsou řesegmentované. Ve výsledné segmentaci je říliš mnoho složek, složky významově neodovídají reálným ředmětům ve vstuním obrazu. Tato skutečnost oukazuje, že hodnocení segmentací obrázků na základě PR indexu nemusí odovídat skutečnému významu a srozumitelnosti segmentace. Obr. č Porovnání segmentací vstuního obrázku Farm ze sady Berkeley Segmentation Data Set[9] metodou Grah cut (urostřed) a Felzenszwalbovým algoritmem (vravo), hodnota PR indexu u metody Grah cut byla v tomto říadě 0.450, hodnota PR indexu segmentace Felzenszwalbovým algoritmem byla V menším očtu říadů byla segmentace metodou Grah cut ohodnocena vyšší hodnotou PR indexu než výsledná segmentace Felzenszwalbovým algoritmem, nař Dělo se tak v říadech, kdy ve vstuním obraze byl ouze objekt a ozadí. Leší hodnotou PR indexu byla ohodnocena ta segmentace, ve které bylo méně segmentovaných složek. 53

54 Obr. č Porovnání segmentací vstuního obrázku Birds ze sady Berkeley Segmentation Data Set[9] metodou Grah cut (urostřed) a Felzenszwalbovým algoritmem (vravo), hodnota PR indexu u metody Grah cut byla v tomto říadě 0.966, hodnota PR indexu segmentace Felzenszwalbovým algoritmem byla V několika říadech nastala situace, kdy výsledné segmentace byly ohodnoceny skoro stejnou hodnotou PR indexu, nař. obr. č Tato situace nastala v říadech, kdy ve vstuním obraze bylo více objektů a ozadí. Obr. č Porovnání segmentací vstuního obrázku Eskymo ze sady Berkeley Segmentation Data Set[9] metodou Grah cut (urostřed) a Felzenszwalbovým algoritmem (vravo), hodnota PR indexu u metody Grah cut byla v tomto říadě 0.668, hodnota PR indexu segmentace Felzenszwalbovým algoritmem byla

55 4.11 Cut-normalized Krátký ois algoritmu Algoritmus N-Cut[13] řistuuje k segmentaci obrazu na základě konstrukce grafu a následného rozdělení grafu do oblastí. Graf G = ( V, E) je neorientovaný, V je množina uzlů ředstavující ixely a E je množina hran. Každá e hrana množiny E má váhu w na určenou na základě odobnosti mezi uzly v i a v j. Segmentace je roces, během kterého hledáme nejotimálnější rozdělení množiny V do odmnožin V, V, 1 2 K, Vm. Podobnost uzlů různých odmnožin je malá, každý uzel je obsažen ouze v jedné odmnožině. Graf G = ( V, E) může být jednoduše rozdělen do odmnožin A, B; A B = V ; A B = 0/ ouhým odebíráním jednotlivých hran. Hodnota nestejnosti, neboli řez, může být sočítána jako suma vah odebraných hran. cut( A, B) = u A, v B w( u, v). (4.6) Vzhledem k obrovskému očtu možností rozdělení grafu je nalezení nejotimálnějšího řezu velmi výočetně náročné. Algoritmus N-Cut oužívá jinou míru ro rozdělení grafu na odmnožiny. Tato míra zohledňuje náklady řezu jako části všech hran sojujících uzly grafu. Tato míra je nazvána normalized cut a je vyočítána: cut( A, B) cut( A, B) Ncut ( A, B) = +, assoc( A, V ) assoc( B, V ) assoc( A, V ) = assoc( B, V ) = u A, t V v B, t V w( u, t), w( v, t). (4.7) (4.8) Hodnota assoc(a,v) je vyočítána jako suma vah všech hran vedoucích z A ke všem uzlům grafu, odobně je sočtena i hodnota assoc(b,v). Algoritmus se skládá z několika kroků. Nejdříve načteme vstuní obraz a vytvoříme neorientovaný graf G = ( V, E). Ohodnotíme váhou w každou hranu z množiny E sojující dva uzly množiny V tak, aby váha hrany ředstavovala míru odobnosti mezi dvěma uzly grafu. V dalším kroku řešíme soustavu rovnic ( D W ) x = λdx. Hledáme vlastní vektor 55

56 s nejmenším vlastním číslem. D je diagonální matice o rozměrech na diagonále. Výraz N N s d ( i) = w( i, j) d ( i) = w( i, j) ředstavuje sumu vah hran sojující uzel se všemi ostatními uzly grafu. Matice W má také rozměry w ij j N N a je symetrická, obsahuje rvky W ( i, j) =. V dalším kroku algoritmu vybereme vlastní vektor s druhým nejmenším vlastním číslem a rozdělíme graf na dvě části. Nakonec algoritmus rozhoduje, zda by stávající dělení mohlo být dále děleno. Na základě kritéria je rozhodnuto, zda dojde k rozdělení již rozdělených části, či nikoliv. j Obr. č Ukázka segmentace algoritmem Normalized cut (vravo) vstuního obrazu Man with hat ze sady Berkeley Segmentation Data Set[9] (vlevo), kromě arametru rahu, který byl nastaven na hodnotu 0.05, byly hodnoty ostatních arametru onechány na výchozích hodnotách Porovnání výsledků algoritmu s metodou Grah cut Algoritmus normalized cut jsem oužil v rogramovacím jazyce Python za omoci funkce cut_normalized z balíčku scikit-image. Funkce vyžaduje dva arametry množinu labelů a graf. Ve funkci je možné ještě uravit volitelné arametry. Mezi volitelné arametry atří ráh, očet rovedených řezů řed nalezením otimálního řezu i maximální velikost 56

57 hrany mezi dvěma rozdílnými oblastmi. Parametry jsem nastavil emiricky. Jediný arametr, který měl výrazný vliv na výslednou segmentaci, byla hodnota rahu. Po mnohých okusech jsem nastavil hodnotu z výchozí hodnoty na hodnotu 0.5. Při výchozí hodnotě nebyl schoen algoritmus segmentovat základní ředměty, ři větší hodnotě arametru, než je nastavená hodnota, docházelo k segmentování obrazu na říliš mnoho nevýznamných oblastí. Ukázka segmentace algoritmem N-Cut je na obrázku č Porovnání výsledných segmentací metod Grah cut a Normalized cut za omoci PR indexu doadlo hůře ro metodu Grah cut, viz obr. č Výsledné segmentace metody Grah cut obsahují malý očet segmentovaných oblastí, očet oblastí závisí na očtu maxim v histogramu vstuního obrazu. Metoda Normalized cut segmentuje do mnoha oblastí. Zatímco ze segmentací metodou Grah cut lze rychle vyčíst co je objekt a co ozadí, v segmentacích metodou Normalized cut toto možné není. Výsledné segmentace obsahují velký očet oblastí, které neodovídají reálným objektům v obraze. Segmentované oblasti metodou Normalized cut jsou často malé a hranaté. Segmentované oblasti metodou Grah cut jsou oroti tomu větší, sojitější, nejsou tolik hranaté a více odovídají skutečným ředmětům v obraze. V největším očtu říadů orovnání byly hodnoty PR indexu segmentací metodou Grah cut cca. o 20% až 25% horší než segmentace stejných obrazů metodou Normalized cut (viz obr. 4.19). Bylo to dáno ředevším tím, že obrazy obsahovaly větší očet různých objektů. Obr. č Porovnání segmentací vstuního obrázku Mushroom ze sady Berkeley Segmentation Data Set[9] metodou Grah cut (urostřed) a metodou Normalized cut (vravo), hodnota PR indexu u metody Grah cut byla v tomto říadě 0.507, hodnota PR indexu segmentace metody Normalized cut byla