DZD DPZ 7 textura, segmentace, objektově orientovaná analýza obrazu

Transkript

1 DZD DPZ 7 textura, segmentace, objektově orientovaná analýza obrazu Doc. Dr. Ing. Jiří Horák - Ing. Tomáš Peňáz, Ph.D. Institut geoinformatiky VŠB-TU Ostrava

2 Co je to textura? obtížná definice pojmu textura nejednoznačnost chápání textura je charakteristické umístění a uspořádání opakujících se tónů či barev v obrazu Míra uspořádanosti či celistvosti povrchových objektů. Plošná proměnlivost tónu uvnitř obrazu. s ohledem na rozsah může textura představovat též interakci jednotlivých tónů šedi nebo tónových primitiv v obrazu rozložení šedi (tónů) v okolí každého obrazového bodu vlastnost jednotlivých primitiv získaných segmentací obrazu charakterizuje tedy celý obraz nebo jen části obrazu

3 Typy textur texturu lze charakterizovat jako drsnou (rough) danou výskytem skvrn, jejichž úrovně šedi se náhle mění na krátké vzdálenosti středně drsnou/hladkou (intermediate) hladkou (silky, smooth) malá variabilita úrovní šedi drsná textura typická pro heterogenní plochy s náhlým střídáním typů povrchů (lesní porost se zápojem, kamenitá poušť, ) hladkou texturou se projevují uniformní povrchy (asfaltové plochy, polní kultury, pastviny, písečné pouště) drsnost/hladkost textury je produktem měřítka čím větší měřítko, tím drsnější textura určité oblasti v menším měřítku se textura určité oblasti zpravidla jeví jako hladší

4 Proč digitálně zpracovávat texturu? Provádíme: Zvýraznění textury pro interpretaci obrazu pomocí vysokofrekvenčních filtrů viz filtrace. Transformace do nové číselné charakteristiky. Textura jako jeden z příznaků při klasifikaci obrazu - texturální klasifikátory. Viz klasifikace. Typická např. pro radarové snímky Zvýraznění textury - transformace textury Rozlišujeme: Lokální charakteristiky Globální ch. - pro rozsáhlejší části obrazu nebo celý obraz

5 Lokální texturální míry pro jednotlivé obrazové body vyjádřeny hodnotou funkce pracující nad zvoleným okolím hodnota funkce nový příznak použitelný pro klasifikaci používané funkce - operátory: gradientové statistické míry pracující v jistém směru velikost okolí určuje globálnost vypočtené míry

6 Gradientový texturální operátor g, i, j min max f ( i, j) f ( i k, j) k 1, N max f ( i, j) f ( i k, j), k 1, N max f ( i, j) f ( i, j k), kde f(i,j) = hodnota digitální obrazové funkce v obrazovém bodě (i,j) N = zvolená vzdálenost (velikost okolí) hledá se minimum ze 4 směrů, ve kterých se určil maximální rozdíl pro zpracování šedotónového obrazu vhodně charakterizuje variabilitu hodnot (šedi) uvnitř objektu není ovlivněna hodnotami okolních objektů (alespoň 1 směr je celý uvnitř objektu, a jeho max. rozdíl bude vybrán) k 1, N max k 1, N f ( i, j) f ( i, j k)

7 g Příklad = = i, j min 50,50,51,52 50 max k1, N max k1, N max k1, N max k1, N f ( i, j) f ( i k, j) = 50 f ( i, j) f ( i k, j) = = = 50 f ( i, j) f ( i, j k) = = = 51 f ( i, j) f ( i, j k) = = = 52

8 kde Korelační texturální operátor 2 i, j max min c f i, j, f i k, j c 2 (i,j) = korelační operátor, f(i,j) = multispektrální digitální obrazová funkce v obrazovém bodě (i,j), N = zvolená vzdálenost (velikost okolí) pro zpracování multispektrálního obrazu větší nároky na dobu výpočtu g, k1, N min c 2 f, k1, N i, j, f i k, j min c 2 f, k1, N min c 2 k1, N f i, j, f i, j k i, j, f i, j k

9 Lokální texturální míry statistické pro šedotónový obraz využití statistických momentů: Rozptyl - variační koeficient koef. šikmosti, koef. špičatosti. Míry středních hodnot nevhodné nepopisují variabilitu Entropie (ale není stat.moment) výpočet nad zadaným okolím (5x5, 7x7, ) velké rozměry filtračního okna ), ( ), ( 3 1 ), ( 3 1 ), ( i j i j i j j i f j i f j i f j i p

10 Texturální klasifikátory Např. analyzování prostorové proměnlivosti pomocí směrodatné odchylky DN pixelů v definovaném okně možnost zohlednění proměnlivé velikosti okna nutnost velkého okna (až 64x64) => problémy: degradace prostorového rozlišení podstatné zmenšení rozměrů výsledné matice chybí okraje rastru (window edges)

11 Texturální klasifikátory Výpočet směrodatné odchylky pro různě velké konvoluční masky (5x5, 7x7, 19x19), doprovázené zmenšením obrazu

12 Lokální texturální míra míra shody s hledanou texturou pro šedotónový obraz zvýraznění textury určitého typu požadovaná třída objektů vzor charakterizuje hledanou třídu objektů nejdříve výpočet charakteristické textury zájmové třídy pro každé místo pravděpodobnost, s níž jistá lokální texturální míra odpovídá hodnotám texturální míry zájmové třídy výpočet pro všechny body obrazu výstupní obraz obsahuje pravděpodobnost shody se zájmovým vzorem

13 Globální texturální míry (pro obraz nebo podobraz) možnosti charakterizování textury: 1. energie textury 2. prostorová šedotónová závislost a pro ni odvozené míry 3. autokorelace 4. statistické momenty

14 Ad 1) energie textury Celý obraz výpočet Fourierova spektra pomocí Fourierovy transformace (FFT) viz Four.transf. charakterizování textury z posouzení Fourierova spektra Zastoupení nízkofrekvenční a vysokofrekvenční informace v obraze

15 Ad 2) prostorová šedotónová závislost charakteristika rozložení šedi v obrazu tabulkové vyjádření: Grey Level Co-occurrence Matrix (GLCM) Grey Tone Spatial Dependency Matrix Čtvercová matice Vyjadřuje, jak často jsou zastoupeny jednotlivé kombinace hodnot DN (typicky v sousedních buňkách) Normalizace výsledku (získáme pravděpodobnost výskytu) GLCM využívá většina měr textury, zpravidla jako vážený průměr buněk GLCM

16 Ad 2) prostorová šedotónová závislost definování matice GLCM/GTSDM S i, j d, nad každým podobrazem hodnota jednotlivých prvků matice S i, j d, rovna počtu dvojic obrazových bodů pro které platí: f(x) = i f(y) = j Y = X + (d.cosθ, d.sinθ) počet dvojic obrazových bodů i, j vzdálenost mezi obrazovými body d směr spojnice obrazových bodů Θ Normalizace podělit četnosti sumou. Získáme pravděpodobnosti kombinací. V jednoduchém případě d=1, směr východ (zkoumáme pixel a soused východně) Pixel a sousední hodnota ve východním směru

17 Ad 2 prostorová šedotónová závislost Na základě matice GLCM se používají texturální míry: Energie (energy) kontrast (contrast) vyjádření vztahu mezi pixely s vysokými a nízkými DN korelace míra shody entropie (entropy) homogenita (homogeneity) nepodobnost (dissimilarity) rozptyl.

18 2. prostorová šedotónová závislost - energie Texturální míra - energie E k k 2 d S i, j d,, i0 j0 k = dimenze matice (počet úrovní šedi). suma čtverců normalizovaných hodnot přes matici GLCM časté opakování stejných frekvencí, vysoké číslo v matici GLCM => hodnota energie vysoká (0.1667) 2 +(0.1667) 2 +(0.0833) (0.1667) (0.25) = Energie celého obrazu je Nejmenší energie hypotetic. 16*(0.0625) 2 = Největší energie *0=1

19 2. prostorová šedotónová závislost - kontrast Texturální míra - kontrast CON 2 d, i j. Si, j d, 2 i0 j0 k = dimenze matice (počet úrovní šedi) k k vysoká četnost výskytu obrazových bodů se značnými rozdíly obrazové funkce => hodnota kontrastu vysoká (0-0) 2 *(0.1667) 2 +(0-1) 2 *(0.1667) 2 + (0-2) 2 *(0.0833) = Na hlavní diagonále jsou 0. Kontrast celého obrazu je

20 2. prostorová šedotónová závislost - korelace prostorová šedotónová závislost - korelace C d, k k i x. j y. Si, j d, i0 j0. i j k = dimenze matice (počet úrovní šedi), μ střední hodnota, σ směrodatná odchylka Pozor na dělení 0 u homogenních ploch. Míra závislosti, často pro různě velká okna, analogie μ = 1.25, σ = ((0-1.25)*(0-1.25)*(0.1667) + ) / =0.66

21 Komplikovanější zápis vhodný snad pro algoritmizaci k i k j k i k j x d j i S i d j i S ,,,, 1 k i k j k i k j y d j i S j d j i S ,,,, 1 k i k j x k i k j i d j i S i d j i S ,,.,, 1 k i k j y k i k j j d j i S j d j i S ,,.,, 1 2. prostorová šedotónová závislost - korelace

22 předpoklad existence periodicky se opakujících struktur ve zkoumaném obraze struktury leží: ve vzájemných vzdálenostech d a ve směru Θ Ad 3) autokorelace míra opakování struktur vyjádřena autokorelací analogická míra ke korelaci odvozené z GLCM

23 f(i,j) = hodnota obrazové funkce v bodě f = střední hodnota obrazové funkce v obraze Jednoduše: aplikace výpočtu Pearsonova korelačního koeficientu r mezi hodnotami odsazenými ve stejném směru a kroku. Čitatel kovariance, jmenovatel směrodatné odchylky. m i n j m i n j m i n j f l j k i f f j i f f l j k i f f j i f AC ,.,,., 2 2 l k d l k tg Ad 3) autokorelace

24 Ad 4) statistické momenty statistické momenty viz statistické momenty pro obrazová primitiva Směrodatná odchylka, rozptyl, variační koef. atd. Nepříliš vhodné

25 Porovnání se vzorem Vyhledávání obrazových primitiv v obraze na základě porovnání se vzorem Porovnání na základě podobnosti (vzdálenosti, konvoluce, korelace) Korelace nejlepší výsledky (nejmenší ovlivnění rozdíly v jasu, v osvětlení) Vzor např. obdélník m x n, vyjádřený maticí obrazové funkce t(i,j), kde i=1,m a j=1, n.

26 Výpočty míry podobnosti Vzdálenost Konvoluce Korelace m k n l l k t l j k i f j i s ), ( 1) 1, ( ), ( m k n l l k t l j k i f j con i 1 1 ), ( 1)* 1, ( ), ( m k n l m k n l l k t x l j k i f j i con j i r ), ( 1) 1, ( ), ( ), (

27 Segmentace obrazu Významná součást automatizovaného zpracování obrazu. Provádí rozdělení obrazu na části. Každá část obrazu by měla po dokonalé segmentaci představovat celý jeden objekt obrazu Kalová

28 Metody segmentace obrazu Kalová

29 Metody segmentace obrazu Segmentace prahováním viz dříve Segmentace obrazu hran Kalová

30 Segmentace z obrazu hran sledování hranice Kalová

31 Segmentace z obrazu hran heuristické sledování hranice Kalová

32 Segmentace z obrazu hran určování hranice Opak Douglas- Peukerova algoritmu Kalová

33 Segmentace z obrazu hran aktivní kontury Kalová

34 Segmentace z obrazu hran level set Kalová

35 Segmentace založená regionálních metodách Dosud se hledaly hranice segmentů a teprve ze vzniklých hranic se konstruovaly segmenty. Regionální metody hledající segmenty přímo, zdola nahoru, od 1 pixelu po celý region. Výhoda - mnohem větší odolnost proti šumu než u detekce hran Nutnost definovat kritérium homogenity oblasti. mohou být založena na mnoha různých vlastnostech - úroveň šedi, barva, textura a podobně. Metody: Spojování oblastí Štěpení (dělení) oblastí Dělení a spojování oblastí matematické morfologie (záplava) Shluková analýza (mean shift, K-means)

36 Segmentace spojování oblastí Oblast vzniká postupným spojování homogenních oblastí Algoritmus (FRVS): 1. Definování počátečního rozdělení obrazu do velkého množství malých oblastí 2. Definování kritéria spojování dvou sousedních oblastí 3. Spojení sousedních oblastí, které vyhovují vybranému kritériu. Pokud již nelze spojit žádné dvě oblasti, aniž by bylo porušeno kritérium > konec spojování Příklad: Pokud rozdíl jasů dvou sousedních oblastí je menší než 5, pak tyto oblasti spoj.

37 Segmentace štěpení oblastí celý obraz se dělí tak dlouho, dokud podoblasti neodpovídají zvolenému kritériu. Postupy štěpení oblastí pracují se stejnými kritérii jako postupy spojování oblastí. Stejně jako u spojování oblastí i při této metodě se dosahuje různých výsledků.

38 Segmentace - dělení a spojování oblastí spojení dvou starších m. - region merging a region splitting. Obraz je postupně dělen na menší a menší oblasti do předem dané struktury a sousední oblasti se naopak zase spojují pokud splňují kritéria homogenity. Nejdříve definovat strukturu pro správu oblastí často čtyřstromy (quad tree).

39 Segmentace - dělení a spojování oblastí kritérium homogenity: Musí brát v úvahu - druh obrázku, vlastnosti předpokládaných objektů v obraze apod. Pokud víme, že objekty jsou tmavé a pozadí světlé, můžeme jako kritérium použít úroveň šedi v jednotlivých rozích daného čtverce, popřípadě průměrnou úroveň šedi celé oblasti Kritérium pro rozdělení oblastí nemusí nutně být stejné jako kritérium pro jejich spojení. Pak ale pozor na zacyklení výpočtu musí být opatření proti tomu. výpočetní náročnost kritéria. K přepočítávání určité části vlastností by mělo dojít při každém spojení či rozdělení oblastí.

40 Algoritmus dělení a spojování oblastí 1. Urči kritérium homogenity, pyramidovou datovou strukturu a její počáteční úroveň segmentace 2. Najdi regiony, které nejsou homogenní (a jsou menší než stanovený limit), rozděl je na čtyři podregiony, jinak jdi na krok 4 3. Je-li možné spojit některé ze vzniklých regionů do jednoho homogenního regionu, spoj je. Vrat se na krok Je-li možné spojit libovolné dva sousedící regiony do jednoho homogenního regionu, spoj je. 5. Je-li to nezbytné, odstraň nejmenší regiony spojením s nejpodobnějším sousedním regionem

41 Algoritmus odstranění malých segmentů 1. Najdi všechny regiony s počtem pixelů menším než Tmin. Všechny je vlož do množiny S. 2. Procházej postupně všechny prvky z množiny S a prováděj následující kroky, dokud S nebude prázdná: a) vymaž prvek z S. b) najdi pro prvek a nejpodobnější sousední region b z S. c) Spoj prvek a a region b do nového regionu c. d) Vymaž region b z S. e) Je-li c příliš malý region, přiřaď c do S.

42 Algoritmus označení oblastí 1. Vytvoř prázdný obraz labels o stejných rozměrech jako vstupní obraz g. 2. Procházej g pixel po pixelu z levého horního rohu po řádcích a prováděj následující kroky: a) Projdi sousedy daného pixelu a odpovídající masce na obrázku dole. Pro každý pixel masky b zjisti, zda má stejnou hodnotu g(a x ; a y ) jako daný pixel. Pokud ano, přidej jeho označení labels(b x ; b y ) do seznamu možných označení pro a. b) pokud je seznam možných označení prázdný, přiřaď pixelu a v labels(a x ; a y ) nové dosud nepoužité označení. c) Pokud seznam možných označení pro a obsahuje pouze jedno označení, přiřaď ho pixelu a. d) Pokud tento seznam obsahuje více než jedno označení, přiřaď do a nejnižší z nich a do tabulky rovností zanes skutečnost, že všechna označení ze seznamu označují jednu a tutéž oblast. 3. Projdi všechny pixely obrazu labels a každému přiřaď z tabulky rovností nejnižší číslo pro danou oblast. 2 sousedi pro 4-sousedství (a) a 4 sousedi pro 8-sousedství (b)

43 Seznam označení krok 1. Labels 1. Seznam označení další kroky Tab. rovností: 2=3 1=6

44 Labels 1. Labels finálně po náhradě z tab. rovností Tab. rovností: 2=3 1=6

45 Segmentace metodou záplava metoda matematické morfologie. Obrazová funkce je považována za funkci vytvářející reliéf krajiny. Konečný počet vzniklých segmentů je roven počtu lokálních minim (nížin). Výsledná segmentace je tvořena vodou, která pramení v nížinách a se stoupající hladinou zalévá okolní krajinu. V místě, kde se slévá voda ze dvou různých zřídel, se postaví hráz. Výpočet končí ve chvíli, kdy je celá krajina zalita vodou. Segmentace je dána rozmístěním hrází. citlivost na lokální minima -> citlivý na šum. Na příliš zašuměných obrazech dává přesegmentované výsledky. Lze zlepšit pomocí algoritmu odstranění malých segmentů. Je vhodné předzpracování k odstranění šumu a nežádoucích detailů - pomocí Gaussova filtru.

46 Algoritmus záplava (watershed) 1. Vytvoř vzestupný seznam úrovní Levels a každý pixel přiřaď do úrovně odpovídající jeho úrovni šedi. Vytvoř prázdný obraz watershed. 2. Pro každou úroveň od Lmin po Lmax proved následující kroky: a) Do obrazu watershed přidej všechny pixely z aktuální úrovně z Levels jako neoznačené. b) Ze všech označených pixelů proved rozlévání do neoznačených pixelů pomocí algoritmu prohledávání do šířky (breadth-first search). Rozlévání prováděj dokud to jde. c) Jsou-li v obraze watershed stále nějaké neoznačené pixely, označ všechny vzniklé jednolité oblasti novými jednoznačnými identifikátory (viz. algoritmus označení). 3. Je-li to nezbytné, odstraň příliš malé segmenty podle algoritmu odstranění malých segmentů.

47 Určení vnitřní hranice (Inner boundary) K popisu oblastí je možné využít charakteristik jejích hranic. K tomu je ale nutné tuto hranici v rastru identifikovat. Vnitřní hranicí je míněna hranice, která je celá součástí daného regionu. Algoritmus (platí pro osmisousedství): 1. Procházej obraz z levého horního rohu zleva doprava řádek po řádku. První bod dané oblasti zvol za startovací bod P0. 2. Do proměnné dir přiřaď počáteční směr 7 3. Prohledej sousedství 3x3 daného pixelu proti směru hodinových ručiček. Začni sousedem ve směru (dir + 6)mod8 pro liché dir a (dir +7)mod8 pro sudé dir. První pixel, který má stejnou hodnotu jako aktuální pixel, je další bod vnitřní hranice. 4. Zařaď nový bod P n do hranice a do dir přiřaď poslední prohledávaný směr, tedy směr z P n-1 do P n. 5. Je-li nynější bod P n stejný jako bod P 1 a P n-1 stejný jako P 0, ukonči prohledávání. Není-li tomu tak, pokračuj krokem Detekovaná hranice oblasti je reprezentovaná seznamem P 0.P n-2.

48 Určení vnitřní hranice (Inner boundary) [1, 1] A = P0. dir=7 (dir + 6)mod8 = (7+6)mod8=5 Hledej od 1,1 od směru 5 proti směru hod.ruč. První stejný na pozici [1,2] = Pn Hranice ([1,1],[1,2]), dir = 6 (dir +7)mod8 = (6+7)mod8 = 5 Hledej od [1,2] od směru 5 proti směru hod.ruč. První stejný na pozici [1,3] = Pn Hranice ([1,1], [1,2], [1,3] ), dir = 6 (dir +7)mod8 = (6+7)mod8 = 5 Hledej od [1,3] od směru 5 proti směru hod.ruč. První stejný na pozici [1,4] = Pn Hranice ([1,1], [1,2], [1,3], [1,4]), dir = 6 (dir +7)mod8 = (6+7)mod8 = 5 Hledej od [1,4] od směru 5 proti směru hod.ruč. První stejný na pozici [2,4] = Pn Hranice ([1,1], [1,2], [1,3], [1,4], [2,4]), dir = 0 (dir +7)mod8 = (0+7)mod8 = 7 Hledej od [2,4] od směru 7 proti směru hod.ruč. První stejný na pozici [3,3] = Pn Hranice ([1,1], [1,2], [1,3], [1,4], [2,4], [3,3]), dir = 1 (dir + 6)mod8 = (1+6)mod8=7 Hledej od [3,3] od směru 7 proti směru hod.ruč. První stejný na pozici [3,2] = Pn Hranice ([1,1], [1,2], [1,3], [1,4], [2,4], [3,3], [3,2]), dir = 2 (dir +7)mod8 = (2+7)mod8 = 1 Hledej od [3,2] od směru 1 proti směru hod.ruč. První stejný na pozici [4,1] = Pn Hranice ([1,1], [1,2], [1,3], [1,4], [2,4], [3,3], [3,2], [4,1], [3,1], [2,1], [1,1], [1,2],). Splněna podmínka konce P n = P 1 a P n-1 = P 0 Výsledná vnitřní hranice P 0.P n-2 = ([1,1], [1,2], [1,3], [1,4], [2,4], [3,3], [3,2], [4,1], [3,1], [2,1])

49 Určení vnitřní hranice (inner boundary) Seznam bodů vnitřní hranice je seřazen proti směru hodinových ručiček. Algoritmus pracuje správně pro všechny regiony větší než jeden pixel. Pokud obsahuje díry: stačí pouze v kroku 2 do proměnné dir přiřadit hodnotu 1 místo 7 seznam bodů vnitřní hranice je pak seřazen po směru hodinových ručiček Podstatná výhoda stejný algoritmus pro hledání hranice s vnějšími oblastmi (start dir=7) a s vnitřními oblastmi (start dir=1)

50 Texturální statistické míry pro segmenty Segmenty malé, relativně homogenní plochy Posuzujeme jejich vnitřní variabilitu (textura, podobně jako u obrazu, lokální metody) Posuzujeme variabilitu množiny segmentů pomocí charakteristik DN uvnitř každého segmentu: aritmetický průměr, rozptyl, koef. šikmosti, koef. špičatosti, medián, modus, maximum, minimum, průměrnou hodnotu řádkové digitální parciální derivace (řádkového gradientu) průměrnou hodnotu sloupcové digitální parciální derivace (sloupcového gradientu) průměrnou hodnotu libovolné lokální texturální míry výsledek sada charakteristik (např. σ 2 1,σ 2 2, σ 2 3,.) u nichž se posoudí variabilita

51 Výpočty základních stat.char. Aritmetický průměr Ef(i,j) Rozptyl Koeficient šikmosti špičatost i, j Ef i, j 2 2 Ef 3 2 Ef i, j3ef i, j. Ef ( i, j) 2Ef i j 3 Ef 3, 3 2 i, j Ef i, jef i, j 6Ef i, jef i, j 2 3Ef i j 4 4 4,

52 Rozpoznávání objektů Segmentace nám rozdělí obrázek na jednotlivé oblasti zájmu. U těchto oblastí nejdříve definujeme charakteristiky, které reprezentují daný objekt. Charakteristiky závisí na typu objektu, který rozpoznáváme. Například rozpoznáváme-li řeky od jezer, budeme jako charakteristiku volit kulatost objektu (podlouhlost) a případně barvu. Základní charakteristiky (FRVS): barva, může být průměrná nebo jenom středu objektu. V barevných obrázcích můžeme jako barvu použít hodnotu jednotlivých RGB složek. Nebo použít jiný barevný systém (HSV, Lab) a používat například jen jednu barevnou složku. Konvexnost, konkávnost parametr, který udává, jak je objekt konvexní nebo konkávní tvar objektu kulatost, excentricita momentové příznaky plnost objektu poměr obsahu konvexní obálky k obsahu objektu

53 Detekce geometrických primitiv Houghova transformace Vstup binární obraz detekovaných hran

54 Houghova transformace - detekce přímek Kalová

55 Houghova transformace - detekce přímek Kalová

56 Houghova transformace - detekce přímek Kalová Určí parametry přímek, tvořících hlavní hrany v obraze

57 Houghova transformace - detekce kružnic Kalová

58 Houghova transformace - zobecnění Kalová

59 Kalová Houghova transformace - zobecnění =posun

60 Analýza obrazu založená na objektech Object Based Image Analysis OBIA skupina zpracovatelských přístupů rozšiřuje možnosti tradiční tzv. bodové klasifikace

61 proces zpracování obrazu: OBIA vznikají části (segmenty), odpovídající konkrétním objektům pixelům konkrétního segmentu (objektu) přiřazeny hodnoty identifikátoru každý segment podobrazem zpracovaného obrazu splňuje jedno nebo více z následujících tvrzení: všechny pixely segmentu mají stejnou úroveň šedi všechny pixely segmentu se neliší úrovní šedi o více než předem požadovanou hodnotu všechny pixely segmentu jsou přijatelně homogenní (směrodatná odchylka)

62 OBIA algoritmy většina klasických algoritmů použitelná v DPZ omezeně neboť nespojují informace: spektrální prostorové a další podpůrné informace (např. kontext) použitelný algoritmus Baatz, Schäpe (2000)

63 Algoritmus Baatz - Schäpe pracuje s hodnotami číselných kódů pixelů a jejich sousedů vhodné sousední obrazové elementy a segmenty jsou spojovány do větších narůstání obrazových segmentů narůstání obrazových segmentů (region growing) začíná pro jednotlivé pixely po vzniku segmentů pokračuje pro existující segmenty

64 Algoritmus Baatz - Schäpe nalézání vhodných sousedních obrazových elementů a segmentů heuristický algoritmus spojení sousedních objektů nastane při splnění podmínky vhodnosti podmínka vhodnosti (fitting) posuzuje homogenitu resp. heterogenitu zpracovávaných segmentů heuristiku lze ovlivňovat stupni vhodnosti (degree of fitting)

65 Algoritmus Baatz - Schäpe vytváří obrazové segmenty na základě výpočtu: barevného kriteria (h color ) tvarového nebo prostorového kriteria (h shape ) výpočet segmentační funkce (S f )

66 Segmentační funkce segmentační funkce (S f ) S f w h 1 color color w color hshape w color váha pro spektrální barvu (definovaná uživatelem) w color umožňuje balancovat roli obou kriterií 0 w 1 color = vážený aritmetický průměr z kritérií h color a h shape

67 Barevné kriterium vyjadřuje spektrální (barevnou) různorodost h color obrazového objektu vážený aritm. průměr přes pásma h m k 1 w k k kde σ k směrodatná odchylka hodnot pásma k w k váha pro pásmo k m počet segmentovaných pásem

68 Tvarové kriterium posuzuje tvarovou různorodost (heterogenita) tvarové kriterium h shape využívá 2 odlišné metriky: kompaktnost (compactness) hladkost (smoothness)

69 Tvarové kriterium - kompaktnost cpt vyjadřuje odchylku od kompaktního tvaru (tj. nekompaktnost) kde l cpt n l obvod objektu (v počtu buněk) n počet pixelů, utvářejících obrazový objekt ideální 1, čím vyšší, tím méně kompaktní

70 Tvarové kriterium - kompaktnost cpt l n cpt l n cpt l n

71 Tvarové kriterium - hladkost hladkost - kritérium tvarové heterogenity hladkost kde l délka obvodu objektu b nejkratší délka obvodu čtyřúhelníka opsaného obrazovému objektu (paralelně k obrazovému rastru) stejné délkové jednotky udává odchylku od hladkého objektu (=nehladkost) robustnější kritérium než kompaktnost l b

72 Tvarové kriterium - hladkost hladkost b l l 8 l 16 hladkost 1 hladkost 1 b 8 b 16

73 Tvarové kriterium - hladkost l 14 l 10 l 14 hladkost 1 hladkost 1 hladkost 1 b 14 b 10 b 14

74 Tvarové kriterium - hladkost l 14 l 14 l 14 hladkost 1 hladkost 1 hladkost 1 b 14 b 14 b 14

75 Tvarové kriterium - hladkost l 14 l 14 hladkost 1,17 hladkost 1, 17 b 12 b 12

76 Tvarové kriterium - hladkost hladkost b l 22 1,22 18 hladkost b l 18 1,29 14

77 Tvarové kriterium tvarové kritérium h shape kde w cpt h cpt h shape w h 1 cpt cpt váha pro kritérium kompaktnosti uživatelem definovaná kritérium kompaktnosti (resp. nekompaktnosti) h smooth kritérium hladkosti (resp. nehladkosti) w cpt hsmooth 0 w 1 w cpt umožňuje balancovat roli obou metrik (dopočet váhy) Vážený aritmetický průměr hladkosti a kompaktnosti Větší hodnota více tvarově heterogenní objekt cpt

78 Spojování obrazových objektů změny barevného kriteria h color před spojením a po spojení změny tvarových kriterií h cpt a h smooth při spojování obrazových objektů

79 Barevné kriterium jako charakteristika změny při spojení barevné kriterium h vypočítáváno při spojování menších objektů do větších h m w k1 k n mg mg k n ob1 ob1 k n ob2 ob2 k kde w k váha pro k-té pásmo σ k směrodatná odchylka DN pro k-té pásmo z m pásem n ob velikost objektů ob1, ob2, (v pixelech) m počet segmentovaných pásem mg (merge) označení parametrů spojených objektů ob1, ob2 spojované obrazové objekty udává, kolik se liší variabilita spojeného objektu od součtu variabilit původních 2 objektů (a vážený průměr přes všechna pásma)

80 Spojování obrazových objektů h h cpt n smooth mg n l mg n ob1 n n velikost objektů ob1, ob2 (v pixelech) mg (merged) označení metrik spojených objektů ob1, ob2, spojované obrazové objekty mg n mg l b mg mg n ob1 l ob1 n ob1 l b ob1 ob1 ob2 n ob2 l ob2 n l b ob2 ob2 ob2 Obdobně jako u barevného kritéria. Jde o rozdíl mezi nový stavem a součtem předchozích charakteristik pro samostatné objekty.

81 Spojování obrazových objektů porovnává narůstající obrazové objekty s okolními pixely funkce okolí pixelu (pixel neighborhood function) možné parametry funkce: obr. a. obr. b. 4-sousedství 8-sousedství

82 Využití segmentace Tvorba objektů Detekce hledaných objektů Klasifikace obrazu (objektově orientovaná)

83 Příklad objektově-orientované klasifikace

84 Příklad objektově-orientované klasifikace

85 Závěr OBIA je vhodná pro obrazová data získaná distančním snímáním: z různých nosičů letouny (airborne) kosmické nosiče (spaceborne) v různých rozlišeních spektrálních prostorových výsledkem jsou vysoce homogenní obrazové objekty spektrálně prostorově

86 Literatura Baatz, M., Schäpe, A. (2000): Multiresolution Segmentation: an optimization approach for high quality multi-scale image segmentation. On-line: Berberoglu, S. and Curran, P.J. (2004): Merging spectral and textural information for classifying remotely sensed images. In, De Jong, S.M. and Van der Meer, F.D. (eds.) Remote Sensing Image Analysis: Including the Spatial Domain. Dordrecht, The Netherlands, Kluwer Academic, (Remote Sensing and Digital Image Processing, 5). On-line: Kalová I.: Segmentace obrazu a detekce obrazových primitiv Dobrovolný P.: Dálkový průzkum Země. Digitální zpracování obrazu. Brno 1998.