DZD DPZ 7 texture, segmentation, object oriented image analysis. Doc. Dr. Ing. Jiří Horák Institute of Geoinformatics VSB-TU Ostrava

Transkript

1 DZD DPZ 7 texture, segmentation, object oriented image analysis Doc. Dr. Ing. Jiří Horák Institute of Geoinformatics VSB-TU Ostrava

2 What is a texture? Difficult to define ambiguity of understanding texture means specific placement and configuration of repeated values (brightness, hue,..) in the image The measure of organisation or integrity of the areal objects. Areal variability of tones inside the image. s ohledem na rozsah může textura představovat též interakci jednotlivých tónů šedi nebo tónových primitiv v obrazu rozložení šedi (tónů) v okolí každého obrazového bodu vlastnost jednotlivých primitiv získaných segmentací obrazu Describes the whole image or only the image part

3 Type of texture Texture can be classified as rough danou výskytem skvrn, jejichž úrovně šedi se náhle mění na krátké vzdálenosti intermediate silky (smooth) malá variabilita úrovní šedi Rough texture is typical for heterogeneous areas with sudden land cover changes (forest with crown cover, rocky desert, ) Silky texture is displayed by uniform surfaces (asphalted areas, crop land, pasture, sandy deserts) roughness/smoothness of the texture is the output of the scale Larger scale means rougher texture Texture of the same location appers to be smoother in smaller scale

4 Why to digital process the texture? process: Texture enhancement for image interpolation using high frequency filters. Transformation into a new digital feature. Then the texture is one of the symptoms (features) usefull for classification - textural classifiers. Typical for radar images Transformation of the texture to enhance it We distinguish: Local characteristics Global characteristics - pro rozsáhlejší části obrazu nebo celý obraz

5 Local texture measures for each image point the function value using selected surroundings is calculated The function value new feature suitable for classification Functions (operators) are based on: gradients statistical measures Directional working only in certain direction Size of surroundings determines the globality of the calculated measurement

6 Gradient texture operator g, i, j min max f ( i, j) f ( i k, j) k1, N where f(i,j) = image function value in the image point (i,j) N = selected distance (size of surroundings) Search minimal value from 4 directions where the maximal difference has been calculated For grey scale images The variability of values inside the object is well characterised not influenced by the value of surrounding objects (at least 1 direction is fully inside the object and its difference will be selected) k1, N max f ( i, j) f ( i k, j), k1, N max f ( i, j) f ( i, j k), k1, N max f ( i, j) f ( i, j k)

7 g Example = = i, j min 50,50,51,52 50 max k1, N max k1, N max k1, N max k1, N f ( i, j) f ( i k, j) = 50 f ( i, j) f ( i k, j) = = = 50 f ( i, j) f ( i, j k) = = = 51 f ( i, j) f ( i, j k) = = = 52

8 where Correlation texture operator 2 i, j max min c f i, j, f i k, j c 2 (i,j) = correlation operator, f(i,j) = multispectral digital image value in the image point (i,j), N = selected distance (size of surroundings) For processing of multispectral image The calculation is more time consuming g, k1, N min c 2 f, k1, N i, j, f i k, j min c 2 f, k1, N min c 2 k1, N f i, j, f i, j k i, j, f i, j k

9 Local texture statistical measures For grey tone image Use statistical moments: Variance - Coefficient of variation skewness, kurtosis. measurements of central position are not suitable do not describe variability Enthropy (not statistical moment) Calculation for the given surroundings (5x5, 7x7, ) Large size of kernels p( i, j) f ( i, j) f ( i, j) 3 i1 j1 3 i1 j1 i1 j1 f ( i, j)

10 Textural classifiers i.e. analysis of spatial variability using standard deviation of DN in the window Possibility to reflect variable size of the window Large kernel size is required (even 64x64) => issues: Degradation of spatial resolution Substantial decrease of the output matrix the borders of the original raster are missing (window edges)

11 Textural classifiers Calculation of standard deviation for different sizes of convolution kernels (5x5, 7x7, 19x19), accompanied by the decrease of the image

12 Local textural measures measures of the coincidence with searched texture For grey scale image Specific texture enhancement required class of the object image The pattern characterizes the searched class of objects First, calculation of the specific texture of the interested class For each place probability of the correspondence between the local textural measure and the (required) textural measure of the interested object class Calculate for all pixels The output is the map of the probability of correspondence with required (interested) pattern

13 Global texture measures (full or part of image) measures: 1. Texture energy 2. Grey-level spatial dependency 3. autocorrelation 4. statistical moments

14 Ad 1) Texture energy Full image calculate Fourier spectrum using Fast Fourier transformation (FFT) see Four.transf. Specification of the texture from the evaluation of the Fourier spectrum Representation of low and high frequencies in the image

15 Ad 2) Grey-level spatial dependency Specify the grey tones in the image Table form: Grey Level Co-occurrence Matrix (GLCM) Grey Tone Spatial Dependency Matrix Square matrix How often each combination of DN values occurs (typical in neighbouring pixels) Normalization of the result (obtain the probability of occurrence) GLCM is used by majority of texture measures, usually as a weighted average of GLCM cells

16 Ad 2) Grey Level Co-occurrence Matrix define matrix GLCM/GTSDM S i, j d, for each sub-image Value of each matrix element Si, j d, is equal the number of pairs of image points for which following rules are valid : f(x) = i f(y) = j Y = X + (d.cosθ, d.sinθ) number of pairs of image points i, j Distance between the image points d Direction of the line connecting image points Θ Normalization divide frequencies by the sum. Obtain the probability of combination. Simple example d=1, Easting (compare the pixel and its eastern neighbour) Pixel a sousední hodnota ve východním směru

17 Ad 2 Grey Level Co-occurrence Matrix Following textural measures based on GLCM are used: Energy Contrast Correlation Entropy Homogeneity Dissimilarity Variance.

18 2. Grey Level Co-occurrence Matrix - energy Textural measure - energy E k k 2 d Si, j d,, i0 j0 k = matrix dimension (number of grey levels). suma čtverců normalizovaných hodnot přes matici GLCM Often repetition of the same frequency generates high number in GLCM => the local energy is high (0.1667) 2 +(0.1667) 2 +(0.0833) (0.1667) (0.25) = Energie celého obrazu je Nejmenší energie hypotetic. 16*(0.0625) 2 = Největší energie *0=1

19 Textural measure - contrast CON 2. GLCM - contrast k 2 d, i j. Si, j d, 2 i0 j0 k = matrix dimension (number of grey levels). k High frequency of image points with large differences in DN values (image values) => high contrast (0-0) 2 *(0.1667) 2 +(0-1) 2 *(0.1667) 2 + (0-2) 2 *(0.0833) = Na hlavní diagonále jsou 0. Kontrast celého obrazu je

20 Spatial grey-level dependency - correlation C d, 2. GLCM - correlation k k i x. j y. Si, j d, i0 j0. i k = matrix dimension (number of grey levels) μ mean, σ standard deviation Be aware to divide by 0 for homogeneous areas. The measure of dependency, often for different kernel sizes, analogy j μ = 1.25, σ = ((0-1.25)*(0-1.25)*(0.1667) + ) / =0.66

21 More complicated description suitable for algorithms k i k j k i k j x d j i S i d j i S ,,,, 1 k i k j k i k j y d j i S j d j i S ,,,, 1 k i k j x k i k j i d j i S i d j i S ,,.,, 1 k i k j y k i k j j d j i S j d j i S ,,.,, 1 2. GLCM - correlation

22 Assumption of the periodically repeated structures in the image structures are distributed: In the inter-object distances d In the direction Θ Ad 3) autocorrelation the measure of repeating is expressed by the autocorrelation Analogic to the correlation derived from the GLCM

23 f(i,j) = hodnota obrazové funkce v bodě f = střední hodnota obrazové funkce v obraze Simple: apply Pearson correlation coefficient r between points separated by the same lag (distance) in the same direction. The covariance as the numerator, standard deviations in the nominator. m i n j m i n j m i n j f l j k i f f j i f f l j k i f f j i f AC ,.,,., 2 2 l k d l k tg Ad 3) autocorrelation

24 Ad 4) statistical moments statistical moments Standard deviation, variance, coefficient of variation etc. Not too much suitable

25 Comparison with pattern Searching special image elements (objects) in the full image based on the comparison with the pattern Comparison is based on similarities (distance, convolution, correlation) correlation is the best (the lowest influence by the differences in brightness, in illumination) Pattern i.e. rectangle m x n, expressed by the matrix of image function t(i,j), where i=1,m and j=1, n.

26 Calculation of similarity measures Distance Convolution Correlation m k n l l k t l j k i f j i s ), ( 1) 1, ( ), ( m k n l l k t l j k i f j i con 1 1 ), ( 1)* 1, ( ), ( m k n l m k n l l k t x l j k i f j i con j i r ), ( 1) 1, ( ), ( ), (

27 Image segmentation Import part of the digital image processing and classification. The goal = image subdivision after perfect segmentation each image part should represent one whole object of the image Kalová

28 Methods of image segmentation Kalová

29 Methods of image segmentation Threshold based segmentation see previous chapters Edge based segmentation Variants: Edge is detected by edge detector (preprocessing) object borders are created from edges Edge is found as border pixels of the area with values (brigthness) different from background Apriori knowledge (i.e. approx. shape or colour of searched object) better segmentation Issues - missing edges, surplus edges, double edges Methods: Threshold based segmentation Border tracing (boundary based segmentation) heuristic graph searching border detection using border location information active contours without edges level set Hough transformation

30 Segmentation from the image of edges border tracing (boundary based segmentation) Unknown object borders, but the value (colour) of the object The border is generated by ringbarking (circulating around) object The record of the border by i.e. Freeman code Algorithm: 1. Go through the image row by row until you find the object colour 1. Search next elements of the object in the surrounding 3x3 according directions of the Freeman code. The new found point is the new starting point. 2. Finish when you returned to the 1st point (origin) Record: Kalová

31 Segmentation from the image of edges border detection as heuristic graph searching Using a graph where edges in the image are understand as edges in the graph Edges are connected in the graph Graph structure consisting of nodes (n i ) and edges {n i,n j }, edges may be assessed Generating of the graph set of rules using information about the size and orientation of the edge in each image point Graph searching simplification, improvement of graph connectivity edge relaxation, searching the shortest path, the minimal cost path Edge relaxation: The goal create continuous borders All border properties including information if some edge do exist or not (participation in the border) are iteratively improved (more accurate) until clear edge scheme Kalová The probability of each edge in the location is increased or decreased according to position and size of edges in the surroundings.

32 Segmentation from the image of edges border detection using border location information Known information about anticipated or probable position and shape of border: Around the anticipated position of the border the real border is searched find close edge pixels with similar orientation and approximate these point by appropriate curve Kalová Known origin and destination of the border: 2 borders elements are connected by the link, divide the link and create perpendicular bisectors, search real border points, iteratively divide new links and search new central real border point. = Reverse Douglas-Peucker algorithm Kalová

33 Segmentation from the image of edges active contours without edges Kalová Incremental forming of contours shape towards edges of the object in the image Iterative process, minimise energy active contour controlled closed contour which is deformed by the influence of internal, image and external forces Internal forces control the smoothness of the shape (breaks, curves) E N image forces push the contours towards edges of the object E I external forces resulting from the original location of the contour E T Contour discrete set of points p n [x n,y n ] Output location of contour local minimum of the contour energy Several procedures exist to measure these type of forces (energy)

34 Segmentation from the image of edges level set Similar to active contours, but shape of the curve is not changed directly but through level set function level set function is the multidimensional function (i.e. shape of conus) where the cross-section on the level xy (zero level set) specifies the starting curve level set function assign a height above/bellow the zero level set to each point of the XY plane The function surface is gradually adapted based on the given measurements of curvature and image gradients level set segmentation is more effective for complex objects with complicated shapes Kalová

35 Region based segmentation Dosud se hledaly hranice segmentů a teprve ze vzniklých hranic se konstruovaly segmenty. Regionální metody hledající segmenty přímo, zdola nahoru, od 1 pixelu po celý region. Výhoda - mnohem větší odolnost proti šumu než u detekce hran Nutnost definovat kritérium homogenity oblasti. mohou být založena na mnoha různých vlastnostech - úroveň šedi, barva, textura a podobně. Metody: Region Merging Region Splitting Splitting and Merging matematical morphology (Watershed transformation) Clustering methods (mean shift, K-means)

36 Segmentation Region Merging Oblast vzniká postupným spojování homogenních oblastí Algoritmus (FRVS): 1. Definování počátečního rozdělení obrazu do velkého množství malých oblastí 2. Definování kritéria spojování dvou sousedních oblastí 3. Spojení sousedních oblastí, které vyhovují vybranému kritériu. Pokud již nelze spojit žádné dvě oblasti, aniž by bylo porušeno kritérium > konec spojování Příklad: Pokud rozdíl jasů dvou sousedních oblastí je menší než 5, pak tyto oblasti spoj.

37 Segmentation štěpení oblastí celý obraz se dělí tak dlouho, dokud podoblasti neodpovídají zvolenému kritériu. Postupy štěpení oblastí pracují se stejnými kritérii jako postupy spojování oblastí. Stejně jako u spojování oblastí i při této metodě se dosahuje různých výsledků.

38 Segmentation - region merging and splitting spojení dvou starších m. - region merging a region splitting. Obraz je postupně dělen na menší a menší oblasti do předem dané struktury a sousední oblasti se naopak zase spojují pokud splňují kritéria homogenity. Nejdříve definovat strukturu pro správu oblastí často čtyřstromy (quad tree).

39 Segmentation - region merging and splitting kritérium homogenity: Musí brát v úvahu - druh obrázku, vlastnosti předpokládaných objektů v obraze apod. Pokud víme, že objekty jsou tmavé a pozadí světlé, můžeme jako kritérium použít úroveň šedi v jednotlivých rozích daného čtverce, popřípadě průměrnou úroveň šedi celé oblasti Kritérium pro rozdělení oblastí nemusí nutně být stejné jako kritérium pro jejich spojení. Pak ale pozor na zacyklení výpočtu musí být opatření proti tomu. výpočetní náročnost kritéria. K přepočítávání určité části vlastností by mělo dojít při každém spojení či rozdělení oblastí.

40 Algorithm for region merging and splitting 1. Urči kritérium homogenity, pyramidovou datovou strukturu a její počáteční úroveň segmentace 2. Najdi regiony, které nejsou homogenní (a jsou menší než stanovený limit), rozděl je na čtyři podregiony, jinak jdi na krok 4 3. Je-li možné spojit některé ze vzniklých regionů do jednoho homogenního regionu, spoj je. Vrat se na krok Je-li možné spojit libovolné dva sousedící regiony do jednoho homogenního regionu, spoj je. 5. Je-li to nezbytné, odstraň nejmenší regiony spojením s nejpodobnějším sousedním regionem

41 Algorithm for elimination of small segments 1. Najdi všechny regiony s počtem pixelů menším než Tmin. Všechny je vlož do množiny S. 2. Procházej postupně všechny prvky z množiny S a prováděj následující kroky, dokud S nebude prázdná: a) vymaž prvek z S. b) najdi pro prvek a nejpodobnější sousední region b z S. c) Spoj prvek a a region b do nového regionu c. d) Vymaž region b z S. e) Je-li c příliš malý region, přiřaď c do S.

42 Algorithm for region labeling 1. Vytvoř prázdný obraz labels o stejných rozměrech jako vstupní obraz g. 2. Procházej g pixel po pixelu z levého horního rohu po řádcích a prováděj následující kroky: a) Projdi sousedy daného pixelu a odpovídající masce na obrázku dole. Pro každý pixel masky b zjisti, zda má stejnou hodnotu g(a x ; a y ) jako daný pixel. Pokud ano, přidej jeho označení labels(b x ; b y ) do seznamu možných označení pro a. b) pokud je seznam možných označení prázdný, přiřaď pixelu a v labels(a x ; a y ) nové dosud nepoužité označení. c) Pokud seznam možných označení pro a obsahuje pouze jedno označení, přiřaď ho pixelu a. d) Pokud tento seznam obsahuje více než jedno označení, přiřaď do a nejnižší z nich a do tabulky rovností zanes skutečnost, že všechna označení ze seznamu označují jednu a tutéž oblast. 3. Projdi všechny pixely obrazu labels a každému přiřaď z tabulky rovností nejnižší číslo pro danou oblast. 2 sousedi pro 4-sousedství (a) a 4 sousedi pro 8-sousedství (b)

43 Seznam označení krok 1. Labels 1. Seznam označení další kroky Tab. rovností: 2=3 1=6

44 Labels 1. Labels finálně po náhradě z tab. rovností Tab. rovností: 2=3 1=6

45 Segmentation by watershed transformation metoda matematické morfologie. Obrazová funkce je považována za funkci vytvářející reliéf krajiny. Konečný počet vzniklých segmentů je roven počtu lokálních minim (nížin). Výsledná segmentace je tvořena vodou, která pramení v nížinách a se stoupající hladinou zalévá okolní krajinu. V místě, kde se slévá voda ze dvou různých zřídel, se postaví hráz. Výpočet končí ve chvíli, kdy je celá krajina zalita vodou. Segmentace je dána rozmístěním hrází. citlivost na lokální minima -> citlivý na šum. Na příliš zašuměných obrazech dává přesegmentované výsledky. Lze zlepšit pomocí algoritmu odstranění malých segmentů. Je vhodné předzpracování k odstranění šumu a nežádoucích detailů - pomocí Gaussova filtru.

46 Algorithm for watershed 1. Vytvoř vzestupný seznam úrovní Levels a každý pixel přiřaď do úrovně odpovídající jeho úrovni šedi. Vytvoř prázdný obraz watershed. 2. Pro každou úroveň od Lmin po Lmax proved následující kroky: a) Do obrazu watershed přidej všechny pixely z aktuální úrovně z Levels jako neoznačené. b) Ze všech označených pixelů proved rozlévání do neoznačených pixelů pomocí algoritmu prohledávání do šířky (breadth-first search). Rozlévání prováděj dokud to jde. c) Jsou-li v obraze watershed stále nějaké neoznačené pixely, označ všechny vzniklé jednolité oblasti novými jednoznačnými identifikátory (viz. algoritmus označení). 3. Je-li to nezbytné, odstraň příliš malé segmenty podle algoritmu odstranění malých segmentů.

47 Inner boundary tracing K popisu oblastí je možné využít charakteristik jejích hranic. K tomu je ale nutné tuto hranici v rastru identifikovat. Vnitřní hranicí je míněna hranice, která je celá součástí daného regionu. Algoritmus (platí pro osmisousedství): 1. Procházej obraz z levého horního rohu zleva doprava řádek po řádku. První bod dané oblasti zvol za startovací bod P0. 2. Do proměnné dir přiřaď počáteční směr 7 3. Prohledej sousedství 3x3 daného pixelu proti směru hodinových ručiček. Začni sousedem ve směru (dir + 6)mod8 pro liché dir a (dir +7)mod8 pro sudé dir. První pixel, který má stejnou hodnotu jako aktuální pixel, je další bod vnitřní hranice. 4. Zařaď nový bod P n do hranice a do dir přiřaď poslední prohledávaný směr, tedy směr z P n-1 do P n. 5. Je-li nynější bod P n stejný jako bod P 1 a P n-1 stejný jako P 0, ukonči prohledávání. Není-li tomu tak, pokračuj krokem Detekovaná hranice oblasti je reprezentovaná seznamem P 0.P n-2.

48 Inner boundary tracing [1, 1] A = P0. dir=7 (dir + 6)mod8 = (7+6)mod8=5 Hledej od 1,1 od směru 5 proti směru hod.ruč. První stejný na pozici [1,2] = Pn Hranice ([1,1],[1,2]), dir = 6 (dir +7)mod8 = (6+7)mod8 = 5 Hledej od [1,2] od směru 5 proti směru hod.ruč. První stejný na pozici [1,3] = Pn Hranice ([1,1], [1,2], [1,3] ), dir = 6 (dir +7)mod8 = (6+7)mod8 = 5 Hledej od [1,3] od směru 5 proti směru hod.ruč. První stejný na pozici [1,4] = Pn Hranice ([1,1], [1,2], [1,3], [1,4]), dir = 6 (dir +7)mod8 = (6+7)mod8 = 5 Hledej od [1,4] od směru 5 proti směru hod.ruč. První stejný na pozici [2,4] = Pn Hranice ([1,1], [1,2], [1,3], [1,4], [2,4]), dir = 0 (dir +7)mod8 = (0+7)mod8 = 7 Hledej od [2,4] od směru 7 proti směru hod.ruč. První stejný na pozici [3,3] = Pn Hranice ([1,1], [1,2], [1,3], [1,4], [2,4], [3,3]), dir = 1 (dir + 6)mod8 = (1+6)mod8=7 Hledej od [3,3] od směru 7 proti směru hod.ruč. První stejný na pozici [3,2] = Pn Hranice ([1,1], [1,2], [1,3], [1,4], [2,4], [3,3], [3,2]), dir = 2 (dir +7)mod8 = (2+7)mod8 = 1 Hledej od [3,2] od směru 1 proti směru hod.ruč. První stejný na pozici [4,1] = Pn Hranice ([1,1], [1,2], [1,3], [1,4], [2,4], [3,3], [3,2], [4,1], [3,1], [2,1], [1,1], [1,2],). Splněna podmínka konce P n = P 1 a P n-1 = P 0 Výsledná vnitřní hranice P 0.P n-2 = ([1,1], [1,2], [1,3], [1,4], [2,4], [3,3], [3,2], [4,1], [3,1], [2,1])

49 Inner boundary tracing Seznam bodů vnitřní hranice je seřazen proti směru hodinových ručiček. Algoritmus pracuje správně pro všechny regiony větší než jeden pixel. Pokud obsahuje díry: stačí pouze v kroku 2 do proměnné dir přiřadit hodnotu 1 místo 7 seznam bodů vnitřní hranice je pak seřazen po směru hodinových ručiček Podstatná výhoda stejný algoritmus pro hledání hranice s vnějšími oblastmi (start dir=7) a s vnitřními oblastmi (start dir=1)

50 Statistical texture measures for segments Segmenty malé, relativně homogenní plochy Posuzujeme jejich vnitřní variabilitu (textura, podobně jako u obrazu, lokální metody) Posuzujeme variabilitu množiny segmentů pomocí charakteristik DN uvnitř každého segmentu: aritmetický průměr, rozptyl, koef. šikmosti, koef. špičatosti, medián, modus, maximum, minimum, průměrnou hodnotu řádkové digitální parciální derivace (řádkového gradientu) průměrnou hodnotu sloupcové digitální parciální derivace (sloupcového gradientu) průměrnou hodnotu libovolné lokální texturální míry výsledek sada charakteristik (např. σ 2 1,σ 2 2, σ 2 3,.) u nichž se posoudí variabilita

51 Výpočty základních stat.char. Aritmetický průměr Ef(i,j) Rozptyl Koeficient šikmosti špičatost i, j Ef i, j 2 2 Ef 3 2 Ef i, j3ef i, j. Ef ( i, j) 2Ef i j 3 3, 3 2 i, j Ef i, jef i, j 6Ef i, jef i, j 2 3Ef i j Ef,

52 Determination of objects Segmentace nám rozdělí obrázek na jednotlivé oblasti zájmu. U těchto oblastí nejdříve definujeme charakteristiky, které reprezentují daný objekt. Charakteristiky závisí na typu objektu, který rozpoznáváme. Například rozpoznáváme-li řeky od jezer, budeme jako charakteristiku volit kulatost objektu (podlouhlost) a případně barvu. Základní charakteristiky (FRVS): barva, může být průměrná nebo jenom středu objektu. V barevných obrázcích můžeme jako barvu použít hodnotu jednotlivých RGB složek. Nebo použít jiný barevný systém (HSV, Lab) a používat například jen jednu barevnou složku. Konvexnost, konkávnost parametr, který udává, jak je objekt konvexní nebo konkávní tvar objektu kulatost, excentricita momentové příznaky plnost objektu poměr obsahu konvexní obálky k obsahu objektu

53 Detection of geometric primitives Hough transformation Vstup binární obraz detekovaných hran

54 Hough transformation to detect straight lines Kalová

55 Hough transformation to detect straight lines Kalová

56 Hough transformation to detect straight lines Kalová Určí parametry přímek, tvořících hlavní hrany v obraze

57 Hough transformation to detect circles Kalová

58 Hough transformation to detect common objects Kalová

59 Kalová Hough transformation to detect common objects =posun

60 Object Based Image Analysis Object Based Image Analysis OBIA skupina zpracovatelských přístupů rozšiřuje možnosti tradiční tzv. bodové klasifikace

61 proces zpracování obrazu: OBIA vznikají části (segmenty), odpovídající konkrétním objektům pixelům konkrétního segmentu (objektu) přiřazeny hodnoty identifikátoru každý segment podobrazem zpracovaného obrazu splňuje jedno nebo více z následujících tvrzení: všechny pixely segmentu mají stejnou úroveň šedi všechny pixely segmentu se neliší úrovní šedi o více než předem požadovanou hodnotu všechny pixely segmentu jsou přijatelně homogenní (směrodatná odchylka)

62 OBIA algorithms většina klasických algoritmů použitelná v DPZ omezeně neboť nespojují informace: spektrální prostorové a další podpůrné informace (např. kontext) použitelný algoritmus Baatz, Schäpe (2000)

63 Algorithm Baatz - Schäpe pracuje s hodnotami číselných kódů pixelů a jejich sousedů vhodné sousední obrazové elementy a segmenty jsou spojovány do větších narůstání obrazových segmentů narůstání obrazových segmentů (region growing) začíná pro jednotlivé pixely po vzniku segmentů pokračuje pro existující segmenty

64 Algorithm Baatz - Schäpe nalézání vhodných sousedních obrazových elementů a segmentů heuristický algoritmus spojení sousedních objektů nastane při splnění podmínky vhodnosti podmínka vhodnosti (fitting) posuzuje homogenitu resp. heterogenitu zpracovávaných segmentů heuristiku lze ovlivňovat stupni vhodnosti (degree of fitting)

65 Algorithm Baatz - Schäpe vytváří obrazové segmenty na základě výpočtu: barevného kriteria (h color ) tvarového nebo prostorového kriteria (h shape ) výpočet segmentační funkce (S f )

66 Segmentation function segmentační funkce (S f ) S f w h 1 color color w color hshape w color váha pro spektrální barvu (definovaná uživatelem) w color umožňuje balancovat roli obou kriterií 0 w 1 color = vážený aritmetický průměr z kritérií h color a h shape

67 Colour criteria vyjadřuje spektrální (barevnou) různorodost h color obrazového objektu vážený aritm. průměr přes pásma h m k1 w k k kde σ k směrodatná odchylka hodnot pásma k w k váha pro pásmo k m počet segmentovaných pásem

68 Shape criteria posuzuje tvarovou různorodost (heterogenita) tvarové kriterium h shape využívá 2 odlišné metriky: compactness smoothness

69 Shape criteria - compactness cpt vyjadřuje odchylku od kompaktního tvaru (tj. nekompaktnost) kde l cpt n l obvod objektu (v počtu buněk) n počet pixelů, utvářejících obrazový objekt ideální 1, čím vyšší, tím méně kompaktní

70 Shape criteria - compactness cpt l n cpt l n cpt l n

71 Shape criteria - smoothness smoothness - kritérium tvarové heterogenity hladkost kde l délka obvodu objektu b nejkratší délka obvodu čtyřúhelníka opsaného obrazovému objektu (paralelně k obrazovému rastru) stejné délkové jednotky udává odchylku od hladkého objektu (=nehladkost) robustnější kritérium než kompaktnost l b

72 Shape criteria - smoothness hladkost b l l 8 l 16 hladkost 1 hladkost 1 b 8 b 16

73 Shape criteria - smoothness l 14 l 10 l 14 hladkost 1 hladkost 1 hladkost 1 b 14 b 10 b 14

74 Shape criteria - smoothness l 14 l 14 l 14 hladkost 1 hladkost 1 hladkost 1 b 14 b 14 b 14

75 Shape criteria - smoothness l 14 l 14 hladkost 1,17 hladkost 1, 17 b 12 b 12

76 Shape criteria - smoothness l hladkost b 22 1,22 18 hladkost b l 18 1,29 14

77 Shape criteria tvarové kritérium h shape kde w cpt h cpt h shape w h 1 cpt cpt váha pro kritérium kompaktnosti uživatelem definovaná kritérium kompaktnosti (resp. nekompaktnosti) h smooth kritérium hladkosti (resp. nehladkosti) w cpt hsmooth 0 w 1 w cpt umožňuje balancovat roli obou metrik (dopočet váhy) Vážený aritmetický průměr hladkosti a kompaktnosti Větší hodnota více tvarově heterogenní objekt cpt

78 Joining image objects změny barevného kriteria h color před spojením a po spojení změny tvarových kriterií h cpt a h smooth při spojování obrazových objektů

79 Colour criteria as a change characteristics during object merging barevné kriterium h vypočítáváno při spojování menších objektů do větších h m w k1 k n mg mg k n ob1 ob1 k n ob2 ob2 k kde w k váha pro k-té pásmo σ k směrodatná odchylka DN pro k-té pásmo z m pásem n ob velikost objektů ob1, ob2, (v pixelech) m počet segmentovaných pásem mg (merge) označení parametrů spojených objektů ob1, ob2 spojované obrazové objekty udává, kolik se liší variabilita spojeného objektu od součtu variabilit původních 2 objektů (a vážený průměr přes všechna pásma)

80 Image object merging h cpt n mg l mg n mg n ob1 l ob1 n ob1 n ob2 l ob2 n ob2 h smooth n mg l b mg mg n ob1 l b ob1 ob1 n ob2 l b ob2 ob2 n velikost objektů ob1, ob2 (v pixelech) mg (merged) označení metrik spojených objektů ob1, ob2, spojované obrazové objekty Obdobně jako u barevného kritéria. Jde o rozdíl mezi nový stavem a součtem předchozích charakteristik pro samostatné objekty.

81 Image object merging porovnává narůstající obrazové objekty s okolními pixely funkce okolí pixelu (pixel neighborhood function) možné parametry funkce: obr. a. obr. b. 4-sousedství 8-sousedství

82 Using segmentation Tvorba objektů Detekce hledaných objektů Klasifikace obrazu (objektově orientovaná)

83 Příklad objektově-orientované klasifikace

84 Příklad objektově-orientované klasifikace

85 Závěr OBIA je vhodná pro obrazová data získaná distančním snímáním: z různých nosičů letouny (airborne) kosmické nosiče (spaceborne) v různých rozlišeních spektrálních prostorových výsledkem jsou vysoce homogenní obrazové objekty spektrálně prostorově

86 Literatura Baatz, M., Schäpe, A. (2000): Multiresolution Segmentation: an optimization approach for high quality multi-scale image segmentation. On-line: Berberoglu, S. and Curran, P.J. (2004): Merging spectral and textural information for classifying remotely sensed images. In, De Jong, S.M. and Van der Meer, F.D. (eds.) Remote Sensing Image Analysis: Including the Spatial Domain. Dordrecht, The Netherlands, Kluwer Academic, (Remote Sensing and Digital Image Processing, 5). On-line: Kalová I.: Segmentace obrazu a detekce obrazových primitiv Dobrovolný P.: Dálkový průzkum Země. Digitální zpracování obrazu. Brno 1998.