Analýza obrazu I. Jan Macháček Ústav skla a keramiky VŠCHT Praha

Transkript

1 Analýza obrazu I Jan Macháček Ústav skla a keramiky VŠCHT Praha

2 Obsah digitální obraz binární obraz matematická morfologie & měření příklady aplikací AO ukázky

3 Reference doporučená literatura The Image Processing Handbook John C. Russ, CRC Press 2007 doporučený software NIS-Elements verze 3.0 doporučené www stránky micro.magnet.fsu.edu/primer/ digitalimaging

4 Definice úprava obrazu vstup: digitalizovaný obraz (mikroskop, fotoaparát, skenr,...) výstup: upravený obraz (jas, kontrast, ořez, vyvážení bílé,...) analýza obrazu vstup: opět digitalizovaný obraz výstup: charakteristika objektů v obraze (počet, rozměr, orientace,...)

5 Definice příklad na úvod vstup: - letecká fotografie lesa a skladu dřeva - poloha, datum a čas výstup: - výška stromů v lese - objem vytěženého dřeva /Russ 2007/

6 /Russ 2007/ Digitální obraz rozlišení digitálního obrazu Počet obrazových bodů (pixelů) a) 256x256 b) 128x128 c) 64x64 d) 32x odstínů šedé

7 /Russ 2007/ Digitální obraz barevná hloubka digitálního obrazu Počet odstínů šedé a) 32 b) 16 c) 8 d) 4 256x256 pixelů

8 Digitální obraz barevné modely: RGB - aditivní míchání 3 barevné kanály a) R+G+B = bílá (W) b) R = červená c) G = zelená d) B = modrá RGB CMY /Russ 2007/

9 Digitální obraz barevné modely: CMY - subtraktivní míchání 3 barevné kanály a) C+M+Y = černá (K) b) C = azurová c) M = purpurová d) Y = žlutá RGB CMY /Russ 2007/

10 /Russ 2007/ Digitální obraz barevné modely: RGB a CMY kombinace barevných kanálů a) B+R = M b) B+G = C c) R+G = Y d) C+Y = G e) C+M = B f) Y+M = R g) R+G+B = W h) C+M+Y = K

11 Digitální obraz barevné modely: HSV (H) Odstín (0-360 ) (S) Sytost (0-100%) (V) Jas (0-100%)

12 /Russ 2007/ Digitální obraz barevné modely: HSI (HLS) (H) Odstín (0-360 ) (S) Sytost (0-100%) (I) Intenzita (0-100%)

13 Digitální obraz rozklad digitálního obrazu (a) do RGB (b-d) a HSI (e-g) Důvod: lepší separace objektů /Russ 2007/

14 Barva viditelné spektrum a barevné vnímání lidského oka - různá spektra p( ), ale jedna barva

15 barevné modely: CIE XYZ (1931) - tři typy čípků pro různé vlnové délky - standardní kolorimetrické funkce odezvy lidského oka Barva d z p Z d y p Y d x p X ) ( ) ( ) ( ) ( ) ( ) (

16 Barva barevné modely: CIE XYZ (pokračování I.) - kužel v prostoru XYZ - XYZ jsou kladné, neviditelné - intenzita (jas) = X + Y + Z - barva = jas + chromaticita jas (1D), chromaticita (2D)

17 Barva barevné modely: CIE XYZ (pokračování II.) - řez pro X + Y + Z = 1 a průmět podle Z-ové osy - chromaticita je dána souřadnicemi x a y. x = X / (X + Y + Z) y = Y / (X + Y + Z) - Vlastnosti: 1) W, K, R, G, B, C, M, Y 2) sytost, odstín, jas 3) míchání barev, komplementarita

18 Barva barevné modely: CIE XYZ (pokračování III.) - gamut je rozmezí barev, které může zařízení zobrazit. - Příklady: 1) lidské oko (barva) 2) monitor (černá) 3) tiskárna (bílá) - teplota barvy - záření černého tělesa

19 Barva barevné modely: CIE XYZ (pokračování III.) - gamut je rozmezí barev, které může zařízení zobrazit. - Příklady: 1) lidské oko (barva) 2) monitor (černá) 3) tiskárna (bílá) - teplota barvy - záření černého tělesa (modrá)

20 Barva další barevné modely: - CIE LUV (intuitivní vzdálenost mezi odstíny) L=jas, U=sytost, V=odstín - CIE Lab (intuitivní vzdálenost mezi odstíny) L=jas, a=r<->g, b=b<->y - YCrCb Y=jas, Cr=R<->Y, Cb=B<->Y - YUV, Y=jas (obrázek) NTSC, PAL Více na wikipedia.org

21 Digitální obraz formát obrazového dokumentu pro OA (např. JPEG2000) 1) Anotační vrstva vektorové objekty, šipky, poznámky, interakt. měření 2) Binární vrstva rastrový obraz Č/B vymezení oblastí 3) Obrazová vrstva až 32 kanálů a 16 bitů na kanál RGB, fluorescence 4) Sekvence Z, T, /LIM 2006/

22 Stupeň šedi, x Kalibrace kalibrace je nutná pro kvantitativní měření 1) Rozměr - snímá se objekt o známé velikosti a určí se převodní vztah mezi délkou v pixelech a skutečnou délkou - pro každý objektiv zvlášť 2) Osvětlení - důležité pro fotometrická a denzitometrická měření - kalibrační křivka, vztah mezi intenzitou světla (I) a stupněm šedi (x): x = {A(I + I 0 )} y 1 A je koeficient zesílení I 0 je koeficient offsetu standardů, šeď nebo R,G,B Intenzita osvětlení, I

23 /Russ 2007/ Kalibrace kalibrace je nutná pro kvantitativní měření 3) Nehomogenní pozadí (nejčastěji nehomogenní osvětlení) i. odečtení obrazu pozadí ii. vyrovnání barevných kanálů iii. aproximace pozadí funkcí ad i. manuální varianta a) snímek s objektem b) pouze pozadí c) snímek po odečtení pozadí

24 /Russ 2007/ Kalibrace kalibrace je nutná pro kvantitativní měření 3) Nehomogenní pozadí (nejčastěji nehomogenní osvětlení) i. odečtení obrazu pozadí ii. vyrovnání barevných kanálů iii. aproximace pozadí funkcí ad i. automatická varianta "rank leveling" a) původní snímek c) nejtmavější pixel v oktagon. matici 5x5 d) opakování dilatace e) odečtení d od a f) úprava kontrastu

25 /Russ 2007/ Kalibrace kalibrace je nutná pro kvantitativní měření 3) Nehomogenní pozadí (nejčastěji nehomogenní osvětlení) i. odečtení obrazu pozadí ii. vyrovnání barevných kanálů iii. aproximace pozadí funkcí ad ii. a) oční pozadí b) R kanál c) G kanál d) G/R

26 /Russ 2007/ Kalibrace kalibrace je nutná pro kvantitativní měření 3) Nehomogenní pozadí (nejčastěji nehomogenní osvětlení) i. odečtení obrazu pozadí ii. vyrovnání barevných kanálů iii. aproximace pozadí funkcí ad iii. manuální varianta a) výběr objektu a pozadí b) pozadí jako polynom c) odečtení pozadí 2 B(x,y) a a x a y a x a 4 y 2 a 5 xy a 6 x 3 a 7 x 2 y a 8 xy 2 a 9 y 3

27 /Russ 2007/ Kalibrace kalibrace je nutná pro kvantitativní měření 3) Nehomogenní pozadí (nejčastěji nehomogenní osvětlení) i. odečtení obrazu pozadí ii. vyrovnání barevných kanálů iii. aproximace pozadí funkcí ad iii. automatická varianta a) profil intenzity b) vyrovnání profilu

28 Úprava obrazu histogram intenzity rozdělení pixelů podle jasu - obraz v odstínech šedi 1 histogram - barevný obraz 3 histogramy - více-kanálový obraz každý kanál jeden /Russ 2007/

29 Úprava obrazu transformace histogramu jas: posun vlevo-vpravo (menší-větší) kontrast: rozšíření-zúžení (větší-menší) gama: exponenciální zesvětlení-ztmavení stínů inverze: komplementární barva vyrovnání: linearizace kum. histogramu vyvážení bílé: normalizace podle "bílého bodu" tónové křivky: transformace intenzity, x'=f(x) LUT: Look-Up-Tables - interaktivní histogramy

30 Úprava obrazu filtrování obrazu v reálném a reciprokém prostoru např. vyhlazení, rozmazání, ostření, detekce hran, reliéf, moirée (periodický šum). Konvoluce multipixelová operace, pixel se mění v závislosti na okolí

31 Úprava obrazu filtrování obrazu v reálném a reciprokém prostoru odstranění náhodného šumu mediánový filtr: intenzitu pixelu nahradí mediánem intenzit (8) okolních pixelů (hlavně na kontrastní obrazy, čistí plochy a zachovává hrany) top-hat filtr: změní vnitřek (bílou oblast) pokud její intenzita přesahuje (o tolik a tolik) intenzitu lemu (světle šedá oblast)

32 Měření jednoduché interaktivní měření 1) délka 2) úhel 3) poloměr 4) plocha 5) hustota 6) počet 7) taxonomie 100 m

33 Měření automatizované měření 1) úprava obrazu (filtrace) 2) prahování (segmentace) 3) úprava binárního obrazu (matematická morfologie) 4) měření - objektové (charakteristika objektů) - texturální (týká se celé plochy)

34 Úprava obrazu histogram intenzity rozdělení pixelů podle jasu metalografický nábrus v odstínech šedé /Russ 2007/

35 Binární obraz prahování (segmentace) pixely jsou rozděleny podle intenzity na popředí (objekt) a pozadí

36 Binární obraz prahování (segmentace) lze vybrat i střední pás histogramu

37 Binární obraz binární obraz {0,1}, {černá, bílá} - charakterizace (plocha, obvod, délka, počet, orientace,...) - úprava obrazu pomocí matematické morfologie

38 Binární obraz základy matematické morfologie I - příklady eroze zavření originál dilatace 1 iterace, 8 konektivita matice 9 otevření

39 Binární obraz základy matematické morfologie - základní pojmy strukturní element (matice, kernel): mění hodnotu obrazového bodu; např. při dilataci 0->1 když je soused 1, jinak nedělá nic konektivita: udává jestli jsou dva sousední body součástí jednoho objektu; čtvercová mřížka může mít 4- a 8-konektivitu počet iterací: udává kolikrát byla transformace provedena

40 Binární obraz základy matematické morfologie I - komentář Eroze: Objekty se po provedení eroze zmenší, neboť se ubere z jejich okrajů. Je-li objekt nebo úzký výběžek menší, než ubíraná šířka, zmizí z obrazu. Dilatace: Po dilataci jsou objekty zvětšeny, což znamená, že k objektu je přidána slupka. Je-li vzdálenost mezi dvěma objekty menší, než dvojnásobná tloušťka slupky, objekty se spojí. Je-li otvor v objektu užší, než dvojnásobná tloušťka slupky, zmizí z obrazu. Otevření: Je vlastně eroze následovaná dilatací, takže velikost objektů se nijak významně nemění. Otevření vyhlazuje kontury, maže malé objekty a rozpojuje částice spojené tenkou šíjí. Zavření: Je dilatace následovaná erozí, takže velikost objektů není podstatně dotčena. Vyhladí obrysy, zaplní malé díry a vyhladí obrys tím, že zaplní malé okrajové trhliny. Též může spojit blízké objekty.

41 Binární obraz základy matematické morfologie II - příklady vyčištění obrysy originál vyplnění děr 1 iterace, 8 konektivita matice 9 vyhlazení

42 Binární obraz základy matematické morfologie II - komentář Vyčištění: Je též nazýváno geodesickým otevřením. Nejprve eroduje obraz, takže malé objekty mizí. Pak jsou zbývající objekty rekonstruovány do jejich původní velikosti a tvaru. Výhoda tohoto postupu je ta, že malé objekty zmizí, ale zbytek obrazu zůstane nedotčen. Vyplnění děr: Plní díry uvnitř obrazu. Tato operace je užitečná například při detekci hranic objektů, neboť objekty mají bohatou vnitřní strukturu s intenzitami typickými pro pozadí a hranice. Po této operaci jsou díry transformovány na uzavřené oblasti. Obrysy: Tato transformace transformuje binární obraz do jeho obrysů. Vyhlazení: Vyhlazuje obrysy binárního obrazu.

43 Binární obraz základy matematické morfologie III - příklady morfo-separace mezní eroze originál konvexní obálka 1 iterace, 8 konektivita matice 9 skeletonizace

44 Binární obraz základy matematické morfologie III - komentář Morfologická separace: Tato transformace detekuje spojené objekty a vzájemně je od sebe separuje. Konvexní obálka: je definována jako průnik všech polorovin, které obsahují objekt, tj. nejmenší konvexní množina, která pokrývá objekt. Skeletonizace: A skeleton includes medial lines of an object e.g. pixels with two or more equidistant nearest boundary points. It contains lines of thickness one pixel. This function preserves homotopy. It means, roughly saying, that any object is transformed to another one with the same number of holes and no object is split. Mezní eroze: Sequentially erodes binary image, but leaves the small area that would completely disappear in the next erosion. Optionally, you can dilate these seed points. Ultimate Erosion dialog box appears.

45 Binární obraz základy matematické morfologie IV - příklady homotopní značení zesílení originál střední osa - iterace, 8 konektivita matice 9 zóny vlivu

46 Binární obraz základy matematické morfologie IV - komentář Homotopní značení: Homotopic marking is a sequential homotopic thinning. It is used for marking objects. A filled object (with no holes) is transformed to a single point. Every hole leaves a closed contour. Střední osa:... Zesílení: Dilates a binary image without touching. The Thickening dialog box appears. Zóny vlivu: Zones of influence are separated by the pruned skeleton from background. It is a four connectivity line. Points that belong to one zone of influence have the nearest distance to the boundary of the same object.

47 Binární obraz logické operace s binárním obrazem AND = průnik OR = sjednocení XOR = non-ekvivalence / = rozdíl A/B / = rozdíl B/A

48 Binární obraz měřené charakteristiky objektů Plocha: počet pixelů objektu Obvod: *(Pr 0 +Pr 45 +Pr 90 +Pr 135 )/4 (NIS) Délka: (obvod + odmocnina(obvod 2-16*plocha))/4 Šířka: plocha/délka Maximální Feretův průměr: nejdelší rozměr objektu Minimální Feretův průměr: nejkratší rozměr objektu Orientace: úhel maximálního Feretova průměru Prodloužení: MaxFeret/MinFeret Ekvivalentní průměr: odmocnina(4*plocha/ ) Kruhovost: 4* *plocha/obvod 2 Frakce: plocha/celková_plocha

49 Binární obraz měřené charakteristiky objektů - PŘÍKLAD Plocha: 2031 px 2 Obvod: px Délka: px Šířka: 15.5 px MaxFeret: 70.0 px MinFeret: 50.0 px Orientace: 40.0 Prodloužení: 1.4 EkvivalPrůměr: 50.9 px Kruhovost: 0.28

50 Měření automatizované měření Měřící rámeček: Částice, které se dotýkají levého nebo dolního okraje, jsou při objektovém měření vyloučeny ze statistiky. Naopak částice, které se dotýkají horního a pravého okraje, jsou do statistiky zahrnuty.

51 Příklady popraskaná skleněná vlákna - operace uzavření a) originál; b) prahování; c) uzavření /Russ 2007/

52 /Russ 2007/ Příklady počítání červených krvinek - logické operace s obrazem a) originál; b) prahování; c) inverze; d) odečtení spojitého pozadí; e) sjednocení b a d; f) vyčištění malých a krajních objektů, separace objektů

53 Příklady kapky tuku - rozdělení podle velikosti a) originál; b) prahování; c) měření; d) histogram /Russ 2007/

54 Příklady otisky a vlákna - skeleton - skeletonizace vláken celulózy pro měření počtu vláken - otisk prstu a) a jeho topologie pomocí skeletonu (b) /Russ 2007/ /Russ 2007/

55 Příklady tkáň a rýže - orientace objektů - orientace buněk ve tkáni - orientace zrnek rýže (a-c) /Russ 2007/ /Russ 2007/