Integrální transformace obrazu

Transkript

1 Integrální transformace obrazu David Bařina 26. února 2013 David Bařina Integrální transformace obrazu 26. února / 74

2 Obsah 1 Zpracování signálu 2 Časově-frekvenční rozklad 3 Diskrétní Fourierova transformace 4 Diskrétní kosinová transformace 5 Gaborova transformace 6 Vlnková transformace Diskrétní vlnková transformace Dvourozměrná diskrétní vlnková transformace Používané vlnky Aplikace David Bařina Integrální transformace obrazu 26. února / 74

3 Motivace Cíle dekorelace dat, rozklad signálu na stavební kameny získat časově frekvenční popis signálu Aplikace zjištění polohy a trvání daného jevu detekce hran komprese odstranění šumu vodoznaky (watermarking) doplnění chybějících částí (inpainting) David Bařina Integrální transformace obrazu 26. února / 74

4 Značení a zkratky f (t) spojitý signál f [n] diskrétní signál ˆf (ω), ˆf [k] Fourierova transformace z komplexní sdružení k z ψ vlnka FT, DFT (diskrétní) Fourierova transformace CT, DCT (diskrétní) kosinová transformace WT, DWT (diskrétní) vlnková transformace David Bařina Integrální transformace obrazu 26. února / 74

5 Signál veličina závislá na čase (t), frekvenci (f ), poloze (x, y) stacionární vs. nestacionární signál filtrace: potlačuje/zesiluje komponenty signálu lineární vs. nelineární filtrace David Bařina Integrální transformace obrazu 26. února / 74

6 Lineární filtrace filtr H(z) impulsní charakteristika, frekvenční charakteristika filtr FIR, IIR x[n] b[0] + y[n] z 1 z 1 x[n 1] b[1] a[1] y[n 1] z 1 z 1 x[n 2] b[2] a[2] y[n 2] konvoluce podle účelu: dolní/horní/pásmová propust David Bařina Integrální transformace obrazu 26. února / 74

7 Konvoluce odezva LTI systému (f g)(t) = = f (τ) g(t τ) dτ f (t τ) g(τ) dτ (f g)[n] = m = m f [m] g[n m] f [n m] g[m] David Bařina Integrální transformace obrazu 26. února / 74

8 Vzájemná korelace (cross korelace) podobnost tvarů signálů, odpovídá skalárnímu součinu (f g)(t) = = f (τ) g(t + τ) dτ f (τ t) g(τ) dτ (f g)[n] = m = m f [m] g[n + m] f [m n] g[m] David Bařina Integrální transformace obrazu 26. února / 74

9 Konvoluční jádra David Bařina Integrální transformace obrazu 26. února / 74

10 Integrální transformace jednotící koncept F (n) = f (t) ψ(t, n) dt ψ... jádro transformace f (t) = F (n) ψ 1 (n, t) dn ψ 1... inverzní jádro (nemusí existovat) David Bařina Integrální transformace obrazu 26. února / 74

11 Fourierova transformace převod mezi časovou a frekvenční oblastí ˆf (ω) = + f (t) e iωt dt frekvence spektrum f (t) = 1 2π + ˆf (ω) e iωt dω David Bařina Integrální transformace obrazu 26. února / 74

12 Časově-frekvenční rovina David Bařina Integrální transformace obrazu 26. února / 74

13 Časová oblast Diracův nebo jednotkový impulz David Bařina Integrální transformace obrazu 26. února / 74

14 Frekvenční analýza Fourierova transformace David Bařina Integrální transformace obrazu 26. února / 74

15 Časově-frekvenční analýza Krátkodobá Fourierova transformace (STFT) reálné symetrické okno g u,ω (t) = e iωt g(t u) spektrogram S f (u, ω) = Gaborova transformace g(x) = + f (t) g(t u) e iωt dt S f (u, ω) 2 α/πe αt2 α R + David Bařina Integrální transformace obrazu 26. února / 74

16 Časově-frekvenční analýza krátkodobá Fourierova transformace David Bařina Integrální transformace obrazu 26. února / 74

17 Časově-frekvenční analýza vlnková transformace David Bařina Integrální transformace obrazu 26. února / 74

18 Diskrétní Fourierova transformace (DFT) diskrétního (komplexního) signálu délky N ˆf [k] = pro 0 k < N, ˆf komplexní f [n] = 1 N N 1 n=0 N 1 k=0 stejnosměrná složka (DC) pro k = 0 složitost O(N 2 ), FFT O(N log 2 N) f [n] e i 2π N kn ˆf [k] e i 2π N kn David Bařina Integrální transformace obrazu 26. února / 74

19 2D DFT separabilní David Bařina Integrální transformace obrazu 26. února / 74

20 2D DFT modul, logaritmicky David Bařina Integrální transformace obrazu 26. února / 74

21 Diskrétní kosinová transformace (DCT) DFT tvoří pro reálný signál komplexní koeficienty, symetrická pro 0 k < N, kde c[k] = f [n] = N 1 n=0 N 1 k=0 f [n] g k [n] c[k] g k [n] [ 2 kπ g k [n] = λ k N cos N λ k = { 1/ 2 : k = 0 1 : k 0 ( n + 1 )] 2 David Bařina Integrální transformace obrazu 26. února / 74

22 2D DCT separabilní JPEG David Bařina Integrální transformace obrazu 26. února / 74

23 Báze 2D DCT David Bařina Integrální transformace obrazu 26. února / 74

24 2D DCT David Bařina Integrální transformace obrazu 26. února / 74

25 2D DCT 8 8 David Bařina Integrální transformace obrazu 26. února / 74

26 2D Gaborova transformace extrakce příznaků, segmentace, detekce hran 1D g α,ξ (x) = α/π e αx 2 e iξx α R +, ξ, x R, kde α = (2σ 2 ) 1, σ 2 je rozptyl, ξ je frekvence 2D separabilní ξ = (ξ 0, ξ 1 ), x = (x 0, x 1 ) g α,ξ (x) = g α,ξ0 (x 0 ) g α,ξ1 (x 1 ) David Bařina Integrální transformace obrazu 26. února / 74

27 2D Gaborova transformace jádro David Bařina Integrální transformace obrazu 26. února / 74

28 2D Gaborova transformace směry 17, 77 a 137 stupňů David Bařina Integrální transformace obrazu 26. února / 74

29 2D Gaborova transformace David Bařina Integrální transformace obrazu 26. února / 74

30 Vlnka angl. wavelet, fr. ondelette ψ L 2 (R) David Bařina Integrální transformace obrazu 26. února / 74

31 Vlnka Podmínky přípustnost nulový průměr jednotková plocha C ψ = ˆψ(ω) 2 dω < + ω ψ(t) dt = 0 ψ = 1 David Bařina Integrální transformace obrazu 26. února / 74

32 Vlnka Vlastnosti existence nosiče nulové momenty hladkost (regularita) m(k) = t k ψ(t) dt f = + + j= n= f, ψ j,n ψ j,n symetrie David Bařina Integrální transformace obrazu 26. února / 74

33 Vlnka Atomy roztažené a posunuté vlnky báze ψ u,s (t) = 1 ( ) t u ψ s s David Bařina Integrální transformace obrazu 26. února / 74

34 Vlnková transformace spojitá vlnková transformace W f (u, s) = f, ψ u,s = = + + = f ψ s (u) f (t) ψ u,s dt f (t) 1 ( ) t u ψ dt s s ψ s (u) = 1 s ψ u R, s R + ( ) t s David Bařina Integrální transformace obrazu 26. února / 74

35 Vlnková transformace škálogram inverzní W f (u, s) 2 f (t) = W f (u, s) 1 ψ C ψ 0 s ( ) t u s du ds s 2 David Bařina Integrální transformace obrazu 26. února / 74

36 Vlnková transformace David Bařina Integrální transformace obrazu 26. února / 74

37 Vlnková transformace Měřítková funkce (škálovací funkce) známe W f (u, s) pro s < s 0 potřebujeme zbytek informace pro s > s 0 zavedeme φ ˆφ(ω) 2 = + 1 ˆψ(sω) 2 ds s L f (u, s) = f, φ u,s φ = 1 David Bařina Integrální transformace obrazu 26. února / 74

38 Vlnková transformace Vlnkové rámce (wavelet frames) diskrétní parametry u, s s = s0 m, u = nu 0 s0 m m Z, n Z, s 0 > 1, u 0 > 0 Vlnkové řady (wavelet series) odstraněna nadbytečná informace dyadické vzorkování s 0 = 2, u 0 = 1 s = 2 m, u = n2 m m Z, n Z David Bařina Integrální transformace obrazu 26. února / 74

39 Diskrétní vlnková transformace Multirozklad (Multiresolution analysis) f (t) L 2 (R) rozložit do hierarchických podprostorů V m multirozklad L 2 {0} V 2 V 1 V 0 V 1 V 2... L 2 (R) {φ j,n } n Z je báze V j ortogonální doplněk V j 1 = V j W j {ψ j,n } n Z je báze W j David Bařina Integrální transformace obrazu 26. února / 74

40 Diskrétní vlnková transformace Multirozklad (Multiresolution analysis) {ψ j,n } j,n Z 2 je báze L 2 (R) L 2 (R) = + j= W j W 1 L 2 (R) = W }{{ 2 } W 0 W 1 W 2... } V 1 {{} V 0 David Bařina Integrální transformace obrazu 26. února / 74

41 Diskrétní vlnková transformace Multirozklad (Multiresolution analysis) reprezentace signálu ve WS reprezentace signálu v DWT vstup diskrétního signálu při výpočtu DWT projekce spojitého signálu při výpočtu WS dilatační rovnice φ(t) = 2 n h(n)φ(2t n) ψ(t) = 2 n g(n)φ(2t n) David Bařina Integrální transformace obrazu 26. února / 74

42 Diskrétní vlnková transformace Diskrétní vlnková transformace (DWT) reprezentace signálu ve WS reprezentace signálu v DWT vstup diskrétního signálu při výpočtu DWT projekce spojitého signálu při výpočtu WS projekce do V u (přibližné koeficienty) c u (s) = f, φ u,s projekce do W u (podrobné koeficienty) d u (s) = f, ψ u,s David Bařina Integrální transformace obrazu 26. února / 74

43 Diskrétní vlnková transformace Rychlá vlnková transformace (FWT) c u+1 (s) = k h(k 2s)c u (k) d u+1 (s) = k g(k 2s)c u (k) Složitost FFT N log N DWT N lifting David Bařina Integrální transformace obrazu 26. února / 74

44 Diskrétní vlnková transformace c 1 [s] = (x h)[s] 2 d 1 [s] = (x g)[s] 2 h 2 přibližné koeficienty x g 2 podrobné koeficienty h 2 koeficienty h 2 g 2 3. úrovně h 2 g 2 koeficienty 2. úrovně x g 2 koeficienty 1. úrovně David Bařina Integrální transformace obrazu 26. února / 74

45 Dvourozměrná DWT jeden stupeň David Bařina Integrální transformace obrazu 26. února / 74

46 Dvourozměrná DWT příklad David Bařina Integrální transformace obrazu 26. února / 74

49 Dvourozměrná DWT strom DC DC David Bařina Integrální transformace obrazu 26. února / 74

50 Používané vlnky Haarova a Daubechiesové vlnky diskrétní (ortogonální), derivátory ψ(t) = { 1 0 t < 1/2 1 1/2 t < 1 David Bařina Integrální transformace obrazu 26. února / 74

51 Používané vlnky CDF / Biortogonální spline vlnky diskrétní (biortogonální), komprese (JPEG 2000) David Bařina Integrální transformace obrazu 26. února / 74

52 Používané vlnky Mexický klobouk a Morletova nebo Gaborova vlnka ψ(t) = c (t 2 1)e t2 /2 David Bařina Integrální transformace obrazu 26. února / 74

53 Používané vlnky 2D Gaborova vlnka David Bařina Integrální transformace obrazu 26. února / 74

54 Stacionární vlnková transformace redundantní forma DWT vynecháno podvzorkování signálu, namísto toho nadvzorkování filtrů h2 h3 g 3 koeficienty 3. úrovně h1 g 2 koeficienty 2. úrovně x g 1 koeficienty 1. úrovně hj 2 hj+1 g j 2 g j+1 David Bařina Integrální transformace obrazu 26. února / 74

55 Výběr vlnky obecně: podobnost tvaru vlnky s charakteristickými úseky signálu komplexní vlnky: dobře detekují oscilace reálné vlnky: s málo oscilacemi dobře detekují špičky a singularity antisymetrické vlnky: jsou vhodné k detekci změn gradientu symetrické vlnky: nezpůsobují fázový posun krátký nosič: nižší výpočetní náročnost, přesnější lokalizace v čase (špatná ve frekvenci), nedochází k rozmazání signálu (měřítková funkce) dlouhý nosič: větší odezva koeficientů pro přechodové jevy David Bařina Integrální transformace obrazu 26. února / 74

56 Detekce hran David Bařina Integrální transformace obrazu 26. února / 74

57 Odstranění šumu prahování vlnkových koeficientů tvrdé (hard) měkké (soft) volba prahu λ ρ hard λ (x) = ρ soft λ (x) = { x x λ 0 x < λ x λ x λ x + λ x λ 0 x < λ pro normální No(0, σ 2 ) šumu se používá λ = σ 2 ln M pro No(0, σ 2 ) odvozeno σ = median( d 1 )/0,6745 David Bařina Integrální transformace obrazu 26. února / 74

58 Odstranění šumu David Bařina Integrální transformace obrazu 26. února / 74

59 Odstranění šumu obraz David Bařina Integrální transformace obrazu 26. února / 74

60 Srovnání s JPEG (113:1, ImageMagick) David Bařina Integrální transformace obrazu 26. února / 74

61 Možnosti a výhody ztrátová i bezeztrátová komprese kvalita progresivní přenos rozlišení kvalita prostorové umístění oblast zájmu (ROI) odolnost vůči chybám výpočetní složitost David Bařina Integrální transformace obrazu 26. února / 74

62 Odolnost vůči chybám Obrázek : JPEG, JPEG 2000 David Bařina Integrální transformace obrazu 26. února / 74

63 Oblast zájmu David Bařina Integrální transformace obrazu 26. února / 74

64 Progresivní přenos (rozlišení) David Bařina Integrální transformace obrazu 26. února / 74

65 Progresivní přenos (kvalita) David Bařina Integrální transformace obrazu 26. února / 74

66 Progresivní přenos (pozice) David Bařina Integrální transformace obrazu 26. února / 74

67 Korelace David Bařina Integrální transformace obrazu 26. února / 74

68 Embedded coder vkládání bitů v pořadí podle významnosti 2 n, kódování bitových rovin (bitplane coding) algoritmus 1 inicializace 2 kódování významnosti 3 kódování znaménka 4 upřesnění 5 další krok David Bařina Integrální transformace obrazu 26. února / 74

69 Strom koeficientů, korelace c 1 c 2 c DC c 4 c 5 c 6 c David Bařina Integrální transformace obrazu 26. února / 74

70 EZW DC David Bařina Integrální transformace obrazu 26. února / 74

71 EZW korelace mezi měřítky zerotree Mortonův rozklad algoritmus 1 inicializace 2 hlavní průchod if( abs(c) > T ) { output(p) or output(n); } else { if( zerotree_root(c) ) output(t); else output(z); } 3 upřesňující průchod 4 další krok David Bařina Integrální transformace obrazu 26. února / 74

72 X-lety curvelety, contourlety, shearlety,... David Bařina Integrální transformace obrazu 26. února / 74

73 Shrnutí Fourierova transformace komplexní exponenciály Gaborova transformace exponenciály modulované Gaussovým oknem kosinová transformace kosinusoidy vlnková transformace vlnky detekce hran odstranění šumu komprese David Bařina Integrální transformace obrazu 26. února / 74

74 Zdroje MALLAT, Stéphane. A Wavelet Tour of Signal Processing: The Sparse Way. With contributions from Gabriel Peyré. 3rd edition. Academic Press, ISBN David Bařina Integrální transformace obrazu 26. února / 74