Integrální transformace obrazu

Integrální transformace obrazu David Bařina 26. února 2013 David Bařina Integrální transformace obrazu 26. února 2013 1 / 74

Obsah 1 Zpracování signálu 2 Časově-frekvenční rozklad 3 Diskrétní Fourierova transformace 4 Diskrétní kosinová transformace 5 Gaborova transformace 6 Vlnková transformace Diskrétní vlnková transformace Dvourozměrná diskrétní vlnková transformace Používané vlnky Aplikace David Bařina Integrální transformace obrazu 26. února 2013 2 / 74

Motivace Cíle dekorelace dat, rozklad signálu na stavební kameny získat časově frekvenční popis signálu Aplikace zjištění polohy a trvání daného jevu detekce hran komprese odstranění šumu vodoznaky (watermarking) doplnění chybějících částí (inpainting) David Bařina Integrální transformace obrazu 26. února 2013 3 / 74

Značení a zkratky f (t) spojitý signál f [n] diskrétní signál ˆf (ω), ˆf [k] Fourierova transformace z komplexní sdružení k z ψ vlnka FT, DFT (diskrétní) Fourierova transformace CT, DCT (diskrétní) kosinová transformace WT, DWT (diskrétní) vlnková transformace David Bařina Integrální transformace obrazu 26. února 2013 4 / 74

Signál veličina závislá na čase (t), frekvenci (f ), poloze (x, y) stacionární vs. nestacionární signál filtrace: potlačuje/zesiluje komponenty signálu lineární vs. nelineární filtrace David Bařina Integrální transformace obrazu 26. února 2013 5 / 74

Lineární filtrace filtr H(z) impulsní charakteristika, frekvenční charakteristika filtr FIR, IIR x[n] b[0] + y[n] z 1 z 1 x[n 1] b[1] a[1] y[n 1] z 1 z 1 x[n 2] b[2] a[2] y[n 2] konvoluce podle účelu: dolní/horní/pásmová propust David Bařina Integrální transformace obrazu 26. února 2013 6 / 74

Konvoluce odezva LTI systému (f g)(t) = = f (τ) g(t τ) dτ f (t τ) g(τ) dτ (f g)[n] = m = m f [m] g[n m] f [n m] g[m] David Bařina Integrální transformace obrazu 26. února 2013 7 / 74

Vzájemná korelace (cross korelace) podobnost tvarů signálů, odpovídá skalárnímu součinu (f g)(t) = = f (τ) g(t + τ) dτ f (τ t) g(τ) dτ (f g)[n] = m = m f [m] g[n + m] f [m n] g[m] David Bařina Integrální transformace obrazu 26. února 2013 8 / 74

Konvoluční jádra David Bařina Integrální transformace obrazu 26. února 2013 9 / 74

Integrální transformace jednotící koncept F (n) = f (t) ψ(t, n) dt ψ... jádro transformace f (t) = F (n) ψ 1 (n, t) dn ψ 1... inverzní jádro (nemusí existovat) David Bařina Integrální transformace obrazu 26. února 2013 10 / 74

Fourierova transformace převod mezi časovou a frekvenční oblastí ˆf (ω) = + f (t) e iωt dt frekvence spektrum f (t) = 1 2π + ˆf (ω) e iωt dω David Bařina Integrální transformace obrazu 26. února 2013 11 / 74

Časově-frekvenční rovina David Bařina Integrální transformace obrazu 26. února 2013 12 / 74

Časová oblast Diracův nebo jednotkový impulz David Bařina Integrální transformace obrazu 26. února 2013 13 / 74

Frekvenční analýza Fourierova transformace David Bařina Integrální transformace obrazu 26. února 2013 14 / 74

Časově-frekvenční analýza Krátkodobá Fourierova transformace (STFT) reálné symetrické okno g u,ω (t) = e iωt g(t u) spektrogram S f (u, ω) = Gaborova transformace g(x) = + f (t) g(t u) e iωt dt S f (u, ω) 2 α/πe αt2 α R + David Bařina Integrální transformace obrazu 26. února 2013 15 / 74

Časově-frekvenční analýza krátkodobá Fourierova transformace David Bařina Integrální transformace obrazu 26. února 2013 16 / 74

Časově-frekvenční analýza vlnková transformace David Bařina Integrální transformace obrazu 26. února 2013 17 / 74

Diskrétní Fourierova transformace (DFT) diskrétního (komplexního) signálu délky N ˆf [k] = pro 0 k < N, ˆf komplexní f [n] = 1 N N 1 n=0 N 1 k=0 stejnosměrná složka (DC) pro k = 0 složitost O(N 2 ), FFT O(N log 2 N) f [n] e i 2π N kn ˆf [k] e i 2π N kn David Bařina Integrální transformace obrazu 26. února 2013 18 / 74

2D DFT separabilní 1 2 3 4 David Bařina Integrální transformace obrazu 26. února 2013 19 / 74

2D DFT modul, logaritmicky David Bařina Integrální transformace obrazu 26. února 2013 20 / 74

Diskrétní kosinová transformace (DCT) DFT tvoří pro reálný signál komplexní koeficienty, symetrická pro 0 k < N, kde c[k] = f [n] = N 1 n=0 N 1 k=0 f [n] g k [n] c[k] g k [n] [ 2 kπ g k [n] = λ k N cos N λ k = { 1/ 2 : k = 0 1 : k 0 ( n + 1 )] 2 David Bařina Integrální transformace obrazu 26. února 2013 21 / 74

2D DCT separabilní JPEG 1 2 3 4 David Bařina Integrální transformace obrazu 26. února 2013 22 / 74

Báze 2D DCT David Bařina Integrální transformace obrazu 26. února 2013 23 / 74

2D DCT David Bařina Integrální transformace obrazu 26. února 2013 24 / 74

2D DCT 8 8 David Bařina Integrální transformace obrazu 26. února 2013 25 / 74

2D Gaborova transformace extrakce příznaků, segmentace, detekce hran 1D g α,ξ (x) = α/π e αx 2 e iξx α R +, ξ, x R, kde α = (2σ 2 ) 1, σ 2 je rozptyl, ξ je frekvence 2D separabilní ξ = (ξ 0, ξ 1 ), x = (x 0, x 1 ) g α,ξ (x) = g α,ξ0 (x 0 ) g α,ξ1 (x 1 ) David Bařina Integrální transformace obrazu 26. února 2013 26 / 74

2D Gaborova transformace jádro David Bařina Integrální transformace obrazu 26. února 2013 27 / 74

2D Gaborova transformace směry 17, 77 a 137 stupňů David Bařina Integrální transformace obrazu 26. února 2013 28 / 74

2D Gaborova transformace David Bařina Integrální transformace obrazu 26. února 2013 29 / 74

Vlnka angl. wavelet, fr. ondelette ψ L 2 (R) David Bařina Integrální transformace obrazu 26. února 2013 30 / 74

Vlnka Podmínky přípustnost nulový průměr jednotková plocha C ψ = + 0 + ˆψ(ω) 2 dω < + ω ψ(t) dt = 0 ψ = 1 David Bařina Integrální transformace obrazu 26. února 2013 31 / 74

Vlnka Vlastnosti existence nosiče nulové momenty hladkost (regularita) m(k) = t k ψ(t) dt f = + + j= n= f, ψ j,n ψ j,n symetrie David Bařina Integrální transformace obrazu 26. února 2013 32 / 74

Vlnka Atomy roztažené a posunuté vlnky báze ψ u,s (t) = 1 ( ) t u ψ s s David Bařina Integrální transformace obrazu 26. února 2013 33 / 74

Vlnková transformace spojitá vlnková transformace W f (u, s) = f, ψ u,s = = + + = f ψ s (u) f (t) ψ u,s dt f (t) 1 ( ) t u ψ dt s s ψ s (u) = 1 s ψ u R, s R + ( ) t s David Bařina Integrální transformace obrazu 26. února 2013 34 / 74

Vlnková transformace škálogram inverzní W f (u, s) 2 f (t) = 1 + + W f (u, s) 1 ψ C ψ 0 s ( ) t u s du ds s 2 David Bařina Integrální transformace obrazu 26. února 2013 35 / 74

Vlnková transformace David Bařina Integrální transformace obrazu 26. února 2013 36 / 74

Vlnková transformace Měřítková funkce (škálovací funkce) známe W f (u, s) pro s < s 0 potřebujeme zbytek informace pro s > s 0 zavedeme φ ˆφ(ω) 2 = + 1 ˆψ(sω) 2 ds s L f (u, s) = f, φ u,s φ = 1 David Bařina Integrální transformace obrazu 26. února 2013 37 / 74

Vlnková transformace Vlnkové rámce (wavelet frames) diskrétní parametry u, s s = s0 m, u = nu 0 s0 m m Z, n Z, s 0 > 1, u 0 > 0 Vlnkové řady (wavelet series) odstraněna nadbytečná informace dyadické vzorkování s 0 = 2, u 0 = 1 s = 2 m, u = n2 m m Z, n Z David Bařina Integrální transformace obrazu 26. února 2013 38 / 74

Diskrétní vlnková transformace Multirozklad (Multiresolution analysis) f (t) L 2 (R) rozložit do hierarchických podprostorů V m multirozklad L 2 {0} V 2 V 1 V 0 V 1 V 2... L 2 (R) {φ j,n } n Z je báze V j ortogonální doplněk V j 1 = V j W j {ψ j,n } n Z je báze W j David Bařina Integrální transformace obrazu 26. února 2013 39 / 74

Diskrétní vlnková transformace Multirozklad (Multiresolution analysis) {ψ j,n } j,n Z 2 je báze L 2 (R) L 2 (R) = + j= W j W 1 L 2 (R) = W }{{ 2 } W 0 W 1 W 2... } V 1 {{} V 0 David Bařina Integrální transformace obrazu 26. února 2013 40 / 74

Diskrétní vlnková transformace Multirozklad (Multiresolution analysis) reprezentace signálu ve WS reprezentace signálu v DWT vstup diskrétního signálu při výpočtu DWT projekce spojitého signálu při výpočtu WS dilatační rovnice φ(t) = 2 n h(n)φ(2t n) ψ(t) = 2 n g(n)φ(2t n) David Bařina Integrální transformace obrazu 26. února 2013 41 / 74

Diskrétní vlnková transformace Diskrétní vlnková transformace (DWT) reprezentace signálu ve WS reprezentace signálu v DWT vstup diskrétního signálu při výpočtu DWT projekce spojitého signálu při výpočtu WS projekce do V u (přibližné koeficienty) c u (s) = f, φ u,s projekce do W u (podrobné koeficienty) d u (s) = f, ψ u,s David Bařina Integrální transformace obrazu 26. února 2013 42 / 74

Diskrétní vlnková transformace Rychlá vlnková transformace (FWT) c u+1 (s) = k h(k 2s)c u (k) d u+1 (s) = k g(k 2s)c u (k) Složitost FFT N log N DWT N lifting David Bařina Integrální transformace obrazu 26. února 2013 43 / 74

Diskrétní vlnková transformace c 1 [s] = (x h)[s] 2 d 1 [s] = (x g)[s] 2 h 2 přibližné koeficienty x g 2 podrobné koeficienty h 2 koeficienty h 2 g 2 3. úrovně h 2 g 2 koeficienty 2. úrovně x g 2 koeficienty 1. úrovně David Bařina Integrální transformace obrazu 26. února 2013 44 / 74

Dvourozměrná DWT jeden stupeň David Bařina Integrální transformace obrazu 26. února 2013 45 / 74

Dvourozměrná DWT příklad David Bařina Integrální transformace obrazu 26. února 2013 46 / 74

Dvourozměrná DWT strom DC 3 2 2 1 1 1 1 0 1 2 3 4 5 6 7 DC David Bařina Integrální transformace obrazu 26. února 2013 49 / 74

Používané vlnky Haarova a Daubechiesové vlnky diskrétní (ortogonální), derivátory ψ(t) = { 1 0 t < 1/2 1 1/2 t < 1 David Bařina Integrální transformace obrazu 26. února 2013 50 / 74

Používané vlnky CDF / Biortogonální spline vlnky diskrétní (biortogonální), komprese (JPEG 2000) David Bařina Integrální transformace obrazu 26. února 2013 51 / 74

Používané vlnky Mexický klobouk a Morletova nebo Gaborova vlnka ψ(t) = c (t 2 1)e t2 /2 David Bařina Integrální transformace obrazu 26. února 2013 52 / 74

Používané vlnky 2D Gaborova vlnka David Bařina Integrální transformace obrazu 26. února 2013 53 / 74

Stacionární vlnková transformace redundantní forma DWT vynecháno podvzorkování signálu, namísto toho nadvzorkování filtrů h2 h3 g 3 koeficienty 3. úrovně h1 g 2 koeficienty 2. úrovně x g 1 koeficienty 1. úrovně hj 2 hj+1 g j 2 g j+1 David Bařina Integrální transformace obrazu 26. února 2013 54 / 74

Výběr vlnky obecně: podobnost tvaru vlnky s charakteristickými úseky signálu komplexní vlnky: dobře detekují oscilace reálné vlnky: s málo oscilacemi dobře detekují špičky a singularity antisymetrické vlnky: jsou vhodné k detekci změn gradientu symetrické vlnky: nezpůsobují fázový posun krátký nosič: nižší výpočetní náročnost, přesnější lokalizace v čase (špatná ve frekvenci), nedochází k rozmazání signálu (měřítková funkce) dlouhý nosič: větší odezva koeficientů pro přechodové jevy David Bařina Integrální transformace obrazu 26. února 2013 55 / 74

Detekce hran David Bařina Integrální transformace obrazu 26. února 2013 56 / 74

Odstranění šumu prahování vlnkových koeficientů tvrdé (hard) měkké (soft) volba prahu λ ρ hard λ (x) = ρ soft λ (x) = { x x λ 0 x < λ x λ x λ x + λ x λ 0 x < λ pro normální No(0, σ 2 ) šumu se používá λ = σ 2 ln M pro No(0, σ 2 ) odvozeno σ = median( d 1 )/0,6745 David Bařina Integrální transformace obrazu 26. února 2013 57 / 74

Odstranění šumu David Bařina Integrální transformace obrazu 26. února 2013 58 / 74

Odstranění šumu obraz David Bařina Integrální transformace obrazu 26. února 2013 59 / 74

Srovnání s JPEG (113:1, ImageMagick) David Bařina Integrální transformace obrazu 26. února 2013 60 / 74

Možnosti a výhody ztrátová i bezeztrátová komprese kvalita progresivní přenos rozlišení kvalita prostorové umístění oblast zájmu (ROI) odolnost vůči chybám výpočetní složitost David Bařina Integrální transformace obrazu 26. února 2013 61 / 74

Odolnost vůči chybám Obrázek : JPEG, JPEG 2000 David Bařina Integrální transformace obrazu 26. února 2013 62 / 74

Oblast zájmu David Bařina Integrální transformace obrazu 26. února 2013 63 / 74

Progresivní přenos (rozlišení) David Bařina Integrální transformace obrazu 26. února 2013 64 / 74

Progresivní přenos (kvalita) David Bařina Integrální transformace obrazu 26. února 2013 65 / 74

Progresivní přenos (pozice) David Bařina Integrální transformace obrazu 26. února 2013 66 / 74

Korelace David Bařina Integrální transformace obrazu 26. února 2013 67 / 74

Embedded coder vkládání bitů v pořadí podle významnosti 2 n, kódování bitových rovin (bitplane coding) algoritmus 1 inicializace 2 kódování významnosti 3 kódování znaménka 4 upřesnění 5 další krok David Bařina Integrální transformace obrazu 26. února 2013 68 / 74

Strom koeficientů, korelace c 1 c 2 c 3 3 1 DC 2 2 1 1 1 c 4 c 5 c 6 c 7 0 1 2 3 4 5 6 7 David Bařina Integrální transformace obrazu 26. února 2013 69 / 74

EZW DC 0 1 2 3 4 5 6 7 0 1 2 3 4 5 6 7 David Bařina Integrální transformace obrazu 26. února 2013 70 / 74

EZW korelace mezi měřítky zerotree Mortonův rozklad algoritmus 1 inicializace 2 hlavní průchod if( abs(c) > T ) { output(p) or output(n); } else { if( zerotree_root(c) ) output(t); else output(z); } 3 upřesňující průchod 4 další krok David Bařina Integrální transformace obrazu 26. února 2013 71 / 74

X-lety curvelety, contourlety, shearlety,... David Bařina Integrální transformace obrazu 26. února 2013 72 / 74

Shrnutí Fourierova transformace komplexní exponenciály Gaborova transformace exponenciály modulované Gaussovým oknem kosinová transformace kosinusoidy vlnková transformace vlnky detekce hran odstranění šumu komprese David Bařina Integrální transformace obrazu 26. února 2013 73 / 74

Zdroje MALLAT, Stéphane. A Wavelet Tour of Signal Processing: The Sparse Way. With contributions from Gabriel Peyré. 3rd edition. Academic Press, 2009. ISBN 9780123743701. David Bařina Integrální transformace obrazu 26. února 2013 74 / 74