Komprese obrazu. Multimedia Technology Group, K13137, FEE CTU 0

Transkript

1 Komprese obrazu Multimedia Technology Group, K337, FEE CTU 0

2 Komprese obrazu Kódování : zdrojové vlastnosti obrazu kanálové vlastnosti přenosového kanálu kodek komprese a dekomprese still picture (statický obraz) 00x600 obraz.bodů, RGB 4 b, cca 5.8 MB 36 snímků cca 00 MB /3 CD,,5 hod. GSM, min. ISDN, 46 sek. ADSL, 5 sek. pomalý IntraNet video 57x70 bodů, YUV, 6 b, 830 kb/snímek hod. 75 GB Multimedia Technology Group, K337, FEE CTU

3 Formáty SDTV 70x576, 4:3 HDV 70 řádků HDTV 080, 6:9 UHDTV 7680 x 430 (3 mil.), 6:9, + 6 x HDTV, 4 Gb/s, Mb/s Digital Cinema K/4K Multimedia Technology Group, K337, FEE CTU

4 Komprese obrazu - úvod Systémové parametry: CD audio 44, khz, 6 b/vz., 700 kb/s (mono),,4 Mb/s (stereo) MP3 audio - CR, BR,5 b/vz., 8 b/s GSM řeč 8 khz, 8 b/vz., 64 kb/s JPEG 5,8 MB na 600 kb, CR 9,5, BR 0,43 b/vz MPEG- 66 Mb/s(0 MB/s) na 4,5 MB/s, CR 36,8, BR 0,43 b/vz b/vz bpp (bits per pixel), CR (Compression Rate), BR (Bit Rate) Multimedia Technology Group, K337, FEE CTU 3

5 Komprese obrazu - úvod Kvalita obrazu - připomenutí: subjektivní - pozorovatel objektivní míry MSE, PSNR M = ( ) ( ) MSE xˆ i x i PSNR = 0log M i= MSE n Just Noticeable Difference JND metrika prostoru vjemu (percepce) Multimedia Technology Group, K337, FEE CTU 4

6 KOMPRESE OBRAZU - METODY irrelevantní a redundantní informace zkreslení a artefakty - ztrátová komprese Zdrojově kódovací řetěz T Q C transformace (vratná) kvantizace (nevratná) kodér (přenos) Multimedia Technology Group, K337, FEE CTU 5

7 KOMPRESE OBRAZU bezeztrátová ztrátová min H { R} = H ( χ ) = i + ε p i log p i Shannon 948 (DMS zdroj) H - entropie zdroje ε - kladné číslo libovolně blízké 0 Multimedia Technology Group, K337, FEE CTU 6

8 Kompresní metody I. generace Kompresní metody 7 Multimedia Technology Group, K337, FEE CTU 7

9 KOMPRESE OBRAZU - METODY Kompresní metody I. generace - JPEG, MPEG-, zdroj - DPCM, DCT, detekce a predikce pohybu přenos - entropické kódování (Huffman, aritmetické k., RLE) Kompresní metody II. generace - JPEG 000, MPEG- 4 VO - visuální objekty, vektorová kvantizace, waveletová transformace, modely, fraktály Multimedia Technology Group, K337, FEE CTU 8

10 DPCM - diferenciální PCM predikční model přenos odchylky s, ( n, n ) = s( n, n ) + e( n n ) s ( n, n ) s -původní obraz ( n, n ) - rekonstruovaný obraz ( ) ( n,n ) s e n, n - predikovaný obraz - chyba (odchylka) LMMSE prediktor - vektor c y ( n, n ) = c s( n, n ) + c s( n, n ) + c 3 s( n, n + ) + c 4 s( n, n ) Multimedia Technology Group, K337, FEE CTU 9

11 DPCM - diferenciální PCM vstup kvantizér entropický kodér výstup prediktor vstup entropický kodér výstup prediktor Multimedia Technology Group, K337, FEE CTU 0

12 DPCM - diferenciální PCM Adaptivní DPCM konstantní úroveň textura pozvolná hrana ostrá hrana σ = 0,5 σ =,0 σ =,75 σ =,5 Multimedia Technology Group, K337, FEE CTU

13 Kódování délky běhu RLE/RLC Run Length (En)Coding vhodná zejména pro binární signály skupiny 0 a - hodnota + počet opakování maximální počet opakování - 8, 6 atd. D RLC Multimedia Technology Group, K337, FEE CTU

14 INTEGRÁLNÍ TRANSFORMACE rozdělení na bloky N x N ortogonální D transformace redukce redundance transformace Fourierova, Walsh-Hadamarova, Karhunen-Loeveho atd. kosinová t. DCT S ( k, k ) = C( k ) C( k ) s( n, n ) 4 N N k, k, n, n = 0,,...N- C(k) = / pro k = 0 a C(k) = jinde. n ( n ) π ( n ) N π + + cos cos n N N Multimedia Technology Group, K337, FEE CTU 3

15 Multimedia Technology Group, K337, FEE CTU 4

16 D spektrum - obecné vlastnosti koncentrace energie kolem počátku menší počet nenulových prvků maximální pásmo ve směru x a y ω y ω ymax ω xmax ω xmax 0 ω x ω ymax Kompresní metody Multimedia Technology Group, K337, FEE CTU 5

17 kvantizační matice S ) ( k, k ) DCT = S NINT T ( k ) ( ), k k, k podle podmínek snímání, zejména úrovně šumu alokace bitů b i = B M M log σ i log M i= σ i B - celkový počet bitů M - počet koeficientů s - variance koeficientů Multimedia Technology Group, K337, FEE CTU 6

18 DCT Kvantizační tabulka - příklad Multimedia Technology Group, K337, FEE CTU 7

19 DCT vstup N x N bloků DCT kvantizér entropický kodér výstup vstup entropický dekodér IDCT spojení N x N bloků výstup Čtení zig-zag Nevýhody: bloková struktura - MDCT omezení vf složek zrnitost - kvantizace Multimedia Technology Group, K337, FEE CTU 8

20 Entropické kódování Kódování s proměnnou délkou slova VLC různá pravděpodobnost výskytu symbolů Huffmanova metoda Symbol: a b c d Pravděpodobnost: 0,50 0,5 0,5 0,5 bit bity 3 bity 3 bity Kód: střední délka kódového slova R=0,5.+0,5.+0,5.3+0,5.3=,75 b/symbol Multimedia Technology Group, K337, FEE CTU 9

21 LZW kód (Lempel Ziv Welch) slovníková metoda substituční komprese inicializace všechny symboly abecedy zdroje a řetězce délky postup:. najdi nejdelší řetězec ve slovníku shodný s komprimovanou posloupností. pošli číslo její pozice ve slovníku 3. pošli znak následující za komprimovanou posloupností 4. vlož do slovníku právě komprimovanou posloupnost rozšířenou o poslední vyslaný symbol 5. posuň ukazatel na poslední vyslaný symbol 6. zpět na. Multimedia Technology Group, K337, FEE CTU 0

22 Detekce a predikce pohybu Intraframe x interframe kódování potlačení časové redundance - 3D DCT, 3D DPCM, predikce pohybu Blokové metody detekce pohybu - block matching posunutý blok vyhledávací okénko blok i-tý snímek vektor pohybu i+ snímek Kompresní metody Multimedia Technology Group, K337, FEE CTU

23 Multimedia Technology Group, K337, FEE CTU Detekce a predikce pohybu kritéria shody ( ) ( ) ( ) [ ] ( ) ( ) ( ) [ ] ( ) ( ) ( ) ( ) ( ) ( ) jinde 0,,, T,,,, pro,,, kde T,,,, MPC d Count Maximum Pixel,,,,, MAD d Mean Absolute Difference,,,,, d MSE Mean Square Error = = = = = d n d n t k d n d n s k n n s d n d n d n d n T N N d k d n d n s k n n s N N d k d n d n s k n n s N N d - složky vektoru posunutí,d d koordináty bodu,n n

24 Detekce a predikce pohybu vyhledávání ve třech krocích křížové vyhledávání 4 5 Multimedia Technology Group, K337, FEE CTU 3

25 Kompresní metody obrazu II.generace Multimedia Technology Group, K337, FEE CTU 4

26 Subband coding SBC kódování dílčích pásem rozdělení (decomposition) spektra do dílčích pásem inverzní FT sada dílčích obrazů (pásmové propusti) každý obraz - podvzorkován (downsampling) a individuálně kódován upsampling a vhodná filtrace y l ( n) yˆ l ( n) s(n) h(n) : : h (n) + ŝ( n) g(n) : : g (n) y h ( n) yˆ h ( n) Multimedia Technology Group, K337, FEE CTU 5

27 Kmitočtové transformace při SBC Multimedia Technology Group, K337, FEE CTU 6

28 Kvadraturní zrcadlo QMF g n+ ( n) = ( ). h( L n) ( ω ) + G( ω ) =, lib. ω H h g ( n) = h( L n) ( n) = g( L n) h(n) g(n) fs/4 fs/ Multimedia Technology Group, K337, FEE CTU 7

29 Waveletová transformace WT Morlet 98, Grossman, Mayer, Mallat Daubechies 988 ortonormální báze Spojitá waveletová transformace + x b W ( a, b) = f ( x) ψ dx, a a kdeψ základní( mother) wavelet a,b měřítko resp. posunutí Výpočet: - výběr waveletu - posun podél signálu a průběžný výpočet koeficientu -změna měřítka a opakování předešlého kroku Multimedia Technology Group, K337, FEE CTU 8

30 Typy waveletů Daubechies Coiflet Symlet Multimedia Technology Group, K337, FEE CTU 9

31 Diskrétní waveletová transformace DWT Mallat dvoupásmová filtrace LP a HP a = j, k Z, ψ φ s jk jk j, b = k. a ( ) ( j x = x k) ψ j j ( ) ( j x = x k) φ J ( x) C. ψ ( x) S. φ ( x) = + jk jk j= k k φ funkce měřítka Jk Jk C jk, S Jk - waveletové koeficienty Multimedia Technology Group, K337, FEE CTU 30

32 D DWT g Multimedia Technology Group, K337, FEE CTU 3

33 D DWT Příklad 4stupňový Daubechies h(n) = {/3,9/3,5/3,-3/3} g(n) = {3/3,5/3,-9/3,/3} h (n) = h(3-n) g (n) = g(3-n) Multimedia Technology Group, K337, FEE CTU 3

34 Subband coding SBC kódování dílčích pásem dekompozice LL LH HL HH LV LD HV HD multiscale - multiresolution LL LH LV LD H VL VH DL DH VV VD DV DD V D,00,7,7 3,88 3,0 3,0 9,58 kvantizace - příklad Multimedia Technology Group, K337, FEE CTU 33

39 WT v JPEG 000 Multimedia Technology Group, K337, FEE CTU 38

40 Vektorová kvantizace obrazové body jako složky vektoru kvantizace v k-dimenzionálním prostoru využívá statistických vazeb mezi body použití přirozené signály obraz, řeč, hudba, biomedicína multimédia Y, R-Y, B-Y varianty intraframe (x,y) i interframe (x,y,t) Multimedia Technology Group, K337, FEE CTU 39

41 Vektorová kvantizace VQ y j x i+ x i Vektor - skupina vzorků, k -dimensionální prostor clustery - shluky Voronoiho oblasti - reprezentativní (kódové) vektory euklidovská vzdálenost d k ( x, yi ) = ( x j yij ) x j jtá složka vektoru, y ij jtá složka itého kódového vektoru Multimedia Technology Group, K337, FEE CTU 40 j=

42 Vektorový kvantizér r kódový vektor y kódová trénovací kniha C množina i VQ [ y,... y ] r { y,... y } i r L ik minimum vzdálenosti LUT kódová kniha kódová kniha kodér dekodér Multimedia Technology Group, K337, FEE CTU 4

43 VQ Návrh kódové knihy - LBG (Linde, Buzo, Gray) algoritmus:. Počáteční odhad kódové knihy C r = r j { y,... y }, 0 L =. Určení oblastí R i podle minima vzdálenosti 3. Stanovení integrální odchylky D podle zvoleného kriteria ( j ) ( j ) D ( ) ε j D 4. Inkrementace j a výpočet centroidů (těžišť) D m - počet vektorů v jedné oblasti 5. Návrat do bodu. y = m i x ij m j= Multimedia Technology Group, K337, FEE CTU 4

44 VQ Kódová kniha 688 prvků Multimedia Technology Group, K337, FEE CTU 43

45 Příklad aplikace VQ Multimedia Technology Group, K337, FEE CTU 44

46 Příklady užití VQ rozklad 8 x 8, 8 vektorů, PSNR 7,5 db, CR 3,35 rozklad 8 x 8, 3 vektorů, PSNR 0,95 db, CR 0,98 rozklad 4 x 4, 8 vektorů, PSNR 9,5 db, CR 6,5 rozklad 4 x 4, 64 vektorů, PSNR 4,96 db, CR,7 00 x 80 bodů Multimedia Technology Group, K337, FEE CTU 45

47 Příklady užití VQ rozklad 4 x 4, 8 vektorů, PSNR 34,0 db, CR,34 rozklad 4 x 4, 64 vektorů, PSNR > 60 db, CR 5, rozklad 8 x 8, 8 vektorů, PSNR 33,99 db, CR,34 rozklad 8 x 8, 3 vektorů, PSNR > 60 db, CR 3,67 Multimedia Technology Group, K337, FEE CTU 46

48 Fraktály Dr. Mandelbrot (IBM) 977, The Fractal Geometry of Nature charakteristika křivky - invariantní vůči změně měřítka např. kapradí, pobřeží fraktální dimenze D = kde N d lim d 0 ( ) ( d ) ln N ln d minimální počet koulí o průměru d, který vyplní danou množinu Multimedia Technology Group, K337, FEE CTU 47

49 Fraktály Pro dostatečně malé d N ( d ) = K d D D - míra hrubosti množiny, větší D - hrubší fraktální křivka - zvětšení libovolné části nemění hrubost Kochova křivka D ln 4 ln 3 n = n = ln 4 ln 3 =,6 Multimedia Technology Group, K337, FEE CTU 48

50 Fraktály Komprese obrazu: ztrátová IFS Iterated Function System 98 Hutchinson forma vektorové kvantizace virtuální kódová kniha Barnsley Fractals Everywhere komprese obrazu přímo IFS obraz, inverzní problém obtížný 988 Barnsley, Sloan komprese :0000 PIFS Partitioned IFS algoritmizace inverzního problému komprese :8 až :50 99 Jacquin praktická komprese 993 Barnsley, Lyman - Fractal Image Compression Multimedia Technology Group, K337, FEE CTU 49

51 Fraktály Základní body: vytvoření IFS zmenšení, posun a otočení atraktor latentní obraz, limita iteračního postupu Sierpinskiho trojúhelník Multimedia Technology Group, K337, FEE CTU 50

52 Fraktály Multimedia Technology Group, K337, FEE CTU 5

55 Fraktály podobnost s VQ VQ: vektor malý čtvercový blok, kódová kniha sada vektorů kódový vektor (domain blok) označen indexem obraz je rozdělen do bloků -vektorů (range bloky) VQ domain i range bloky jsou stejné VQ kopíruje domain bloky přímo VQ kódová kniha uložena, IFS transformace (virtuální kódová kniha) Multimedia Technology Group, K337, FEE CTU 54

56 Kódování pomocí modelu souvislost s virtuální realitou VRML různé typy modelu mesh, kinematický atd. scéna typu head and shoulders (hlasatel) animační parametry bitový tok řádu jednotek až desítek kb/s Multimedia Technology Group, K337, FEE CTU 55

57 Kódování obrazu založené na modelu Příklad - scéna typu head and shoulders model typu wireframe Multimedia Technology Group, K337, FEE CTU 56

58 Kódování obrazu založené na modelu dříve - statistické vlastnosti obrazu nyní - obrysy, oblasti, struktury analýza syntéza model model segmentace, pohyb - objekty Multimedia Technology Group, K337, FEE CTU 57