Úvod do teorie informace, kódování a komprese. Informační a komunikační technologie ve zdravotnictví 2009/2010

Transkript

1 Úvod do teorie informace, kódování a komprese Informační a komunikační technologie ve zdravotnictví 2009/2010

2 Teorie informace základní pojmy I. Zpráva jakákoliv posloupnost rozlišitelných znaků Symboly rozlišitelné prvky ve zprávě (znaky) Abeceda množina všech symbolů Příklad: Zpráva a b c c a b d a b d d c b a c délka zprávy = 15, abeceda A={a,b,c,d} počet symbolů abecedy S=4

3 Teorie informace Základní pojmy II. Signál materiální nositel zprávy Kódování transformace (zobrazení) zprávy z původní abecedy do abecedy jiné Informace mezi symboly zprávy a okolním světem mezi označením a významem mezi významem a jejich překladem strukturní vztahy mezi symboly

4 Kódování Kódování = reprezentace dat Musí být jednoznačně dekódovatelný 1887 Samuel Morse první telegrafické spojení: tečky, čárky, lomítka --/---/.-./..././---/...-/.---/.- Optimální kódování Časté znaky reprezentovány krátkým kódem Čím méně častý je znak tím je reprezentován delším kódem

5 Kódování textu ASCII 7 bitové kódování, pouze anglické znaky 8 bitů, pro národní jazyky znaky > 128 Unix: ISO DOS/Windows: Latin-2, Kamenických, cp852, WinEE, cp1250 proměnná délka UTF-8 (UNICODE) znaky < 127 jako ASCII další znaky jako více bytů, oblasti

6 Teorie informace - Přístupy k TI Syntaktická Zabývá se analýzou textů, resp. sdělení z hlediska formálního uspořádání a spojení znaků, aniž přihlíží k jejich významu, smyslu a užití. Sémantická Zabývá se analýzou textů, resp. sdělení z hlediska vztahu mezi znakovou strukturou sdělení a jejich významy. Pragmatická zabývající se sledováním účinku textu, resp. sdělení na chování zdroje a příjemce

7 Teorie informace - Entropie Počet možných zpráv délky n nad abecedou s celkovým počtem symbolů s je N A = {0,1}, s=2, n=6 => N = 2 6 = 64 A = {a,b,c,d}, s=4, n=6 => N = 5 4 = 625 s n Množství informace I ve zprávě I f (N) Hartleyova míra informace I K ln( N ) K n ln( s)

8 Teorie informace - Entropie S četnost jednotlivých symbolů n 1,n 2, n 3 I Kn s i1 n i n ln n i n Za předpokladu dostatečné délky zprávy můžeme relativní četnost považovat za pravděpodobnosti I Kn s i1 P ln P i i

9 Teorie informace - Entropie Informační (Shannonova) entropie I s H K P ln P i i n i1 střední hodnota informace připadající na jeden symbol zprávy

10 Teorie informace konstanta K Nejednodušší možná abeceda A={0,1} Na jeden symbol položíme hodnotu informace této abecedy 1 Předpoklad stejné pravděpodobnosti výskytu obou symbolů I K Tedy pro H: H 1 ln2 s ln 2 1, K 1 ln 2 P i lnpi Pi log2 Pi i1 s i1

11 Teorie informace Vlastnosti entropie Konečná abeceda A={a 1,a 2,,a s } Můžeme přiřadit určitou hodnotu signálu x i :x i X, X = {x 1,x 2,,x s } Pravděpodobnost výskytu je P(a i ) resp. P(x i ) Pro informační entropii platí H s P ( x )log P( x ) i 2 i i1

12 Teorie informace Vlastnosti entropie Entropie je rovná nule tehdy a jen tehdy, jsou-li všechny pravděpodobnosti kromě jedné rovny nule a jedna pravděpodobnost rovna jedné Entropie dosahuje maxima jsou-li všechny pravděpodobnosti stejné P P.. P 1 2 s 1 s H ( X ) log max 2 s

13 Teorie informace Vlastnosti entropie Sdružená entropie Mějme dva signály x i X=(x 1,,x s ), y i Y=(y 1,,y r ) H( X, Y) s r i1 j1 P( x i, y j )log 2 P( xi, y j ) H ( X, Y ) H ( X ) H ( Y ) Pro marginální entropii platí H( X ) s r r P( x i, x j )log2 P( xi, x j ) i1 j1 j1

14 Teorie informace Vlastnosti entropie Podmíněná entropie Sdruženou pravděpodobnost lze vyjádřit též jako H( Y/ X) s P( x ) r i i1 j1 P( y j / x ) log P( y / x ) 2 i j i Px (, y) Px ( ) Py ( / x) i j i j i H( X, Y) s i1 P( x i )log2 P( xi ) H( Y / X)

15 Střední vzájemná informace Mějme dva signály x i X=(x 1,,x s ), y i Y=(y 1,,y r ) jsou určitým způsobem závislé Neurčitost výběru hodnoty x za předpokladu znalosti hodnoty y je dána jako H(X Y) Změna neurčitosti ve výběru z X bez znalosti výběru z Y a s znalosti výběru z Y H( X) H( X Y) T( X : Y) Veličina T(X:Y) se nazývá střední vzájemnou informací T ( X : Y ) H ( X ) H ( Y ) H ( X, Y )

16 Střední vzájemná informace T(X:Y) 0 je nezáporná T(X:Y) = T(Y:X) symetrická fce svých arg. T(X:Y) = 0 - jsou-li x a y statisticky nezávislé T(X:Y) = min{h(x),h(y)} pak x a y jsou vázány funkční závislosti y=f(x)

17 Komunikační kanál a kodóvání Struktura komunikačního kanálu Komunikační kanál lze dělit na Spojitý komunikační kanál Diskrétní komunikační kanál

18 Komunikační kanál a kodóvání Mírou úspornosti kódování je poměrná entropie h H H max Pro optimální kód je h = 1 Nadbytečnost symbolů redundance r r 1h H max H H max

19 Komunikační kanál a kodóvání Redundance zdroje Redundance kódováním r H0 H0 1 1 z Hmax log 2 s H 1 1 H Celková redundance je dána vztahem r k 0 r c r z r k r z r k 1 H log 1 2 s

20 Komunikační kanál a kodóvání Podle délky kódových slov lze kódy dělit na: Rovnoměrné kódy Kódová slova stejně dlouhá Není problém zjišťovat kde končí jedno a začíná druhé Nerovnoměrné kódy Délka kódových slov je různá Typickým příkladem je Morseova abeceda Kódy kde žádné kódové slovo nebude začátkem jiného slova Není potřeba dělící znak takové kódy jsou nazývány kódy s prefixovou vlastností

21 Komunikační kanál a kodóvání Tedy dále dělíme kódy na: Kódy s prefixovou vlastností Kódy bez prefixové vlastnosti Kód má prefixovou vlastnost jestliže v reprezentaci pomocí binárního grafu nereprezentuje cesta od jednoho konečného uzlu (kódového slova) ke kořenovému uzlu jiné kódové slovo

22 Redundance a její vlastnosti S rostoucí redundancí se zvyšuje počet přenášených symbolů Redundance má opodstatnění v případě zarušení komunikačního kanálu Opakování zprávy Přidání speciálního znaku (paritní bit, CRC kód)

23 Hammingova vzdálenost Důležitý pojem u vlastností kódů Počet míst, ve kterých se dvě kódová slova liší Pro tříprvkový kód (000,001)=(000,010)=(000,100)=1 (000,011)=(000,110)=(000,101)2 (000,111)=3 Charakterizuje odolnost kódu proti rušení a schopnost kódu identifikovat chybu

24 Detekce chyb Parita pouze detekce Nejjednodušší způsob zabezpečení přenosu dat Sečte se počet jedničkových bitů a doplní se paritním bitem na sudý nebo lichý počet Některé teoretické závěry vyžadují existenci nulového slova (sudá parita) Pro kontrolu při přenosu je lepší lichá parita (odhalí přerušený přenos) Příklad: sudá parita

25 Detekce chyb Lineární kódy Hammingův kód - pro opravu jedné chyby, je speciálním případem lineárních dvojkových (n,k) kódů MD5 (Message-Digest algorithm 5) Rozšířená hašovací funkce - kontrola integrity souborů nebo ukládání hesel Používá se pro kontrolu CD image (ISO), jako digest zprávy pro elektronický podpis Dříve se používaly kódy CRC (Cyclic Redundancy Code) - Cyklický redundantní součet Vypočten před operací, u níž jsou předpokládány chyby Posíláno s daty

26 Komprese dat Informace obsažená ve znaku je podstatně menší, než by se očekávalo A. Shanon 50.léta - entropie Veškerá data obsahují nadbytečnou informaci Cíl komprese: Zmenšit data do tvaru, který bude menší, ale ponese stejné informace Kompresní poměr = délka komprimovaných dat / délka původních dat Příklad: Chceme sestrojit binární prefixový kód pro desítkové číslice (0..9) vhodný pro slova, kde se často vyskytují číslice 3 a 4, ale zřídka se vyskytují číslice 5 a 6.

27 Ztrátová komprese Využívá nedokonalosti lidských smyslů Používá se pro obraz i zvuk. Dochází např. k rozmazávání hran, vzniku artefaktů data de transformují tak, aby bylo možno lehce oddělit důležité informace od nedůležitých nedůležité informace se pak potlačí mnohem více než důležité nakonec se výsledek zkomprimuje některým z bezeztrátových kompresních algoritmů

28 Ztrátová komprese Pro transformaci původních dat se obvykle používá některá z transformací Příklady takových transformací jsou například DCT (discrit cosin transform), FFT (Fast Fourier transform) nebo WT (wavelet transform). Převod z časové oblasti do frekvenční nebo frekvenčně časové lidské smysly jsou na frekvence, ať už ve zvuku nebo v obraze, velmi citlivé Potlačení některých složek Rozhodující je kvalitní psychovizuální nebo psychoakustický model Ten určuje, jaká data mohou být potlačena nebo dokonce úplně odstraněna Problém při kompresi zvuku je o to složitější, že lidský sluch je velmi citlivý i na časové umístění zvuku

29 Ztrátová komprese 2D Fourierova tranformace Myšlenka. Obrazová funkce f(x, y) se rozloží na lineární kombinaci harmonických (ortonormálních) funkcí. Definice přímé transformace: u, v jsou prostorové frekvence. Spojitá 2D Fourierova transformace 2 πj( xu yv) Fs ( u, v) f ( x, y) e dxdy Diskrétní 2D Fourierova transformace 1 y 1 xu yv N 2πj Nx N y Nx 1 Fd ( u, v) f( x, y) e NN x y x0 y0

30 Bezeztrátová komprese Bezeztrátové komprimační programy většinou nepoužívá jen jeden algoritmus, ale hned několik najednou. U některých komprimačních programů jsou data napřed transformována a až poté komprimována Zmíněná transformace se používá za účelem dosažení lepších kompresních poměrů Transformace Tyto algoritmy ve skutečnosti nic nekomprimují, pouze modifikují data tak, aby se dala lépe zkomprimovat Je také podmínkou, že ke každé transformaci musí existovat transformace inverzní

31 Algoritmy komprese - obecně Slovníkové algoritmy Algoritmy v této skupině vytvářejí v průběhu komprimace slovník na základě dat již zkomprimovaných V něm se pak snaží najít data, která se teprve mají komprimovat Pokud jsou data nalezena ve slovníku, algoritmus zapíše pozici dat ve slovníku místo samotných dat Lempel-Ziv 77 (LZ77), Lempel-Ziv 78 (LZ78) Lempel-Ziv-Welch 84 (LZW84) LZMA - Lempel-Ziv-Markov-Chain Algorithm

32 Algoritmy komprese - obecně Statistické algoritmy Snaží se určitým způsobem předvídat jaké znaky budou v souboru dat následovat Statistické metody dělíme na metody se statickým modelem a metody s adaptivním modelem Metody se statickým modelem vytvoří před komprimací dat určitý model a podle něho zkomprimují celý soubor dat metody s adaptivním modelem průběžně model aktualizují Huffmanovo kódování Shannon-Fanovo kódování Aritmetické kódování Range coding (RC), ACB, Prediction by partial match (PPM)

33 Statistické metody komprese Run-length encoding Zakóduje data tak, že před opakující se znaky vloží počet opakováni Příklad: WWWWWWWWWWWWBWWWWWWWWWWWWBBB WWWWWWWWWWWWWWWWWWWWWWWWBWW WWWWWWWWWWWW Výsledek: 12WB12W3B24WB14W

34 Statistické metody komprese Hoffmanovy kódy Konvertuje znaky vstupního souboru do bitových řetězců různé délky. Znaky, které se ve vstupním souboru vyskytují nejčastěji, jsou konvertovány do bitových řetězců s nejkratší délkou Znaky, které se vyskytují velmi zřídka jsou konvertovány do delších řetězců Probíhá ve dvou fázích: V první projde soubor a vytvoří statistiku četností každého znaku. Ve druhé fázi se využije této statistiky pro vytvoření binárního stromu a k následné kompresi vstupních dat Dekomprese pomocí rekonstruovaného binárního stromu dekóduje řetězce proměnlivé délky.

35 Statistické metody komprese Shannon-Fanovo kódování Od Huffmanova kódování se liší pouze konstrukcí binárního stromu Množina znaků je rekursivně dělena vždy na dvě podmnožiny, aby součet výskytů znaků v obou podmnožinách byl přibližně stejný Jedné podmnožině je pak v kódu přiřazena binární 1 a druhé 0 Tento kód je tedy konstruován od kořene k listům a narozdíl od Huffmanova kódování, jehož kód je tvořen od listů ke kořenu, nemusí být optimální

36 Statistické metody komprese Aritmetické kódování Huffmanovo kódování dosahovalo optimálních výsledků, pokud četnosti jednotlivých znaků byly mocninami čísla 2 V ostatních případech by bylo optimální na zakódování jednoho znaku použít neceločíselný počet bitů Situace se trochu zlepší použitím delšího kódového slova - aritmetické kódování kóduje celou zprávu jako jediné kódové slovo Aritmetické kódování reprezentuje zprávu jako podinterval intervalu <0,1) Na začátku uvažujeme celý tento interval. Jak se zpráva prodlužuje, zpřesňuje se i výsledný interval a jeho horní a dolní mez se k sobě přibližují. Čím je kódovaný znak pravděpodobnější, tím se interval zúží méně a k zápisu delšího intervalu stačí méně bitů.

37 Slovníkové metody komprese LZ-W (Lempel-Ziv-Welch) LZW na několikrát se opakujících posloupnostech znaků LZ77 by například řetězec: leze po železe zakomprimoval jako: leze po že[10,4] Na místo čísel uvedených v hranaté závorce se při dekomprimaci (rozbalení) užijí 4 znaky z předcházejících deseti LZ78 využívá tzv. adaptivní slovníkovou metodu Program si vytvoří pomocný soubor, tzv. slovník, který využívá při komprimaci a dekomprimaci Komprimační algoritmus tedy prochází jednotlivé znaky a zjišťuje jestlijsouveslovníku

38 Slovníkové metody komprese LZW84 (Lempel-Ziv-Welch 84) Vylepšení algoritmů LZ77 a LZ78 Byl využíván (a je částečně dodnes) v archivech ARC, starých verzích ZIP (PKZIP 0.x a 1.x) kompresoru Z u koprese GIF dokumentech PDF Relativně jednoduchý a rychlý, ale nedosahuje zdaleka tak dobré komprese jako náročnější algoritmy jako LZMA

39 Slovníkové metody komprese LZMA (Lempel-Ziv-Markov-Chain Algorithm) kompresní algoritmus, vyvinutý programátorem Igorem Pavlovem, pro jeho archivní program 7-Zip Jedná se o vylepšení známého algorithmu Deflate Skládá se z algoritmů LZ77 Markov-Chain Range algorithm Má vysoký kompresní poměr

40 RAR - napsal Eugene Roshal ZIP Příklady komprese dat optimální poměr rychlosti k účinnosti komprese lze pracovat kromě nejrozšířenější platformy wintel i v prostředích Unix, Linux, MacIntosh, IBM OS/2, při 6 a více znakovém heslu trvá na současné technice nalezení hesla několik desítek let možnost vytváření samorozbalujících archivů nejznámější a data pomocí něj zabalené je schopen rozbalit snad každý Používá Lempel-Ziv-Walshe Encoding nedosahuje nejlepších výsledků

41 Příklady komprese dat ARJ (Archiver Robert Jung) Jeden z prvních archivátorů umožňujících dělit archiv na více částí Dnes vytlačován RARem a ZIPem 7-zip Používá přednostně kompresní algoritmus LZMA Nabízí dale take PPMD, BZIP2, Deflate Vysoký kompresní poměr, lepší než ZIP, a to až o 70% Na druhé straně inkompresibilni soubory (GIF, PNG, AVI, MP3) zásadně nelze kompresovat, ani programem 7-ZIP

42 Komprese obrazu JPEG (Joint Photographic Experts Group) standardní metoda ztrátové komprese používané pro ukládání počítačových obrázku Skutečným názvem typu souboru je JFIF, což znamená JPEG File Interchange Format Vhodný pro fotografické snímky nebo malby realistických scenérií s hladkými přechody v tónu a barvě Novější ztrátové kompresní metody, zvláště vlnková komprese, dávají ještě lepší výsledky.

43 JPEG komprese obrazu

44 JPEG komprese obrazu Původní obraz Komprimováno 20 : 1 Obrázky tohoto typu jsou pro JPEG kompresi vhodné. Vysoké frekvence nejsou zastoupeny příliš významně. Nepřesnosti vzniklé kompresí jsou maskovány členitostí obrazu.

45 JPEG komprese obrazu Komprimováno 40 : 1 Původní obraz V podobných případech bývá komprese JPEG nevhodná, a to zejména, je-li vysoká. Vysoké frekvence jsou zde významné (neměly by se proto šidit). Není zde ani členité pozadí, které by mohlo chyby vzniklé kompresí zamaskovat.

46 Další algoritmy komprese obrazu TIFF (Tag Image File Format) jeden z souborových formátů pro ukládání rastrové počítačové grafiky Formát TIFF tvoří neoficiální standard pro ukládání snímků určených pro tisk TIFF je složitějšíformátoprotijinýmformátům pro ukládání rastrové grafiky GIF (Graphics Interchange Format) používá bezeztrátovou kompresi LZW84 je tedy vhodný pro uložení tzv. perokresby (nápisy, plánky, loga) GIF umožňujetakéjednoduchéanimace maximální počet současně použitých barev barevné palety je 256 (8 bitů) v jednom rámci

47 Další algoritmy komprese obrazu PNG (Portable Network Graphics) grafický formát určený pro bezeztrátovou kompresi rastrové grafiky vyvinut jako zdokonalení a náhrada formátu GIF nabízí více barev a lepší kompresi (algoritmus Deflate + filtry) BMP.BMP nebo také.dib (device-independent bitmap) je počítačový formát pro ukládaní rastrové grafiky BMP jsou ukládány po jednotlivých pixelech, Soubory ve formátu BMP většinou nepoužívají žádnou kompresi (přestože existují i varianty používající kompresi RLE)

48 Komprese zvuku MP3 (MPEG-1 Layer 3) formát ztrátové komprese zvukových souborů, založený na kompresním algoritmu MPEG (Motion Picture Experts Group) Při zachování vysoké kvality umožňuje zmenšit velikost hudebních souborů v CD kvalitě přibližně na desetinu u mluveného slova však dává výrazně horší výsledky Ze vstupního signálu se odeberou informace, jenž člověk neslyší, nebo si je neuvědomuje princip časového a frekvenčního maskování

49 Komprese zvuku MP3 Citlivost sluchu 40 db 20 0 frekvence (khz) Nemá cenu přenášet, co ucho neslyší. Přenášíme-li už, pak není třeba kódovat podrobněji, než je rozlišovací schopnost ucha.

50 Komprese zvuku MP3 Frekvenční maskování db frekvence (khz) Silně znějící tón způsobí podstatné snížení citlivosti ucha na blízkých frekvencích. Eventuální blízké tóny není pak zapotřebí vůbec přenášet nebo stačí jen hrubé kódování.

51 Komprese zvuku MP3 Temporální maskování 60 db čas (ms) Po skončení silného tónu se navrací citlivost ucha pozvolna. V této době není opět nutné některé jiné tóny přenášet.

52 Jiné algoritmy komprese zvuku AAC (Advanced Audio Coding) ztrátový zvukový kodek vyvinut jako logický následovník formátu MP3 na středních až vyšších bitratech v rámci standardu MPEG4 Enkodérů AAC je velké množství, od málo vyvedených jako FAAC (Fast AAC) nebo Nero Digital až po prvotřídní jako Applův AAC enkodér Softwarová podpora není zrovna nejlepší, většina přehrávačů potřebuje externí plugin WMA (Window Media Audio) Vyvinutý jako součást Windows Media Původně určen jako náhrada za MP3 Známým problémem je příliš časné ořezávání vyšších frekvencí při nižších bitrate Zato WMA neobsahuje ani při nižších bitrate tolik artefaktů jako konkurence

53 Jiné algoritmy komprese zvuku Ogg (termín z počítačové hry Netrek) definován v RFC 3533 a jeho MIME typ application/ogg v RFC 3534 výchozí materiál větší iniciativy, která si klade za cíl vyvinout komponenty pro kódování a dekódování multimediálního obsahu komponenty budou svobodně dostupné a svobodně reimplementovatelné v softwaru Po stránce kvality je zvukový kodek na přibližně na stejné úrovni jako konkurenční formát WMA

54 Kodek Spojení kodéru a dekodéru Resp. komprese a dekomprese Zařízení nebo počítačový program, který dokáže transformovat datový proud nebo signál Někdy zaměňován s formátem video souborů nebo s tzv. kontainerem Příklady: DivX, XviD, 3ivX Na podobných principech pracuje také obvykle hardwarový endec (encode a decode = zakódovat a dekódovat)

55 Kodek DivX Obrazový kodek kompatibilní se standardem MPEG-4 Typický celovečerní film zabírá na DVD asi 7 gigabyte - DivX cca 700 megabyte není svobodný software ani open source, ale existuje open source verze nazvaná OpenDivX silně okleštěná Problém - nelegální kopie filmů XviD MPEG-4 kompatibilní kodek s otevřeným kódem původně založený na OpenDivX XviD obsahuje vlastnosti z MPEG-4 Advanced Simple Profile Mezi odbornými zastánci obou kodeků dlouhodobě panují spory o to, který z nich je kvalitnější, obecně se má za to, že jsou v podstatě srovnatelné

56 Literatura Václav Hlaváč, Jan Kybic: LINEÁRNÍ INTEGRÁLNÍ TRANSFORMACE, Czech Technical University, Faculty of Electrical Engineering, Center for Machine Perception, Prague, Czech Republic Melichar, B.: Textové informační systémy. Praha, Vydavatelství ČVUT 1997 Adámek, J.: Kódování a teorie informace. Praha, Vydavatelství ČVUT 1994