Materiály k X33KUI, ČVUT, FEL, Vytvořeo de /5/6 7:7 M Semiárí cvičeí Kódováí a přeos iformace Osova cvičeí k čemu se má dojít??? Motivace úvodí příklad - holub Základí pojmy Zpráva Symbol Abeceda - jakákoliv posloupost rozlišitelých zaků - rozlišitelé prvky ve zprávě (grafické zázorěí zaky) - možia všech symbolů říklad : Zpráva a b c c a b d a b d d c b a c délka zprávy = 5, abeceda A = {a,b,c,d} počet symbolů abecedy S = 4 Sigál Kódováí Iformace - materiálí ositel zprávy - trasformace zprávy vyjádřeé pomocí jedé abecedy a zprávu vyjádřeou pomocí druhé abecedy - vztah mezi symboly zprávy a okolím světem - strukturí vztahy mezi symboly - vztahy mezi symboly a okolím světem omezeé a vztahy: - mezi ozačeím a výzamem - mezi výzamem a jejich překladem sytaktická iformace sématická pragmatická Iformace a etropie počet možých zpráv délky a ad abecedou s celkovým počtem symbolů s je N = s (variace s opakováím) říklad : A = {,}, s =, = 6 => N = 6 = 64 A = {a,b,c,d}, s = 5, = 6 => N = 5 6 = 565 Vybereme-li jedu kokrétí zprávu, redukujeme tím eurčitost. Čím větší bude počet možých alterativ, tím větší eurčitost tímto výběrem odstraíme.
Materiály k X33KUI, ČVUT, FEL, Vytvořeo de /5/6 7:7 M Možství iformace ve zprávě je rostoucí fukcí počtu alterativ. latí I = f (N ) ožadavek aditivity: + I = I + I = f s ) = f ( s ) + f ( s ) = f ( N ) + f ( N ) ( o itegraci f ( N ) = K l N artleyova míra iformace I = K l N = K l s toto platí při rovoměrém rozložeí Obecě: Symboly se mohou ve zprávě vyskytovat s růzou četostí ermutace s opakováím (při růzých absolutích četostech,..., s jedotlivých symbolů) N =!!!..! s I = K l N = K( l l... = K( = K s i= s { } l { } l... { } l i i s l s ) = Nepsat odvozeí je fiálí vzorec s s l ) = Shaoova etropie Odvozeí kostaty K: s I = = K i l i i= středí hodota iformace a jede symbol zprávy Nechť A={,}, echť středí možství iformace a jede symbol je rovo jedomu bitu. ak za předpokladu stejé pravděpodobosti výskytu obou symbolů platí: = K[ l + l ] = K l = K l = K = l
Materiály k X33KUI, ČVUT, FEL, Vytvořeo de /5/6 7:7 M Kostata udává v jakých jedotkách měříme, pro měřeí etropie v bitech používáme K=/l. oužijeme-li K=/l je to totéž jako kdybychom použili log a kostatu K =. (další možé variaty K=k-bolzmaova kostata ebo K=). říklady: ) Spočtěte středí hodotu iformace hodu micí a šestibokou kostkou. ) Jaká bude etropie hodu micí a kostkou, pokud ebudou vyvážeé ( tj. jeda straa bude padat častěji ) 3) Jaká bude v případě, že bude padat jeom jeda straa/číslo? 4) Máte áhodý proces geerující symboly {a, b, c}. ravděpodobost výskytu symbolu a je.5 ( tedy (a) =.5 ), (b) = (c) =.5. Spočtěte středí hodotu iformace a jede symbol Komuikačí kaál Sdělováí: telefoí lika děrá páska - apěťové impulsy ožadovaá hodota teploty - skutečá teplota - řízeí Z hlediska teorie iformace se jedá o stejý problém. Kódováí - trasformace zprávy z vyjádřeí v jedé abecedě do abecedy jié Dekódováí - iverzí operace ke kódováí Kód - předpis, který určité skupiě symbolů jedé abecedy jedozačě přiřadí určitou skupiu symbolů z jié abecedy Struktura komuikačího kaálu:
Materiály k X33KUI, ČVUT, FEL, Vytvořeo de /5/6 7:7 M Soustava kodér kaál dekodér je sama o sobě kaálem, kodérem a dekodérem je možé měit vlastosti kaálu. Diskrétí kaál a jeho kapacita U={u i } možia přístupých hodot sigálu a vstupu kaálu Y={y j } možia přípustých hodot sigálu ma výstupu kaálu Jsou-li U a Y koečá, pak trojice resp. (U, Y, [(y j / u i )]) resp. (U, Y, [(u i / y j )]) představuje popis diskrétího kaálu, kde [(y j / u i )] je matice podmíěých pravděpodobostí: Obdobě lze vyjádřit [(u i / y j )]. omocí matic [(y j / u i )] či [(u i / y j )] lze porovávat vlastosti kaálů je obtížě. K tomu lze použít střdí vzájemou iformaci T(U:Y) = (U) - (U/Y) = (Y) - (Y/U) Etropie (U/Y) resp. (Y/U) udává ztrátu iformace způsobeou přeosem. Bude-li (Y/U) = (U/Y) =, je kaál bez šumu. Rychlost přeosu iformace R = v u T(U:Y) (bit/s), kde v u je rychlost přeosu jedotlivých symbolů:, kde je středí doba přeosu jedoho symbolu. Rychlost fyzikálího přeosu v u emůžeme z hlediska teorie iformace ovlivňovat. Středí vzájemá iformace závisí eje a pravděpodobostech (y j / u i ), ale také pravděpodobostech (u i ). Tyto lze měit vhodým kódováím a zvyšovat tak rychlost přeosu iformace (kód se tak vlastě přizpůsobí vlastostem kaálů). Maximálí rychlost přeosu C se azývá kapacita kaálu:,
Materiály k X33KUI, ČVUT, FEL, Vytvořeo de /5/6 7:7 M kde imum středí vzájemé iformace hledáme přes všecha možá rozložeí pravděpodobosti (U). ro kaál bez šumu je T(U:Y) = (U), tedy V případě rovoměrého rozložeí (u ) = (u ) =... = (u s ) = /s, kde s je počet možostí vstupího sigálu, dostáváme: (U) = log s, a tedy C = v u log s. Symetrický kaál vzhledem ke vstupu (šum stejým způsobem ovliví přeos každého vstupího symbolu) - pak jsou všechy řádky [(y j / u i )] permutacemi čísel,,..., s. Obdobě, pro symetrický kaál vzhledem k výstupu, platí předpoklady i pro sloupce matice [(y j / u i )]. ak dostáváme tzv. symetrický kaál. Biárí symetrický kaál: a odtud Je zřejmé, že by se mělo blížit ebo. Nejhorší případ: = /, pak se kapacita kaálu blíží ule. Obecě:
Materiály k X33KUI, ČVUT, FEL, Vytvořeo de /5/6 7:7 M Shaoova věta: Jestliže je etropie zdroje meší ež kapacita kaálu, je možé ajít takový kód, který umoží přeášet daým kaálem zprávy, které geeruje zdroj tak, aby pravděpodobost chyby byla libovolě malá. Obráceá věta: Je-li etropie zdroje větší ež kapacita kaálu, eí možé ajít takový kód, který by umožňoval přeášet tímto kaálem zprávy, které geeruje zdroj tak, aby pravděpodobost chyby byla libovolě malá. Kódy a kódováí říklad: Nechť zdroj geeruje 4 ezávislé symboly a,b,c,d, s pravděpodobostmi Etropie zdroje pak bude Uvažujme dva kódy: symbol a b c d kód kód Staovme yí pravděpodobosti výskytu symbolů ové abecedy pro oba kódy: symbol a a a a b b c d kód kód Odtud relativí četosti (=~pravděpodobosti) pro kód pro kód Nyí lze staovit etropii pro oba kódy: Kód je úsporější!!
Materiály k X33KUI, ČVUT, FEL, Vytvořeo de /5/6 7:7 M oměrá etropie: Redudace: Délku zprávy ozačme ozačme. Musí platit:, a tedy, délku zprávy zakódovaé optimálím kódem s etropií u zdroje (geerovaé symboly emají rovoměré rozděleí) / Redudace vziká \ kódováím (erovoměrost se ještě zvýší) Redudace zdroje: kde a je imálí etropie zdroje. Redudace způsobeá kódováím:, kde je etropie zakódovaé zprávy. Celková redudace: (stále předpokládáme, že symboly jsou ve zprávě ezávislé) okračováí příkladu:
Materiály k X33KUI, ČVUT, FEL, Vytvořeo de /5/6 7:7 M - je pro oba kódy stejá Druhý kód je tedy úsporější! Redudace je užitečá v případě působeí šumu. Můžeme ji zvyšovat apř. opakováím zprávy Nejjedodušší idikace chyby - použití parity: kotrolí bit - eese iformaci, je urče výlučě k idikaci chyby Např. v ASCII je 7 výzamových bitů, osmý je paritím pro sudou paritu bit 876543 A C Lze jedozačě odhalit (ikoliv opravit!) chybu, pokud je v jedom bitu. Kódové krychle: k čemu to je??? Jedotlivým kódovým slovům přiřazujeme vrcholy krychle Dimeze krychle vychází z počtu symbolů v kódovém slově: symboly - dvojrozměrá krychle 3 symboly - trojrozměrá krychle
Materiály k X33KUI, ČVUT, FEL, Vytvořeo de /5/6 7:7 M
Materiály k X33KUI, ČVUT, FEL, Vytvořeo de /5/6 7:7 M refixová vlastost okud budou kódová slova uspořádáa tak, že žádé slovo eleží a cestě od jiého slova ke kořei grafu (žádé slovo eí prefixem jiého), má uvedeý kód prefixovou vlastost. Kód č. - prefixový Kód č. - eí prefixový K čemu je dobrá prefixová vlastost -
Materiály k X33KUI, ČVUT, FEL, Vytvořeo de /5/6 7:7 M říklad: Spočtěte kapacitu biárího komuikačího kaálu s přeosovou rychlostí baud a pravděpodobostí správého přeosu symbolu {.8,,.5,., }. Řešeí: =.8, = C = + log + [ ( y u) ].8. [ ( y u) ] =,..8 C = + log + C = &.78., ( ) log ( ) ( ) log ( ),, říklad: Máte biárí komuikačí kaál přeášející symboly, s pravděpodobostí správého přeosu.7. Uvažujte kód. Jaká bude pravděpodobost správého přeosu symbolu systému kodér-kaál-dekodér? Jaká bude přeosová kapacita systému ve srováí s původím kaálem? Řešeí: ravděpodobost správého spřeeseí symbolu: Uvažujme přeos, kóduje se a sekveci, výstupí sekvece, kdy je zak správě přeese, jsou,,,, pravděpodobost správého přeosu je tedy Kapacita: (ok) = 3.,3.,7 +,7 3 =,784 Kap(.784) / Kap(.7) /3.7 říklad: Zdroj geeruje tři ezávislé symboly a,b,c s pravděpodobostmi 3 a) ( a) =, ( b) =, () c =. 5 5 b) ( a) =, ( b) =, () c =. c) ( a) =, ( b) =, () c =. 6 3 Sigál je dále kódová do biárí reprezetace dle ásledující tabulky: (ebo: k přeosu se používá kaál s kódováím) symbol a b C kód
Materiály k X33KUI, ČVUT, FEL, Vytvořeo de /5/6 7:7 M kód kód 3 Jaká je redudace a) zdroje b) způsobeá kódováím c) celková d) má kód prefixovou vlastost? Zdůvoděte Řešeí : Kód 3: 3 ( a) =, ( b) =, () c =, 5 Zpráva a její zakódováí odpovídající pravděpodobostem výskytu zaků: a a a a a b b b c c d) Ao, lze jedozačě určit začátek a koec každého zakódovaého symbolu v libovolé zprávě (žádý kód symbolu eí ásledíkem jiého kódu symbolu ve stromu). Kód : 5 ( a) =, ( b) =, () c =, Zpráva a její zakódováí odpovídající pravděpodobostem výskytu zaků: a a a a a a b c c c c c a) b) c) ( ) 3 = =, 8 7 = log = &.349 = &.585 = &.985 = - () ( x ) log ( x ) = ()log () ()log () = r 3 i = = log s r = r + r rz = - k c z k i + log = &.64 = &.564 r r z k 6 4 = =, 8 7 = - i + 5 log = &.3784 5
Materiály k X33KUI, ČVUT, FEL, Vytvořeo de /5/6 7:7 M d) Ao. říklad: Zdroj geeruje tři ezávislé symboly X, Y, Z s pravděpodobostmi a) b) 5 7 ( X) =, ( Y) =, ( Z) 4 ( X) =, ( Y) =, ( Z) =. Sigál je dále kódová do biárí reprezetace dle ásledující tabulky: =. Symbol X Y Z kódováí I kódováí II kód kód kód kód a) Jaká je etropie zdroje? b) Určete etropie obou kódů c) Jaká je redudace zdroje? d) Který z kódů má vyšší redudaci? e) Který kód je úsporější a proč? Řešeí: Variata b, kódováí II: 5 7 ( X ) =, ( Y ) =, ( Z ) =, Zpráva a její zakódováí v obou kódech odpovídající pravděpodobostem výskytu zaků: X X Y Y Y Y Y Y Y Z kód
Materiály k X33KUI, ČVUT, FEL, Vytvořeo de /5/6 7:7 M kód b) c) d) ( ) () ( ) () 9 = 9 = 9 9 = = = ( x ) log ( x ) = ()log () ()log () = ()log () ()log () 7 = log + 5 5 a) = &.57 r k 3 i = = log s = &.585 = &.998 = &.993 rz = - = - i = &.7 log = &.37 i log rk = - = &.4 e) Úsporější je kód, protože má větší etropii. 7 +
Materiály k X33KUI, ČVUT, FEL, Vytvořeo de /5/6 7:7 M říklad: Rychlost přeosu iformace je 3 zaků za vteřiu. Jaká je kapacita kaálu přeášejícího dva symboly a, b, jsou-li prvky pravděpodobostí matice rovy (a/a)=(b/b) =.7, (a/b)=(b/a)=.3. říklad: Zdroj zpráv geeruje dva symboly s pravděpodobostmi (a)=.6, (b)=.4. K přeosu se používá kaálu s kódováím a..3 b..3 a) Jaká je etropie zpráv? b) Jaká je přeosová kapacita kaálu při přeosu zaků za vteřiu? c) Jaká je redudace kaálu? d) Jaká je celková redudace zdroje a kaálu? Řešeí: ( ) ( ) a =.6, b =.4, Zpráva a její zakódováí odpovídající pravděpodobostem výskytu zaků: a a a b b 3 3 3 3 3 7 ( ) = 5 () 3 = v = s a) c) d) (.6 log.6 +.4 log.4) = ()log () (3)log (3) 7 = log = log s = = C = v bez šumu ( + log + ( ) log ( )) = = &.979 = &.979 i = = b) C = s r = - r = r ( x ) log ( x ) rz = - k c z + r k i bez šumu 7 = &.9 = &. r r z + k 5 i log bez šumu = - 5 bez šumu = &.486 bez šumu
Materiály k X33KUI, ČVUT, FEL, Vytvořeo de /5/6 7:7 M říklad: Zdroj iformace geeruje ezávislé symboly X a Y s pravděpodobostmi (X) =., (Y) =.8. Iformace je přeášea dvěma ezávislými kaály s kódy X Y kód kód a) Jaká je etropie zdroje? b) Který kód je prefixový a proč? c) Který z kódů má větší redudaci? říklad: okuste se vypočítat přeosovou kapacitu předpovědi počasí v TV. Návod: Uvažujte počasí jako zdroj iformace a předpověď jako komuikačí kaál. ozámka: výpočet redudace V dřívějších materiálech pro cvičeí se pro výpočet redudace používaly vztahy dle Kotka (viz. kiha Kyberetika straa 35, resp. příklady uvedeé výše v tomto materiálu, mj. r c =r z +r k -r z *r k ). Tyto defiice jsou málo ituitiví: i ejvhodější zvoleé kódováí má začou redudaci, hodota celkové redudace se obtížě iterpretuje a a za jistých okolostí může být i záporá (větší kódová abeceda ež je abeceda zdroje). V předáškách proto pracujeme s jediou defiicí: očítáme-li potom celkovou redudaci, je to jedoduše redudace a výstupu posledího čláku kódového řetězce, tj. redudace po kódováí. Teto vztah (podobě jako vztahy dle Kotka) ovšem předpokládá ezávislost mezi jedotlivými symboly kódu. Teto předpoklad eí velice často prakticky splě, proto je vhodé uvažovat i průměrý počet bitů a jede symbol zdroje za kodérem (teoretický vztah mezi etropií a optimálím skutečým průměrým počtem bitů udává Shaoova věta o kompresi). říklad: Uvažujme zdroj se čtyřmi stavy (zaky abecedy), s distribucí (a) =.5, (b) =.3, (c) = (d) =.. Uvažujme dva kódy a posuďme jejich redudaci: k: a,b, c, d k: a, b, c, d Etropie a redudace zdroje: z = -(.5 log.5+.3 log.3+*. log.)=.68, = 4, r z =.68 / log 4 = 6 %
Materiály k X33KUI, ČVUT, FEL, Vytvořeo de /5/6 7:7 M Zdroj egeeruje stavy s rovoměrou pstí, z čehož utě plye redudace. Od ideálího kódováí (z hlediska redudace) očekáváme, že tuto erovoměrost odstraí. Častějším symbolům zdroje přiřadí kratší kódová slova a aopak, skutečý průměrý počet bitů a jede symbol zprávy bude co ejmeší. Současě bude imalizovat etropii vyrováím psti mezi ulami a jedičkami. Je zřejmé, že rovoměrý kód k výše zmíěé požadavky esplňuje, zatímco kód k je splňuje. Etropie a redudace kódu, resp. po kódováí (tím supluje i roli dříve používaé celkové etropie): k: k =-(.7 log.7+.3 log.3)=.88, r k =.88 / log =% L k=.5 * +.3 * +. * +. * = * = k: k =-(.53 log.53+.47 log.47)=.99, r k =.99 / log =% L k=.5 * +.3 * +. * 3 +. * 3 =.7 Iterpretace výsledku: Rovoměrý kód k ijak eodstraňuje redudaci zdroje. Její číselé sížeí vzhledem k redudaci zdroje samotého (% versus 6%) je způsobeo eplatostí předpokladu ezávislosti mezi symboly kódu (je apř. zřejmé, že ()=.7 <> ( )=.75). Kód k je výsledkem uffmaova kódováí, jde o optimálí kód z hlediska komprese, tj. skutečého průměrého počtu bitů a jede symbol zdroje L, která se blíží etropii zdroje reprezetující jeho teoretické optimum (v daém, případě reálě edosažitelé za předpokladu, že kódujeme jedotlivé symboly zdroje). I redudace je téměř ulová, resp. dosahuje hodoty %. Celkovému pochopeí výzamu redudace a kapacity pak apomohou příklady, které vycházejí z přirozeých situací a jejich zadáí eí jeom sytetickým souhrem pravděpodobostí (viz. ásledující příklad). říklad: Obléhaá pevost komuikuje se spřáteleou armádou pomoí holubů. olubi vylétají každých 5 miut, cesta jim trvá přesě 3 miuty. Každý holub ese dopis se zprávou. Zprávy mají délku jedé věty a reprezetují smluveé sigály. evost a armáda mají dohodutých celkem 3 růzých sigálů, resp. smluveých vět (apř. věta Teta přijede v podělí. odpovídá sigálu Dochází ám potraviy. ).. Jaká je kapacita iformačího kaálu jestliže všichi holubi doletí?. Jaká je kapacita pokud epřítel setřelí každého třetího holuba? 3. Jaká je kapacita pokud epřítel všechy sestřeleé holuby ahradí holuby s falešými zprávami (tj. zprávami áhodě vybraými z možiy esprávých kódových vět)?. racujeme se vztahem pro kapacitu symetrického kaálu:. Každý holub ese zprávu s iformací log 3=5 bitů/zprávu, přeosová rychost je zpráva/5mi, =, i = pro každé 3 j>: kapacita C =/5mi*[5 bit/zprávu+]= bit/mi
Materiály k X33KUI, ČVUT, FEL, Vytvořeo de /5/6 7:7 M. Došlo pouze ke sížeí přeosové rychlosti: C =(-/3)C =.66 bit/mi 3. st správého přeosu zprávy poklesla o /3: =/3, i =/(3*3)=. pro každé 3 j>: C 3 =/5mi [5 bit/zprávu.57]=.49 bit/mi