Teorie informace: řešené příklady 04 Tomáš Kroupa Kolik otázek je třeba v průměru položit, abychom se dozvěděli datum narození člověka (den v roce), pokud odpovědi jsou pouze ano/ne a tázaný odpovídá pravdivě? Uvažujte, že každý 4 rok je přestupný Průměrný počet otázek je při každé strategii jejich kladení zdola omezen entropií V tomto případě hledáme entropii náhodné veličiny X, která nabývá 366 hodnot, z toho 365 hodnot je stejně pravděpodobných a zbývající hodnota je 4 -méně pravděpodobná (přestupný den jednou za čtyři roky): p X (x) = { 4 4 365+, x {,, 365},, x = 366 4 365+ Z toho dostaneme entropii H(X) = 85 bitů Horší odhad nutného počtu otázek je 9 = log 366, neboť stačí určit prvek množiny o 366 možných prvcích Je Vám nabídnuta účast ve hře v kostky Máte na výběr mezi dvěma kostkami, které nejsou symetrické a mají následující pravděpodobnosti padnutí jednotlivých stran: p = ( 3, 3, 3, 3, 3, 3 3), q = (,, 3, 3, 3, 3) Preferujete-li symetrii kostky, kterou z nich si vyberete? Bude pro Vás výhodnější, když se před začátkem hry vylosuje kostka, se kterou se bude hrát? Symetrii kostek budeme přirozeně hodnotit pomocí entropie Tak dostaneme pro jednotlivé kostky Volíme tedy druhou kostku H(p) = 3 3 8 log 3 = 406, H(q) = 5 Losujeme-li kostku před začátkem hry, dostaneme pravděpodobnosti popsané vektorem r, který odpovídá směsi (s koeficientem ) dvou původních diskrétních rozdělení popsaných pomocí p a q: r = p + ( 3 q = 6, 3 6, 6, 6, 6, 4 ) 6 Strana z
Teorie informace: řešené příklady 04 Potom platí 5 3 log 3 H(r) = = 53 8 Losování kostky na začátku tedy vede k nejvyšší entropii a tudíž k nejvyšší symetrii výsledků hry Tento způsob již zaručuje entropii blízkou symetrické kostce, jejíž entropie je maximální a rovna log 6 = + log 3 = 585 3 Odpověď X na otázku je náhodná veličina nad množinou Λ = {,, 3}, jejíž rozdělení je popsáno vektorem pravděpodobností ( /4, /, /4) Odpověď může být náhodně změněna, výsledek je popsán náhodnou veličinou Y Podmíněné pravděpodobnosti p Y X (y x) jsou popsány touto tabulkou: Určete: p Y X (y x) y = y = y = 3 x = 0 0 x = / 0 / x = 3 0 / / (a) entropii veličin X a entropii veličiny Y ; (b) podmíněnou entropii veličiny X pozorované prostřednictvím veličiny Y a obráceně Zřejmě lze přímo určit H(X) a H(Y X) Platí H(X) = 4 + + 4 = 3 a H(Y X) = 4 0 + + 4 = 3 4 Ke stanovení H(Y ) a H(X Y ) je třeba nejprve určit sdružené rozdělení náhodného vektoru (X, Y ) To získáme jako p XY = p Y X p X : p XY (x, y) y = y = y = 3 x = 0 0 4 x = 0 4 4 x = 3 0 8 8 Z tabulky rovnou vidíme, že H(Y ) = + 3 + 3 log 8 8 8 3 pravidla snadno určíme H(X Y ) jako = 4 Z řetězcového H(X Y ) = H(X, Y ) H(Y ) = H(X) + H(Y X) H(Y ) = 084 Strana z
Teorie informace: řešené příklady 04 4 Uvažujme abecedu Λ = Ω = {0, } Náhodná veličina X má binomické rozdělení Bi(, 3 /4), kde P [X = ] = 3 /4 Šum je vyjádřen veličinou Z mající rozdělení Bi(, /0), kde P [Z = ] = /0 Položme Y = X Z, přičemž je součet modulo Určete vzájemnou informaci veličin X a Y Platí I(X; Y ) = H(Y ) H(Y X) Stanovme nejprve H(Y X) Z definice Y dostaneme následující tabulku podmíněných pravděpodobností: p Y X (y x) y = 0 y = x = 0 9 /0 /0 x = /0 9/0 Z té plyne H(Y X) = 4 H(Y X = 0) + 3 4 H(Y X = ) = H(Y X = 0) = 047 Dále spočítáme p Y jako marginální rozdělení pomocí p XY : p XY (x, y) y = 0 y = x = 0 9 /40 /40 x = 3 /40 7 /40 Dostaneme H(Y ) = 088 a tudíž I(X; Y ) = 04 Jelikož H(X) = 08, lze usoudit, že při přenosu se ztratí část informace o X díky šumu Z 5 Rozhodněte, zda kód je jednoznačně dekódovatelný (JD) nebo instantní (a),0,00,000 (b),0,0,0 (c) 0,,00,00 Pokud je kód JD a nikoli instantní, lze nalézt instatní kód stejné střední délky? (a) je instantní (b) není JD: řetězec 0 lze parsovat jako (0) nebo jako (0)() (c) není instantní, ale je JD Při dekódování je totiž nutné pouze rozlišit 3 a 4 kódové slovo: pokud je počet jednotkových bitů mezi řetězcem 00 a nejbližším bitem 0 sudý, potom 00 parsujeme jako (00)(, jinak jako (00) Ke kódu (c) snadno nalezneme instantní kód, jehož slova mají stejnou délku Stačí uvážit, že délky kódových slov,,,3 splňují Kraftovu nerovnost, + + + 3, a proto lze nalézt odpovídající instantní kód Je to např kód 0,, 00, 0 Strana 3 z
Teorie informace: řešené příklady 04 6 Pro zadaný informační zdroj X nalezněte Shannonův kód a Huffmanův kód: p X (a) = 0, p X (b) = 05, p X (c) = 005, p X (d) = 04, p X (e) = 03 Například: a b c d e C S 00 00 0 00 0 C H 00 00 0 00 Srovnáním délek kódových slov ihned plyne, že Huffmanův kód má menší střední kódovou délku Přesvědčte se o tom výpočtem! 7 Nalezněte (binární) Huffmanův kód pro informační zdroj X popsaný pravděpodobnostmi ( 3, 5, 5, 5, ) 5 Určete, zda je nalezený Huffmanův kód optimální i pro zdroj Y s pravděpodobnostmi ( 5, 5, 5, 5, ), 5 a zdůvodněte proč Huffmanův kód pro zdroj X: {00, 0,, 00, 0} Ovšem jiný Huffmanův kód pro zdroj X dostaneme bitovou inverzí ve všech kódových slovech: {, 0, 00, 0, 00} Chceme ukázat, že Huffmanův kód s délkami kódových slov,,, 3, 3 je optimální i pro zdroj Y s rovnoměrnou pravděpodobnostní funkcí Ten má entropii H(Y ) = log 5 = 3 Strana 4 z
Teorie informace: řešené příklady 04 Střední délka uvažovaného Huffmanova kódu je pro tuto rovnoměrnou pravděpodobnostní funkci 3 5 + 3 5 = 5 Střední délka libovolného instantního kódu s délkami kódových slov l,, l 5 pro Y však musí splňovat nerovnost 5 5 l i H(Y ), čemuž vyhovuje každý instantní kód, jehož délky kódových slov splňují i= 5 l i i= Jelikož je součet délek slov Huffmanova kódu pro X právě, je tento kód optimální i pro zdroj Y 8 Mějme kód s těmito čtyřmi kódovými slovy: 0, 0, 0, a) Rozhodněte, zda je tento kód optimální pro nějaký informační zdroj, případně popište alespoň dva informační zdroje, pro něž je optimální b) Odstraníme-li z posledního kódového slova první bit, bude takto upravený kód jednoznačně dekódovatelný? Odpověď zdůvodněte a) Uvedený kód je optimální, neboť je instantní a délky l i jeho kódových slov splňují l i = log n i, n i N přičemž 4 n i = i= Volbou n =, n =, n 3 = n 4 = 3 tak dostaneme optimání kód pro informační zdroj popsaný pravděpodobnostmi (, 4, 8, ) 8 Strana 5 z
Teorie informace: řešené příklady 04 Uvedený kód je ovšem Huffmanův (a tudíž optimální) i např pro zdroj popsaný pravděpodobnostmi (, 3 8, 6, ) 6 b) Výsledný kód nemůže být jednoznačně dekódovatelný, neboť délky jeho kódových slov nesplňují Kraftovu nerovnost: + + 3 9 Pro informační zdroj nad abecedou X = {a,b,c,d,e,f} byl nalezen kód C: a 00 b 00 c 000 d 0 e 00 f 00 Je jednoznačně dekódovatelný? Pro délky kódových slov ověříme Kraftovu nerovnost: 3, 4, 4, 4, 4, 5 3 + 4 4 + 5 = 3 3 < Tedy existuje jednoznačně dekódovatelný binární kód s takto zadaným délkami kódových slov: a 000 b 000 c 00 d 000 e 00 f 000 Ovšem původní kód C jednoznačně dekódovatelný není, neboť např zprávy cd a af jsou zakódovány shodně Strana 6 z
Teorie informace: řešené příklady 04 0 Informační zdroje nad abecedou X = {,, 5} jsou popsány dvěma pravděpodobnostními funkcemi p a q Uvažujme binární kódy C a C pro tyto zdroje: x p(x) q(x) C (x) C (x) / / 0 0 /4 /8 0 00 3 /8 /8 0 0 4 /6 /8 0 0 5 /6 /8 Ověřte, že kód C je optimální pro zdroj s pravděpodobnostní funkcí p a kód C je optimální pro zdroj s pravděpodobnostní funkcí q Pokud užijeme kód C pro zdroj popsaný pomocí q, jaké chyby se dopustíme? Určíme entropie p a q: H(p) = 875, H(q) = Avšak střední délka kódu C je 875, střední délka kódu C je : oba kódy jsou optimální Střední délka L q (C ) kódu C použitého na zdroj s pravděpodobnostní funkcí q je + ( + 3) 8 + 4 8 = 5 Kód C tedy není pro q optimální: za nevhodné kódování zaplatíme chybou o velikosti rozdílu L q (C ) H(q) = 05, což je právě hodnota informační divergence D(q p) Markovský řetězec nad abecedou Λ = {a, b, c} je popsán těmito pravděpodobnostmi přechodu: pravděpodobnosti přechodů ze stavu a i ze stavu b jsou rovnoměrné, přechod ze stavu c do c nikdy nemůže nastat, ostatní podmíněné pravděpodobnosti jsou shodné Určete rychlost entropie odpovídajícího markovského zdroje informace Ze zadání dostaneme matici přechodu: P = 3 3 3 3 3 3 0 Strana 7 z
Teorie informace: řešené příklady 04 Rychlost entropie markovského zdroje splňuje H((X n ) n N ) = H(X X ) Stačí tedy určit H(X X ) = p(x ) H(X x ), x {a,b,c} kde p = (p(a), p(b), p(c)) je stacionární rozdělení řetězce a H(X x ) jsou podmíněné entropie jednotlivých řádku matice P Platí H(X a) = H(X b) = log 3, H(X c) = log = Stacionární rozdělení nalezneme řešením soustavy Dostaneme p = (0375, 0375, 05) Proto p P = p, p(a) + p(b) + p(c) = H(X X ) = 0375 log 3 + 05 = 075 log 3 + 05 = 435 Určete rychlost entropie markovského zdroje informace s abecedou X = {a, b, c}, jehož matice přechodu je 0 P = 0 0 0 0 Jaká je maximální rychlost entropie libovolného markovského zdroje s abecedou X? Odpověď zdůvodněte Nejprve nalezneme stacionární rozdělení p = (p, p, p 3 ) Markovova řetězce zadaného maticí P Řešíme soustavu lineárních rovnic p = pp, p + p + p 3 = Jejím řešením je vektor p = (,, 5 5 5) Informační zdroj X, X, je markovský, pokud pro jeho počáteční rozdělení p(0) platí p(0) = p Potom je rychlost entropie tohoto zdroje rovna střední podmíněné entropii H(X X ) Tedy H(X X ) = p i (0) H(X X = i) = ( 5 H, ) = 5 i=0 Maximální rychlost entropie markovského zdroje pro tento zdroj je maximum entropie na tříprvkové množině, neboť H(X X ) je konvexní kombinací podmíněných entropií na tříprvkových množinách V našem případě tedy log 3 = 585 Strana 8 z
Teorie informace: řešené příklady 04 3 Nalezněte střední délku Huffmanova kódu pro informační zdroj generující řetězec aaababbcabc Určete, jaké úspory dosáhneme použitím blokového Huffmanova kódování s délkou bloku Při použití Huffmanova kódu o délce bloku máme tuto tabulku: a b c 5 4 p(x) C H 0 0 Při použití bloku délky dostaneme tento Huffmanův kód: aa ab ba ac ca bb bc cb cc 5 0 0 0 0 6 8 8 4 p(x, y) CH 0 0 000 0 00 00 00 000 Střední délky kódů vztažené na znak zdrojové abecedy: L(C H ) = 7 = 545, L(C H ) = 304 Tedy dosáhneme komprese lepší o ( 5 ) 00 % = 55 % 545 = 5 4 Při vysílání dvouprvkové abecedy {, } se zkreslí 8% teček a % čárek Zpráva, ve které se tečky a čárky vyskytují rovnočetně, obsahuje 54 bitů informace Kolik z nich uvedený informační kanál v průměru přenese správně? Rozdělení informačního zdroje X s abecedou {, } je na vstupu popsáno rovnoměrnou pravděpodobnostní funkcí p X Podmíněné pravděpodobnosti p Y X (y x), x, y {, }, vyjadřující možnou záměnu symbolu jsou dány maticí ( ) 09 008 00 098 Strana 9 z
Teorie informace: řešené příklady 04 Nejprve určíme zpětné podmíněné pravděpodobnosti p X Y (x y) pomocí Bayesova vzorce: p Y X (y x)p X (x) p X Y (x y) = p Y X (y x )p X (x ) Potom vzájemnou informaci: x {, } I(X; Y ) = H(X) H(X Y ) = 075 Ve zprávě o 54 bitech se tak za předpokladu nezávislosti vysílaných znaků zachová přibližně 54 075 = bitů 5 Informační zdroj X vysílá znaky z abecedy X = {a, a, a 3, a 4 } s pravděpodobnostmi p X (a i ), i =,, 4 Na výstupu kanálu je pozorován informační zdroj Y nad stejnou abecedou X Chybovost přenosu je popsána podmíněnými pravděpodobnostmi p Y X (a j a i ), i, j =,, 4 Pokud jsou podmíněné entropie H(Y X = a i ), i =,, 4 maximální, jaká je vzájemná informace X a Y? Maximum podmíněné entropie H(Y X = a i ) se pro každé i =,, 4 nabývá pro rovnoměrnou podmíněnou pravděpodobnostní funkci: Proto platí p Y X (a j a i ) =, j =,, 4 4 H(Y X) = 4 p X (a i ) H(Y X = a i ) = log 4 i= 4 p X (a i ) = i= Rozdělení zdroje Y je též rovnoměrné, neboť pro každé i =,, 4 platí p Y (a i ) = 4 p Y X (a i a j )p X (a j ) = 4 j= 4 p X (a j ) = 4 j= Tudíž H(Y ) = log 4 = a proto I(X; Y ) = 0 Reference [] J Adámek Stochastické procesy a teorie informace - úlohy Vydavatelství ČVUT, 989 Strana 0 z
Teorie informace: řešené příklady 04 [] T M Cover and J A Thomas Elements of information theory Wiley-Interscience [John Wiley & Sons], Hoboken, NJ, second edition, 006 Strana z