5. Teorie informace. Kvantitativní vyjádení množství informace ve zpráv. Syntax versus sémantika (zde nás zajímá syntaktická ást).

Transkript

1 Enet Teoie infomace 5. Infomace a entopie Kvantitativní vyjádení množtví infomace ve zpáv. Syntax ve émantika (zde ná zajímá yntaktická át. Dležité pojmy: o Abeceda nap. {a,b,c,bd,cd}. o Zpáva (nap. aabcbdcda. o Symbol (pvek abecedy nap. cd. Z dané abecedy lze etavit jité množtví zpáv o tanovené délce. Mjme zpáv o délce n etavené z ymbol abecedy. Množtví infomace I ve zpáv bde otocí fnkcí pot možných zpáv N, kde platí N = n, bde fnkcí pot tchto zpáv, tedy I = f(n. Uvažjme dv zpávy délek n a n. Spojíme-li ob zpávy ve zpáv jedino, potom celková infomace ohledem na požadavek aditivity mí být otem dílích infomací obo zpáv. Tedy I = I + I = = f ( f ( N n + n. N = = f ( n f ( N + + f ( f ( N n =. Fnkce, kteá by plovala pedcházející požadavek bde potom fnkcí logaitmicko a lze ji napat ve tva I = f(n = K ln N = K n ln. Tto veliin nazýváme Hatleyovo mío infomace a dopl k ní popvé v. 98 R. Hatley.

2 Enet 004 Uvažjme dále aboltní výkyty ymbol ve zpáv jako etnoti jednotlivých ymbol n, n,, n. Po celkovo infomaci I chaakteizjící množtví infomace lze napat (Hatleyova mía infomace 98 ni ni I = K. n. ln, i= n n kde K je kontanta. Za pedpoklad, že zpáva bde dotaten dlohá (n velké, mžeme elativní etnoti ymbol považovat za pavdpodobnoti, tedy ( ln I = K. n. P i P i, i= což je celkové množtví infomace obažené ve zpáv délky n, jejíž ymboly nejo ovnomn ozdleny, ale vykytjí e pavdpodobnotí P i. Podlíme-li celkové množtví infomace I potem ymbol abecedy n, dotaneme tední hodnot infomace pipadající na jeden ymbol zpávy H = I n ( ln = K. P i P i. Tto tední hodnot infomace pipadající na jeden ymbol zpávy H nazval známý C.E. Shannon entopie (infomaní nebo hannonovká. Po nejjednodšší možno abeced o dvo ymbolech {0,} íme hodnot kontanty K tak, že položíme hodnot infomace této abecedy na jeden ymbol ovno jedné. Za pedpoklad tejné pavdpodobnoti výkyt obo ymbol ve zpáv bde platit I = K. ln =, K =. ln Potom po infomaní entopii platí H =. ( Pi ln Pi = ( Pi log Pi, ln i= i= a infomaci míme v jednotkách [bit binay digit]. Jetliže kontant K zvolíme ovn jedné a požijeme piozené logaitmy, míme infomaci v piozených jednotkách [nat]. i=

3 Enet 004 Píklad: Spotte entopii pi házení kotko, kteá má íla:,, 4, 5, 5, 6. Po jaká íla na kotce by byla entopie maximální a po jaká minimální? 5. Vlatnoti entopie Pedpokládejme koneno abeced A = {a, a,, a } ze kteé je tvoena zpáva, nebo že každém ymbol abecedy mžeme piadit ito hodnot ignál x i : x i X, X = { x, x,. x }. Dále pedpokládejme, že známe pavdpodobnoti, jakými e bdo vykytovat ymboly abecedy a i, nebo hodnoty ignál x i. Po infomaní entopii množiny hodnot ignál x i platí ( x log H ( X =, i= i x i Vlatnoti entopie lze potom hnot jako: H(X = 0 tehdy a jen tehdy, jo-li všechny pavdpodobnoti kom jedné ovny nle a jedna pavdpodobnot je ovna jedné. (Hodnota ignál, po kteo je pavdpodobnot ovna jedné, natává jitoto, není zde žádná neitot. Jetliže jo pavdpodobnoti výkyt všech hodnot ignál tejné a platí x = x = = x =, Potom doahje entopie vého maxima, což je H max ( X = log. Sdžená entopie. Uvažjme dva ignály x i X, X = { x, x,. x } a y j Y, Y = { y, y,. y }. Potom dženo entopii definjeme jako

4 Enet 004 H ( X, Y = x, y log x, y, i= j = i j i j kde x i, y j je džená pavdpodobnot (pavdpodobnot, že ignál x nabývá hodnoty x i a záove ignál y nabývá hodnoty y j. Po jednoozmno (maginální entopii platí i j i j i= j = j = H ( X = x, y log x, y. Mezi dženo entopií a maginálními entopiemi platí neovnot H ( X, Y H ( X + H ( Y. Po entopii pojité veliiny platí vztah + H ( X = f ( x.log f ( x. dx, kde f(x je htota pavdpodobnoti pojité veliiny x. 5.3 Komnikaní kanál a kódování Stkt komnikaního kanál lze chápat jako nkolik átí zdoj infomace, kódovací zaízení, kteé kódje tto infomaci, amotný penoový kanál, do kteého vtpje šm a kteé penáší amotno zakódovano infomaci z míta pokytovatele infomace (zdoj infomace do míta píjemce infomace. Dekódovací zaízení dekódje zakódovano zpáv na pvodní zdoj infomace až k píjemci infomace. Podle typ penoového kanál lze komnikaní kanál dlit na Spojitý komnikaní kanál Dikétní komnikaní kanál

5 Enet 004 Pi amotném poce kódování infomace e mní množtví ymbol ve zpáv a mní e i ozložení pavdpodobnoti výkyt jednotlivých ymbol. U nkteých kód je teba více ymbol k peneení tejné zpávy než jiných kód. Je tedy možné najít takový kód, kteý bde mít nejvtší entopii, tzn. nejmenší poet ymbol na dané množtví infomace v penášené zpáv. Takový kód potom vyžadje nejkatší dob peno infomace daným kanálem. Mío úponoti kódování je pomná entopie h definovaná vztahem H h =, H max kde H je entopie daného kód a H max je maximální entopie. Po optimální kód doahje hodnota pomné entopie jedné. Nadbytenot ymbol v kódované zpáv lze vyjádit pomocí veliiny, kteo nazýváme edndance a je definována jako H H H max = h =. max Redndance kódování vzniká jednak zdoje infomace a jednak kódováním, kteé ješt zhoší neovnomnot výkyt jednotlivých ymbol ve zpáv. Po edndanci zdoje bde platit H0 H0 = =, H log z max kde H 0 je entopie zdoje a log je maximální entopie zdoje. Dodatená edndance zpobená kódováním bde z H =, H kde H je entopie zakódované zpávy. Celkovo edndanci íme ze vztah H c = z + k z. k =. log Jak již bylo eeno, výhodnjší kód z hledika vyžití komnikaního kanál by byl takový, kde by byl výkyt jednotlivých ymbol e 0

6 Enet 004 tejno pavdpodobnotí. Ale tato podmínka ješt nezaí, že bde mít minimální edndanci. Kódy lze dlit podle délky kódových lov Rovnomné kódy (kódové lova tejn dlohá není poblém e zjišování, kde koní jedno a zaíná dhé kódové lovo, ASCII tablka Neovnomné kódy (délka kódových lov zná, typickým píkladem Moeova abeceda požívá ti ymboly a to ák, tek a meze, což zvyšje edndanci Je možné vytvoit takové kódy, kde žádné kódové lovo nebde zaátkem jiného lova. Potom není teba k oddlení kódových lov požívat další edndantní ymbol, petože e bde jednat o neovnomné kódy. Takové kódy nazýváme jako kódy pefixovo vlatnotí. Podle toho dlíme dále kódy na Kódy pefixovo vlatnotí Kódy bez pefixové vlatnoti O tom, zda má kód i nemá pefixovo vlatnot e lze nadno pevdit pomocí znázonní kód ve fom tomového gaf. Každém zl gaf odpovídá kódové lovo tvoené z jednotlivých han od koene gaf k pílšném zl. Pokd jo kódová lova poádána tak, že žádné lovo neleží na cet od jiného lova ke koen gaf, má vedený kód pefixovo vlatnot. Píklad Mjme dva kódy ymbol a b c d kód kód Uete kteý z kód je ovnomný a má pefixovo vlatnot.

7 Enet 004 Píklad Nech zdoj geneje tyi nezávilé ymboly a, b, c, d pavdpodobnotmi a = /, b = /4, c = d = /8. Mjme dva kódy ymbol a b c d kód kód Spotte entopii zdoje infomace, edndanci zdoje infomace a edndanci obo kód. Redndance a její vlatnoti otocí edndancí e zvyšje poet penášených ymbol ve zpáv, než za požití optimálního kód edndance má opodtatnní v pípad zašení komnikaního kanál nap. opakováním zpávy, nebo pidáním peciálních znak ke zpáv, kteé možní chyb indikovat popípad opavit (paitní bit, CRC kód atd. Dalším dležitým pojmem vlatnotí kód je tzv. Hammingova vzdálenot ρ(a,b - poet mít, ve kteých e dv kódová lova A, B liší. Tato vzdálenot vyhovje axiomm metiky, lze ji teda opávnn považovat za vzdálenot.

8 Enet 004 Po nap. típvkový kód a jeho Hammingov vzdálenot lze napat ρ(000,00 = ρ(000,00 = ρ(000,00 =, ρ(000,0 = ρ(000,0 =, ρ(000, = 3. Dležito vlatnotí Hammingovy vzdálenoti je, že chaakteizje odolnot kód poti šení a chopnot kód chyb identifikovat, popípad opavit. Po ρ = (kód bez edndance nelze identifikovat chyb, potože chybn pijaté lovo bde odpovídat jiném kódovém lov. Po ρ = je možné zjitit chyb v jednom ád (paitní bit - odhalí chyb v jednom bit, po ρ = 3 je možné zjitit chyb ve dvo ádech a opavit chyb v jednom ád. Po vícemítné kódy tanovíme Hamingov vzdálenot tak, že eteme pílšná kódová lova modlo (logická nonekvivalence a poítáme poet jedniek v ot modlo. Píklad Uete Hammingov vzdálenot po dv deetipvková kódová lova a = a b = Stední vzájemná infomace Uvažjme dva ignály x i X, X = { x, x,. x } a y j Y, Y = { y, y,. y }, kteé jo itým zpobem závilé. Neitot výb hodnoty x za pedpoklad znaloti hodnoty y je dána podmínno entopií H(X Y. Zmna neitoti ve výb hodnoty z X bez znaloti výb z Y a pi znaloti výb z Y bde dána H(X H(X Y = T(X:Y. Veliin T(X:Y nazýváme tední vzájemno infomací (lze zobazit pomocí Vennova diagam. Vyjádíme-li podmínno entopii pomocí džené, potom po tední vzájemno infomaci platí T(X:Y = H(X + H(Y H(X,Y.

9 Enet 004 Vlatnoti tední vzájemné infomace Je nezáponá fnkce: T(X:Y 0 Je ymetická fnkce vých agment: T(X:Y = T(Y:X Je ovna nle jo-li x a y tatiticky nezávilé veliiny. Platí-li T(X:Y = min{h(x, H(Y} pak jo x a y vázány fnkní závilotí y = f(x, kde f(x je monotónní fnkce. 5.5 Dikétní kanál a jeho kapacita Zpáv nech kódjeme pomocí kodé vyjádeno v abeced zdoje infomace na hodnoty ignál i. Množin píptných hodnot ignál ozname U ( i U. Nech ignál nabývá na výtp komnikaního kanál hodnoty y j (y j Y. Množina Y je množino píptných hodnot výtpního ignál. V ideální pípad by exitovalo mezi hodnotami vtpního a výtpního ignál jednoznané zobazení, v eálném komnikaním kanál je ale ignál ovlivován šmem a šením. Komnikaní kanál bde chaakteizován pavdpodobnotmi pijetí y j za pedpoklad vylání i nebo pavdpodobnotmi vylání i za pedpoklad pijetí y j, i =,,.,, j =,,,. Potom dikétní kanál je popán tojicí (U, Y, i y j nebo (U, Y, y j i, kde i y j a y j i jo matice podmínných pavdpodobnotí ve tva y y y y y y y i j i = y = j y y,.

10 Enet 004 K ohodnocení chopnoti kanál penášet infomace je vhodná tední vzájemná infomace, tzn. infomaci, kteo nee ignál y o ignál nebo ignál o ignál y T(U:Y = H(U H(U Y = H(Y H(Y U = H(U + H(Y H(U,Y. H(U Y nebo H(Y U dává ztáty infomace zpobené penoem komnikaním kanálem platí-li H(U Y = H(Y U = 0, pak e jedná o komnikaní kanál bez šm a šení z hledika vyžití komnikaního kanál ná zajímá ychlot peno R infomace kanálem Po ychlot peno infomace R komnikaním kanálem platí R = v T(U:Y [bit. ], kde v je ychlot peno jednotlivých ymbol daného kód, po kteo platí v =, τ kde τ je tední doba peno jednoho ymbol zpávy (v pípad, že ymboly nemají tejno délk. Rychlot v je omezena fyzikálními vlatnotmi komnikaního kanál, z hledika kódování a teoie infomace ji nelze ovlivnit. Stední vzájemná infomace T(U:Y závií nejen na pavdpodobnotech y j i ale i na pavdpodobnotech i (pavdpodobnot i mníme vhodným kódováním. tedy zajímá ná tedy maximální ychlot peno, kteo mžeme doáhnot vhodno volbo kód. Tto maximální ychlot oznajeme jako kapacita kanál C a platí C = v.max{ T ( U : Y }, U kde maximm tední vzájemné infomace hledáme pe všechna možná ozložení pavdpodobnoti U.

11 Enet 004 Výpoet kapacity dikétního kanál e znan zjednodší, bdo-li všechny ádky matice y j i, pemtacemi íel P, P,, P. Z toho plyne, že šm tejným zpobem ovlivní peno každého vtpního ymbol. Takový komnikaní kanál nazýváme ymetickým kanálem vzhledem ke vtp. Bde-i tejný pedpoklad plnn i po lopce matice y j i, bde kanál ymetický i k výtp a takový kanál nazýváme ymetický kanál. Po = = 3 mže mít matice y j i tva P P3 P P ( y j i = P P P3. P3 P P Po kapacit ymetického kanál platí (odvození [] C = vlog + Pj log Pj. j= etným pípadem ymetického kanál je tzv. binání ymetický kanál, kteý na vtp i výtp kanál ozlišje poze dv hodnoty 0 a. Vylano 0 nebo pijmeme pavdpodobnotí P, nepávn pijato jednik pijmeme jako nl a naopak nepávn pijato nl pijmeme jako jednik pavdpodobnotí P. Matice podmínných pavdpodobnotí y j i bde mít tva P P P ( y j i =. P P Kapacit bináního ymetického kanál tedy íme podle tedy ( + P log P + ( Plog ( C = v log P, ( + P log P + ( Plog ( C = v. P

12 Enet 004 Píklad Uete kapacit bináního ymetického kanál pavdpodobnotí pávného peno ymbol P = 0.3 a tední ychlotí peno ymbol 000 znak za eknd. Shannonova vta: Jetliže je entopie zdoje menší než kapacita kanál, je možné najít takový kód, kteý by možnil penášet zpávy daným kanálem libovoln malo pavdpodobnotí chyby. Vta platí i obácen - je-li entopie zdoje vtší než kapacita kanál, není možné najít takový kód, kteý by možoval penášet tímto kanálem zpávy, kteé geneje zdoj tak, aby byla pavdpodobnot chyby libovoln malá. Úlohy. Spotte entopii pi házení kotko, kteá má íla:,,,, 5, 6.. Nech zdoj geneje dva nezávilé ymboly X a Y pavdpodobnotmi X = 0.3 a Y = 0.7. Mjme dva kódy ymbol X Y kód 0 00 kód 0 0 Spotte entopii zdoje infomace, edndanci zdoje infomace a edndanci obo kód. Kteý z kód má vtší edndanci a jaký je význam této veliiny? Jaký z kód je pefixový a po? 3. Uete kapacit bináního ymetického kanál pavdpodobnotí P = 0.5 pávného peno ymbol a tední ychlotí peno ymbol v =

13 Enet 004 Požitá liteata [] Kotek, Vyoký, Zdáhal, Kybenetika, SNTL, 990. [] Stánky pedmt pednášky