Etroie, relativí etroie a sdíleá vazebí iformace Pojem iformace je říliš rozsáhlý a to, abchom jej komleě osali jedoduchou defiicí. Pro libovolou distribuci ravděodobosti můžeme defiovat tzv. etroii, jež má moho vlastostí otřebých ro měřeí iformace. Vzájemá iformace je seciálí říad více obecé veliči relativí etroie, což je míra diferece mezi dvěma ravděodobostmi rozděleími. Ní odvodíme jedoduché vlastosti těchto veliči.. Etroie míra ejistot áhodé roměé a možiě X X diskrétí áhodá roměá s ravděodobostí = {X= } X Defiice: HX = - Σ log X Poz.: 0 log 0 = 0 log 0 0 [ bit] Etroie je fukcioál distribuce, ezáleží a skutečých hodotách, ale a ravděodobostech. Ozačme středí hodotu E, X, ak očekávaá hodota áhodé roměé gx je : E gx = Σ g X EgX Poz.: gx = log /X HX = E log /X Lemma: HX 0 Dk: 0 log/ 0 Lemma: H b X = log b a H a X Dk: log b log b a log a
Př.:. X = 0. - def HX = - log - - log - = H 0.9 0.8 0.7 0.6 0.5 0. 0.3 0. H 0. 0 0 0. 0. 0.3 0. 0.5 0.6 0.7 0.8 0.9 Př.: a = / b / X = c /8 d /8 HX = - / log / - / log / - /8 log /8 - /8 log /8 = -/ log - - = = /+/+3/8+3/8 = 7/. Sdružeá etroie a odmíěá etroie
Ní rozšíříme defiici ro áhodé roměé. X,Y - vektorové vjádřeí áhodé roměé, sdružeá distribuce, Defiice: Sdružeá etroie což lze vjádřit jako: HX,Y = -, log, HX,Y = - E log X, Y Defiice: Podmíěá etroie Nechť X,Y, HY X = HY X= X =- log = -, log =- E, log Y X Teorém: Řetězové ravidlo Dk.: HX,Y = HX +HY X HX,Y = -, log, = -, log = -, log -, log = - log -, log = HX +HY X Ekvivaletě lze sát: log X,Y = log X + log Y X Př.: 3
X Y 3 3 /8 /6 /3 /3 /6 /8 /3 /3 /6 /6 /6 /6 / 0 0 0 HX Y = Y=i HX Y=i i= = /H/, /, /8,/8 + /H/, /, /8,/8 + /H/, /, /,/ + + / H, 0, 0, 0 = /*7/+/*7/+/*+/*0 = /8 [bitů] Poz.: HY X HX Y ale: HX - HX Y = HY - HY X 3. Relativí etroie a sdíleá vazebí iformace - míra diferece mezi distribucemi Defiice: Relativí etroie mezi dvěma ravděodobostmi a D = log / = E log X/X X Poz.: 0 log 0/ = 0, log /0 = D 0 = Sdíleá iformace míra možství iformace, že jeda áhodá roměá obsahuje další áhodou roměou. To sižuje ejistotu jedé áhodé roměé vzhledem ke zalosti druhé.
Uvažujme X,Y se sdružeou ravděodobostí, a margiálími ravděodobostmi,. Vazebí iformace IX;Y je relativí etroie mezi sdružeou distribucí. IX;Y =, log, = D, = = E, log X, Y X Y Př.: Nechť X = 0, a eistují distribuce, ; 0 = r = r 0 = s = s D = r log r s D = s log s r + r log s r + s log r s a Je-li r = s ak D = D =0 Je-li r = / s = / ak: D = log + 3 log = / log 3 - + / log = = -/ log 3 +/ +/ =-/ log 3 = 0,075 [bitů] ale 3 D 3 = log + log = 3/ log 3 = 0,887 [bitů] Obecě: D D 5
. Vzájemý vztah mezi etroií a sdíleá iformace Sdíleá iformace, IX;Y =, log =, log,, = -, log +, log,, = - log - -, log = HX - HX Y, Vzhledem k smetrii lze sát: Platí-li ak tudíž IX; Y = HY - HY X HX,Y = HX + HY X IX; Y = HX +HY - HX,Y IX; X = HX +HX X = HX Alikací těchto výsledků dostáváme ásledující teorém: IX; Y = HX - HX Y IX; Y = HY - HY X IX; Y = HX +HY - HX,Y IX; Y = IY; X IX; X = HX 6
HX,Y HX Y IX; Y HY X HX HY Př.: ro zadáí z ř.. sočtěte: IX; Y = HX +HY - HX Y = HY- HY X= = 7/ - /8 = 3/8 = 0,375 [bitů] 5. Řetězová ravidla ro etroii, relativí etroii a sdíleou iformaci Etroie kolekce áhodých roměých je součtem odmíěých etroií Teorém: Nechť X, X,, X je osáo,,, ak HX, X,, X = HX i X i-,, X i= Dk.: HX, X = HX + HX X HX, X, X 3 = HX + HX, X 3 X = HX + HX X +HX 3 X, X HX, X,, X = HX + HX X + HX X -,, X = HX i X i-,, X i= 7
Ní defiujeme odmíěou sdíleou iformaci jako zmešeí ejistot o X vzhledem ke zalosti Y, je-li dáo Z. Defiice: IX; Y Z = HY Z - HY X, Z = = E,, z log X, Y Z X Z Y Z Teorém: Řetězové ravidlo ro iformaci IX, X,, X ; Y = IX i ;Y X i-,, X i= Dk.: IX, X,, X ; Y = HX, X,, X ; Y - HX, X,, X Y= = HX i X i-,, X - HX i X i-,, X, Y = i= i= = IX i ;Y X,, X i- i= Defiice: Podmíěá relativí etroie D = log = = E, log Y X Y X Relativí etroii mezi vlastími distribucemi dvojice áhodých roměých je možo vjádřit součtem relativí etroie a odmíěé relativí etroie. Teorém3: Řetězové ravidlo ro relativí etroii D,, = D + D 8
9 Dk.: D,, =, log,, =, log =, log +, log = D + D Ig. Aroštka Netrvalová e-mail: etrvalo@kiv.zcu.cz, ZČU v Plzi, FAV, KIV - místost: UK, tel.: 377635