Rekonstrukce diskrétního rozdělení psti metodou maximální entropie Příklad Lze nalézt četnosti nepozorovaných stavů tak, abychom si vymýšleli co nejméně? Nechť n i, i = 1, 2,..., N jsou známé (absolutní) četnosti z neznámého diskrétního rozdělení pravděpodobnosti a nechť m j, j = 1, 2,..., M jsou neznámé četnosti z tohoto rozdělení. Hledáme hodnoty m j tak, aby entropie celého rozdělení byla maximální. J = N i=1 n i n log n i n M neznámé jsou m j, j = 1, 2,..., M, n a λ. m j n log m j n + λ(n N i=1 n i M m j ), Výsledek: m j = m = n 0 e H 0, kde n 0 = N n i a H 0 = i=1 N i=1 n i n 0 log n i n 0 H = H 0 + log n n 0, kde n = n 0 + M m Systém, identifikace struktury; R. Šára, CMP (str. 27)
Rekonstrukce spojitého rozdělení ze známých momentů Příklad Nechť µ je střední hodnota a σ rozptyl neznámého rozdělení pravděpodobnosti s hustotou f(x). Jak vypadá f(x): IR [0, 1], která má za těchto podmínek maximální diferenciální entropii? Q = + λ 2 (σ 2 f(x) log f(x)dx + λ 0 (1 ) ( f(x)dx + λ 1 µ ) xf(x)dx + ) (1) (x µ) 2 f(x)dx Výsledek f(x) = 1 T ea 1x+a 2 x 2 = = 1 σ (x µ) 2 2π e 2σ 2 (2) Důkaz 1. pomocí Gibbsovy nerovnosti (viz dále) 2. pomocí variačního počtu z rovnice (1) 1 Systém, identifikace struktury; R. Šára, CMP (str. 28)
Zobecnění předchozího výsledku Nechť g i (x), i = 1, 2,..., K jsou známé funkce a c i = g i(x)f(x)dx jsou známé hodnoty. Rekonstruujeme z nich neznámou hustotu f(x) tak, aby maximalizovala entropii H(x). Výsledek a H(x) = f(x) = 1 T e P K a j g j (x) f(x) log f(x)dx = log T + K a j c j Důkaz Nechť φ(x) je hustota rozdělení, které má větší entropii než f(x) a vyhovuje podmínkám (má stejné hodnoty c i ). Platí Gibbsova nerovnost H φ (x) = = φ(x) log φ(x) φ(x) log T + φ(x) log f(x)dx = K a j g j (x) dx = log T + K a j c j = H f (x) což je spor. Systém, identifikace struktury; R. Šára, CMP (str. 29)
Výpočet a i, i = 1, 2,..., K Zavedeme funkci Platí Z a i = Z(a 1,..., a K ) = T = g i (x)e P K a j g j (x) dx = Z Takže a i jsou řešením soustavy nelineárních rovnic 1 Z e P K a j g j (x) dx g i (x)f(x)dx = Z c i Z a i = c i, i = 1, 2,... K, (3) kde neznámé jsou a i, kde c i jsou dány a kde g i (x) jsou známé funkce. Pozn soustava (3) je většinou obtížně řešitelná analyticky 2 použijte pro důkaz výsledku (2) na str 28. Systém, identifikace struktury; R. Šára, CMP (str. 30)
Identifikace struktury Identifikace struktury Nejlepší dekompozice systému S na množinu podsystémů G = { 1 S, 2 S,..., q S} Podproblémy 1. systematické generování rekonstrukčních hypotéz G neredundance i, j {1, 2,..., q}: i S j S pokrytí i i S = S 2. Rekonstrukce celkového systému S z G. (S... množina proměnných systému) 3. Vyhodnocení rekonstrukční chyby (G) = L(S, S ) Bez podmínky nerendundance a pokrytí by byl počet hypotéz 2 2n 1 1. (n počet proměnných, n = 2 7 hypotéz, n = 4 32767 hypotéz) Systém, identifikace struktury; R. Šára, CMP (str. 31)
Zjemnění rekonstrukční hypotézy Rekonstrukční hypotéza G = { 1 S, 2 S,..., q S} Zjemnění rekonstrukční hypotézy G i je zjemněním G j když pro každé x S G i existuje y S G j takové, že x S y S. Značíme G i G j Bezprostřední zjemnění G i je bezprostředním zjemněním G j jestliže neexistuje G k takové, že G i G k a G k G j Relace bezprostředního zjemnění tvoří svaz na množině všech rekonstrukčních hypotéz. Pozn: nejde o zjemňování rozkladu, rekonstrukční hypotézy netvoří rozklad (proměnné se opakují). Systém, identifikace struktury; R. Šára, CMP (str. 32)
Generátor rekonstrukčních hypotéz Vstup: Rekonstrukční hypotéza G = { 1 S, 2 S,..., q S} Výstup: Všechna bezprostřední zjemnění G Procedura (prohledávání svazu (G, )) 1. Pro i = 1, 2,..., q dělej kroky 2,3. 2. Jestliže i S 2 potom nahraď i S množinou všech podmnožin i S o velikosti i S 1. 3. Po odstranění redundantních podmnožin v každém rozkladu dostaneme seznam bezprostředních zjemnění G. Pozn: může se opakovat na stejné úrovni zjemnění. G = {1, 2, 3}, {2, 3, 4}, {1, 4} = { 1 S, 2 S, 3 S} G 1 = {1, 2}, {1, 3}, {2, 3, 4}, {1, 4} G 2 = {1, 2, 3}, {2, 4}, {3, 4}, {1, 4} G 3 = {1, 2, 3}, {2, 3, 4}} G 4 = {1, 2}, {1, 3}, {2, 3}, {3, 4}, {2, 4}, {1, 4} G 5 = {1, 2}, {1, 3}, {2, 3, 4} G 6 = {1, 2, 3}, {2, 4}, {3, 4} Systém, identifikace struktury; R. Šára, CMP (str. 33)
Prohledávání svazu zjemnění Rekonstrukční chyba monotonně roste podél každé větve svazu zjemnění: Je-li G i G k G j potom (G i ) (G k ) (G j ) Nejjednodušší postup: Hledáme cestu, podle které roste nejpomaleji Složitější postup: Na každé úrovni nás zajímá množina řešení s nejmenším Není nutno expandovat všechny větve: postačí metoda větví a mezí G 0 = 0 [Narenda&Fukunaga 1977] G 1 = 0.0001 G 2 0.0049 G 3 0.3373 G 4 0.0162 G 5 0.3960 G 6 0.0749 0.4073 G 7 G 8 = 0.4660 Systém, identifikace struktury; R. Šára, CMP (str. 34)