Schéma identifikační procedury

Transkript

1 Schéma identifikační procedury systém S generátor rekonstrukčních hypotéz G a S nejsou porovnatelné nelze srovnat kvalitu G a S S a S jsou porovnatelné kvalita dekompozice S? S : (S,S ) = G dekompozice na podsystémy = rekonstrukční hypotéza G = { 1 S, 2 S,..., q S} nestranné spojení rekonstrukce S Systém, identifikace struktury; R. Šára, CMP (str. 10)

2 Globální konzistence chování Sdruženou funkci přípustnosti p B musí být možno zkonstruovat z marginálních i p B, i N q. 1 S 2 S Př: Globálně nekonzistentní systémy: v 1 v 2 v 3 3 S Lokálně konzistentní: To je ve sporu. v 1 v 2 1 p B (= a + x) Systém, identifikace struktury; R. Šára, CMP (str. 13) v 2 v 3 2 p B (= b + y) v 1 v 3 3 p B (= a + b) {z } v 1 v 2 v 3 p B a b a + x = 0 a = x = 0 (a, x 0) b + y = 0 b = y = 0 (y 0) a + b = 0.3

3 Rekonstrukce systému Dáno: Dekompozice systému G = { 1 S, 2 S,..., q S}. i S je podmnožina proměnných, i S S Cíl: Nejlepší hypotéza o celkovém systému S. (s S je stav a S je velikost stavového prostoru) Postup: 1. Určit množinu možných rekonstrukcí. i p B ( i S) = S\iS p B (S) q i S rovnic i=1 p B (S) 0 S nerovnic 2. Vybrat nejlepší z nich. Volba (nestranná rekonstrukce): S neobsahuje jinou informaci než tu obsaženou v množinách { i S, i = 1, 2,..., q}. Implementace: Spojovací procedura. Systém, identifikace struktury; R. Šára, CMP (str. 14)

4 Spojení dvou marginálních funkcí přípustnosti Marginální funkce přípustnosti: rozklad množiny proměnných: 1 S 2 S A B C 1 p B : R(A) R(B) 0, 1 2 p B : R(B) R(C) 0, 1 Spojení: 1 p B 2 p B : R(A) R(B) R(C) 0, 1 Nestranné spojení (o maximální entropii): p B(a, b, c) = ( 1 p B 2 p B )(a, b, c) def = 1 p B (a, b) 2p B (c b) Pozn: 1 p B (b) = 2 p B (b) (kompatibilita), 1 p B 2 p B = 2 p B 1 p B Speciální případy: A = : ( 1 p B 2 p B )(b, c) = 1 p B (b) 2p B (c b) B = : ( 1 p B 2 p B )(a, c) = 1 p B (a) 2p B (c) Systém, identifikace struktury; R. Šára, CMP (str. 15)

5 Příklad podsystémy: lokální kompatibilita: a b 1 p B (a, b) b c 2 p B (b, c) b 1 p B (b) 2 p B (b) vyplníme tabulku přípustnosti stavu pro p B (a, b, c) = 1 p B (a, b) 2 p B (c b) a b c p B (a, b, c) /0.6 = /0.6 = Systém, identifikace struktury; R. Šára, CMP (str. 16)

6 Poznámky 1. Připojením podsystému se nestane nic B C ( 1 p 2 p)(b, c) = 1 p(b) 2p(c b) = 2 p(b) 2p(c b) = 2 p(b, c) 2. Je-li p (a, b, c) = p(a, b) p(c b), potom marginální funkce p(a, b) a p(b, c) jsou zachovány: p (a, b) = c k p (a, b, c k ) = c k p(a, b) p(c k b) = p(a, b) p (b, c) = a i p (a i, b, c) = a i p(a i, b) p(c b) = p(b, c) 3. Marginální funkce p(a, c) obecně zachována není. a b c p p Systém, identifikace struktury; R. Šára, CMP (str. 17) a c p p

7 Věta o maximalitě entropie spojení Nechť S s funkcí přípustnosti stavu p(a, b, c) je libovolná rekonstrukce systému S s funkcí přípustnosti stavu p(a, b, c) a nechť S je rekonstrukce spojením p (a, b, c) = p(a, b) p(c b). Potom H( S) H(S ). Pozn: Platí i pro případ, kdy S je původní systém S. Důkaz Předpokládejme, že existuje p tak, že H( S) > H(S ). Použijeme Gibbsovu nerovnost H( S) = i,j,k p(a i, b j, c k ) log p(a i, b j, c k ) i,j,k p(a i, b j, c k ) log p (a i, b j, c k ) a to, že p (a, b, c) = p(a, b) p(c b), p(a, b) = p(a, b) a p(b, c) = p(b, c). Dostaneme H( S) H(S ), což je spor. Systém, identifikace struktury; R. Šára, CMP (str. 18)

8

9 Spojovací procedura Jednoduchá procedura pro { 1 S, 2 S,..., q S}: p B = q p B ( q 1 p B ( (2 p B 1 p B ))) libovolné pořadí spojování 2 p B 21 p B 1 p B 3 p B 321 p B 1 S 2 S Problém: cyklické vazby mezi proměnnými v 1 v 2 v 3 3 S Je-li splněna podmínka [p B i S] = i p B, potom je spojení nestranné. Jinak nutno použít iterativní proceduru (viz dále). Systém, identifikace struktury; R. Šára, CMP (str. 19)

10 Iterativní spojovací procedura Odstraní vliv cyklických vazeb. Iterativní spojovací procedura S ( 1 S, 2 S,..., q S; ε) 1. k := 0, p 0 := q p B q 1 p B 1 p B 2. k := k + 1, p k := q p B q 1 p B (1 p B p k 1 3. jestliže max s S p k(s) p k 1 (s) < ε stop, jinak opakuj krok 2. ) Jestliže X s S p k (s) = 1, pak řešení nalezeno s chybou ±ε, jinak { 1 S, 2 S,..., q S} není globálně konzistentní. Výsledkem je nestranná rekonstrukce s chybou ε nutná jen, pokud pro nějaké i = 1, 2,..., q platí [ p B i S ] i p B připojování nekonzistentních podsystémů přepisováním marginálních funkcí 2 p B (b) 1p B (c b) = 2 p B (b) 1 p B (b) 1p B (b, c) Důkaz konvergence: [Brown, Information and Control 4(2): , 1959] Systém, identifikace struktury; R. Šára, CMP (str. 20)

11 Příklad 1 Máme tři podsystémy systému s funkcí přípustnosti stavu p abc a b p ab b c p bc a c p ac Marginální funkce přípustnosti stavu po jednoduchém spojení p ac (p ab p bc ) p ac se připojil poslední a b ˆp ab b c ˆp bc a c ˆp ac Srovnání výsledku jednoduchého a iterativního spojení a b c p abc p ac (p ab p bc ) p abc Systém, identifikace struktury; R. Šára, CMP (str. 21)

12 Příklad 2 Máme tři podsystémy, které nejsou globálně konzistentní (viz str. 13) v 1 v 2 1 p B v 2 v 3 2 p B v 1 v 3 3 p B Výsledek jednoduchého i iterativního spojení podmínka X s S p k (s) = 1 není splněna v 1 v 3 v 2 p k Systém, identifikace struktury; R. Šára, CMP (str. 22)

13 Rekonstrukční chyba Dvě rozdělení p (s), p(s), s S nad stavovým prostorem S. Kullbackova-Leiblerova vzdálenost L(p, p ) = s S p(s) log p(s) p (s) (informační vzdálenost, poměrná entropie) Vlastnosti: L(p, p ) 0 L(p, p ) L(p, p) L(p, p ) = 0 p p je-li p nestranné spojení, pak 1. p (s) = 0 p(s) = 0 ( Gibbsova nerovnost) 2. L(p, p ) = H(S ) H(S) 3. ale L(p, p) H(S) H(S ) (není metrika) Pro generativní systém L(p, p ) = g G p(g) g G p(g g) log p(g g) p (g g) = = H(G G ) H(G G) Rekonstrukční chyba: G = (S, S ) = L(p, p ) Systém, identifikace struktury; R. Šára, CMP (str. 23)

14 Příklad a b p B (a, b) p B (a, b) = 1 p B (a) 2 p B (b) a 1 p B (a) b 2 p B (b) L(S, S ) = 0.3 log log = H(S S) = H(S ) H(S) = = Systém, identifikace struktury; R. Šára, CMP (str. 24)

15 Test statistické významnosti struktury systému skutečná četnost n(a i, b j, c k ) H 0 : p(a i, b j, c k ) = ( 1 p 2 p)(a i, b j, c k ) teoretická četnost n (a i, b j, c k ) = n ( 1 p 2 p)(a i, b j, c k ) χ 2 = I i=1 J j=1 K k=1 (n(a i, b j, c k ) n (a i, b j, c k )) 2 n (a i, b j, c k ) I J K J(I + K) + 1 stupňů volnosti Lze jen u identifikace struktury systému (máme n i n ) Systém, identifikace struktury; R. Šára, CMP (str. 25)

16 poznámky Počet stupňů volnosti 1. celý stavový prostor má velikost I J K 2. 1 podmínka p(a i, b j, c k ) = 1 i,j,k 3. p(a, b) musí být marginální funkce: I J 1 nezávislých vedlejších podmínek protože X i,j p(a i, b j ) = 1 4. p(b, c) musí být marginální funkce: J K 1 nezávislých vedlejších podmínek I J K 1 (I J 1) (J K 1) = I J K J(I + K) + 1 [1] Mood, AM Graybill, FA Boes, DC. Introduction to the Theory of Statistics. McGraw-Hill 1974, str. 454ff. Systém, identifikace struktury; R. Šára, CMP (str. 26)