4. cvičení z PSI 9. ledna 09 4. rozdělení po mnoha krocích) Markovův řetězec je dán obrázkem: 8 9 4 7 6 Pro každý stav platí, že všechny hrany z něj vycházející mají stejnou pravděpodobnost. a) Klasifikujte všechny stavy a stanovte všechny komponenty. b) Konverguje rozdělení stavů ke stacionárnímu? Za jakých podmínek? Odůvodněte. c) Stanovte přibližně rozdělení pravděpodobností stavů po 0 krocích, pokud jsme vyšli se stavu. Příklad : http://cmp.felk.cvut.cz/~navara/stat/pisemky/pst8006res.pdf 4. rozdělení po mnoha krocích) Markovův řetězec je dán obrázkem: 6 4 Pro každý stav platí, že všechny hrany z něj vycházející mají stejnou pravděpodobnost. a) Klasifikujte všechny stavy a stanovte všechny komponenty.
b) Vypočtěte pravděpodobnost přechodu ze stavu do stavu 4 v právě třech krocích. c) Stanovte rozdělení pravděpodobností stavů po 000 krocích, pokud jsme vyšli ze stavu. d) Konverguje rozdělení stavů ke stacionárnímu? Příklad : http://cmp.felk.cvut.cz/~navara/stat/pisemky/pst806res.pdf 4. Aplikace Markovových řetězců - asymptotické pravděpodobnosti stavů) Alice hraje v kasinu hru, kde s pravděpodobností / vyhraje. V každém kole vsadí 000 dolarů. V případě výhry získá 000 dolarů, v případě prohry o 000 dolarů přijde. Alice odejde z kasina, jestliže prohraje všechny své peníze nebo bude mít 4000 dolarů. Jaká je pravděpodobnost, že Alice odejde s prázdnou, měla-li na začátku 000 dolarů? Příklad : http://cmp.felk.cvut.cz/~navara/psi/pisemky/psi006res.pdf Nakreslíme si příslušný orientovaný graf: 4 0 $ 000 $ 000 $ 000 $ 4000 $ Pro Alici uvažujme stavy - odchází s prázdnou, - má 4000 dolarů a tedy odchází), - má 000 dolarů, 4 - má 000 dolarů a - má 000 dolarů. Stavy jsme si očíslovali tak, aby první byly ty absorpční a teprve po nich následovali ty přechodné. Na začátku má Alice 000 dolarů, tedy je ve stavu číslo a počáteční rozdělení pravděpodobnosti tak je p0) = 0, 0, 0, 0, ). pravděpodobnost, že Alice odejde s prázdnou odpovídá složce pro stav v asymptotickém rozdělení pravděpodobnosti p ). Proč tomu tak je: Platí: Podmíněná) pravděpodobnost P ) i j toho, že se po právě n krocích ze stavu i přesuneme do stavu n kroků j je P ) i j = P n). i,j n kroků To se snadno ukáže indukcí. Jestliže i je absorpční stav, pak podmíněná) pravděpodobnost P i i krocích ze stavu i přesuneme do stavu i je P i i ) ) = P i i = P n). i,i n kroků ) toho, že se po nejvýše n Page
To je proto, že jakoukoliv posloupnost kratší než n můžeme nastavit opakovaným přidáním stavu i protože je absorpční). Jestliže i je absorpční stav, pak podmíněná) pravděpodobnost P ) i i toho, že se po konečně konečně kroků mnoha krocích ze stavu i přesuneme do stavu i je P ) ) ) i i = P i i = lim P i i = lim P n) = P ). n n i,i n i,i konečně kroků A protože p ) = p0) P, můžeme tento závěr ekvivalentně vyjádřit přes rozdělení pravděpodobnosti. kde Pro výpočet asymptotického rozdělení pravděpodobnosti si opět zapíšeme matici přechodu 0 0 0 0 0 0 0 0 ) P = / 0 0 / 0 0 0 / 0 / = I 0, R Q 0 / 0 / 0 ) 0 I =, R = / 0 0 0, Q = 0 / 0 / 0 /. 0 0 / 0 / 0 Opět si určíme matici P := lim n Pn = I 0 I Q) R 0 Spočítáme fundamentální matici F = I Q ) : ) / 0 I Q I = / / 0 / a Tedy 0 0 0 0 0 0 7 6 9 = 4 6 7 F = I Q ) / 0 = / / 0 / ) 0 0 0 0 0 0. I I Q ) ). = 7 6 9 4 6 7 I Q ) R = 7 6 9 0 0 0 = 4. 4 6 7 0 8 7 Celkem tedy dostaneme 0 0 0 0 0 0 0 0 P = 4/ / 0 0 0 / / 0 0 0 8/ 7/ 0 0 0 Page
Pravděpodobnost, že Alice vše prohraje, pokud na začátku měla 000 dolarů, nyní odpovídá hodnotě P ) = 8,. 4.4 Aplikace Markovových řetězců - asymptotické pravděpodobnosti stavů) Alice trefí terč s pravděpodobností /, Bob s pravděpodobností /. Pokud hráč zasáhne terč, střílí dále, pokud mine, je na řadě druhý hráč. Začíná Alice. Alice vyhrává, pokud trefí terč za sebou, Bob vyhrává, pokud trefí terč za sebou. Pro oba hráče stanovte pravděpodobnosti výhry. Cvičení.6: http://cmp.felk.cvut.cz/~navara/stat/markovcvic_print.pdf Pokud bychom rozlišovali nejen to, který hráč je na řadě, ale i kolik již má úspěšných pokusů, potřebovali bychom 7 stavů: V A - vyhrála Alice, V B - vyhrál Bob, A i - Alice má právě za sebou i úspěšných pokusů i {0, }, B i - Bob má právě za sebou i úspěšných pokusů i {0,, }. Odpovídající diagram by byl tento: V B B B B 0 A 0 A V A Protože nás zajímají pouze pravděpodobnosti výhry obou hráčů, můžeme si situaci popsat jednodušším způsobem a to tak, že rozlišíme pouze stavy: V A - vyhrála Alice, V B - vyhrál Bob, H A - na řadě je Alice, H B - na řadě je Bob, kde celou sérii úspěšných pokusů daného hráče považujeme za jeden krok. Tento krok pak končí výhrou hráče s pravděpodobností ) pro Alici, ) pro Boba, nebo se na řadu dostává druhý hráč: Page 4
H A = 9 V A + + = 7 8 8 9 = + V B = 8 H B 4 Stavy si opět očíslujeme tak, aby první byly ty absorpční a teprve po nich následovali ty přechodné: := V A vyhrála Alice), := V B vyhrál Bob), := H A na řadě je Alice), 4 := H B na řadě je Bob). pravděpodobnosti výher Alice a Boba opět zjistíme z asymptotického rozdělení pravděpodobnosti p ) s počátečním rozdělením kde P = p0) = 0, 0,, 0). Je tedy opět potřeba spočítat P pro matici přechodu 0 0 0 0 0 0 I = /9 0 0 8/9 0 /8 7/8 0 ) = I 0, R Q ) ) 0 /9 0, R =, Q = 0 0 /8 ) 0 8/9. 7/8 0 Fundamentální matice tohoto řetězce je F = I Q ) ) ) ) 8/9 8/9 9/ 4 = = 9/) = 7/8 7/8 6/6 9/ a tedy I Q ) ) ) 9/ 4 /9 0 R = = 6/6 9/ 0 /8 ) / /. 7/6 9/6 Celkem tedy dostaneme ) 0 0 0 P I 0 = I Q ) = 0 0 0 R 0 / / 0 0 7/6 9/6 0 0 a asymptotické rozdělení tak je 0 0 0 p ) = p0) P = 0, 0,, 0) 0 0 0 / / 0 0 = /, /, 0, 0). 7/6 9/6 0 0 Page
Zjistili jsme tak vcelku překvapivě), že pravděpodobnosti výhry Alice i Boba jsou stejné a sice ), pokud bude začínat Alice jako první. Poznámka: Uvažujme následující obecnější případ. Pro n, m, a, b N předpokládejme, že Alice má pravděpodobnost zásahu a k výhře musí mít sérii a úspěšných pokusů a podobně n Bob má pravděpodobnost zásahu a k výhře musí mít sérii b úspěšných pokusů a dále, že m n ) a < m ) b a proto opět necháme začít Alici. Kdybychom opět chtěli, aby Alice a Bob měli stejné šance na výhru, zjistíme, že to nastane právě když bude platit n a m b =. V rámci teorie čísel se řešeními této rovnice zabýval Eugène Charles Catalan a v roce 844 vyslovil hypotézu tzv. Catalan s conjecture), že jediné řešení této rovnice v kladných přirozených číslech je právě jen =. Hypotézu potvrdil Preda Mihăilescu v roce 00. 4. Asymptotické pravděpodobnosti) Při obnovování paměti přepisujeme binární informaci, přičemž s pravděpodobností % přepíšeme 0 jako, s pravděpodobností % přepíšeme jako 0. Jaké bude rozdělení pravděpodobností po velkém počtu kroků? Cvičení.0: http://cmp.felk.cvut.cz/~navara/stat/markovcvic_print.pdf 0.0 0.99 0 0.98 0.0 4.6 Maximálně věrohodné odhady) Markovův řetězec má dva stavy a. Pravděpodobnost přechodu ze stavu do stavu je p, pravděpodobnost přechodu ze stavu do stavu je q. Z pozorované posloupnosti stavů odhadněte parametry p, q.,,,,,,,,,,,,,,, ) Cvičení.: http://cmp.felk.cvut.cz/~navara/stat/markovcvic_print.pdf p p q q Page 6