13. cvičení z PSI ledna 2017

Transkript

1 cvičení z PSI - 7 ledna 07 Asymptotické pravděpodobnosti stavů Najděte asymptotické pravděpodobnosti stavů Markovova řetězce s maticí přechodu / / / 0 P / / 0 / jestliže počáteční stav je Řešení: Příslušný diagram je Stavy a jsou přechodné, stavy a jsou absorpční Stavy si přečíslujeme tak, abychom jako první měli ty, co jsou absorpční a teprve za nimi šly ty přechodné, tj např :, :, :, : Tím dostaneme matici P / 0 / / 0 / / / I 0 R Q, kde I 0 0 / 0, R 0 / / /, Q / / Počáteční stav je stav číslo, čemuž odpovídá počáteční rozdělení pravděpodobnosti p0 0,, 0, 0

2 Pro přečíslované stavy je to stav číslo a tedy počáteční rozdělení pravděpodobnosti je p 0 0, 0, 0, Asymptotické rozdělení pravděpodobnosti s počátečním rozdělením p 0 je dáno jako p : lim n p n lim n p 0 P n Stačí tedy určit Spočítáme příslušnou inverzní matici I Q P : lim n P n / / / / I 0 I Q R 0 / / / /, kde jsme využili jednoduchý způsob uhádnutí inverzní matice typu pomocí a b c d d b ad bc c a A určíme příslušný součin matic Dostáváme tak tudíž I Q R P p p 0 P 0, 0, 0, / 0 0 / / / 0 0 / / 0 0, / / 0 0 / / 0 0 / / / / /, /, 0, 0 Po zpětném přečíslování stavů do původních nečárkovaných dostaneme asymptotické rozdělení stavů p 0, 0,, Maximálně věrohodné odhady Odhadněte stav i Markovova řetězce s maticí přechodu P z pozorované posloupnosti stavů, i, i, / / 0 / 0 / / 0 0 / / / / Page

3 Řešení: Pro větší názornost si opět nakreslíme diagram: Stav odhadneme pomocí maximální věrohodnosti Li P X 0, X i, X i, X Protože P P X 0 i 0,, X n i n X0 X n i n i 0,, X n i n X 0 i 0,, X n i n P P X 0 i 0,, X n i n p in,i n P X 0 i 0,, X n i n, Xn P X n i n i n dostaneme postupně, že P X 0 i 0,, X n i n kde p j,l je prvek matice P v j-tém řádku a l-tém sloupci V našem případě tak máme P X 0 i 0 p i0,i p i,i p in,i n, Li P X 0 p,i p i,i p i, Hodnotu počáteční pravděpodobnosti c : P X 0 sice neznáme, ale ani jí nepotřebujeme k výpočtu za předpokladu, že byla nenulová Konkrétní hodnoty L pro jednotlivé stavy tak jsou obrázek je lepší vodítko než matice: L c 0 0 L c 7 c L c 0 0 L c 7 c Stavy, pro které je hodnota věrohodnosti nejvyšší, jsou tedy a za předpokladu, že P X 0 > 0, jinak jsou všechny čtyři stavy stejně věrohodné Metoda maximální věrohodnosti nám tak zde poskytuje více stejně dobrých odpovědí Page

4 Stacionární rozdělení Najděte všechna stacionární rozdělení pravděpodobnosti stavů Markovova řetězce s maticí přechodu 0 / / P / 0 / / / 0 Řešení: Pro větší názornost si opět nakreslíme diagram: Stacionární rozdělení pravděpodobnosti pro matici P je takový vektor p p, p, p R, s nezápornými složkami, pro který platí j p j a Ekvivalentní zápis je p p P neboli p P I 0 P T p T p T neboli P T I T p T 0 T Je tedy třeba najít vlastní vektor matice P T pro její vlastní číslo Pozor! Přechod k transponované matici je nezbytný, pokud budeme při Gaussově eliminaci používat ekvivalentní ŘÁDKOVÉ úpravy soustavy A 0 Ta totiž odpovídá rovnici Ax 0, kdy x je SLOUPCOVÝ vektor Pomocí Gaussovy eliminace najdeme tudíž řešení soustavy P T I T p T 0 reprezentované maticí / / P T I T / / 0 / / Tato soustava má hodnost, tedy má pouze lineárně nezávislých řešení, např,, Po jeho znormování pak dostaneme p,, Pozor! NEJEDNÁ se o eukleidovskou normu p : i p i, ALE o normu tvaru p : i p i Jedinečnost řešení plyne také z toho, že daný řetězec má všechny stavy trvalé a neperiodické tj ergodické a samotný řetězec je nerozložitelný tj jediná uzavřená neprázdná množina trvalých stavů je množina všech těchto stavů, neboli všechny stavy jsou propojené nějakou cestou, nebo to také prostě můžeme říct tak, že graf má jedinou komponentu souvislosti Tyto vlastnosti se dají ihned odvodit z orientovaného grafu výše Page

5 Aplikace Markovových řetězců - asymptotické pravděpodobnosti stavů Alice hraje v kasinu hru, kde s pravděpodobností / vyhraje V každém kole vsadí 000 dolarů V případě výhry získá 000 dolarů, v případě prohry o 000 dolarů přijde Alice odejde z kasina, jestliže prohraje všechny své peníze nebo bude mít 000 dolarů Jaká je pravděpodobnost, že Alice odejde s prázdnou, měla-li na začátku 000 dolarů? Řešení: Nakreslíme si příslušný orientovaný graf: 5 0 $ 000 $ 000 $ 000 $ 000 $ Pro Alici uvažujme stavy - odchází s prázdnou, - má 000 dolarů a tedy odchází, - má 000 dolarů, - má 000 dolarů a 5 - má 000 dolarů Stavy jsme si očíslovali tak, aby první byly ty absorpční a teprve po nich následovali ty přechodné Na začátku má Alice 000 dolarů, tedy je ve stavu číslo 5 a počáteční rozdělení pravděpodobnosti tak je p0 0, 0, 0, 0, pravděpodobnost, že Alice odejde s prázdnou odpovídá složce pro stav v asymptotickém rozdělení pravděpodobnosti p Proč tomu tak je: Platí: Podmíněná pravděpodobnost P i j toho, že se po právě n krocích ze stavu i přesuneme do stavu }{{} n kroků j je P i j P n }{{} i,j n kroků To se snadno ukáže indukcí Jestliže i je absorpční stav, pak podmíněná pravděpodobnost P i i }{{} n kroků krocích ze stavu i přesuneme do stavu i je P i i }{{} n kroků P i i P n }{{} i,i n kroků toho, že se po nejvýše n To je proto, že jakoukoliv posloupnost kratší než n můžeme nastavit opakovaným přidáním stavu i protože je absorpční Jestliže i je absorpční stav, pak podmíněná pravděpodobnost P i i toho, že se po konečně }{{} konečně kroků mnoha krocích ze stavu i přesuneme do stavu i je P i i P i i lim }{{}}{{} P i i lim P n P n }{{} n i,i n i,i konečně kroků n kroků n kroků A protože p p0 P, můžeme tento závěr ekvivalentně vyjádřit přes rozdělení pravděpodobnosti Page 5

6 kde Pro výpočet asymptotického rozdělení pravděpodobnosti si opět zapíšeme matici přechodu P / 0 0 / / 0 / I 0, R Q 0 / 0 / 0 I Opět si určíme matici / 0 0, R 0 0, Q 0 0 / P : lim n Pn I 0 I Q R 0 Spočítáme fundamentální matici F I Q : / 0 I Q I / / 0 / a Tedy F I Q / 0 / / 0 / I Q R 5 0 / 0 / 0 / 0 / I I Q Celkem tedy dostaneme P /5 / /5 / /5 7/ Pravděpodobnost, že Alice vše prohraje, pokud na začátku měla 000 dolarů, nyní odpovídá hodnotě P 8 5, 5 Page 6

7 5 Aplikace Markovových řetězců - asymptotické pravděpodobnosti stavů Alice trefí terč s pravděpodobností /, Bob s pravděpodobností / Pokud hráč zasáhne terč, střílí dále, pokud mine, je na řadě druhý hráč Začíná Alice Alice vyhrává, pokud trefí terč za sebou, Bob vyhrává, pokud trefí terč za sebou Pro oba hráče stanovte pravděpodobnosti výhry Řešení: Pokud bychom rozlišovali nejen to, který hráč je na řadě, ale i kolik již má úspěšných pokusů, potřebovali bychom 7 stavů: V A - vyhrála Alice, V B - vyhrál Bob, A i - Alice má právě za sebou i úspěšných pokusů i {0, }, B i - Bob má právě za sebou i úspěšných pokusů i {0,, } Odpovídající diagram by byl tento: V B B B B 0 A 0 A V A Protože nás zajímají pouze pravděpodobnosti výhry obou hráčů, můžeme si situaci popsat jednodušším způsobem a to tak, že rozlišíme pouze stavy: V A - vyhrála Alice, V B - vyhrál Bob, H A - na řadě je Alice, H B - na řadě je Bob, kde celou sérii úspěšných pokusů daného hráče považujeme za jeden krok Tento krok pak končí výhrou hráče s pravděpodobností pro Alici, pro Boba, nebo se na řadu dostává druhý hráč: H A 9 V A V B 8 H B Page 7

8 Stavy si opět očíslujeme tak, aby první byly ty absorpční a teprve po nich následovali ty přechodné: : V A vyhrála Alice, : V B vyhrál Bob, : H A na řadě je Alice, : H B na řadě je Bob pravděpodobnosti výher Alice a Boba opět zjistíme z asymptotického rozdělení pravděpodobnosti p s počátečním rozdělením kde P p0 0, 0,, 0 Je tedy opět potřeba spočítat P pro matici přechodu I / /9 0 /8 7/8 0 I 0, R Q 0 /9 0, R, Q 0 0 /8 0 8/9 7/8 0 Fundamentální matice tohoto řetězce je F I Q 8/9 8/9 9/ 9/ 7/8 7/8 6/6 9/ a tedy I Q 9/ /9 0 R 6/6 9/ 0 /8 / / 7/6 9/6 Celkem tedy dostaneme P I 0 I Q R 0 / / 0 0 7/6 9/6 0 0 a asymptotické rozdělení tak je p p0 P 0, 0,, / / 0 0 /, /, 0, 0 7/6 9/6 0 0 Zjistili jsme tak vcelku překvapivě, že pravděpodobnosti výhry Alice i Boba jsou stejné a sice, pokud bude začínat Alice jako první Poznámka: Uvažujme následující obecnější případ Pro n, m, a, b N předpokládejme, že Alice má pravděpodobnost zásahu a k výhře musí mít sérii a úspěšných pokusů a podobně n Bob má pravděpodobnost zásahu a k výhře musí mít sérii b úspěšných pokusů a dále, že m n a < m b a proto opět necháme začít Alici Kdybychom opět chtěli, aby Alice a Bob měli stejné šance na výhru, zjistíme, že to nastane právě když bude platit n a m b V rámci teorie čísel se řešeními této rovnice zabýval Eugène Charles Catalan a v roce 8 vyslovil hypotézu tzv Catalan s conjecture, že jediné řešení této rovnice v kladných přirozených číslech je právě jen Hypotézu potvrdil Preda Mihăilescu v roce 00 Page 8

9 6 Entropie, vzájemná informace Informační kanál má přechodový diagram dle obrázku Je-li na vstupu pravděpodobnost p X 0 0, určete a entropii vstupu X, b entropii výstupu Y, c vzájemnou informaci mezi vstupem X a výstupem Y X 0 0 N Y 09 Řešení: a Veličina X má hodnoty 0 a a pravděpodobnostní funkci p X 0 0, p X 08 Její entropie tedy je HX p X i log p i X i log + 08 log log b Veličina Y má hodnoty 0, N a Určíme její pravděpodobnostní funkci p Y Protože budeme ještě počítat vzájemnou informaci IX, Y, bude výhodnější určit rovnou sdruženou pravděpodobnostní funkci p X,Y a to pomocí podmíněných pravděpodobností p Y X j, i : P Y j X i jako p X,Y i, j P X i, Y j P Y j X i P X i p Y X j i p X i pravděpodobnostní funkci p Y pak určíme jako marginální pravděpodob funkci pro vektor X, Y p Y X j i p X,Y i, j i i j j 0 N p X i N p X i p Y j Page 9

10 Její entropie tedy je HY p Y j log p j Y j log + 0 log log 7 9 log 5 8 log 0 87 c Vzájemnou informaci IX, Y spočítáme např podle definice IX, Y HX + HY HX, Y Určíme proto entropii HX, Y diskrétního náhodného vektoru X, Y, která se počítá analogicky jako u kterékoliv jiné diskrétní náhodné veličiny s konečně mnoha hodnotami: HX, Y p X,Y i, j log p i,j X,Y i, j log + 00 log log + 07 log 8 7 log 5 8 log Pro vzájemnou informaci tak máme IX, Y HX + HY HX, Y log log 5 8 log 0 09 log log 5 8 log 06 Page 0