4 Markovovy řetězce se nazývá Markovův řetě- Defnce 7 Posloupnost celočíselných náhodných velčn {X n } zec (markovský řetězec), jestlže P(X n+ = j X n = n,, X 0 = 0 ) = P(X n+ = j X n = n ) (7) pro každé n 0, a 0,, n Z takové, že P (X n = n,, X 0 = 0 ) > 0 Hodnoty n nterpretujeme jako časové okamžky, hodnoty, kterých řetězec X n může nabývat, nterpretujeme jako stavy Množnu stavů řetězce budeme značt S Vztah (7) vyjadřuje markovskou vlastnost, tedy skutečnost, že výsledek v čase n + závsí pouze na stavu řetězce v čase n (stav v přítomném čase), nkol na starší mnulost (posloupnost realzovaných stavů před časem n) Příklady hody kostkou, náhodná procházka Defnce 8 Hodnotu p (n, n + ) = P(X n+ = j X n = ) budeme nazývat pravděpodobnost přechodu ze stavu v čase n do stavu j v čase n+ Markovův řetězec se nazývá homogenní, pokud hodnoty p = p (n, n + ) nezávsí na hodnotě n Označme p = P (X 0 = ), pak (p, S) označuje počáteční rozdělení řetězce Dále budeme předpokládat, že daný Markovův řetězec je homogenní Věta 3 Nechť {X n } je homogenní Markovův řetězec s množnou stavů S Z, počátečním rozdělením (p, S) a pravděpodobnostm přechodu (p,, j S) Pak P(X 0 = 0,, X n = n ) = p 0 p 0 p n n Důkaz: Indukcí podle n Pro n = 0, tvrzení zřejmě platí (z defnce, resp elementárním podmíněním) Pro n = 2 máme podle věty o podmíněné pravděpodobnost P(X 0 = 0, X =, X 2 = 2 ) = P(X 0 = 0 )P(X = X 0 = 0 )P(X 2 = 2 X =, X 0 = 0 ) protože z markovské vlastnost platí Podobně pro n > 2: = p 0 p 0 p 2, P(X 2 = 2 X =, X 0 = 0 ) = P(X 2 = 2 X = ) = p 2 P(X 0 = 0,, X n = n ) = P(X n = n X 0 = 0,, X n = n )P(X 0 = 0,, X n = n ) = p n n P (X 0 = 0,, X n = n ) = p 0 p 0 p n n, kde jsme nejdříve využl markovské vlastnost a poté ndukčního předpokladu Defnujme s také pravděpodobnost přechodu vyšších řádů (po více krocích): p (0) = I{ = j}, p () = p, p (n+) = k p kj k S
Tyto pravděpodobnost se hodí zapsovat v matcovém tvaru, pak tedy pracujeme s matcí pravděpodobností přechodu (přechodovou matcí) P = (p ),j S a matcem pravděpodobností přechodu po více krocích P (n) = ( ),j S Smysluplnost této defnce pravděpodobností přechodu po více krocích ukazuje následující tvrzení Věta 4 Nechť m 0 je celé číslo,, j S, pak P(X m+n = j X n = ) = p (m) Důkaz: Indukcí podle m Rovněž platí P (n) = P n pro n 0 (důkaz opět ndukcí) Pravděpodobnost přechodu vyšších řádů tedy můžeme získat jednoduše násobením matc Poznámka: Uvědomme s, že jak P tak P (n) jsou tzv stochastcké matce, tj obsahují pouze čísla mez 0 a a součet každého řádku se rovná Skládání pravděpodobností přechodu ukazuje následující věta Věta 5 (Chapmanova-Kolmogorova rovnost) pro všechna celá čísla m, n 0 platí p (m+n) = k S p (m) k p(n) kj Důkaz: Použeme rozklad uvažovaného jevu podle všech možných stavů v čase m a postupné podmňování: p (m+n) = P(X m+n = j X 0 = ) = k S P(X m+n = j, X m = k X 0 = ) = k S P(X m+n = j X m = k, X 0 = )P(X m = k X 0 = ) = k S p (m) k p(n) kj V poslední rovnost jsme použl markovskou vlastnost a homogentu řetězce 4 Klasfkace stavů Markovova řetězce Defnce 9 Řekneme, že stav j S je dosažtelný ze stavu S, pokud exstuje n > 0 takové, že > 0 Píšeme j Markovův řetězec nazveme nerozložtelným, pokud je každý stav dosažtelný z každého stavu Defnce 0 Řekneme, že = C S je uzavřená množna, pokud žádný stav vně množny C není dosažtelný z žádného stavu uvntř množny C Věta 6 C S je uzavřená množna právě tehdy, když platí p jk = 0 pro každé j C a k / C Důkaz: Implkace zleva doprava je zřejmá Opačnou mplkac dokážeme ndukcí Musíme ukázat, že p (l) jk = 0 pro každé l N, j C a k / C Pro l = to platí z předpokladu, pro l > pšme p (l) jk = S p (l ) p k = C p (l ) p k + / C p (l ) p k = p (l ) 0 + 0 p k = 0, C / C kde jsme v předposlední rovnost využl ndukční předpoklad 2
Věta 7 Řetězec je rozložtelný právě tehdy, když exstuje uzavřená množna C S Důkaz: Zřejmý Věta 8 Markovův řetězec ( je rozložtelný ) právě tehdy, když po vhodném přečíslování stavů je P 0 matce přechodu tvaru, kde P Q R, R jsou čtvercové matce Důkaz: Přečíslujeme stavy tak, aby nejdříve byly očíslované stavy z C Pak snadno nahlédneme, že nová matce pravděpodobností přechodu bude mít přesně žádaný tvar Defnce Buď S, potom ν = nf{n > 0, X n = } se nazývá doba prvního vstupu (někdy se více hodí doba prvního návratu) řetězce do stavu Stav S se nazývá trvalý, pokud P (ν < ) = P (ν < X 0 = ) =, tedy řetězec, který vychází ze stavu, se s pravděpodobností vrátí do stavu po konečně mnoha krocích V opačném případě (kladná pravděpodobnost, že se řetězec do stavu nkdy nevrátí) řekneme, že stav je přechodný Trvalý stav S se nazývá nulový, pokud E ν =, a nenulový, pokud E ν < Poznámka: Do trvalého stavu se Markovův řetězec s pravděpodobností vrátí nekonečněkrát Do přechodného stavu se Markovův řeězec vrátí nekonečně-krát s pravděpodobností 0 Označme = P (ν = n) a f (0) = 0 Zřejmě stav je trvalý právě tehdy, když n= Dále platí E ν = n= Poznámka: nf (n) = P (X n = ) = n k= f (k) p (n k) platí pro n = Defnce 2 Stav S homogenního Markovova řetězce se nazývá perodcký s perodou d, pokud d = NSD{n > 0, > 0} > Pokud vychází d =, říkáme, že stav S je aperodcký (neperodcký) Řekneme, že dva stavy jsou stejného typu, pokud jsou oba dva trvalé/přechodné, nulové/nenulové, neperodcké/perodcké se stejnou perodou Věta 9 Stav S je trvalý právě tehdy, když p(n) = Trvalý stav S je nulový právě tehdy, když 0 pro n Důkaz: Pro x (0, ) defnujme vytvořující funkce P (x), F (x) posloupností, P (x) = x n, a F (x) = 3 x n
Z poznámky plyne, že pro n platí x n = f (k) p (n k) x n = k= Sečtením této rovnost přes n dostaneme P (x) = n= x n = n= k= Platí tedy P (x) = /( F (x)) Dále nastává právě tehdy, když k= f (k) x k p (n k) x n k = f (k) ( k= x k p (n k) f (k) x n k x k ) ( = lm P (x) = lm x x F (x) = = lm F (x) = x = P (ν < ) Odtud je vdět, že stav S je trvalý právě tehdy, když =0 p(n) = l=0 p (l) xl ) = F (x)p (x) Náznak důkazu druhé část* : Zbylou část důkazu pouze naznačíme Zřejmě ( F (x) = ) x n = x n x x x = ( + + x n ) n = E ν, (8) pro x Lmtní přechod v (8) dostaneme z Fatouova lemmatu lm nf x ( + x n ) n, a z nerovnost ( + + x n ) n pro x (0, ) Víme tedy, že trvalý stav S je nulový právě tehdy, když x lm x)p (x) = lm x ( x F (x) = 0 Zbývá tedy ukázat, že (lm x ( x)p (x) = 0) je ekvvalentní ( 0) pro n Jednu mplkac lze obdržet z Tauberovy věty, druhá je o něco (hodně) složtější Podrobnost a odkazy na další lteraturu lze najít ve skrptech Z Práškové a P Lachouta: Základy náhodných procesů Věta 0 Nechť j Pak stavy a j jsou stejného typu Pokud j, pak stav je přechodný V nerozložtelném řetězc jsou všechny stavy stejného typu Věta V řetězc s konečně mnoha stavy nemohou být všechny stavy přechodné V řetězc s konečně mnoha stavy neexstují stavy trvalé nulové Defnce 3 Stav, ze kterého není dosažtelný žádný ný stav, nazveme stavem absorbčním Stav, který je trvalý, nenulový a neperodcký, nazveme stavem ergodckým 4
42 Lmtní a staconární rozdělení Markovova řetězce V této podkaptole se podíváme na dlouhodobé chování markovského řetězce, tedy jaké je chování náhodné velčny X n pokud n Defnce 4 Rozdělení π = (π, S) nazveme staconárním, pokud platí π j = S π p pro všechna j S Matcově lze tuto soustavu rovností zapsat ve tvaru π T = π T P Rozdělení a = (a, S) nazveme lmtním, pokud pro každé S a každé počáteční rozdělení platí a = lm n p (n), kde p (n) = P(X n = ) Poznámka: Všmněte s, že na rozdíl od staconárního rozdělení, které se vztahuje k pravděpodobnostem přechodu, se lmtní rozdělení vztahuje k rozdělení celého markovského řetězce, jež je ovlvněno počátečním rozdělením Ncméně snadno nahlédneme, že je-l počáteční rozdělení markovského řetězce rovno staconárnímu, pak rozdělení řetězce ve všech následujících časech (p (n), S), n N, je rovno staconárnímu rozdělení Věta 2 Nechť exstuje lmtní rozdělení a řetězce {X n }, pak toto rozdělení je jeho staconárním rozdělením Důkaz: Zřejmě p j (n + ) = S p (n)p Podle Fatouova lemmatu a j = lm p j(n + ) = lm nf n n p (n)p S S Posčítáme-l předchozí nerovnost přes j S, dojdeme k nerovnost = j S a j,j S a p = S a lm nf p = a p (9) n S j S p = S a = V neostré nerovnost výše se tedy nabývá rovnost, což dále znamená, že ve všech nerovnostech (9) musí nastávat rovnost Věta 3 V nerozložtelném řetězc exstuje staconární rozdělení právě tehdy, když všechny stavy jsou trvalé nenulové V tom případě exstuje právě jedno staconární rozdělení Jsou-l navíc stavy řetězce neperodcké, je staconární rozdělení rozdělením lmtním, dokonce lm p j(n) = lm n n p(n) = π j =, E j ν j kde π = (π, S) je staconární rozdělení a E j ν j = n= nf j(n) je střední hodnota doby prvního návratu do stavu j Jsou-l všechny stavy perodcké, platí lm n n k= p j (k) = lm n n k= p (k) = π j 5
Poznámka: V konečném nerozložtelném řetězc staconární rozdělení vždy exstuje Staconární rozdělení nerozložtelného řetězce necharakterzuje jen lmty absolutních pravděpodobností jednotlvých stavů Charakterzuje také četnost návratu do jednotlvých stavů, resp čas řetězcem v jednotlvých stavech strávený Věta 4 Označme N j (n) = I(X k = j), j S, k= náhodnou velčnu udávající, kolkrát v prvních n krocích projde řetězec stavem j V nerozložtelném řetězc s trvalým nenulovým neperodckým stavy platí pro každé j S N j (n) lm = π j s pravděpodobností n n 6