MARKOVOVY PROCESY JAKO APARÁT PRO ŘEŠENÍ SPOLEHLIVOSTI VÍCESTAVOVÝCH SYSTÉMŮ Náhodné rocesy Náhodným (stochastckým) rocesem nazveme zobrazení, které každé hodnotě náhodnou velčnu X ( t). Proměnná t má ve většně říadů význam času. t T řřadí Realzací náhodného rocesu rozumíme konkrétní ozorování náhodného rocesu, tj. jž nenáhodnou funkc, a značíme j x ( t). Dle ovahy množny T rozlšujeme: náhodné rocesy se sojtým časem (náhodné funkce) T je reálný nterval, náhodné rocesy s dskrétním časem (náhodné oslounost) T je reálná dskrétní množna. Hodnota X ( t) vyjadřuje stav ozorovaného objektu v čase t. 0
Dle ovahy náhodné velčny X ( t) rozlšujeme: náhodné rocesy se sojtým stavy - X ( t) je sojtá, náhodné rocesy s dskrétním stavy - X ( t) je dskrétní. Náhodný roces { ( t) : t 0} X se sojtým časem a s dskrétním stavy 0,1,2, obvykle nazýváme čítací roces, rotože zaznamenává očet nějakých událostí v čase. Hodnota X ( t) ak ředstavuje očet daných událostí v ntervalu ( 0, t a vzdálenost jednotlvých okamžků událostí od očátku t = 0 jsou náhodné velčny. 1
Markovovy řetězce Obdobou Markovových rocesů v dskrétním čase jsou Markovovy řetězce. Nechť I označuje množnu {,1,2,... } řetězec (nebo oslounost), okud latí P 0. Náhodná oslounost { : n = 0,1,2,... } X n se nazývá Markovův ( X j X =, X = X = ) = P( X = j X ) n + 1 = n n 1 n 1,..., 0 0 n+ 1 n = ro lbovolná 0, 1,..., n 1,, j I (Markovská vlastnost). Pokud ravděodobnost řechodu nezávsejí na n, nazveme Markovův řetězec homogenním a íšeme ( X = j X ) j = P n+1 n =. Pravděodobnostm řechodu vyšších řádů v homogenním Markovově řetězc rozumíme k P X = j X ( ) ( ) = +, k = 0,1,2,. j n k n = 2
V homogenním Markovově řetězc latí (tzv. Chamanovy-Kolmogorovovy rovnce) j = k = 0 ( k + k ) ( k ) ( k ) 1 2 Tedy ravděodobnost, že systém řešel ze stavu do nějakého mezstavu k řes r řechodů a z mezstavu k se dostal do koncového stavu j v (n r) řechodech mez stavy, je vyjádřena vztahem Secálně ro n = 0 latí a ro n = 1 latí ( n) = ( r) ( n r) j k kj. k = 0 k 1, k = j kj ( 0) = 0, jnak, j ( ) j = 1. Mějme Markovův řetězec s m možným stavy. Matc { } m j j ravděodobností řechodu. 1 kj def 2. P = nazveme matcí, =1 3
Vlastnost matce P: P je čtvercová matce m m, j 0, 1, součet rvků v každém řádku matce je jednotkový. Protože (ř r = 1) latí j j = k ( ) = 2 (, j)-tý rvek matce = k ( ) ( ) = 3 2 (, j)-tý rvek matce k k kj kj 2 P, 2 3 P P, P = objasnl jsme následující tvrzení: V homogenním Markovově řetězc latí Je řtom zvykem dodefnovat: P ( 0 ) P = I = 0 k ( k) P P =, k = 0,1,2,. 4
Defnce: Nechť S označuje množnu stavů { 1, s2, s3,...} s. Nechť { : n = 0,1,2,... } X n je Markovův řetězec (nebo oslounost). Rozdělení náhodné velčny X n nazveme rozdělením Markovovy oslounost v čase n a označujeme P ( X s ) (n) = n) = ( ( n), ( ),...) n = ( 1 2 n Rozdělení Markovovy oslounost v čase 0 nazveme očátečním rozdělením, ( 0) = ( 1 (0), 2(0),...) P X = s = (0 ( ) ) 0 Pozn: X 1,...X n ): K osu MŘ tedy otřebujeme znát (abychom mohl určt konečněrozměrné rozdělení vektoru { } (0) = ( 1(0), 2(0),...) a ravděodobnost řechodu: 5
Příklady: () Uvažujme částc, která se ohybuje v celočíselných bodech na římce tak, že se v každém kroku osune o jednotku vravo s ravděodobností (0,1) nebo vlevo s ravděodobností q = 1-, a to nezávsle na ředchozích krocích. Toto je MŘ a je určen ravděodobnostm řechodu j = ro j = +1 a j = q ro j = -1, j = 0 jnak (ro všechna n N). Tento roces se nazývá náhodná rocházka. 6
() Uvažujme obdobný roces jako v bodě (). Částce se ale tentokrát ohybuje ouze mez body 0 a α N. Pokud dosáhne těchto bodů, jž je neoustí. Tento MŘ se nazývá náhodná rocházka s ohlcujícím stěnam a její ravděodobnost řechodu jsou: j = ro =1, 2, α - 1 a j = + 1 j = q ro =1, 2, α - 1 a j = 1 00 = αα = 1 j = 0 ve všech ostatních říadech Matce ravděodobností řechodu ro (): 7
Příklad 2: (v) Pozměníme nyní chování částce z říkladu (). Částce, která se vydá z bodu 1 do bodu 0, bude vrácena do bodu 1, a částce, která se vydá z bodu α-1 do bodu α, bude vrácena do bodu α-1. Dostáváme náhodnou rocházku s odrážejícím stěnam: 8
Defnce: Stav s j Markovova řetězce je dosažtelný ze stavu s, okud je nenulová ravděodobnost, že se Markovova oslounost během konečného očtu kroků dostane ze stavu s do stavu s j. Věta: Stav s j Markovova řetězce je dosažtelný ze stavu s, okud ro nějaké n N { 0} latí j ( n) > 0. Dk: Trvální, sorem. Je-l každý stav řetězce dosažtelný z každého stavu, nazveme řetězec neredukovatelným (ří. nerozložtelný, rreducble). Stavy s a s j solu komunkují (nebo jsou navzájem dosažtelné), okud s je dosažtelný z s j a naoak s j je dosažtelný z s. Píšeme s s ve smyslu ekvvalence s těmto vlastnostm (Věta 5.4.3.): 1. s s ro každý stav s, 2. ( s s j ) ( s j s ), 9
[ ] ( s s ) ( s ) ( ) 3. s j a s j sk k Důkaz. Nechť n 1, n 2, n 3, n 4 N takové, že j (n 1 ) > 0, j (n 2 ) > 0, jk (n 3 ) > 0 a kj (n 4 ) > 0. Tato čísla odle ředchozí věty exstují. Pak k ( n n ) = ( n ) ( n ) ( n ) ( n ) 0 + 1 3 m 1 mk 3 j 1 jk 3 f s S m Obdobně se ukáže, ( n2 n4 ) f 0 k +, což stačí k důkazu, že s sk 10
Defnce: Nechť C S () Množna stavů C se nazývá stochastcky uzavřená, jestlže j = 0 ro každý s C a každý s j C, s s ro každé () Uzavřená množna C se nazývá nerozložtelná, jestlže j dva stavy s, s j C, () MŘ se nazývá nerozložtelný, jestlže množna jeho stavů S je stochastcky uzavřená a nerozložtelná (v) Jestlže C je nerozložtelná množna stavů a každá větší množna C 1 : C 1 ( C 1 S, C 1 C, C 1 C ) jž není nerozložtelná, budeme C nazývat třídou (souslednost) stavů daného MŘ. Poznámka: Třída souslednost ro daný MŘ je tedy maxmální množna stavů MŘ slňujících odmínku nerozložtelnost. 11
Příklad: MŔ je zadán matcí ravděodobnost řechodu: Třídy souslednost: C 1 = {s 1, s 2, s 3 } a C 2 = { s 4, s 5 } Příklad: Množna C = {s 1, s 2,s 3 } je třída souslednost. Množna A={s 4 } není třída souslednost, rotože není uzavřená. ( 43 > 0 ) 12
Příklad: Náhodná rocházka s ohlcujícím stěnam: Dvě třídy souslednost: množny C 1 = {0} C 2 = {α }. Množna A = {1,2,, α 1 } není třída souslednost, rotože není uzavřená. Náhodná rocházka s odrážejícím stěnam má jednou třídu souslednost rovnou množně všech stavů: {1,2,, α 1 } 13
Podstatné (oř. rekurentní) a neodstatné (řechodné, transentní) stavy MŘ 5.5.1 Defnce. Stav s MŘ se nazývá odstatný, jestlže exstuje třída souslednost C taková, s C. V oačném říadě se s nazývá neodstatný. 5.5.2 Věta. Každý odstatný stav leží řesně v jedné třídě souslednost. Důkaz: Podle defnce leží každý odstatný stav v nějaké třídě. Předokládejme, že stav s leží ve dvou třídách C 1 a C 2. Podle Věty 5.4.3 latí ro každý stav s 1 C 1 a ro každý stav s 2 C 2 : s s a s s s [( ) ( )] 1 2 ( 1 s2 ) ( s s ) a ( s s ) s [ ] ( ) 2 1 2 s1 Tedy s1 s2, a rotože s 1 byl lbovolný stav z C 1, latí s 2 C 1. Protože s 2 byl lbovolný stav z C 2, latí C2 C 1. Konečně každá třída musí být uzavřená, latí tedy C 2 = C 1. Tedy s leží v jedné třídě C = C 1 = C 2. Množna všech stavů MŘ se tedy rozadá na navzájem dsjunktní třídy souslednost, které obsahují odstatné stavy, a na nejvýše jednu množnu neodstatných stavů (obvykle označujeme A) 14
5.5.4 Věta. Nechť množna S všech stavů MŘ je konečná z každého stavu je dosažtelný nějaký odstatný stav. Důkaz. Indukcí odle očtu stavů. Nechť S = {s 1 }. Pak je zřejmě tento stav odstatný a je dosažtelný sám ze sebe. Budeme dále ředokládat, že okud je očet stavů menší nebo roven n N, otom je z každého stavu dosažtelný odstatný stav. Nechť má MŘ n +1 stavů. Jestlže nějaký stav s 0 S je odstatný, ak z něho jsou dosažtelné všechny (odstatné) stavy říslušné třídy. Jestlže je stav s 0 neodstatný, ak exstuje stav s 1 takový, že s0 s 1, ale s 0 není dosažtelný z s 1. (Kdyby s0 s1 mlkovalo s1 s0, ak by s 0 ležel v nějaké třídě odstatných stavů.) Nechť S je množna všech stavů dosažtelných ze stavu s 1. Těchto stavů je nejvýše n, rotože s 0 S. Od chvíle, kdy se MŘ dostal do stavu s 1, se bude ohybovat ouze uvntř stavů z S. Podle ndukčního kroku musí exstovat cesta z s 1 do nějakého odstatného stavu v S. Tím je důkaz dokončen. 15
5.5.5 Věta. Nechť je MŘ v čase n v odstatném stavu s C. Potom s ravděodobností 1 nabývá dále už ouze stavy z této třídy C. Důkaz. Indukcí odle očtu kroků: Pro každý stav s C a každý stav s j C latí j = 0, tedy v následujícím kroku zůstává MŘ ve třídě C. Nechť MŘ zůstane v této třídě o n kroků. Po tomto n-tém kroku je tedy ve stavu s k C. Protože kj = 0 ro každý stav s j C, bude MŘ ve třídě C o (n+1)-ním kroku. 16
Klasfkace stavů Markovova řetězce 5.6.2 Nechť je MŘ na očátku ve stavu s. Potom ravděodobnost, že tento MŘ bude o n krocích oět ve stavu s, je rovna (n), a ravděodobnost, že bude o n krocích v jném stavu s j, je rovna j (n). Označme q (n), res q j (n), ravděodobnost, že tento MŘ řejde během n kroků ze stavu s oět do stavu s, res. do stavu s j, řčemž rocházel ouze jným stavy než s, res. s j. Počet kroků do rvního návratu do stavu s je náhodná velčna, kterou označíme T. Jestlže je s odstatný stav otom n= 1 q ( n) = 1 a tedy q (n) je rozdělení náhodné velčny T. Na rozdíl od toho (n) není nkdy rozdělení ravděodobnost, může totž být n= 1 Označíme dále µ střední hodnotu náhodné velčny T, µ = ET = n=1 nq ( n). tedy ( n) = +. 17
Defnce: Podstatný stav s se nazývá nenulový, jestlže µ = ET + a nulový, jestlže µ = + Defnce Podstatný stav s se nazývá erodcký, okud exstuje řrozené číslo λ > 1 takové, že ( n) = 0 ro všechna n N, která nejsou děltelná číslem λ. Největší číslo λ s touto vlastností se nazývá eroda stavu s. Jestlže takové číslo neexstuje, je stav neerodcký. 5.6.5 Věta () Stav s je neodstatný V tomto říadě latí n= 1 ( n) + ro každý stav s j S n= 1 j ( n) + 18
() Stav s je odstatný nulový když ( n) = + avšak n V tomto říadě lm ( n) = 0 n=1 n=1 j ( n) = + a dále j n lm ( n) = 0 ro každý s j S () Je-l stav s odstatný nenulový neerodcký, otom lm ( n) = n 1 µ Důkaz: Duač, Duačová: Markovovy rocesy, Skrtum MFF UK 19
Defnce: Stav s nazveme absorbující (absorční), okud jž MŘ (o vstouení do tohoto stavu) v tomto stavu zůstane až do konce, tj. = 1. Absorbující stav je ekvvalentní (ve výše uvedeném smyslu) ouze sám se sebou a je a je jedným rvkem nějaké třídy souslednost C = {s }. Defnce: Podstatný nenulový neerodcký stav se nazývá ergodcký. 5.6.8 Věta. Je-l stav s dosažtelný ze stavu s j a je-l také stav s j dosažtelný ze stavu s oba stavy jsou téhož tyu DK - níže (Tím, že dva stavy jsou stejného tyu, rozumíme, že jsou buď oba odstatné nebo oba neodstatné, oba nulové nebo oba nenulové, okud je jeden z nch erodcký, ak je erodcký ten druhý, a to se stejnou erodou, a (což lyne z ředchozího) buď jsou oba ergodcké nebo není ergodcký an jeden.) 20
Z této věty hned vylývá: Věta 5.6.9 Odtud vylývá věta o soldartě: Ve třídě souslednost jsou všechny stavy téhož tyu. Důkaz V.5.6.8: Z ředokladů věty lyne, že exstují n, m N takové, že j ( m) f 0 a ( n) = α f 0 Pro lbovolné k N nyní latí ( k + m + n) ( n). ( k). ( m) = α. β ( k) jj j j. a také ( k + m + n) ( m). ( k). ( n) = α. β ( k) j jj j. Je-l nyní k= 1 jj ( k) +, ak z rvní nerovnost vylývá jj k= 1 = β ( k) + j. Je-l tedy s j řechodný, ak je také s řechodný (vz Věta 5.6.5). Oačná mlkace lyne z druhé nerovnost. Pro odstatné stavy odobně, s rovností místo nerovnost, atd. 21
5.6.10 Věta. V MŘ s konečně mnoha stavy neexstují nulové (odstatné) stavy a není možné, aby všechny stavy byly neodstatné. Důkaz. Druhá část věty jž byla dokázána ve Větě 5.5.4. První část dokážeme sorem. Nechť s k S je nulový stav. Označme C množnu všech stavů dosažtelných ze stavu s k. Podle defnce 5.4.4 je C třídou. Podle Věty 5.5.5 se můžeme na C dívat jako na samostatný MŘ (jestlže se MŘ dostane do C, otom C obsahuje všechny stavy, které MŘ v budoucnu může nabýt). Označme P C matc ravděodobnost řechodu ro MŘ třídu C. Je jasné, že s C C j = 1 a ro každé n N také s oba vztahy latí ro každý s j C. Platí tedy C C j ( n) = 1 lm n s C C j ( n) = 1 ro každé s j C, tedy ro s k : lm n s C C k ( n) = 1 22
Protože je s k nulový stav, latí odle Věty 5.6.5 k C n lm ( n) = 0 ro každý stav s C. Protože C obsahuje konečný očet stavů, lyne odtud lm n s C C k ( n) = lm n s C C k ( n) = 0. což latí ro všechny slouce matce P C neboť všechny stavy jsou nulové. Tedy, C lm k ( n) = lm n n s C s C s C neboť k C k ( n) = 0 lm n s C C k ( n) = 1, sor s k C s C C k ( n) s C C k ( n). 23
Příklady: Příklad 1. Náhodná rocházka s odrážejícím stěnam má jednou třídu stavů rovnou množně všech stavů: {1,2,, α 1 } V této třídě jsou všechny stavy stejného tyu (Věta o soldartě). Stačí tedy osat jeden stav. Podle Věty 5.5.4 budou tyto stavy odstatné. Podle Věty 5.6.10 budou nenulové. Protože naříklad stav s=1 může nastat ve dvou o sobě následujících krocích ( 11 > 0), je tento stav neerodcký, a tedy všechny stavy jsou neerodcké. Náhodná rocházka s odrážejícím stěnam má tedy jednu třídu ergodckých stavů. Ještě další říklady vz dokument Příklady: Klasfkace stavů 24
Staconární a fnální ravděodobnost MŘ začíná v nějakém lbovolném stavu s S. Př studu dalšího vývoje nás bude zvláště zajímat, co můžeme říct o jeho stavech o ulynutí velm dlouhé doby, tj o velkém očtu kroků. Ve fyzkálním smyslu se táme na asymtotckou stabltu systému, chceme tedy najít lmtní evné rozdělení ravděodobnost stavů systému, které by latlo bez ohledu na očáteční stav. = (,,...) 5.7.2 Defnce. Rozdělení 1 2 3 ravděodobnost MŘ se nazývá staconární, jestlže je slněna následující odmínka: jestlže má MŘ rozdělení v čase t = n, ak má stejné rozdělení ro všechny časy t n. (Často mluvíme o staconárních ravděodobnostech.) Věta 5.7.3: Rozdělení (jako řádek) MŘ s matcí ravděodobností řechodu P je staconární Důkaz: jednoduchý, stačí odle defnce rozesat ( t +1) ř znalost (t) ( t + 1) = ( t). s j S j j P = 25
5.7.4 Věta. Nechť s je neodstatný stav nebo odstatný nulový stav ro každé staconární rozdělení latí = 0 Důkaz. Jestlže je s neodstatný nebo odstatný nulový stav, latí lm ( n) = 0. n 5.7.5 Věta. Nechť (1) a (2) jsou dvě staconární rozdělení téhož MŘ. Potom také = α (1) + (1 - α) (2) je staconární rozdělení ro každé α (0,1) Důkaz. Podle V 5.7.3 P = (α (1) + (1 - α) (2) ). P = α (1). P + (1 - α) (2). P = α (1) + (1 - α) (2) = 26
5.7.6. Věta. Nechť MŘ má jednou třídu odstatných stavů, a nechť je tato třída ergodcká. Potom ro tento MŘ exstuje rávě jedno staconární rozdělení ravděodobnost. Důkaz: Duač, Duačová, MFF Věta 5.7.7 Na každou třídu odstatných stavů se můžeme dívat jako na samostatný MŘ (Věta 5.5.5). Jestlže je taková třída C ergodcká, exstuje ro n staconární rozdělení. q = ( ) q s C Defnujme rozdělení celého MŘ takto = q ro s C =0 ro s C Pak je staconární rozdělení celého MŘ (Věta 5.5.5). Pro každou ergodckou třídu tedy exstuje řesně jedno staconární rozdělení MŘ, které je nulové mmo tuto třídu. Tato rozdělení nazveme čstá. Exstují-l alesoň dvě čstá staconární rozdělení, ak má říslušný MŘ odle Věty 5.7.5 nekonečně mnoho staconárních rozdělení. (Dokonce víc: lze dokázat, že všechna staconární rozdělení získáme jako konvexní kombnace čstých rozdělení.). Dokázal jsme vlastně následující větu: 27
5.7.8 Věta. () MŘ nemá žádné staconární rozdělení když nemá žádnou třídu ergodckých stavů () MŘ má jedné staconární rozdělení ravděodobnost když má jednou třídu ergodckých stavů. () MŘ má nekonečně mnoho staconárních rozdělení když má alesoň dvě třídy ergodckých stavů Defnce: Rozdělení ravděodobnost lm n ( n) = = ( ) s S MŘ se nazývá fnální, jestlže latí: ř lbovolném očátečním rozdělení (0) = ( (0)) s S Fnální rozdělení budeme značt: π = (π ) s S 28
5.7.10 Věta. Nechť MŘ má alesoň dvě třídy odstatných stavů nemá fnální rozdělení Důkaz. (Sorem) Za uvedeného ředokladu exstují stavy s C 1 a s j C 2. Jestlže je očáteční rozdělení rovno (0)=1, k (0)=0 ro ro k, ak l (n)=0 ro každé s l C1, secálně tedy ro každé s l C2, a ro každé n N. Tedy s C l 2 ( n) = 0. l ro každé n N. Jestlže je očáteční rozdělení rovno j (0)=1, k (0)=0 ro k j ak odle Věty 5.5.5 zůstává MŘ jž trvale ve třídě C 2 a latí tedy s C l 2 l ( n) = 1. Tím jsme dostal sor. Věta je dokázána. Věta 5.7.11 Nechť MŘ má fnální rozdělení toto rozdělení je také staconární. Bez Dk. [Kannan: An Introducton to Stochastc Processess] 29
5.7.12. Věta. MŘ má fnální rozdělení má jednou třídu odstatných stavů a tato je ergodcká. Důkaz: Důsledek ředchozích dvou vět. 5.7.13 Věta. Rozdělení ravděodobnost MŘ π je fnální když Důkaz. Protože P n = P(n), máme vlastně dokázat, že π = lm j n (ro každý stav s j S) ( n) 30
Nechť je očáteční stav s 0 S lbovolný. Počáteční rozdělení je tedy q 0 (0)=1, q (0)=0 ro S S 0. Rozdělení je fnální π = lm ( n) = lm j (0) j( n) n n s S j ro lbovolné očáteční rozdělení (0). Položíme (0)= q(0). Potom j ( 0) j( n) = q0(0) 0 ( n) s S j Dokázal jsme tedy, že π bude fnální π = lm j ( n) ro každý stav s j S, c.b.d., neboť stav s 0 zvolen lbovolně. n 31
Dskuse k hledání staconárního rozdělení: Máme-l najít staconární (fnální) rozdělení MŘ, máme nyní k dsozc dva možné ostuy. Vždy se omezíme na jednu třídu ergodckých stavů. Pro n exstuje rávě jedno staconární rozdělení, které je ro n také současně fnálním. Buďto můžeme ostuovat odle Věty 5.7.3, nebo odle Věty 5.7.13. V rvním říadě dostáváme staconární rozdělení jako řešení soustavy lneárních rovnc, v druhém jako řádek v lmtní matc. Příklady: Závěr: Zatím víme, jak se budou z dlouhodobého hledska chovat ergodcké stavy. (Věty 5.7.8 a 5.7.12) a také neodstatné a nulové stavy (Věta 5.7.4). Vůbec jsme zatím nevyšetřoval erodcké stavy, ro které také exstuje jakýs ostu, jak osat růměrné chování během jedné erody o velm dlouhé době. Ještě další říklady vz dokument Příklady: Staconární a fnální ravděodobnost 32