Markovovy řetězce s diskrétním časem (Discrete Time Markov Chain)

Transkript

1 Stochastcé rocesy Marovovy řetězce s dsrétím časem (Dscrete Tme Marov Cha) Stochastcý roces Stochastcým rocesem {X(t), tr} je moža áhodých velč X(t) závslých a jedom arametru t. Stavový rostor : moža možých hodot X(t) S={e,e,...,e } Parametrcý rostor : moža hodot t Stochastcý roces (dsrétí x sojtý) v úrov (dsrétí x sojtý) v čase Přílady: Hydrogeologcé děje Produce Zašumělé sgály Zabezečovací zařízeí Systémy hromadé obsluhy

2 Náhodý řetězec = stochastcý roces s dsrétím stavy e, e,, e, a dsrétím časem X t = t t t t Předoládejme, že oamžy změ tvoří artmetcou oslouost roces je osá oslouostí áhodých velč X, X,..., X,... tzv. áhodým řetězcem. Daý systém se v aždém oamžu achází rávě v jedom z daé možy stavů. Stav systému se měí systém řechází áhodě z jedoho stavu do druhého. Андрей Андреевич Марков (85, Rjazaň 9, Petrohrad) Alace Statstcá mechaa Iformačí teore omrese dat Artmetcé a etrocé ódováí Rozozáváí obrazů Rozozáváí řeč Boformata Teore Her 4

3 5 Marovovsé řetězce ravděodobost, s mž astávají jedotlvé změy řechody mez dvěma stavy ejsou ovlvňováy ředchozí hstorí rocesu. Pravděodobost řechodu systému ze stavu e do stavu e j eí ja závslá a tom, ja se systém do stavu e j dostal. P( X e / X e, X e,, X e ) P( X e / X e ) j j j Homogeí Marovovy řetězce ravděodobost řechodu ezávsí a oamžu, v ěmž se řechod usutečňuje j ()= j j j

4 5 4 5,,,,4,,,,,4,,, 4,,4, Matce řechodu P 4 5,,,,4,,,,,4,,, 4,,4, 5 Rozděleí ravděodobost stavů o rocích vetor a() : oč. stav: a() = (,,,,) a() = (?,?,?,?,? ) a() = (?,?,?,?,? ) P { j} Př: Žába je a. ame, určete ravděodobost, že o socích bude a 5. ame. 5,.,4 5,., 5. 45,. 55,.,47 8 4

5 Matce řechodu P,,,,4,,,, a,4,,,,,4, Př: Žába je a. ame, určete ravděodobost, že o socích bude a 5. ame.,,,,4,,,, a,,,,,4,,,,,4, 5,.,4 5,., 5. 45,. 55,.,47 9 Výočet stacoárího rozložeí 4 5,,,,4,,,,,4,,, 4,,4, 5 a a P P a a T T T T T P E a o T M P E M Řešeí homogeí soustavy rovc Ma=o, M=P T -E a,,,,t 5

6 Výočet stacoárího rozložeí (bez absorbce) 4 5,,,,4,,,,,4,,, 4,,4, 5,5,5 a a P P a a T T T T T P E a o T M P E a [.,.5,.,.8,.8 ] Chama Kolmogorovova rovost j () - ravděodobost, že systém, terý byl v určtém oamžu ve stavu e bude o řechodech ve stavu e j. () j j ( ) ( ) ( m) ( m) j j j P={ j } matce řechodu; P () ={ j () } matce řechodu o rocích P (+m) =P ().P (m) P (m) =P m

7 Rozděleí ravděodobost stavů a Ozačme a ()=P(X =e )...st, že ve o řechodech (rocích) bude systém ve stavu e. Zalost očátečího rozložeí a () a stí řechodu je zcela ostačující, rozložeí áhodých velč a () odvodíme. a () a () ( ) ( ) ( ) ( ) () ( ) a( ) a() P a a a( ) ( a ( ), a ( ), K a ( ), K) a a P Stacoárí rozložeí - rozděleí ravděodobost, teré řetězec dy eoustí. a ( a, a,..., a,...) a( ) a( ) a a P Př: Hod mcí. Na začátu máte oruy. Sázíte vždy jedu oruu. Hra očí, emáte-l žádé eíze, ebo oud vyhrajete dvojásobe očátečí částy. Určete stacoárí rozložeí. Stavy ohodotíme možou fačí částou S=(,,,,4) a ()... st že o -té sázce máte oru a()=(,,,,) očátečí rozložeí Stacoárí rozložeí: P a a P 4 7

8 Výočet stacoárího rozložeí a a, a, a, a a, a, a, a,, 4 a4 a a a a a a a a a a a a a a4 a4 a Stacoárí rozložeí (establzovaého řetězce) a,,,, 5 Př: Provádíme sér ousů. V rvém má úsěch st. 5%. Jestlže se ous odařl, má další úsěch st. 7%, ale jestlže se eodařl je st. úsěchu v ásledujícím ousu je %. Určete st. úsěchu - tého ousu. S={U,N}. P,7,,,4 Matce má jedoduchou struturu, řevedeme j a dagoálí tvar. P Q DQ P Q D Q D, a() ; a( ) a() P D, a( ) a() P ; P ; / / Q ; Q / / P 8

9 Stablzace systému lm a( ) a() lm P lm a ( ) ( ) a () lm a () a a Rozložeí ravděodobostí stavů systému se může o delší době ustált a stacoárím rozložeí. Poud je toto rozložeí ezávslé a očátečím rozložeí a (), a je systém stablzová. K tomu je uté, aby ro overgovaly ravděodobost (). Stablzovaý systém má jedé stacoárí rozděleí. a a P a Aby byl systém stablzovaý, musí mít matce lm P stejé řády. Každý řáde je a rove vetoru rozložeí ve stablzovaém stavu. 7 Př: Hod mcí. Na začátu máte oruy. Sázíte vždy jedu oruu. Nemáte-l žádé eíze, je vám oduště vlad sázy a aoa, oud máte dvojásobe očátečí částy, ezísáte ř další výhře c. Stavy ohodotíme možou fačí částou S=(,,,,4) a ()... st že o -té sázce máte oru a()=(,,,,) očátečí rozložeí 8 9

10 Př: Provádíme sér ousů. Jestlže se ous odařl, má další úsěch st. 7%, ale jestlže se eodařl, st. úsěchu v ásledujícím ousu je je %. Zjstěte, zda je systém stablzovaý. P S={U,N}.,7, a( ) a() P P,,4 lm a( ) a() lm P Počátečí vetor a() ( a(), a()) lm P lm a( ) ( a(), a()), 9 Stav e je dosažtelý ze stavu e j, jestlže exstuje > ta, že () j >. Oz: e j -> e Marovův řetězec je erozložtelý(rreducblí) aždý stav je dosažtelý z aždého jeho stavu. Říáme, že stavy e, e j omuují, jestlže e j -> e a současě latí e -> e j. Relace omuace je evvalece zůsobuje a stavovém rostoru rozlad a KOMUNIKAČNÍ TŘÍDY. Komuačí třída C se azývá uzavřeá, jestlže ro aždé dva stavy e, e ; e C e C latí, že e eí dosažtelý z e. j j j DTMC je rreducblí, dyž všechy jeho stavy jsou v uzavřeé třídě. Stavový graf rreducblího řetězce je slě souvslý.

11 Rozlad matce řechodu Stavový rostor můžeme jedozačě rozložt S C C C T, de C jsou uzavřeé omuačí třídy a T je sjedoceí ostatích tříd. Matc řechodu můžeme řerovat řezačeím ořadí vrcholů P P, PK D Q P jsou stochastcé matce uzavřeých omuačích tříd D eulová obecá matce Q substochastcá matce j j Klasface stavů Marovova řetězce Stav je absorčí, oud z ěj eí ávratu do jého stavu. f () st, že se systém o rocích do stavu e vrátí. st, že se systém do stavu e vrátí. f f f Stav je trvalý, oud st, že se do ěj systém v oečém čase vrátí je. Stav, terý eí trvalý, se azývá řechodý. Trvalý stav bude avštíve eoečěrát, zatímco řechodý stav je v oečém očtu. f Trvalý stav e je ulový, oud st ávratu do ěj lesá s časem ule. j Vzájemě omuující stavy jsou buď oba trvalé, ebo oba řechodé, tedy v aždém uzavřeé omuačí třídě jsou všechy stavy stejého tyu. Jestlže je oečá omuačí třída uzavřeá(otevřeá), a jsou všechy stavy trvalé, eulové(řechodé).

12 Př: Určete uzavřeé omuačí třídy a matc daého rocesu A B C D E G,,,,, C A B C C C D E T G / / / / / / P / / / / / / / / Stavy A, B, C, D, E jsou trvalé eulové, G je stav řechodý Stavy stablzovaého systému Stav se azývá erodcý s erodou d, jestlže d / Jestlže je d=, říáme, že je stav eerodcý Pro rreducblí eerodcý homogeí Marovův řetězec vždy exstují lmty lm ( ) a Tyto lmty jsou ezávslé a očátečím stavu rocesu a může astat rávě jeda z možostí: Všechy stavy jsou řechodé, ebo trvalé ulové. Všechy lmty jsou ula a stablzovaý stav eexstuje Všechy stavy jsou trvalé eulové, lmty overgují ezávsle a. Stacoárí stav můžeme vyočítat z odmíy a ap; a 4

13 Aalyzujte stavy Marovova řetězce s matcí řechodu:. P / /. P,7,,,4 DU: Na oruží trase je umístěo 5 bodů. Mez m řeváží automobl álady. Nálad z aždého bodu řeváží ouze do ásledujícího s ravděodobostí a do ředchozího s ravděodobostí q=-. Určete matc ravděodobostí řechodu a stacoárí stav systému. 5