Markovovy řetězce se spojitým časem CTMC (Continuous time Markov Chain)

Transkript

1 Markovovy řetězce se soitým časem CTMC (Continuous time Markov Chain) Markovovy rocesy X Diskrétní stavový rostor Soitý obor arametru t { } S e1, e,, en t R t 0 0 t 1 t t 3 t Proces e Markovův (CTMC CTMC), estliže znalost několika minulých hodnot funkce X neřináší o rozložení ravděodobnosti eí současné hodnoty X(t) více informace nežli znalost ediné té oslední z nich. P( X ( t) e / X ( t ) e, X ( t ) e,, X ( t ) e ) P( X ( t) e / X ( t ) e ) i n n n 1 n i n n Označme ( s, t) P( X ( s + t) e / X ( s) e ) i Daný roces e homogenní, sou-li ravděodobnosti závislé ouze na délce časového úseku t, nikoliv na eho očátku s. ( s, t) ( t) 1

2 Rozložení intervalu mezi změnami Předokládeme, že v čase t e systém ve stavu e i. Jaká e ravděodobnost (), že se tento stav nezmění v růběhu časového intervalu (t, t+). (nezávislá na t roces e homogenní). (0)1 () e klesaící ( + s) (). ( s) t ( t) e A( t) P( τ < t) 1 t 1 e Doba setrvání homogenního Markovova rocesu X(t) ve stavu e i má exonenciální rozdělení s arametrem - (intenzitou výstuu). Markovovy rocesy Diskrétní čas DTMC DTMC 1- Soitý čas CTMC CTMC 1 λ t + o λ t + o Pst. setrvání systému ve stavu ( τ > ) 1 + ( ) P t e t o t Pst., že za dobu nastane událost, systém daný stav oustí ( τ < ) 1 + ( ) P t e t o t

3 Matice řechodu ro diskrétní čas ,1 0, 0,3 0,4 0, 0,3 0 0, 0,3 3 0,4 0, 0,3 0, ,3 0,4 0, a( n + 1) a( n) P a( n) a(0) P ( n) Rozložení ustáleného stavu: a lim a( n) a(0) lim P n n n a a P Matice řechodu ro soitý čas Matice řechodu matice časových funkcí P()( () ) Pro 0 () 0 ro i () 1 P ( 0) Se zvětšuícím se intervalem se ravděodobnost řechodu zvětšue E Př: Je dán roces se dvěma stavy S{0,1} 1 + e( t) e( t) P : 1 1 e( t ) 1 + e( t) 1 3

4 Matice intenzit (infinitesimální generátor) Q ( ( ) Doba setrvání rocesu ve stavu e i má exonenciální rozdělení s arametrem - (intenzitou výstuu). Definice intenzit řechodu a výstuu lim 0 t 1+ + ( ) t e t o t 1 lim 0 Vztah matice řechodu P a matice intenzit ( t) +o ( t) 1+ +o ( 0) P Q 0 ( t) 1 t o( t) ( t) 1 t lim 0 t t ( t) 1 lim 0 t Matice intenzit (infinitesimální generátor) Q ( ( ) Doba setrvání rocesu ve stavu e i má exonenciální rozdělení s arametrem - (intenzitou výstuu). Intenzita výstuu e záorné číslo, všechny intenzity řechodu sou kladné. Intenzity výstuu a řechodu sou ro homogenní (stacionární) roces konstantní. Řádkový součet matice intenzit e 0. Položením i P Q+E rakticky zdiskretizueme CTMC, ( t) +o ( t) 1+ +o řechody se můžou udát en v dostatečně malých intervalech. t + t t 1 4

5 Matice intenzit -říklad i Př: Je dána matice řechodu, určete matici intenzit. 1 + e( t) e( t) P : 1 1 e( t ) 1 + e( t) P + o 1.zůsob-Taylorův rozvo o + o 1 + o ( t) +o ( t) 1+ +o.zůsob-p (0)Q Q : Rozdělení ravděodobnosti stavů Matice řechodu matice časových funkcí P(t)( (t) ) Označme vektor ravděodobnosti stavů e 1,e,e 3, v čase t. a( t) ( a ( t), a ( t),..., a ( t),...) 1 k Stabilizovaný stav a( t) a(0) P( t) ( 0) ( 0) a t a P t a t a P t Q a t a t Q a lim a( t) t Jestliže stabilizovaný stav a existue, ak lim lim a t a t Q t t 0 a Q 5

6 SPN ako Markovovský řetězec 0 a Q SPN ako Markovovský řetězec 0 a Q 6

7 Kolmogorovovy diferenciální rovnice Chaman Kolmogorovova rovnost ( s t) ( s) ( t) + ik k k P( s + t) P( s) P( t) Matice intenzit může být akákoliv čtvercová matice, eíž všechny nediagonální rvky sou nezáorné a řádkové součty sou 0. Pokud známe matici intenzit Q můžeme určit matici řechodu ze systému římých (zětných ) Kolmogorových rovnic. P ( t) P( t) Q P(0) E Soustava rovnic má řešení ve tvaru: P( t) P(0) e Qt Výočet matice řechodu z matice intenzit P(t) e určena až na násobek konstantní maticí kde λ1, λ,..., a v1, v,..., vn do slouce. P( t) ex( Q t) P ( t) Q P t P ( t) V ( t) C V ( t) C Q V ( t) C 1 Výočet konstantní matice C: P 0 V 0 C C V 0 ( λ n ) λ 1 t λ 1 ; t λnt ;...; V t e v e v e v n sou vlastní čísla matice Q sou vlastní vektory k říslušným vlastním číslům, sané P 1 ( t) V ( t) V ( 0) 7

8 Postu výočtu Sestroení grafu diferenciálních řechodů na základě dané formulace roblému Sestavení matice ravděodobnosti řechodů, res. matice intenzity řechodů (Sestavení soustavy diferenciálních rovnic na základě matice intenzit a eí vyřešení) Nalezení stacionárního řešení Výočet ožadovaných charakteristik Př: Naděte matici ravděodobností řechodu Markovova rocesu s maticí intenzit Q. Určete stacionární řešení λ 0; v 1,1 λ 5; v, 3 Q 3 3 5t λ 1 t λ 1 1; t λnt e V t e v e v ;...; e v n 5t 1 3e Stabilizovaný stav Stacionární stav 3 a Q o a, 5 5 Pt P 1 ( t) V ( t) V ( 0) e( 5 t ) e 5 5 t lim a( t) a(0) lim P( t) ( a0(0), a1 (0)), t t e( 5 t ) 3 5 e( 5 t ) 8

9 Př: Naděte matici ravděodobností řechodu Markovova rocesu s maticí intenzit Q. Q 3 3 >> syms t; >> Q[- ;3-3] Q >> Ptsimlify(exm(t*Q)) Pt [ /(5*ex(5*t)) + 3/5, /5 - /(5*ex(5*t))] [ 3/5-3/(5*ex(5*t)), 3/(5*ex(5*t)) + /5] Př: Sledueme stav datového roektoru. Pst, že e řístro o ulynutí času t [měsíc] od oslední oravy stále v bezvadném stavu P(τ>t)e -t. Je-li řístro okažený, ak st, že za čas t nedošlo k oravě P(τ>t)e -0t. Určete stabilizovaný stav. OK KO Q 0 0 ( a a ) OK KO aq o a, ( 0,91;0.091)

10 Př: Markovův roces má stavy A,B,C. Intenzita řechodu mezi kraními stavy A a C e nulová, všechny ostatní intenzity sou steně velké. Určete vektor rozložení v čase t, e-li očáteční stav B. >> syms t; t >> Q [- [ 0; -4 ;0 -] ]; >> Pt simlify(exm(t*q)) 0 Q 4 0 Pt [1/3 + 1/(*ex(*t)) + 1/(6*ex(6*t)),1/3-1/(3*ex(6*t)), 1/(6*ex(6*t)) - 1/(*ex(*t)) + 1/3] [1/3-1/(3*ex(6*t)), 1/3 +/(3*ex(6*t)), 1/3-1/(3*ex(6*t))] [1/3 + 1/(6*ex(6*t)) - 1/(*ex(*t)), 1/3-1/(3*ex(6*t)), 1/(*ex(*t)) + 1/(6*ex(6*t)) + 1/3] >> t[0 1 0]* Pt t [ 1/3-1/(3*ex(6*t)), /(3*ex(6*t)) + 1/3, 1/3-1/(3*ex(6*t))] >> ezlot (t(1),[0,5]) Př: Markovův roces má stavy A,B,C. Intenzita řechodu mezi kraními stavy A a C e nulová, všechny ostatní intenzity sou steně velké. Určete vektor rozložení v čase t, e-li očáteční stav B. 0 Q

11 Př: Do fronty řicházeí náhodně zákazníci v elementárním toku. Průměrná délka intervalu mezi říchody e 1 minuta. V okamžiku kdy řde 4. zákazník, skuina zákazníků odchází (e obsloužena) a okamžitě se začne vytvářet nová fronta. Určete rozložení stí stabilizovaného stavu. Určete růměrný očet zákazníků ve frontě. ( a a a a ) aq o a,,, Poissonův roces roces ryzího zrodu (ure birth rocess) k ( t) λ λt vk ( t) e k! V infinitesimálním časovém intervalu může nastat en edna událost s ravděodobností λ, nezávisle na říezdech mimo interval. λ v t e t t t o t λt λ v1 ( t) ( λt) e λt + t +... λt + o( t) λt 0 1 λ λ + λt λt v ( t) e 0 + o ( t)! Stav systému očet událostí, které od očátečního času zkoumání nastaly λ dt λ dt λ dt λ dt 1 λ dt 1 λ dt 1 λ dt λ dt... 11

12 Proces ryzího zrodu (ure birth rocess) Do fronty řicházeí náhodně zákazníci tak, že ravděodobnost říchodu ednoho zákazníka v kratkém čase e +o( t). Jaká e ravděodobnost, že za čas t fronta vzroste z i na zákazníků. Jde o roces se stavy 0, 1,,. (očet zákazníků ve frontě). Náš úkol e naít (t) Q ( t) t + o e t t e ( t) 0! e 11 1 t t e t e t t 0k i, i+ k ( t) k! k ( t) k! e k t e t 1

13 Intenzity řechodu Intenzity řechodu ze stavu e i do stavu e. (i ). Intenzity výstuu ze stavu e i i lim 0 1 lim i i 0 ( + ) t t t ( t) lim 0 ( 0) (0) lim lim (0) 0 0 ( 0) 1 (0) lim lim (0) 0 0 ; ( 0) Q P Q Matice intenzit lim 0 lim 0 1 Pro intenzity řechodu ze stavu e i do stavu e latí: ( t) lim 0 lim 0 0 t o ( t) t + o ( t) t o( t) ( 1 ( t) ) + o( ) i i lim lim lim lim lim 0 t 0 t 0 t 0 t 0 i i 1 t t t + o t t + o i i ( ) 1+ + ( ) t t o t i ( t) +o ( t) 1+ +o 13

14 Matice intenzit Položením ( t) +o i ( t) 1+ +o P Q+E rakticky zdiskretizueme CTMC, řechody se můžou udát en v dostatečně malých intervalech. Doba setrvání homogenního Markovova rocesu X(t) ve stavu e i má exonenciální rozdělení s arametrem -λ (intenzitou výstuu). λ λ 1 e 1 λ e lim lim lim λ t ( t) e λ 0 ( t) 1 ( t) 0 Stacionární ravděodobnosti Stacionární ravděodobnosti (stabilizovaného) Markovova rocesu sou limity a lim a ( t) t Jestliže sou libovolné dva stavy sousledné (ro každé i a existue t takové), že 0 ), ak e systém stabilizovaný a existuí stacionární ravděodobnosti. a lim a ( t) lim a (0) ( t) lim ( t) i t t t i Vektor stacionárních ravděodobností lze vyočítat ze soustavy rovnic. a Q o 14

15 Vnořený DTMC Neuvažue čas strávený v něakým stavu a registrueme en řechody. Matice řechodu vnořeného DTMC: S ( s ); s ro i i [ ] 1 D s 0 ro i S E Q Q QD diag Q CTMC e ireducibilní rávě tehdy, e-li ireducibilní vnořený DTMC. Je-li a v stabilizovaný stav vnořeného DTMC, ak e stabilizovaný i ůvodní CTMC a ro eho stabilizovaný stav latí: a a a v v ( QD ) ( Q ) D