MARKOVOVSKÉ ŘETĚZCE Stochastické procesy Markovovské řetězce s diskrétním časem DTMC Discrete Time Markov Chain...

Transkript

1 OBSAH MARKOVOVSKÉ ŘETĚZCE Stochasticé procesy Marovovsé řetězce s disrétím časem DTMC Discrete Time Marov Chai Defiice Marovovsého řetězce Matice přechodu Stabilizovaý stav systému Bodový proces Marovovsé procesy se spoitým časem CTMC Cotiuous Time Marov Chai Matice přechodu Matice itezit Graf difereciálích přechodů Kolmogorovovy difereciálí rovice Stabilizovaý stav Vořeý Marovovsý řetězec s disrétím časem Postup při aalýze CTMC

2 MARKOVOVSKÉ ŘETĚZCE V této apitole shreme záladí defiice a výsledy teorie stochasticých procesů teré e možé využít při aalýze obecých stochasticých Petriho sítí i eich rozšířeí, epoužívaěší třídy zobecěých stochasticých Petriho sítí (GSPN). Marovovsé procesy se taé využívaí při aalýze systémů hromadé obsluhy. Vyšetřováí frotových systémů e v podstatě vyšetřováím stavů stochasticých procesů. Poud záazíci vstupuí v Poissoovsém tou a déla obsluhy e expoeciálí áhodá veličia, pa taovýto systém hromadé obsluhy e Marovovsým řetězcem. Cílem eí podrobý popis matematicého aparátu stochasticých procesů, ale spíšee vysvětleí záladím pomů a ituitiví popis strutury Marovovsých řetězců. 5.1 Stochasticé procesy Zoumáme-li a se měí áhodá veličia v čase, mluvíme o stochasticém procesu, přesěi: Defiice:Stochasticým procesem {X(t), tr} e možia áhodých veliči X(t) defiovaých ad steým pravděpodobostím prostorem. Příladem stochasticého procesu může být itezita provozu měřeá v průběhu de, počet studetů v posluchárě, ebo vývo hodot ce acií. Klasifiace stochasticých procesů e závislá a třech fatorech: stavovém prostoru, parametricém prostoru a statisticé závislosti áhodých veliči X(t) pro růzé hodoty parametru t. Defiice: Stavový prostor S e možia možých hodot X(t). Jedotlivé stavy procesu ozačme e i, pa S={e 1,e 2,...,e, }. Stavový prostor může být spoitý, ebo disrétí. Pro stochasticý proces s disrétím stavovým prostorem používáme termí stochasticý řetězec. Parametricý prostor: možia hodot (časového) parametru t. Stochasticý proces můžeme zoumat v průběhu spoitého časového úseu, ebo v disrétích oamžicích. Obr. 0.1 Příladem stochasticého procesu se spoitým stavovým prostorem e teplota měřeá během de, ebo rychlost vozidel proížděících daým místem. Příladem stochasticého procesu s disrétím stavovým prostorem Obr. 0.1 e počet aut před řižovatou, počet záazíů v obchodě, či počet žetoů v edom místě. Procesy s disrétím stavovým prostorem se ědy azývaí áhodé řetězce. V dalším textu se budeme zabývat e áhodými řetězci. V reálých apliacích vždy můžeme spoitý stavový prostor převést a disrétí už eom tím, že měříme s istou přesostí. 5.2 Marovovsé řetězce s disrétím časem DTMC Discrete Time Marov Chai Uvažume yí stochasticý proces disrétí v čase i v úrovi. Daý systém se v aždém oamžiu achází právě v edom z daé možiy stavů. Bez úmy a obecosti můžeme předpoládat, že oamžiy změ tvoří aritmeticou posloupost 0,1,2,3,.... Odečítáme-li apř. počet aut v tuelu aždých 10 miut, bude začáte pozorováí ozače ao stav v ultém 2

3 rou, po 10 miutách budeme mít stav 1, počet aut za 20 miut bude stav po 2 rocích atd.. Proces e popsá posloupostí áhodých veliči X 1, X 2,..., X. Nechť S={e 1,e 2,...,e, } e stavový prostor, pa sutečost, že v i-tém rou e systém ve stavu e 2 zapíšeme Xi e Defiice Marovovsého řetězce Říáme, že řetězec e Marovovsý 1, estliže pravděpodobosti, s imiž astávaí edotlivé změy přechody mezi dvěma stavy esou ovlivňováy předchozí historií procesu. P( X e / X e, X e,, X e ) P( X e / X e ) p 1 i 2 i2 0 i0 1 i Pravděpodobost p () azveme pravděpodobostí přechodu ze stavu e i do stavu e. Jiými slovy: Pravděpodobost přechodu systému ze stavu e i do stavu e eí a závislá a tom, a se systém do stavu e dostal. Marovovsé řetězce sou velmi dobře popsáy, existue celá řada eich vlastostí, teré můžeme s výhodou využívat při aalýze systémů, proto se Marovovy řetězce používaí všude tam, de lze podmíu procesu bez paměti přmout, ebo alespoň přmout částečě, za istých omezeí. V ásleduících úvahách se omezíme e a homogeí Marovovy řetězce. Defiice: Stochasticý proces azýváme homogeí, estliže pro aéoliv stavy e i, e pravděpodobosti přechodu p () ezávisí a oamžiu, v ěmž se přechod usutečňue, t. p (0) = p (1) = p (2) = Argumet při zápisu pravděpodobostí přechodu můžeme vyechat, protože a ěm hodota psti ezáleží. p ()=p Marovovy procesy používáme v mohých praticých apliacích, a poud e to e trochu možé, přímáme předpolad, že e proces homogeí. Hlavím výzamem přmutí předpoladu homogeity e fat, že se aalýza taovýchto systémů podstatě zedoduší. Přílad: Sledueme itezitu cylisticé dopravy a daém úseu omuiace. Itezita dopravy e vyádřea počtem cylistů a určitém profilu pozemí omuiace za edotu času. Itezita dopravy se měí spoitě v průběhu celého zoumaého itervalu-vziaí ta variace itezit dopravy. Používaý e deí, týdeí i ročí cylus variací itezit dopravy. Na Obr. 0.2 e zobrazeí deí variace relativích itezit cylisticé dopravy v pracoví de. Stav systému e atuálí počet cylistů v měřeých loalitách. Ke změě stavu dode, dyž cylista opustí moitorovací prostor, ebo aopa, dyž do ě přede. Je zřemé, že pravděpodobosti změy stavu se během de výrazě měí, eí tedy taovýto proces možé považovat za homogeí. Abychom mohli, s istou dávou velorysosti, předpolad homogeity přmout e zapotřebí rozdělit zoumaý časový úse a ratší itervaly a v ich ahradit fuci Variace itezity za ostatí fuci. V případě cylisticé dopravy zřemě můžeme přmout předpolad, že e daá itezita ostatí v průběhu 30 miut. 1 Třídu stochasticých procesů bez paměti popsal v roce 1907 rusý matemati A. A. Marov 3

4 Obr. 0.2: Deí variace itezit cylisticé dopravy-průměr ze 120 staovišť v ČR aměřeý v větu 2007 Itezita se měí spoitě, my i ale spoitě zoumat emusíme. Předpoládeme apř., že itezitu aměříme aždých 5 miut. Itezita dopravy ta může být chápáa ao stochasticý řetězec disrétí v čase i v úrovi. Jedotlivé stavy v daém rou zoumáí sou vyádřey ezáporým číslem představuícím itezitu provozu. Poud pravděpodobost změy stavu (příezdu/odezdu cylistů) esou závislá a historii procesu, pa můžeme proces zoumat ao Marovovsý řetězec s disrétím časem (DTMC). Otázou zůstává, a taovýto systém přehledě popsat Matice přechodu Pravděpodobosti přechodu p sestavíme do tzv. matice přechodu P = ( p ). Matice přechodu e čtvercová, eí rozměr e rový počtu stavů systému. P p p p p p p p p p p 1 2 Z podstaty hodot p má matice přechodu homogeího DTMC speciálí struturu: 1. všechy prvy matice sou čísla v itervalu [0,1] 2. řádové součty sou rovy edé p 1. Mluvíme o tzv. stochasticých maticích.. Tyto pravděpodobosti sestavíme do tzv. stavového vetoru rozděleí pravděpodobosti. Stavový vetor v -tém rou ozačíme a a, a,, a, 1 2 Vetor má toli slože, oli e možých stavů systému. i-tá složa vetoru představue pst, že a P X e. se systém achází ve stavu e i. i i 4

5 Poud matice přechodu posytue dooalý popis procesu, pa sme schopi edozačě určit pravděpodobosti, že se systém v daém rou achází v daém stavu. Záme-li stavový vetor v -tém rou, umíme pomocí matice přechodu vypočítat stavový vetor v +1 rou. Ze vzorce úplé pravděpodobosti a 1 a p. i i Přepíšeme-li teto zápis do maticové formy dostáváme hezý reuretí vztah 1 a a P Záme-li tedy počátečí rozděleí pravděpodobosti a matici přechodu, umíme vypočítat stavové vetory rozděleí pravděpodobosti pro všechy další rou můžeme vyšetřovat dyamiu procesu a a P a a P a P 0 a a P Důsledem těchto vzorců a ezávislosti pravděpodobostí a historii procesu i a atuálím rou dostáváme Chapma-Kolmogorovovu rovost. Přílad: Sledueme atuálí pozici studetů během de. Výua probíhá ve třech budovách: Florec, Kovit a Horsá. Rozvrh studetů ezáme, migrace studetů se ám eví ao stochasticý proces. Na záladě relativích četostí odhademe pravděpodobosti přeížděí. Proces sledueme v disrétích časových oamžicích, vždy po dvou vyučovacích hodiách. Matice přechodu při pořadí míst Florec, Kovit, Horsá echť má tvar: 0,6 0,2 0,2 P 0,5 0, 25 0, 25 0,4 0,4 0,2 Pravděpodobosti zareslíme pomocí orietovaého grafu. Vrcholy grafu sou stavy procesu budovy, hray grafu sou ohodocey pravděpodobostmi přechodu. Protože součet pravděpodobostí všech přechodů z edoho daého stavu e eda, sou řádové součty matice přechodu 1 a ze steého důvodu musí být u stavového grafu součet hodot hra vycházeících z edoho uzlu taé eda. 2 5

6 Obr. 0.3:Stavový graf Marovovsého řetězce Jestliže víme, že a začátu de v 8:00 e studet v Kovitu, záme počátečí stavový vetor rozložeí pravděpodobosti. S istotou víme, že a začátu e systém(studet) ve stavu Kovit. Při daém pořadí míst Florec, Kovit, Horsá e a 0 (0,1,0). Pravděpodobosti, pozice studeta o příští předášce,t v dalším rou e dáa a 1 a 0 P 0,5; 0, 25;0, 25 a a 0 P můžeme vypočítat stavový vetor. Z rovice pro obecý -tý ro. Výpočet -té mociy matice e možý provést růzými způsoby, apř. poud má matice edoduchou struturu můžeme využít diagoálí matici. Chapma-Kolmogorovova rovost (2) Ozačme p pravděpodobost, že systém, terý byl v určitém oamžiu ve stavu e i bude po 2 přechodech ve stavu e (Nezávisle a tom, aým meziroem systém prošel). Potom (2) 2 2 ( ) ( 1) ( m) ( m) p p p, t. P P. Obecěi p p p p p i m m P P P. i i, tedy můžeme psát Stabilizovaý stav systému Rozložeí pravděpodobostí stavů systému se může po delší době ustálit, t. všechy složy stavového vetoru mohou overgovat lim a a. a lim a( ) lim a ( ),lim a ( ),,lim a ( ), 1 2 Dyamia systému e závislá a ostatí matici přechodu a a počátečím stavu, tedy obecě i limití chováí může být a počátečím stavu závislé lim a( ) a(0) lim P Poud tomu ta eí a limití rozděleí stavového vetoru sou ideticá pro všechy počátečí stavy, pa mluvíme o stabilizovaém systému. Defiice: Poud e limití rozložeí lim a( ) a(0) lim P ezávislé a počátečím rozložeí a 0, pa říáme, že e systém stabilizová. Zamysleme se yí ad tím, a určit, zda e systém stabilizová. Je zřemé, že utou podmíou stabilizace systému e, aby pro overgovaly pravděpodobosti p i (). 6

7 Poud budou pro všecha i lim p lim a ( ) a (0) lim p ( ) i ( ) i i i vlastosti vetoru rozděleí psti ai (0) 1,dostáváme i ideticé, pa e můžeme vytout před sumu a využitím. ( ) lim a ( ) ai (0) lim pi ai (0) a a i i Tedy, poud sou prvy ve sloupcích matice lim P ideticé, systém e stabilizovaý. Právě doázaá věta emá při řešeí praticých příladů příliš velý výzam, protože e většiou velmi obtížé určit obecou mociu matice P.Uvědomme si, že matice P má rozměr rový počtu stavů, přitom e většiou velmi řídá má velé možství ul. V teorii Marovovsých procesů existue celá řada utých či postačuících podmíe pro stabilizaci systému, založeých a lasifiaci stavů, tato teorie ale přeračue rámec sript a ebudeme i zde rozepisovat. Poud máme zištěo, že e systém stabilizovaý, pa můžeme vypočítat stabilizovaý stav a přímo, řešeím homogeí soustavy lieárích rovic a a P Rovice vyplývá přímo ze vztahu a 1 stabilizovaý,můžeme psát lim a 1 lim a a. a P. Za předpoladu že e systém Přílad: Vraťme se příladu stěhováí studetů Faulty dopraví. Matice přechodu byla zadáa ve tvaru. 0,6 0,2 0,2 P 0,5 0, 25 0, 25 0,4 0,4 0,2 Platí, že poud e stavový graf procesu s oečou možiou stavů silě souvislý, pa e systém stabilizovaý. Vypočíteme vetor rozložeí pravděpodobosti stavu. Rovici a a P můžeme T přepsat do tvaru I P a o, de I e edotová matice. Dále postupueme Gaussovou T elimiací. Hodost matice soustavy I P e dva, řešeí e edoparametricý systém a t 25,12,10, t R. Vetor rozložeí pravděpodobosti má součet všech slože rove R edé, tedy výsledý stabilizovaý stav má pravděpodobosti a ,, V ašem orétím příladě e výpočet stabilizovaého řešeí esmyslý, protože praticy teto stochasticý proces trvá e ěoli roů, déla zoumaé poslouposti stěhováí e omezea ocem vyučováí v 20:00. Za ta rátou dobu se proces zřemě estačí stabilizovat. Existue ale celá řada apliací, pro teré e výpočet stabilizovaého stavu podstatý a v mohém případě i postačuící pro další aalýzu. Klasicým příladem sou dopraví systémy či omuiačí protooly. Obecě sou to všechy apliace, de pracueme s vzáemě ezávislými etitami a ezaímá ás dyamia procesu. 7

8 Prozatím sme zoumali Marovovsé řetězce v disrétích časových oamžicích, tzv. rocích. Abychom mohli stochasticý proces X(t) zoumat ao možiu se spoitým parametricým prostorem tr musíme uvažovat posloupost změ stavu ao bodový proces. Proto, dříve ež přistoupíme e studiu stochasticého řetězce se spoitým časem vysvětlíme záladí metody aalýzy bodového procesu. 5.3 Bodový proces Představme si posloupost ěaých událostí, teré astávaí áhodě v čase. Příladem mohou být příezdy vozidel celici, příchody cestuících do staice metra, ebo porucha ěaého zařízeí, terá vyžadue opravu. Zápis procesu Oamžiy změy stavu stochasticého procesu (v ašem případě oamžiy vstupu záazíů do systému) můžeme zapsat růzými způsoby Obr posloupost časových oamžiů t 1, t 2,..., t 2. posloupost itervalů 1, 2,..., 3. počet událostí během časového itervalu [s, s+t] - fuce N(s,t) Obr. 0.4 Tyto zápisy sou vzáemě evivaletími a podle potřeby zvolíme, terý e pro ás v daou chvíli evýhoděší. Něteré vlastosti a defiice e možé přehleděi zapsat v edom zápise, pro ié e výhoděší volit iý typ zápisu. Přechod mezi edotlivými zápisy e triviálí: t t ; 0,1, 2, t ; 1, 2, N( s, t) t s t t Pro aždé e déla itervalu mezi -tou a +1 událostí spoitá áhodá veličia, eí distribučí fuci ozačme A () t. Dle defiice A ( t) P{ t}, 0,1,2, Fuce N(s,t) e po částech ostatí fuce, body espoitosti sou oamžiy příchodu t 1, t 2,..., t. Pro pevé s,t e počet událostí N(s,t) disrétí áhodá veličia. Ozačme eí pravděpodobostí fuci v s, t P N s, t, 0,1, 1 t 0; s 0, v ( s, t) 1 0 Středí počet událostí v časovém itervalu [s, s+t] pa vypočítáme z defiice středí hodoty E[ N( s, t)] v ( s, t) 0 8

9 Jedotlivé požadavy se mohou vzáemě ovlivňovat, proces se může dyamicy měit, itervaly mezi edotlivými událostmi mohou mít dooce i ié rozděleí. Je tedy účelé rozlišovat mezi edotlivými typy procesů. Uveďme si zde defiice e ěoli záladích typů Proces s ezávislými přírůsty pro libovolou -tici vzáemě disutích itervalů [s 1, s 1 +t 1 ]; [s 2, s 2 +t 2 ];...; [s, s +t ]; e {N(s 1, s 1 +t 1 ), N(s 2, s 2 +t 2 ),..., N(s, s +t );...} posloupost ezávislých áhodých veliči. Regeerativí proces (proces obovy) Reuretí proces e posloupost ezávislých áhodých veliči. e posloupost ezávislých áhodých veliči se steým rozděleím pravděpodobosti. Homogeí proces pravděpodobosti, že během itervalu [s, s+t] astae událostí v ( s, t) P( N( s, t) ); 0,1,2 sou závislé pouze a délce itervalu t a e a eho počátu s, tedy N(s,t) má pro libovolé s vždy steý záo rozložeí ao N(0, t). E[ N( t u)] E[ N( t)] E[ N( u)] E[ N( t)] t E[ N(1)] t a pro homogeí procesy má smysl defiovat itezitu procesu Defiice: Itezitou homogeího procesu azveme středí počet událostí za časovou edotu Ordiárí proces EN [ (1)]. ve velmi rátém časovém oamžiu astae více ež eda událost e se zaedbatelou pravděpodobostí, řádově meší ež e déla tohoto itervalu. Nedochází e umulováí událostí. 1v t v t lim t0 Při praticých apliacích většiou pomy procesu s ezávislými přírůsty a regeerativího procesu splývaí, obecě ale mezi imi e rozdíl. Ta apřílad průezdy motorových vozidel určitým místem tvoří proces s ezávislými přírůsty, protože řidiči se rozhoduí většiou vzáemě ezávisle, zda daým místem poedou, ale už teto to ebývá regeerativí, protože se auta, terá edou za sebou vzáemě ovlivňuí. Poud e ale proces ordiálí, pa proces s ezávislými přírůsty e současě regeerativí. Pro ordiárí homogeí proces podmíy regeerativosti a reurece splývaí. Poissoovsý to ordiárí homogeí proces s ezávislými přírůsty Pro ordiárí bezásledý homogeí vstupí to událostí pravděpodobost, že za časový iterval dély t astae právě událostí, e t P( N( s, t) ) v ( s, t) e! t t Poissoův to e až a ostatu edozačě urče. Z defiice středí hodoty 9

10 uážeme, že parametr e itezitou procesu 1 t t t t t t E[ N( t)] e e t e t t! 1!! Poissoovsý to patří mezi edůležitěší toy, e ze všech stochasticých procesů eedodušší, protože pro eho matematicý popis můžeme použít aparát Marovovsých procesů. Itervaly mezi událostmi Poissoovsého tou sou vzáemě ezávislé veličiy s expoeciálím rozděleím. Dosazeím do předchozího vztahu dostaeme distribučí fuci expoeciálího rozděleí. A t P( t) 1 v s, t 1 e t Tedy pro hustotu pravděpodobosti áhodé veličiy představuící délu itervalu mezi vstupy a( t) A( t) e t. 0 Obr. 0.5:Hustota pravděpodobosti dély itervalu mezi událostmi Z grafu expoeciálí áhodé veličiy Obr. 0.5 e zřemé, že pravděpodobost rátých itervalů mezi událostmi e větší ež psti delších časových rozestupů. V elemetárím tou se ečastěi vysytuí ráté itervaly mezi událostmi, t změy stavů se realizuí v sériích rátých sledů Obr To e vlastost všeobecě zámá apř. ze rčeí Do třetice všeho dobrého a zlého, teré používáme pro vyádřeí toho, že a sobě avzáem ezávislé události, teré se estávaí příliš často přicházeí ve shlucích odděleých delším časovým rozestupem. Obr. 0.6:Zobrazeí poslouposti oamžiů událostí v Poissoosvsém procesu události se stávaí ve shlucích Díy vlastosti expoeciálí áhodé veličiy e Poissoovsý to Marovovsý proces ryzího možeí. Expoeciálí áhodá veličia e ediá spoitá áhodá veličia bez paměti, t. pravděpodobosti změy stavu sou ezávislé a historii procesu. Přesěi, pravděpodobost, že v elemetárím tou eastae v itervalu dély T žádá událost, víme-li že od vstupu předešlého požadavu už uplyul čas t<t e ezávislá a tomto čase t. P( tu) v t u e tu 0 u P( t u / t) = = = e = P( u) t P( t) v0 t e 10

11 Pro Poissoovsý to platí vlastosti, terá ám při aalýze systémů výrazě usadňuí výpočty. Při aalýze stochasticých Petriho sítí využíváme vlastostí superpozice a áhodého výběru. 1. Superpozice: Složeím dvou Poissoovsých procesů o itezitách 1 a 2 vzie opět Poissoův proces s itezitou = (Obr. 0.7). 2. Náhodý výběr: Vybíráme-li s pstí p z daého Poissoovsého procesu s itezitou, pa výsledý proces e Poissoovsý s itezitou p. Obr. 0.7: Složeím dvou Poissoovsých procesů e Poissoův proces s itezitou rovou součtu itezit vstupuících Poissoovsých procesů. 5.4 Marovovsé procesy se spoitým časem CTMC Cotiuous Time Marov Chai Nyí spoíme zalosti zísaé z předchozích dvou apitol. Většiu záladích pomů CTMC zísáme aalogií z disrétího časového prostoru. Budeme yí zoumat stochasticý řetězec s disrétím stavovým prostorem a spoitým časem. Příladem může být sledováí počtu aut v istém úseu omuiace. Defiice: Proces e Marovovsý (CTMC), estliže zalost ěolia miulých hodot fuce X epřiáší o rozložeí pravděpodobosti eí současé hodoty X(t) více iformace ežli zalost edié té posledí z ich. P( X ( t) e / X ( t ) e, X ( t ) e,, X ( t ) e ) P( X ( t) e / X( t ) e ) i i Ozačme p ( s, t) P( X ( s t) e / X ( s) e ) pravděpodobosti přechodu. i Steě aou disrétích Marovovsých řetězců budeme se adále zabývat e homogeími procesy. Daý proces e homogeí, sou-li pravděpodobosti p (s,t) závislé pouze a délce časového úseu t, ioliv a eho počátu s. Budeme adále považovat psti přechodu e za fuce času t a budeme zapisovat p (t) Zvolme pevě ede stav systému. Nechť se systém v tomto stavu právě teď achází. Ozačme spoitou áhodou veličiu doby setrváí stavu v systému. Pravděpodobost změy systému v příštím, rátém časovém úseu t musí být z defiice Marovovsého procesu ezávislá a historii procesu, t musí být expoeciálí áhodá veličia. Uvažueme-li e dvě možosti, buď systém ve stavu setrvá, ebo e opustí, pa dostáváme aalogii DTMC a CTMC Obr

12 Obr. 0.8 t Pst. setrváí systému ve stavu P t 1 e t o t t Pst., že během itervalu t systém stav opustí P t e 1 t o t Matice přechodu Všechy fuce přechodu ze stavu e i do stavu e sestavíme do matice časových fucí P(t)=(p (t)). Matice přechodu má speciálí struturu. 1. obor hodot fucí přechodu e iterval [0,1]. 2. řádové součty sou rovy edé p t 1 3. diagoálí fuce sou lesaící, ediagoálí fuce sou rostoucí 4. P0 E Přílad grafů prvů matice přechodu e a (Obr. 0.9). Uvědomme si, že prvy matice přechodu p (t) esou určey e délou itervalu přechodu ze stavu e i do stavu e. Situace e poěud složitěší, protože za čas t může systém proít moha změami. Prvy matice přechody e třeba chápat v ásleduícím smyslu. Nechť e v čase t 0 systém ve stavu e i. Pa pravděpodobost, že v čase t 0 +t e systém ve stavu e e dáa pravděpodobostí p (t). Naše úvahy sou omezey e a homogeí procesy, dy se chováí systému v průběhu itervalu zoumáí eměí, tedy pravděpodobosti přechodu esou závislé a počátu pozorováí t 0 a proto argumet t 0 a při zápisu p (t). epoužíváme. Pro popis Marovovsých řetězců s disrétím časem se využívá matice přechodu, terá e stochasticou ostatí maticí. Pro daý oamži t e matice přechodu taé stochasticou maticí, ale zadáí řetězce se spoitým časem pomocí matice, eíž prvy sou fuce času e praticy erealizovatelé. Stěží si představíme statisticý průzum v teréu, ehož výstupem bude taováto matice. Proto pro zadáváí systému využíváme iých charateristi, teré e možé odhadout a záladě reálých dat zísaých ze statisticého průzumu. Zavádíme itezity přechodu mezi stavy a itezity výstupu ze stavu. Matice itezit sestaveá z těchto hodot bude používáa podobě, ao matice přechodu pro procesy s disrétím časem Matice itezit Matice přechodu pro disrétí čas e tvořea pravděpodobostmi přechodu v edom rou, podobě matice itezit bude tvořea ifiitezimálími itezitami pro eoečě rátý iterval t 12

13 Itezity přechodu ze stavu e i do stavu e. i. q lim t 0 p ( t) p t Itezity výstupu ze stavu e ii i Q = (q ) matice itezit (ifiitesimálí geerátor) q ii lim Pro homogeí procesy itezity přechodu ezávisí a délce itervalu, ale e a čase pozorováí, vyadřuí počet přechodů za časovou edotu, proto e matice itezit homogeích procesů ostatí. Zoumáme li chováí procesu loálě, rozlišueme pro ede atuálí stav e dvě možosti. Buď systém ve stavu zůstae, ebo e opustí. Doba setrváí homogeího Marovova procesu X(t) ve stavu e i má expoeciálí rozděleí s parametrem -. Parametr expoeciálího rozděleí e až a zaméo rova itezitě výstupu. q ii t 0 t t t t pii t 1 e 1 e lim lim lim t0 t t0 t t0 1 Věta: Vztah mezi maticí itezit a přechodu popisuí ásleduící vzorce: 1 dp t Q dt Důaz: 1. 0 p t t p t p ( t) lim t 0 t p t p p t p (0) lim lim t0 t t0 t 0 p (0) q Aalogicy bychom doázali, že p ii (0) qii. Právě doázaá vlastost říá, že matice itezit e sestavea se směric teče grafu fucí p (t) v bodě t=0. 2. P Q t+e, Řádové součty matice itezit sou 0. Nediagoálí prvy sou ladé, prve a diagoále e záporý Důaz: eprve pro ediagoálí prvy pro diagoálí prvy Z předchozích dvou vztahů p ( t) tq lim 0 t p ( t) tq o( t) t 0 t t q ii p ( t) tq o( t) 1 ii i i p t p t q t o t qt o t pii t 1 i lim lim t0 t t0 t i q 13

14 p ( t) 1 tq o( t) ii Matice itezit může být aáoliv čtvercová matice, eíž všechy ediagoálí prvy sou ezáporé a řádové součty sou 0. Pro homogeí proces e matice itezit ostatí. Lieárí aproximací P Q t+e praticy zdisretizueme CTMC, změu stavů zoumáme e pro dostatečě malé itervaly t Přílad: CTMC e dá maticí přechodu P t 1 e 1 e e 1 e ii 2t 2t 2t 2t Grafy fucí pravděpodobostí přechodu sou zázorěy a Obr Řádový součet musí dávat ostatí fuci 1, obory hodot všech fucí v matici přechodu musí být [0, 1]. dp 1 1 Z matice přechodu určíme matici itezit Q t 0 = Q dt 1 1. Matice itezit e sestavea se směric teče grafu fucí p (t) v bodě t=0. Obr. 0.9-Grafy pravděpodobostí přechodu Systém e stabilizovaý lim P t t a Graf difereciálích přechodů Podobě, ao sme graficy zázorily vztahy mezi stavy Marovovsého řetězce s disrétím časem pomocí stavového grafu, používáme pro řetězec se spoitým časem graf difereciálích přechodů. Uzlu představuí stavy procesu, poud existue eulová itezita přechodu q, pa vede orietovaá hraa ze stavu e i do stavu e. Hrau ohodotíme itezitou 14

15 přechodu. Pro pořáde můžeme všem vrcholům dodat smyčy ohodoceé itezitou výstupu. Itezita výstupu e edozačě určea itezitami přechodu q q, ii i tedy součet všech hra vycházeících z daého uzlu musí být ula. Graf difereciálích přechodů z předcházeícího příladu e a Obr Systém má dva stavu, ozačme e O a 1. Obě itezity přechodu sou eda. Obr. 0.10: Graf difereciálích přechodů dvoustavového procesu Kolmogorovovy difereciálí rovice Strutura matice přechodu e pro řetězce se spoitým časem ompliovaá, v praxi postupueme obráceě, eprve empiricy určíme itezity přechodu q ao odhad středího počtu změy e i e za časovou edotu, poté dopočítáme itezity výstupu z podmíy q 0. Poud záme matici itezit Q můžeme určit matici přechodu ze systému přímých (zpětých ) Kolmogorovýh rovic., P0 P ( t) P( t) Q Soustava lieárích difereciálích rovic s ostatími oeficiety má řešeí ve tvaru Qt P( t) P(0) e P t V t C. Kostatí E. P(t) e určea až a ásobe ostatí maticí P0 E. Platí: P 0 V 0 C C V 1 0 matici C vypočítáme z podmíy. Shrňme: Nechť Q e matice itezit, pa matice přechodu CTMC e ve tvaru de 1, 2,, vlastím číslům, psaé do sloupce. P t V t V 1 0, 1 t 1; 2 t 2; ; 1 t V t e v e v e v, sou vlastí čísla matice Q a v1, v2,, v sou vlastí vetory příslušým Stabilizovaý stav Pravděpodobosti stavů e 1,e 2,e 3, sestavíme do stavového vetoru 1 2 a( t) ( a ( t), a ( t),, a ( t), ); a t P X t e i i Podobě ao u Marovovsých řetězců s disrétím časem, stavový vetor vypočítáme z počátečího rozděleí a s matice přechodu a( t) a(0) P( t) (0.1) 15

16 Koverguí li složy stavového vetoru ezávisle a počátečím rozložeí a lim a ( t), pa říáme, že e systém stabilizovaý. Podobě ao u DTMC e možé rozhodout o stabilizaci systému ze strutury matice lim P t. Jsou li limití pravděpodobosti ezávislé a idexu i, pa můžeme psát. t a lim a ( t) lim a (0) p ( t) lim p ( t) i t t t i V praxi e výpočet matice P(t) ompliovaý a většiou i emožý, o stabilizaci systému rozhodeme iými metodami, apř. pomocí lasifiace stavů vořeého DTMC a metodami teorie grafů. Věta: Stabilizovaý vetor rozděleí pravděpodobostí stabilizovaého Marovovsého řetězce se spoitým časem vypočítáme ze soustavy homogeích lieárích rovic. t a Q o (0.2) Důaz: Derivací (1.1) zísáme rovici at a 0 Pt z Kolmogorovových rovic a t a 0 Pt Q. Dosadíme vztah. Limitím přechodem dostáváme lim a t lim a t Q t t Protože předpoládáme, že proces e stabilizovaý vetoru at () existovat horizotálí asymptota doazovaý vztah. 0 aq. lim a t t a, musí pro všechy složy lim a t 0. Dosazeím limit dostáváme přímo t Vořeý Marovovsý řetězec s disrétím časem Marovovsý řetězec se spoitým časem můžeme převést a proces s disrétím časem (DTMC) a metody aalýzy DTMC využeme pro zoumáí vlastostí řetězce se spoitým časem CTMC. Něteré z výrazých vlastost, ao apř. stabilitu maí tyto dva procesy společé. Přechod e vořeému řetězci s disrétím časem realizueme ta, že euvažueme čas stráveý v ěaým stavu a registrueme e přechody. Matice přechodu vořeého DTMC: S E Q 1 D Q itezit. Q diag Q q S s ; s pro i q i s 0 pro i, Q D e matice tvořeá itezitami výstupu diagoálími prvy matice D CTMC e ireducibilí právě tehdy, e-li ireducibilí vořeý DTMC. Je-li ã stabilizovaý stav vořeého DTMC, pa e stabilizovaý i původí CTMC a pro eho stabilizovaý stav platí: 16

17 a a Q a Q D D Postup při aalýze CTMC Poud stoíme před úolem aalyzovat reálý stochasticý proces, e vždy příemé, poud zoumaý proces e Marovovsý. Abychom aparát marovovsých řetězců mohli použít, musíme eprve verifiovat metodami matematicé statistiy, že se sutečě edá o Marovovsý řetězec. Poud se aše hypotézy potvrdí, resp. evyvrátí a záladě aměřeého souboru dat,můžeme odhadout itezity přechodu a a záladě ich vypočítat požadovaé charateristiy. Postup můžeme shrout do ásleduících roů. 1. Sestroeí grafu difereciálích přechodů a záladě daé formulace problému 2. Sestaveí matice pravděpodobosti přechodů, resp. matice itezity přechodů (Sestaveí soustavy difereciálích rovic a záladě matice itezit a eí vyřešeí) 3. Nalezeí stacioárího řešeí 4. Výpočet požadovaých charateristi Přílad: Sledueme stav datového proetoru. Ozačme T 1 áhodou veličiu představuící délu setrváí proetoru v bezvadém stavu. Za časovou edotu zvolíme měsíc. Pst, že e přístro po uplyutí času t[měsíc] od posledí opravy stále v bezvadém stavu P(T 1 >t) = e -2t. Ozačme T 2 áhodou veličiu představuící délu setrváí proetoru v bezvadém stavu. Je-li přístro poažeý, pa pst, že za čas t edošlo opravě P(T 2 >t)=e -20t. Určete stabilizovaý stav. Řešeí: Proces má dva stavy: OK -přístro e v pořádu a KO přístro potřebue opravu. Protože dély setrváí systému v obou stavech sou áhodé veličiy s expoeciálím rozděleím, e popsaý proces Marovovsý. Parametry expoeciálího rozděleí sou itezitami výstupu. Při pořadí stavů, apř. přístro e v pořádu, přístro potřebue opravu. 2 2 Q Obr Graf difereciálích přechodů pro stav proetoru Systém má oečou možiu stavů, graf difereciálích přechodů e silě souvislý, tedy, podobě ao pro DTMC, platí, že systém e stabilizovaý. Stabilizovaý vetor zísáme řešeím rovice (1.2). Matice Q má hodost 1, řešeím e edoparametricý systém 10 1 a a1, a2 ; 2a1 20a2 0. Normalizačí podmíu a 1 +a 2 =1 splňue vetor a ; Výslede ám říá, že po ěaém čase, dyž už e systém ustáleý, e pravděpodobost, že e 10, pravděpodobost, že datový přístro potřebue opravu e 11 přístro v pořádu rova a1 1 a