Přírodovědecká fakula NÁHODNÉ PROCESY Iva Křivý OSTRAVSKÁ UNIVERZITA 5
OSTRAVSKÁ UNIVERZITA NÁHODNÉ PROCESY Iva Křivý
ANOTACE Předkládaá disačí opora předsavue úvod do eorie áhodých procesů. Je určea posluchačům disačího sudia sudiích programů Aplikovaá maemaika a Iformaika. Zahrue ásleduící émaa: Náhodé procesy, eich rozděleí a klasifikace Maemaický apará pro sudium áhodých procesů Věvící se procesy Markovovy řeězce s diskréím časem Koečé Markovovy řeězce se spoiým časem Spočeé Markovovy řeězce se spoiým časem Teorie hromadé obsluhy
ÚVOD. NÁHODNÉ PROCESY, JEJICH ROZDĚLENÍ 3 A CHARAKTERISTIKY 3. Defiice áhodého procesu 3.. Rozděleí áhodého procesu 4.3. Základí charakerisiky áhodého procesu 5.4. Klasifikace áhodých procesů 6.5. Příklady áhodých procesů 6. MATEMATICKÝ APARÁT PRO STUDIUM NÁHODNÝCH PROCESŮ 9.. Vyvořuící fukce 9.. Kovoluce.3. Složeé rozděleí 3 3. VĚTVÍCÍ SE PROCESY 7 3.. Podsaa věvícího se procesu 7 3.. Vyvořuící fukce věvícího se procesu 8 3.3. Charakerisiky věvícího se procesu 9 4.3. Pravděpodobos exikce věvícího se procesu 3.5. Aplikace věvícího se procesu Korespodečí úkol 3 4. MARKOVOVY ŘETĚZCE S DISKRÉTNÍM ČASEM 5 4.. Markovův řeězec a eho reprezeace 5 4.. Pravděpodobosi přechodů vyšších řádů 8 4.3. Pravděpodobosi savu sysému v daém čase 3 4.4. Rekureí evy 3 4.5. Klasifikace savů Markovova řeězce 3 4.6. Nerozložielé a rozložielé Markovovy řeězce 33 4.7. Sacioárí rozděleí 37 4.8. Přechodé savy Markovova řeězce 4 5. KONEČNÉ MARKOVOVY ŘETĚZCE SE SPOJITÝM ČASEM 45 5.. Defiice Markovova řeězce se spoiým časem 45 5.. Chapmaova-Kolmogorovova rovos 46 5.3. Koečé Markovovy řeězce se spoiým časem 46 5.4. Klasifikace savů 47 5.5. Ieziy přechodu a eich vlasosi 48 5.6. Kolmogorovovy difereciálí rovice a eich řešeí 49 5.7. Limií pravděpodobosi 5 5.8. Aplikace koečých řeězců se spoiým časem 5 Korespodečí úkol 57 6. SPOČETNÉ MARKOVOVY ŘETĚZCE SE SPOJITÝM ČASEM 59 6.. Zvlášosi spočeých Markovových řeězců 59 6.. Kolmogorovovy difereciálí rovice a eich řešeí 6 6.3. Limií pravděpodobosi 6 6.4. Poissoův proces 6 6.5. Lieárí proces možeí 63 6.6. Obecý proces možeí 65 6.7. Lieárí proces možeí a záiku 67
6.8. Obecý proces možeí a záiku 7 7. TEORIE HROMADNÉ OBSLUHY 73 7.. Srukura sysémů hromadé obsluhy 73 7.. Vsupí ok požadavků 74 7.3. Mechaismus obsluhy 75 7.4. Režim obsluhy 76 7.5. Režim froy 76 7.6. Klasifikace sysémů hromadé obsluhy 77 7.7. Meody řešeí úloh 77 7.8. Sysém ( M / M / ) 77 7.9. Sysém ( M / M / ) 79 7.. Sysém ( M / M /) 8 Korespodečí úkol 3 85 LITERATURA 87
ÚVOD Předkládaá disačí opora (modul), kerá se Vám dosává do ruky, e určea pro edosemesrálí sudium áhodých procesů, speciálě Markovových řeězců s diskréím i spoiým časem. Plě pokrývá požadavky učebích osov poviě volielého kurzu NAPRO (Náhodé procesy), zařazeého do učebích pláů magiserských sudiích oborů Aplikovaá maemaika, Aplikace maemaiky v ekoomii a Iformačí sysémy a Přírodovědecké fakulě Osravské uiverziy. Posláí modulu Cíle modulu: Po prosudováí ohoo modulu pochopíe základí pomy eorie áhodých procesů (áhodý proces a eho rozděleí, Markovův proces, pravděpodobosi přechodů, sacioárí rozděleí, apod.), aučíe se klasifikova savy daého áhodého procesu, aučíe se počía pravděpodobosi přechodu mezi savy daého áhodého procesu, dokážee urči, zda pro daý áhodý proces exisue sacioárí (limií) rozděleí pravděpodobosi, a aké e spočía, pokud exisue, pochopíe výzam áhodých procesů pro řešeí kokréích úloh v praxi. Celý modul e rozčleě do ásleduících lekcí: áhodé procesy, eich rozděleí a charakerisiky, Obsah modulu maemaický apará pro sudium áhodých procesů, věvící se procesy, Markovovy řeězce s diskréím časem, koečé Markovovy řeězce se spoiým časem, spočeé Markovovy řeězce se spoiým časem, eorie hromadé obsluhy. U edolivých lekcí sou dodržea ásleduící pravidla: e specifiková cíl lekce (edy o, co by měl sude po eím prosudováí umě, zá, pochopi), vlasí výklad učiva, popř. oázky k exu, řešeé příklady, korolí úkoly (oázky, příklady) k procvičeí učiva, korespodečí úkoly. Všechy ři zařazeé korespodečí úkoly maí charaker idividuálí semiárí práce, kerá e určea k ověřeí Vašich schoposí aplikova získaé zalosi a aalýzu kokréího (Vámi vybraého) áhodého procesu. Součásí Vašich sudiích poviosí e splěí edoho z korespodečích úkolů; eho hodoceí bude započeo do celkového hodoceí kurzu. Srukura modulu
V každé kapiole e uvedeo vše pořebé pro samosaé sudium, počíae defiicemi základích pomů a koče využiím eoreických pozaků v praxi. V zámu správého pochopeí probíraé láky sou edolivá émaa doplěa řešeím ypových příkladů. Doporučueme čeáři, aby se ad každým příkladem důkladě zamyslel. Pochopeí pricipů řešeí e oiž ezbyým předpokladem pro porozuměí dalšímu výkladu. Čas pořebý k prosudováí edolivých lekcí expliciě euvádíme, eboť z ašich zkušeosí vyplývá, že rychlos sudia začě záleží a Vašich schoposech a sudiích ávycích. Předpokládáme, že si mozí z Vás budou chí dopli a rozšíři pozaky sudiem dalších lierárích prameů (učebic a skrip), ež se zabývaí ak eorií, ak i aplikacemi áhodých procesů. Při výkladu sme vycházeli především z moografie Fellera [5] a dvoudílých skrip maželů Dupačových [3,4]. Další doporučeou lierauru uvádíme v závěrečé čási éo disačí opory. Věříme, že Vám předkládaý sudií maeriál pomůže pochopi základí pricipy eorie áhodých procesů, a přeeme Vám hodě úspěchů ve sudiu. Auor Auoři děkuí ouo cesou oběma recezeům (PaedDr. Hashimu Habiballovi, PhD, a RNDr. Aě Madryové, PhD) za pečlivé pročeí rukopisu a řadu ceých připomíek směřuících ke zkvaliěí předkládaého učebího exu.
. NÁHODNÉ PROCESY, JEJICH ROZDĚLENÍ A CHARAKTERISTIKY Po prosudováí éo úvodí kapioly: pochopíe základí pomy eorie áhodých (sochasických) procesů (áhodý proces a eho rozděleí) a eich ávazos a základí pomy klasické eorie pravděpodobosi (áhodá veličia a eí rozděleí), pozáe evýzaměší charakerisiky áhodých procesů, zeméa sředí hodou, rozpyl a auokovariačí fukci, sezámíe se s klasifikací áhodých procesů, pozáe ěkeré výzamé ypy áhodých procesů. Úvodí kapiola e věováa základům obecé eorie áhodých procesů. Neprve zavádíme poem áhodého procesu, eho rozděleí a základích charakerisik. Následue klasifikace áhodých procesů, zeméa podle srukury možiy eho savů a časové možiy. Na závěr pak uvádíme příklady ěkerých výzamých ypů áhodých procesů.. Defiice áhodého procesu Náhodý (sochasický) proces e absrakí poem pro maemaický popis áhodých evů, keré sou avíc fukcí času. Náhodé procesy ak vyadřuí dyamiku áhodých evů, proo se časo mluví o zv. saisické dyamice. Příklady áhodých procesů acházíme ve všech oblasech vědy a echiky: kolísáí sigálu v přiímacím zařízeí, Browův pohyb hmoých čásic, změy v poču zákazíků čekaících a obsluhu, změy v poču kosmických čásic dopadaících a povrch Země, kolísáí sluečí akiviy apod. Teorie áhodých procesů e, apř. ve srováí s maemaickou aalýzou ebo eorií pravděpodobosi, poměrě mladá maemaická disciplía. Jeí základy byly položey v prví poloviě miulého soleí především zásluhou prací Markova, Sluckého, Kolmogorova, Chičia, Craméra a Loèveho. Za zakladaele moderí eorie áhodých procesů sou považovái Io a Karhue. K dalšímu rozvoi eorie pak výzamě přispěli zeméa Freché, Lévy, Feller a Wieer. Více podrobosí aleze čeář ve skripech [8]. Defiice.. Nechť ( Ω,,,P) e pravděpodobosí prosor a T eprázdá podmožia. Pak sousava reálých áhodých veliči { X, T} defiovaých a ( Ω,,,P) se azývá reálý áhodý proces. Náhodý proces 3
Traekorie áhodého procesu Disribučí fukce áhodého procesu Pozámka. Náhodý proces můžeme aké defiova ako zobrazeí X : Ω T akové, že pro každé T e X ( ω ) áhodá veličia a ( Ω,,,P). Pozámka. V aplikacích vysačíme s reálými áhodými veličiami, v eorii e však ěkdy výhodé aalogicky defiova aalogicky komplexí áhodý proces. Náhodý proces můžeme považova za fukci dvou proměých: elemeárího evu ω a časové proměé. Pro pevě zvoleé T e X = X. áhodá veličia defiovaá a Ω. Pro pevě zvoleé ω Ω e X () ()( ω. ) reálá fukce času ; ao fukce se azývá raekorie (realizace) áhodého procesu. V aplikacích se pomocí áhodého procesu popisue chováí ěakého sysému v čase, přičemž přechody z edoho savu sysému do druhého maí áhodý charaker. V akovém případě se sav sysému zoožňue s hodoou áhodého procesu... Rozděleí áhodého procesu V omo odsavci zavedeme poem disribučí fukce áhodého procesu. Defiice.. Nechť { X, T} e daý áhodý proces. Dále echť a,,..., T. Pak disribučí fukce áhodého vekoru (,,..., ) X X X defiovaá předpisem (,..., ) = ( <, <,..., < ) F x x P X x X x X x,,..., se azývá -rozměrá disribučí fukce áhodého procesu X, T, esliže sou splěy zv. Kolmogorovovy podmíky { } kozisece:,,..., plaí a) Pro libovolou permuaci π možiy { } F (),,..., x (), x,..., x = F,,...,,...,. x x π π π π π π b) -rozměrá disribučí fukce áhodého procesu e margiálí disribučí fukcí ( + ) -rozměré disribučí fukce áhodého procesu,. F x, x,..., x, x = F x,..., x. lim + + + x,,...,,,,..., K pravděpodobosímu popisu áhodého procesu e uo zá eho disribučí fukce pro všecha. Ke každému áhodému procesu exisue koziseí sysém disribučích fukcí. {,,..., } Věa.. (Kolmogorovova věa). Nechť (,,..., ) F x x x e koziseí sysém disribučích fukcí. Pak exisue áhodý proces { X, T} akový, že pro každé,,libovolá,,,..., T a libovolá reálá x, x,..., x plaí 4
( <, <,..., < ) =,,..., (,,..., ). P X x X x X x F x x x Důkaz e uvede apř. v učebici Šěpáa [6], věa I..3..3. Základí charakerisiky áhodého procesu Neprve defiueme ři základí charakerisiky áhodého procesu, a o sředí hodou, rozpyl a auokovariačí fukci. Defiice.. Nechť { X, T} e áhodý proces akový, že pro každé T exisue sředí hodoa E X. Pak fukce μ = E X defiovaá a X, T. možiě T se azývá sředí hodoa áhodého procesu { } Defiice.3. Nechť { X, T} všecha T plaí e áhodý proces akový, že pro E X <+. Pak fukce dvou proměých R( s, ) defiovaá a možiě T T předpisem R s = E X μ X μ (, ) ( s s)( ) se azývá auokovariačí fukce áhodého procesu { X, T}. Speciálě, hodoa R (, ) éo fukce se azývá rozpyl áhodého procesu v čase. V éo čási ešě zavedeme pomy sacioaria a spoios áhodého procesu. Defiice.4. Náhodý proces { X, T} e srikě sacioárí, esliže pro libovolé,, pro libovolá reálá x, x,..., x libovolá,,..., a h aková, že k T, k + h T, k plaí F x, x,..., x = F x, x,..., x.,,..., + h, + h,..., + h a pro Sředí hodoa áhodého procesu Auokovariačí fukce Rozpyl áhodého procesu Srikí sacioaria Z uvedeé defiice vyplývá, že všechy áhodé veličiy X maí ideické rozděleí a eich základí charakerisiky (sředí hodoa, rozpyl a auokovariačí fukce) sou ivariaí vůči posuuí v čase. Procesy, keré esou srikě sacioárí, se azývaí evolučí. Kromě srikí sacioariy se pro procesy s koečými momey druhého řádu zavádí i slabší poem zv. slabé sacioariy. Náhodý proces X, T e slabě sacioárí, esliže eho sředí hodoa a rozpyl { } sou kosaí v čase a eho auokovariačí fukce e ivariaí vůči posuuí v čase. Defiice.5. Náhodý proces { X, T} (spoiý podle pravděpodobosi) v bodě plaí ( ) P X X >ε =. e sochasicky spoiý T, esliže pro každé ε > Náhodý proces e sochasicky spoiý, e-li spoiý v každém bodě možiy T. Slabá sacioaria Spoios procesu 5
Proces Proces, kerý e spoiý podle předcházeící defiice, emusí mí spoié raekorie..4. Klasifikace áhodých procesů Náhodé procesy můžeme klasifikova z růzých hledisek. Podle srukury časové možiy T rozlišueme: = ebo s diskréím časem proces s diskréím časem (časová řada), když T = = {,,...} T = = {, ±, ±,...} ; Proces se spoiým časem proces se spoiým časem, když prvky možiy T abývaí hodo T = a, b, a< b. z ěakého edegeerovaého iervalu,. [ ] Proces s diskréími savy Proces se spoiými savy Bílý šum Náhodá procházka po přímce Browův pohyb Podle srukury možiy savů (savového prosoru) rozezáváme: proces s diskréími savy, když áhodé veličiy X abývaí pouze diskréích hodo, proces se spoiými savy, když áhodé veličiy X abývaí hodo z ěakého edegeerovaého iervalu. Podle ypu závislosi áhodých veliči X pro růzé hodoy lze apř. rozliši (podroběi viz [8]): proces s ezávislými hodoami, právě když pro všecha s, T, s, sou áhodé veličiy X, X ezávislé; proces s ekorelovaými hodoami, právě když pro všecha s, T, s plaí E XX EXEX (předpoklad E <+);, s = s proces s ezávislými přírůsky, právě když pro všecha,,...,, 3, < <... <, plaí, že rozdíly X,..., X X sou ezávislé veličiy. X.5. Příklady áhodých procesů Bílý šum e áhodý proces { X, } vořeý ezávislými áhodými veličiami s ulovou sředí hodoou a seým koečým rozpylem. Nechť Y, Y,... sou ezávislé áhodé veličiy abývaící hodo ± s pravděpodobosmi. Nechť X = a X = Y pro všecha....náhodá veličia X pak udává polohu, kerou má čásice pohybuící se áhodě po celočíselých krocích a přímce, a o ve všech krocích se seou pravděpodobosí v obou směrech. Takový proces X se azývá áhodá procházka po přímce. { }, Wieerův proces (Browův pohyb) e áhodý proces {, } spoiými raekoriemi, kerý má ásleduící ři vlasosi:. W =, s = X W se. přírůsky W W s, s<, maí ormálí rozděleí s ulovou sředí hodoou a rozpylem σ s, kde σ e kladá kosaa, 6
3. pro libovolé disukí iervaly sou přírůsky k k s,, s <, k =,,...,, k k k k X X s ezávislé áhodé veličiy. Uvedeé příklady procesů paří do rozsáhlé řídy áhodých procesů, kerým se říká Markovovy procesy. Problemaice Markovových procesů budou v omo sudiím exu věováy kapioly 4 7. Pomy k zapamaováí: áhodý proces, raekorie (realizace) áhodého procesu, disribučí fukce áhodého procesu, sředí hodoa áhodého procesu, rozpyl áhodého procesu, auokovariačí fukce áhodého procesu, sacioaria áhodého procesu, spoios áhodého procesu, áhodý proces s diskréím časem, áhodý proces se spoiým časem, áhodý proces s diskréími savy, áhodý proces se spoiými savy, bílý šum, áhodá procházka po přímce, Browův pohyb (Wieerův proces). Shruí Tao kapiola obsahue základy obecé eorie áhodých procesů. Jsou v í především defiováy pomy áhodý proces, eho raekorie (realizace), rozděleí (sysém disribučích fukcí splňuících Kolmogorovovy podmíky kozisece) a základí charakerisiky (sředí hodoa, rozpyl, auokovariačí fukce). Kapiola e aké doplěa o klasifikaci áhodých procesů (zeméa podle srukury časové možiy a srukury možiy savů procesu) a příklady ěkerých výzaměších áhodých procesů (bílý šum, věvící se proces a Browův pohyb). 7
8
. MATEMATICKÝ APARÁT PRO STUDIUM NÁHODNÝCH PROCESŮ Po prosudováí éo kapioly: pochopíe výzam vyvořuící fukce pro sudium celočíselých áhodých veliči, aučíe se pomocí vyvořuící fukce počía základí eoreické charakerisiky celočíselých áhodých veliči (sředí hodou a rozpyl), aučíe se aké kosruova vyvořuící fukce pro kovoluci celočíselých áhodých veliči a pro zv. složeá rozděleí. V úvodí čási éo kapioly sou uvedey defiice dvou základích pomů (celočíselá áhodá veličia a eí vyvořuící fukce). Zvláší pozoros e přiom věováa využií vyvořuící fukce pro výpoče sředí hodoy a rozpylu celočíselé áhodé veličiy. Sami se můžee přesvědči o om, že pomocí vyvořuící fukce lze hodoy zmíěých charakerisik počía mohem saděi ež s využiím příslušých defiičích vzahů. V dalších odsavcích se pak sezámíe s kovolucí celočíselých áhodých veliči a složeým rozděleím, akož i s příslušými vyvořuícími fukcemi.. Vyvořuící fukce Neprve zavedeme poem celočíselá áhodá veličia, přesěi celočíselá ezáporá áhodá veličia. Defiice.. Celočíselá áhodá veličia e diskréí áhodá veličia, kerá může abýva pouze hodo z možiy celých ezáporých čísel,. hodo,,. Vhodým maemaickým aparáem ke sudiu akových veliči e eich vyvořuící fukce. Celočíselá áh. veličia (CNV) Defiice.. Nechť X e celočíselá áhodá veličia s rozděleím daým poslouposí { p }, kde p = P( X = ) pro =,,... Jeí vyvořuící fukce P( s ) e vyvořuící fukce poslouposi { p },. řada Vyvořuící fukce CNV P( s) = ps, kde s e pomocá reálá proměá. Posloupos { p } e zřemě omezeá, P( s ) (, ). Navíc = proo kovergue alespoň v iervalu kovergova aké pro s =, proože plaí P() = p =. = P s musí 9
Ozačme q = P( X > k) = p pro k =,,.... k Q( s )poslouposi { q } má var Vyvořuící fukce > k () s = q s. Q = Také ao vyvořuící fukce (ekoečá řada) kovergue alespoň v iervalu (,), eboť posloupos { q } e omezeá. Nemusí však kovergova v bodě s =. Souvislos mezi oběma vyvořuícími fukcemi e dáa ásleduící věou. Věa.. Pro každé s (,) plaí Q s P s = s Důkaz. Uvedeý vzah se převede a var ( sqs ) Ps. = a porovaí se koeficiey u edolivých moci s a obou sraách éo rovosi. Ñ Pomocí vyvořuící fukce celočíselé áhodé veličiy lze velmi sado spočía hodoy eich eoreických charakerisik (sředí hodoa, rozpyl, ié momeové charakerisiky). V éo čási se omezíme pouze a výpoče sředí hodoy a rozpylu (variace). kde Věa.. Pro sředí hodou celočíselé áhodé veličiy X plaí () = = () () E X = p = q = P = Q, P začí derivaci P( s) zleva v bodě s =. Důkaz. Z věy. a věy o přírůsku fukce dosaeme, že pro ěaké σ s, plaí Nechť Q( s) Q s P( s) P = = P σ s s (kovergece zleva), pak aké σ. Řady sou řady s ezáporými koeficiey, a proo musí plai () () Q = lim P σ = P eboli q =, σ čímž e vrzeí dokázáo. plaí. p = = P ( s) Věa.3. Nechť poloměr kovergece řady P( s ) e věší ež. Pak = + = + var X P P P Q Q Q. a
Důkaz. Vydeme ze vzahu P( s) ( s) Q( s). derivováím ohoo vzahu dosaeme Dále = ( ), a edy = ( ), ( ), a edy P s Q s s Q s P Q P s = Q s s Q s P = Q. plaí Odud plye = Posupým () () P = p = EX, P = p = E X X. = = ( ) var X = E X EX = E X X + EX E X = () () () () () () = P + P ( P ) = Q + Q Q, čímž e vrzeí dokázáo. Příklady.. Určee vyvořuící fukci, sředí hodou a rozpyl aleraivího rozděleí, pro ěž plaí přičemž p+ q =. P ( X = ) q pro =, = p pro =, Řešeí. Pro vyvořuící fukci aleraivího rozděleí zřemě plaí P s = q+ ps Odud derivováím dosaeme akže. E X = P = q+ ps = p; P = q+ ps =, () () s= s= + P P = p p = p( p) pq. varx = P =.. Určee vyvořuící fukci, sředí hodou a rozpyl biomického rozděleí, pro ěž plaí P( X = ) = p ( p) pro =,,...,. Řešeí. Vyvořuící fukci biomického rozděleí lze (s využiím biomické věy) zapsa ve varu Odud posupě dosaeme P s ps q q+ ps = = = () EX = P = p q+ ps = p, s= () P = p q+ ps = p, var X = pq. s=.
Korolí úkoly.. Určee vyvořuící fukci, sředí hodou a rozpyl Poissoova λ λ e P X = = pro =,,....! rozděleí daého vzahem.. Určee vyvořuící fukci, sředí hodou a rozpyl geomerického rozděleí daého vzahem P X = = p p = q p pro =,,.... Kovoluce poslouposí Kovoluce rozděleí.. Kovoluce Vydeme z defiice kovoluce dvou číselých poslouposí. p a r,, sou dvě poslouposi Defiice.3. Nechť { } { } reálých čísel. Pak posloupos { h } defiovaá vzahem h = p r + p r +... +p r,, (.) se azývá kovolucí poslouposí { p} a { r } { h} = { p} { r }. a začí se Z uvedeé defiice vyplývá bezprosředě ásleduící vrzeí. Nechť X p, resp. a Y sou ezávislé celočíselé áhodé veličiy s rozděleím { } { r }. Pak souče S = X + Y má rozděleí { } h daé vzahem (.), a edy rozděleí souču dvou ezávislých celočíselých áhodých veliči e kovolucí eich rozděleí. Věa.4. Vyvořuící fukce H( s ) souču dvou ezávislých P( s), resp. R( s), e áhodých veliči X a Y s vyvořuícími fukcemi rova součiu vyvořuících fukcí obou ěcho veliči,. H s = P s R s s. Důkaz e riviálí. Vyvořme souči P( s) R( s ). Koeficie při mociě e zřemě dá vzahem (.). Kovoluce { p} { p } poslouposi { p } a začí se { } * se azývá druhou kovolučí mociou p a podobě lze zavés i vyšší kovolučí mociy. Dříve uvedeá vrzeí e možo zobeci a souče libovolého poču ezávislých celočíselých áhodých veliči. Speciálě plaí: Nechť X, X,..., X sou ezávislé celočíselé áhodé veličiy se seým rozděleím { p }, pak rozděleí eich souču S = X + X +... + X { } p a vyvořuící fukce e -ou kovolučí mociou poslouposi H s eich souču e rova P ( s). Příklad.3. Dokaže, že biomické rozděleí Bi(,p) e -ou kovolučí mociou rozděleí aleraivího.
Řešeí. Náhodá veličia X s biomickým rozděleím Bi(,p) udává poče úspěchů v sérii ezávislých Beroulliových pokusů s kosaí pravděpodobosí úspěchu p v každém edolivém pokusu. Tuo veličiu lze vyádři ako souče X + X +... + X sdružeě ezávislých áhodých veliči s aleraivím rozděleím ( = eúspěch s pravděpodobosí q, = úspěch s pravděpodobosí p). Proo pro vyvořuící fukci biomického rozděleí Bi(,p) plaí = = ( + ) al, P s P s q ps což e v souladu s výsledkem příkladu...3. Složeé rozděleí Defiice.4. Nechť veličiy. Nechť všecha X X,,... sou ezávislé celočíselé áhodé X maí ideické rozděleí { f }. Nechť g Pak rozděleí { h } celočíselá áhodá veličia N má rozděleí { }. áhodé veličiy S = X+ X +... + X N, edy rozděleí souču áhodého poču celočíselých áhodých veliči, se azývá složeé rozděleí. Věa.5. Pro složeé rozděleí { h } plaí Složeé rozděleí h = = Důkaz. Podle věy o úplé pravděpodobosi dosaeme h = = P = P g f * ( S = ) = P( N = ) P( S = N = ) = * ( N = ) P( X + X +... + X = ) = g f, eboť rozděleí souču X + X +... + X e -ou kovolučí mociou rozděleí { f }. g Příklad.4. Nechť e pravděpodobos, že samička určiého druhu hmyzu aklade právě vaíček. Dále echť p e pravděpodobos, že se z vaíčka vylíhe živý ediec. Určee pravděpodobos oho, že samička dá živo právě edicům. Řešeí. Rozděleí { g } poču akladeých vaíček N eí v zadáí úlohy blíže specifikováo. Pro poče S vylíhuých ediců zřemě plaí S = X + X +... + X N, kde každá z veliči X i má aleraiví rozděleí. Proo můžeme psá = = P( X+ X +... XN = ) = g p ( p). = o Přiom sme využili oho, že -ou kovolučí mociou aleraivího rozděleí e rozděleí biomické. 3
V dalším výkladu odvodíme vzahy pro vyvořuící fukci a základí charakerisiky složeého rozděleí. Věa.6. Vyvořuící fukce veličiy S,. souču áhodého poču N seě rozděleých celočíselých áhodých veliči X má var H ( s) = G( F( s) ), kde G( s ) začí vyvořuící fukci veličiy N a F( s ) vyvořuící fukci každé z veliči X. Důkaz. Pro hledaou vyvořuící fukci zřemě plaí kde f = = = = = H s = h s = g f s = g f s reprezeue -ý čle poslouposi { f }. předsavue vyvořuící fukci poslouposi { f zobecěé věy.4 var F ( s ). Odud dosaeme = = }, Viří souče a a má podle. H s g F s G F s = Příklad.5. Nechť veličia N má Poissoovo rozděleí,. -λ λ e plaí g = pro =,,... a každá z veliči X rozděleí aleraiví.! Určee vyvořuící fukci veličiy S = X + X +... + X N. Řešeí. Pro vyvořuící fukci veličiy N dosaeme Proo G s Vyvořuící fukce veliči G F( s) H s ( λs ) ( λs) s = e = e = e e = e!! λ λ λ λ λ+λs = = e X má (viz příklad.) var. F( s) = q+ ps. λ+λ q+ ps λ p+λps = = = e, což e vyvořuící fukce Poissoova rozděleí s paramerem λ p. Korolí úkol.3. Nechť veličia N má biomické rozděleí (viz příklad.) a veličiy X rozděleí aleraiví. Určee vyvořuící fukci veličiy S = X + X +... + X N. Věa.7. Pro sředí hodou veličiy S plaí ES = E( X+ X +... + XN ) = EN EX. Důkaz. S využiím vlasosí vyvořuící fukce dosaeme E S = G( F( s) ) = G ( F() ) F () = G () F () = E N EX. s= Věa.8. Pro rozpyl (variaci) veličiy S plaí var S = EN var X + E X var N. 4
Důkaz. Neprve určíme derivace vyvořuící fukce H( s ) v bodě s =. Zřemě plaí H () = G () F () ; H () = G () F () + G () F () Dále edo- duchými úpravami dosaeme vars = G = G. = H () + H [ H ] = () [ F () ] + G () F () + G () F () [ G () F () ] = () ( F () + F () [ F () ] ) + [ F () ] G () + G () [ G () ] var X ( EX ) var N, = E N + čímž e důkaz ukoče. Vlasosí složeého rozděleí využieme v kapiole 3 věovaé věvícím se procesům. Pomy k zapamaováí: celočíselá áhodá veličia (CNV), vyvořuící fukce CNV, kovoluce poslouposí, kovoluce rozděleí, složeé rozděleí. Shruí V úvodím odsavci zavádíme dva fudameálí pomy: celočíselá (ezáporá) áhodá veličia a eí vyvořuící fukce. Zdůrazňueme výzam vyvořuící fukce pro výpoče základích eoreických charakerisik celočíselých áhodých veliči: sředí hodoy a rozpylu (variace). V dalších odsavcích pak vysvělueme, ak (s využiím aparáu vyvořuících fukcí) počía charakerisiky souču koečého, resp. áhodého poču celočíselých áhodých veliči. = 5
3. VĚTVÍCÍ SE PROCESY Obsah éo kapioly e kocipová ak, abyse po eím prosudováí: pochopili podsau věvících se procesů, aučili se počía základí eoreické charakerisiky věvících se procesů, meoviě sředí hodou a rozpyl velikosi populace v edolivých geeracích věvícího se procesu, uměli spočía pravděpodobos exikce (záiku) věvícího se procesu, pozali možosi aplikace eorie věvících se procesů v praxi. V éo kapiole využiee eoreických zalosí, keré se získali sudiem kapioly předcházeící. Pochopíe, že eorie věvících se procesů e založea a pozacích o složeém rozděleí a eho vlasosech. V závěrečém odsavci se sezámíe s ěkerými možosmi aplikací eorie věvících se procesů. 3.. Podsaa věvícího se procesu Defiice 3.. Věvící se proces (Galoův-Wasoův proces věveí) e áhodý proces { X, } akový, že áhodá veličia X udává poče čásic v -é geeraci, =,,.... V ašich úvahách budou vysupova čásice (apř. edici ěaké populace), ež mohou geerova čásice éhož druhu. Budeme předpokláda, že: a počáku exisue k ( k > ) čásic, keré reprezeuí zv. ulou geeraci, každá čásice -é geerace ( ) e schopa s pravděpodobosí vyvoři právě ových čásic (svých bezprosředích p,, poomků), ež sou součásí bezprosředě ásleduící geerace s pořadovým číslem +, čásice se chovaí vzáemě ezávislé. Je zřemé, že každá čásice ulé geerace iiciue samosaou věev věvícího se procesu. Teo proces zaike pouze v om případě, když každá z eho věví e ukočea,. eobsahue žádou čásici. Typickým příkladem věvícího se procesu e šěpeí ader izoopu 35 U 9 epelými euroy. Pro edoduchos předpokládeme, že a počáku exisue ediý epelý euro. Při eho srážce s uvažovaým ádrem se uvolňue eergie a vzikaí (kromě šěpých produků fragmeů ádra) epelé euroy prví geerace, eichž poče e dá áhodou veličiou s rozděleím { p }. Každý z ěcho epelých euroů prví geerace (ezávisle a osaích) může geerova epelé euroy druhé geerace a šěpá reakce (věvící se proces) se ak může dále rozvíe. Věvící se proces Geerace věvícího se procesu Věev procesu 7
3.. Vyvořuící fukce věvícího se procesu Nechť X e celočíselá áhodá veličia, ež ozačue poče čásic P s eí vyvořuící fukce. Předpokládeme pro -é geerace a edoduchos, že a počáku exisue (s pravděpodobosí rovou ) ediá čásice,. X =. Příslušá vyvořuící fukce má edy var P ( s) = s. Poče čásic. vyvořuící fukci X prví geerace má podle předpokladu rozděleí { } P () s p s, akže plaí ( s) = P(. = = P ) s p, Poče bezprosředích poomků každé z X čásic prví geerace e celočíselá áhodá veličia s rozděleím aké { p }. Podle věy.6 o složeém rozděleí dosaeme pro vyvořuící fukci veličiy X vzah = P s P P s. Čásice řeí geerace sou poomky druhého řádu čásic prví geerace. Veličia X 3 e edy součem X ezávislých áhodých veliči, z ichž každá má seé rozděleí ako veličia X. Z oho plye pro vyvořuící fukci veličiy 3 X vzah P ( s) = P P ( s) 3. Na druhé sraě sou čásice řeí geerace bezprosředími poomky X čásic druhé geerace, akže X 3 e součem X ezávislých áhodých veliči maících seé rozděleí ako X. Odud plye P ( s) = P P( s) 3. Na oázku, ak urči vyvořuící fukci pro poče čásic libovolé geerace, odpovídá ásleduící věa. Věa 3.. Pro vyvořuící fukce P ( s),, plaí rekureí vzah ( ) P s P P s P P s + = =. Důkaz. Sačí provés seou úvahu ako v předcházeící čási ohoo odsavce pro = 3. Příklad 3.. Nechť poče bezprosředích poomků edé čásice má Poissoovo rozděleí, ehož vyvořuící fukce e spočea v příkladu.5. P s = Určee vyvořuící fukce pro,,3. Řešeí. Vyvořuící fukce P ( s ) e přímo vyvořuící fukcí λ+λs Poissoova rozděleí,. P( s) = Dále dosaeme e. 3 λ+ λs e λ+ λ P s = P P s = e, λ+ λe λ+ λs e λ+ λ P s = P P s = e. 8
Korolí úkol 3.. Nechť poče bezprosředích poomků edé čásice má biomické rozděleí. Určee vyvořuící fukce P s = pro,,3. 3.3. Charakerisiky věvícího se procesu Neprve zavedeme sředí hodou μ poču bezprosředích poomků edé čásice vzahem μ= E X = = p. Je zřemé, že ao veličia e současě sředí hodoou poču čásic prví geerace. Věa 3.. Sředí hodoa poču čásic -é geerace ( ) e dáa vzahem E X = μ. Důkaz provedeme maemaickou idukcí. Uvedeý vzah zřemě plaí pro =. V ulé geeraci exisue pouze ediá čásice, akže skuečě plaí EX =μ =. Předpokládeme, že vzah plaí pro ěaké přirozeé číslo, a dokážme eho plaos pro +. Podle věy.7 o sředí hodoě složeého rozděleí (kokréě sředí hodoě souču p ) dosaeme X áhodých veliči s rozděleím { } E X E X E X μ = =μ μ = + +. Tím e plaos vzahu dokázáa pro všecha přirozeá. V závislosi a hodoě parameru μ se sředí hodoa velikosi populace (poču čásic) s rosoucím eměí (pro μ = ), ebo expoeciálě vzrůsá (pro μ> ), ebo expoeciálě klesá (pro μ < ). Pozámka. Tvrzeí věy 3. e možo rozšíři i a případ, kdy ulou geeraci voří k > vzáemě ezávislých čásic. Pak zřemě plaí EX = kμ. Dále ozačme symbolem σ rozpyl (variaci) poču bezprosředích poomků edé čásice,. var X =σ. Věa 3.3. Rozpyl poču čásic -é geerace ( ) e dá vzahem var μ X =σμ. μ Důkaz provedeme aké maemaickou idukcí. Pro = vzah zřemě plaí, edy var X =. Vydeme z předpokladu, že vzah plaí pro ěaké přirozeé a dokážeme eho plaos pro +. K omuo důkazu použieme věu.8 o rozpylu složeého rozděleí (kokréě rozpylu souču p ). Podle éo věy dosaeme X áhodých veliči s rozděleím { } 9
( E ) μ μ σ +σ μ = μ + + = E + = var X X var X X var X μ μ + + μ+μ μ μ =σμ + =σμ =σμ, μ μ μ čímž e důkaz ukoče. Pozámka. Ve speciálím případě μ = plaí pro rozpyl poču čásic -é geerace edoduchý vzah aalogicky. var X. = σ Důkaz se provede Pro μ= rozpyl velikosi populace (poču čásic) rose lieárě s hodoou. Je-li μ > ( μ < ), pak rozpyl velikosi populace s rosoucím expoeciálě vzrůsá (klesá). 4.3. Pravděpodobos exikce věvícího se procesu Exikce věvícího se procesu Uvažume yí pravděpodobos x zv. exikce věvícího se procesu,. oho, že se věvící proces { X, N}, vycházeící z edié čásice ulé geerace, zasaví dříve, ež dosáhe -é geerace. V riviálím případě p = plaí zřemě x = pro všecha a exikce věvícího se procesu eí možá. Nechť edy < p. V akovém případě má posloupos {x } ásleduící vlasosi (viz [6]).. Pravděpodobosi x rosou s hodoou,. < x < x <... < x < x + <... <.. Nulá geerace obsahue právě ediou čásici, proo x =. Pravděpodobos, že ao čásice evyvoří žádého bezprosředího poomka, e p, akže x = p. 3. Posloupos {x } e rosoucí a omezeá, proo musí mí vlasí limiu. Jelikož zřemě plaí x = P () = P( P ()) = P( x ), musí ao limia ξ vyhovova fukcioálí rovici ξ = P( ξ ). (3.) Vyvořuící fukce P( s) = P( s) i eí derivace P ( s) kladé čley a musí edy růs v iervalu < s. Křivka obsahuí pouze kovexí a proíá přímku y = s evýše ve dvou bodech, z ichž edím e bod [,] (viz obr. 3.). y = P s e
Obrázek 3.: Ilusrace k řešeí rovice (3.) Lze poměrě sado dokáza (viz [5]), že uá a posačuící podmíka pro exiseci kořeu ξ < rovice (3.) má var μ = P () >, kde μ začí sředí hodou poču bezprosředích poomků edoho obeku. V omo případě křivka y = P(s) vychází z bodu [, p ] proíá přímku y = s v bodě [ξ, P(ξ)] a leží pod í, až dosáhe bodu [,]. Je-li aopak μ, pak křivka y = P(s) leží v celém iervalu (,) ad přímkou y = s, a proo eexisue vůbec žádý koře ξ < rovice (3.). Je-li edy μ >, pak koře ξ < udává edozačě pravděpodobos exikce věvícího se procesu po ěakém koečém poču geerací. Plaí-li však μ, poom má rovice (3.) ediý koře ξ = a věvící se proces {, N} zaike s isoou. X Uvedeý výsledek se sado rozšíří a případ, kdy ulou geeraci evoří ediá čásice, ale k > vzáemě ezávislých obeků. V akovém případě e pravděpodobos exikce všech k věví procesu rova k k edoduše ξ. Výraz ξ pak udává pravděpodobos, že se aspoň eda z věví bude úspěšě rozvíe. 3.5. Aplikace věvícího se procesu Teorie věvících se procesů má celou řadu užiečých aplikací. V ásleduícím přehledu uvádíme ěkeré z ich: průběh šěpé reakce v aderém reakoru, rozvo populace s zv. epřekrývaícími se geeracemi,. akové populace (apř. populace ěkerých druhů hmyzu), u íž rodičovská
geerace epřechází (epřežívá) do geerace bezprosředích poomků, šířeí malých epidemií z edoho ebo více ezávislých zdroů ákazy v případě, že se ákaza šíří přímým koakem mezi ifekčím edicem a edici cilivými vůči ákaze, šířeí malých lesích kalami (apř. kůrovce) z edoho ebo více ezávislých zdroů, průběh zv. pyramidálích her. Pomy k zapamaováí: věvící se proces, věev věvícího se procesu, geerace věvícího se procesu, exikce věvícího se procesu. Shruí: V éo kapiole e zavede poem věvícího se procesu a vysvělea eho podsaa. Dále sou odvozey vzahy pro základí charakerisiky věvícího se procesu: sředí hodou a rozpyl (variaci) poču čásic v -é geeraci, akož i pravděpodobos exikce věvícího se procesu před dosažeím -é geerace.
Korespodečí úkol Pokuse se defiova ěaký věvící se proces a provés eho podroběší aalýzu. Můžee přiom vycháze z áměů uvedeých v odsavci 3.5. Vaše práce by měla mí ásleduící srukuru:. defiice věvícího se procesu (s důrazem a předpoklady a rozděleí poču bezprosředích poomků edé čásice),. podroběší popis průběhu zvoleého věvícího se procesu, 3. saoveí vyvořuící fukce, sředí hodoy a rozpylu (variace) pro edolivé geerace procesu, 4. výpoče pravděpodobosi exikce procesu před dosažeím -é geerace, 5. ierpreace získaých eoreických výsledků. 3
4
4. MARKOVOVY ŘETĚZCE S DISKRÉTNÍM ČASEM Po prosudováí éo kapioly: pochopíe základí pomy eorie, zeméa Markovův řeězec s diskréím časem, pravděpodobos přechodu, dosažielos daého savu, uzavřeá možia savů, sacioárí rozděleí, aučíe se kosruova maici pravděpodobosí přechodu, aučíe se klasifikova savy Markovova řeězce, aučíe se počía pravděpodobosi savů Markovova řeězce v daém čase, sacioárí pravděpodobosi i pravděpodobosi absorpce v ěaké uzavřeé možiě rvalých savů. Tao kapiola e erozsáhleší čásí disačí opory. Obsahue defiice relaivě velkého poču ových pomů a aké řadu výzamých vě, z ichž ěkeré uvádíme bez důkazu. Věue maximálí pozoros základím pomům eorie Markovových řeězců s diskréím časem a diskréími savy, abyse dokázali úspěšě řeši kokréí úlohy a aké korespodečí úkol, kerý ásledue bezprosředě po prosudováí éo kapioly. 4.. Markovův řeězec a eho reprezeace Uvažume pravděpodobosí prosor ( Ω,, P) a a ěm defiovaou posloupos celočíselých áhodých veliči { X, }. Nechť S = { s, s,...} e možia savů áhodého procesu { X } a eí prvky savy ohoo procesu. Tao možia může bý koečá ebo spočeě ekoečá. Říkáme, že sysém e v čase = ve savu, právě když X = i. Defiice 4.. Posloupos celočíselých áhodých veliči { X } se azývá Markovův řeězec (dále MŘ) s diskréím časem, esliže P X = X = i, X = i,..., X = i = P X = X = i (4.) + + pro všecha a pro všecha přirozeá čísla i,, i,..., i aková, že plaí P X = i, X = i,..., X = i >. Vzah (4.) vyadřue zv. markovskou vlasos, což zameá, že pravděpodobos určié hodoy procesu v budoucosi (v čase +) závisí e a eho hodoě v příomém čase a ikoli a eho hodoách v miulosi (v časech,,..., )., s i, Možia savů Markovská vlasos 5
Pravděpodobosi přechodu Homogeí MŘ Nehomogeí MŘ Maice pravděpodobosí přechodu MŘ Sochasická maice Počáečí rozděleí MŘ P X = X = i = pi, + se azývaí pravděpodobosi přechodu ze savu (v čase ) do savu Podmíěé pravděpodobosi ( + ) (v čase +) ebo aké pravděpodobosi přechodu prvího řádu. Pokud yo pravděpodobosi ezáviseí a, začí se edoduše a příslušý Markovův řeězec e homogeí. V opačém případě de o ehomogeí Markovův řeězec. Dále se budeme zabýva pouze homogeími Markovovými řeězci. Čvercová maice P = { p i } si, vořeá pravděpodobosmi přechodu mezi edolivými savy, se azývá maice pravděpodobosí přechodu homogeího MŘ. Tao maice má ásleduící vlasosi: a) pro všecha i, plaí, p i b) pro všecha i plaí =. p i Maice s ěmio vlasosmi se azývá sochasická maice. { p i } Pravděpodobosí rozděleí p =, kde p = P X = i se azývá počáečí rozděleí homogeího Markovova řeězce. Markovův řeězec s diskréími savy e edy plě urče (defiová) zadáím: možiy savů S, vekoru počáečího rozděleí p { p i } ( ) ( ) maice pravděpodobosí přechodu = { p i } =, P. i p i s p i Příklady 4.. Náhodá procházka s absorbuícími sěami. Uvažume čásici, kerá se pohybue po celočíselých bodech a přímce, a o v každém kroku o edoku vpravo s pravděpodobosí p ebo o edoku vlevo s pravděpodobosí q = p, přiom ezávisle a předcházeících krocích. Jesliže čásice dosáhe bodu x x a ( a ) = ebo = >, pak v ěcho bodech servá (e v ich absorbováa). Určee maici pravděpodobosí přechodu P. Řešeí. Možia možých savů sysému e zřemě S = { s, s,..., sa }, přičemž si začí, že čásice se achází v bodě x = i. Pro pravděpodobosi přechodů dosaeme edoduchou úvahou p = p aa =, p = q, p = p pro =,,..., a.,, + Ozačíme-li řádky i sloupce maice P pomocí symbolů edolivých savů sysému (edy s, s,..., sa), bude mí maice pravděpodobosí přechodů var 6
q p q p P =........ q p Teo příklad lze sado ierpreova. Dva hráči spolu hraí posloupos parií, přičemž v každé parii hráč vyhrae edu koruu s pravděpodobosí p ebo prohrae edu koruu s pravděpodobosí q. Hrae se ak dlouho, dokud ede z obou hráčů eprohrae všechy své peíze. 4.. Série úspěšých pokusů. Uvažume posloupos beroulliovských pokusů,. posloupos ezávislých pokusů se dvěma možými výsledky (úspěch, eúspěch) akových, že pravděpodobos úspěchu p zůsává kosaí. Předpokládeme, že sysém e v čase = ve savu s, esliže v -ém pokuse dosáhla série po sobě doucích úspěchů délky. Určee maici pravděpodobosí přechodu P. Řešeí. Možia savů MŘ e zřemě spočeě ekoečá, edy S = { s, s,...}. Pro pravděpodobosi přechodů plaí: a) p = q, p, + = p pro všecha přirozeá čísla, b) p k = ve všech osaích případech. Odud pro maici pravděpodobosí přechodu P dosaeme q p q p P =. q p 4.3. Posloupos hodů hrací koskou. Předpokládeme, že sysém e ve savu s esliže předsavue evyšší číslo, keré padlo v předcházeících hodech. Sesave maici pravděpodobosí přechodu P. =,, 3, 4, 5, 6. Pro pravděpodobosi přechodů plaí: pii, k = pro i =,,..., 6 a < k i, pii = i pro i=,,3, 4,5, 6, 6 p ii, + k = pro i=,,3,4,5,6 a < k 6 i. 6 Hledaá maice P má edy var Řešeí. V omo případě e S { s s s s s s } 7
Korolí úkoly 6 6 6 6 6 6 6 6 6 6 6 3 P = 6 6 6 6.. 4 6 6 6 5 6 6 4.. Uvažue posloupos ezávislých pokusů s možiou možých,,...,, keré asávaí s kosaími pravděpodobosmi výsledků { } p, p,..., p. Předpokládee přiom, že sysém e ve savu s, esliže právě provedeý pokus skočí výsledkem. Určee maici pravděpodobosí přechodu P. 4.. Náhodá procházka s odrážeícími sěami. Předsave si čásici, kerá se chová ako v příkladu 4. s ím rozdílem, že amíso absorbuících sě v bodech a a exisuí odrážeící sěy v bodech a a. To zameá, že čásice přecházeící z bodu do bodu e vrácea zpě do bodu, a aké čásice přecházeící z bodu a do bodu a se vrací do bodu a. Určee maici pravděpodobosí přechodu P. 4.3. Je dáa eomezeá zásoba kuliček. V každém kroku zařadíme edu kuličku áhodě do edé z N přihrádek. Sysém e ve savu s, =,,..., a, esliže e obsazeo právě přihrádek (edou ebo více kuličkami). Určee maici pravděpodobosí přechodu P. 4.4. Ehrefesův pokus. Nechť N vzáemě rozlišielých molekul plyu e rozděleo do dvou ádob A a B. V každém kroku se áhodě vybere eda molekula a přemísí se z ádoby, ve keré se právě achází, do ádoby druhé. Sav sysému e dá počem molekul v ádobě A. Určee maici pravděpodobosí přechodu P. Pravděpodobos přechodu -ého řádu 4.. Pravděpodobosi přechodů vyšších řádů Nechť e dá homogeí MŘ s diskréím časem { X, }. Uvažume yí pravděpodobosi přechodů ze savu do savu s i v ěakém čase m s v čase m+. Takové pravděpodobosi se azývaí pravděpodobosi přechodů po krocích ebo pravděpodobosi ( přechodů -ého řádu; budeme e ozačova p ). Podle věy o úplé pravděpodobosi plaí ( ) p = p p,..., p + = p p,... eboli maicově i iν ν i iν ν ν ν + P = PP P = PP.,...,.,..., i 8
kde { p i }. P = Je zřemé, že pravděpodobosi přechodů -ého řádu sou prvky -é mociy maice pravděpodobosí přechodu úplos dodáváme P = δ i. { } P. Pro Je-li dáa v kokréím případě maice P, máme k dispozici ři posupy, ak urči pravděpodobosi přechodů vyšších řádů (maici P ). ) Posupé umocňováí maice P. Teo posup e vhodý zeméa ehdy, sou-li prvky maice P dáy umericky. ) Určeí prvků maice P přímo z defiice MŘ. Posup si ukážeme a ásleduícím příkladě. Příklad 4.4. Vyděe ze zadáí příkladu 4., ež se ýkal série úspěšých pokusů, a určee přímo prvky maice P. Řešeí. Z počáečího savu můžeme po krocích přeí do: savu +, esliže všech pokusů skočí úspěchem, savu, skočí-li posledí -ý pokus eúspěchem, savu, skočí-li předposledí pokus eúspěchem a posledí úspěchem, savu, budou-li výsledky posledích ří pokusů eúspěch, úspěch a úspěch ad. Maice pravděpodobosí přechodů -ého řádu bude mí edy var q qp qp qp p q qp qp qp p P =. q qp qp qp p 3) Použií Perroova vzorce zámého z eorie maic (viz apř. [7]). Teo posup e možý pouze ehdy, e-li maice P koečého řádu. Obecý var Perroova vzorce e dosi komplikovaý, proo se omezíme e a případ, kdy všecha charakerisická čísla maice P sou edoduchá. Pak má Perroův vzorec var r λkpi( λ ) pi = k, k = ψk ( λk) kde λ, λ,..., λ r sou charakerisická čísla maice P, P( λ) = de ( λi P) e charakerisický polyom maice P, P ( λ ) ψ k λ = a P i( λ) sou prvky maice ad ( λi P ). λ λk Korolí úkol 4.5. Nechť e dáa maice pravděpodobosí přechodu,7,3. Spočěe prvky maice P = P., 4,6 Perroův vzorec 9
4.3. Pravděpodobosi savu sysému v daém čase Ozačme { pi } ( ) p = vekor epodmíěých pravděpodobosí edolivých savů sysému v čase =. Z věy o úplé pravděpodobosi plye ( m+ ) ( m) p = p p a aké obecě p = p p. i i i i i i Jsou-li p a p řádkové vekory, můžeme psá p = p P, obecě p Podobě lze ukáza, že aké plaí ( + ) p = p P. ( + m) ( m) = p Příklad 4.5. Uvažue áhodou procházku s absorbuícími sěami (viz příklad 4.) za předpokladu, že a = 3 a čásice e a počáku (v čase = ) ve savu. Určee pravděpodobosi edolivých savů sysému v časech = a =. Řešeí. Možia možých savů sysému e S = {,,,3} a pro vekor počáečího rozděleí pravděpodobosí zřemě plaí ( p ) = {,,, }. Proo p = p P= p { q p},,,, = p P= { q pq p},,,. Korolí úkol 4.6. Uvažue posloupos hodů hrací koskou (viz příklad 4.3) za předpokladu, že vekor počáečího rozděleí má var p = {,,,,, }. Určee pravděpodobosi edolivých savů sysému v časech = a =. Pro další výklad bude užiečá ásleduící věa. Věa 4.. Jesliže exisue exisue aké lim p ( ) lim p ( ) a obě limiy se rovaí. Důkaz. Nechť pro všecha i plaí i P ezávislá a výchozím savu i, pak. lim p = k. Pak můžeme psá = ( ) ( ) ( ) lim p = lim p p = lim p p = k p k, i i i i i i i i čímž e věa dokázáa. 4.4. Rekureí evy Teorie Markovových řeězců s diskréím časem souvisí velmi ěsě s eorií zv. rekureích evů. Poem rekureího evu e sice srozumielý, ale eho formálí defiice e velmi ěžkopádá, proo i ebudeme v omo učebím exu uvádě. Podrobé poučeí o rekureích evech můžee aléz apř. ve skripech [3]. Přímo z defiice rekureích evů vyplývaí ásleduící vrzeí. i 3
Věa 4.. Je-li sysém a počáku (v čase = ) ve savu s, pak každý průchod sysému savem s e rekureí ev. Důkaz e uvede apř. ve skripech [3,5]. Uvažume Markovův řeězec s diskréím časem, kerý e a počáku (v čase = ) v ěakém kokréím savu s. Doba pořebá k omu, aby se sysém poprvé vráil do savu s, se azývá doba (čas) ávrau do savu s. Tao áhodá veličia má pravděpodobosí rozděleí To zameá, že { } f. f udává pravděpodobos oho, že sysém bude v čase = poprvé ve savu s, byl-li a počáku (v čase = ) aké ve savu s. Pravděpodobosi doby ávrau přechodu po krocích přičemž f p ako f souviseí s pravděpodobosmi ( ) p = f p + f p +... + f p, = a p =. Doba ávrau do daého savu Věa 4.3. Je-li sysém a počáku (v čase = ) ve savu s i každý průchod sysému savem s e rekureí ev se zpožděím. s pak Důkaz e uvede apř. ve skripech [3,5]. Uvažume yí Markovův řeězec s diskréím časem, kerý e a počáku (v čase ) v ěakém kokréím savu s s. Doba pořebá = i k omu, aby se sysém poprvé dosal do savu s, se azývá doba čekáí a prví průchod savem s. Tao áhodá veličia má rozděleí akže f udává pravděpodobos oho, že sysém bude v čase i poprvé ve savu Pravděpodobosi krocích kde f i { i } f, = s, byl-li a počáku (v čase = ) ve savu s i s. f souviseí s pravděpodobosmi přechodu po i p prosředicvím vzahů i = a p =. ( ) p = f + f p + f p +... f p, i i i i i i 4.5. Klasifikace savů Markovova řeězce = Defiice 4.. Sav s Markovova řeězce se azývá rvalý, esliže f =, a přechodý, esliže = f <. Do savu rvalého se Markovův řeězec určiě ěkdy (dříve ebo pozděi) dosae. Přesěi řečeo, do rvalého savu se Markovův řeězec vráí s pravděpodobosí po koečě moha krocích. Naproi omu do Doba čekáí a prví průchod daým savem Sav rvalý Sav přechodý 3
Sav eulový Sav ulový Sav periodický Sav eperiodický přechodého savu se Markovův řeězec s pravděpodobosí ikdy evráí. Ozačme μ sředí hodou doby ávrau do savu s. Pak můžeme vyslovi uo defiici. Defiice 4.3. Trvalý sav s Markovova řeězce se azývá eulový, esliže μ <+, a ulový, esliže μ = +. Trvalý sav e edy eulový, když sředí doba ávrau do ohoo savu abývá koečé hodoy, v opačém případě e ulový. U rvalých eulových savů rozlišueme ešě savy periodické a eperiodické. Defiice 4.4. Nechť λ e evěší společý děliel čísel, pro keré plaí p >. Je-li λ >, říkáme, že sav s e periodický s periodou λ. Je-li však λ =, pak říkáme, že sav s e eperiodický (aperiodický). = f Markovův řeězec e eperiodický, sou-li všechy eho savy eperiodické. Jiak se azývá periodický. Pravděpodobosi pravděpodobosi Věa 4.4. p f se v praxi určuí mohém obížěi ež, proo e užiečá ásleduící věa. () Sav s e přechodý, právě když plaí pi < + pro každé i. = p < +. V omo případě = () Sav s e rvalý ulový, právě když plaí lim p ( ) =. = (3) Je-li sav s rvalý eulový a eperiodický, pak plaí p =+, ale lim p = a lim p = f. i i μ μ = (4) Je-li sav s rvalý eulový a periodicky s periodou λ, pak plaí ( λ ) λ ( λ+ ν) λ ( kλ+ ν) lim p = a pro i ( ν < λ ) lim p = f. i i μ μ k = Důkaz ohoo vrzeí e uvede ve skripech [3]. Kriérium eperiodičosi. Je-li p >, pak sav s e eperiodický. Tao podmíka e posačuící, ikoli uá. Ñ 3
Příklad 4.6. Uvažume zedodušeý model počasí se dvěma savy: s = dešivo a s = sluečo. To zameá, že předpověď a zířeší de { } { } e určea pouze počasím dešího de. Nechť maice pravděpodobosí přechodu má var Jak e o s periodiciou savů?,6, 4 P =.,3, 7 Řešeí. Diagoálí prvky přechodové maice sou kladé, oba savy sou edy eperiodické a celý Markovův řeězec e aké eperiodický. Korolí úkol 4.7. Uvažue áhodou procházku v obci se čyřmi ulicemi, keré voří sray čverce. Chodec acházeící se v libovolém z vrcholů čverce může í s pravděpodobosí vpravo ebo vlevo. Maice pravděpodobosí přechodu má zřemě var P =. Posuďe periodiciu savů ohoo Markovova řeězce. Defiice 4.5. Savy rvalé eulové a eperiodické se azývaí ergodické. Pro klasifikaci savů Markovova řeězce e užiečá ásleduící věa. Věa 4.5. V Markovově řeězci s koečě moha savy eexisuí savy rvalé ulové a eí možé, aby všechy savy byly přechodé. Důkaz e uvede ve skripech [3]. 4.6. Nerozložielé a rozložielé Markovovy řeězce Neprve uvedeme ěkolik užiečých defiic. Defiice 4.6. Sav s e dosažielý ze savu přirozeé číslo akové, že p >. i s i Ñ, esliže exisue Z uvedeé defiice vyplývá, že každý sav e dosažielý ze sebe sama, proože plaí p =. ii Příklad 4.7. Náhodá procházka s pohlcuícími sěami: ze savů s, s,...,sa- sou dosažielé všechy savy, ze savu s e sav s a ze savu s pouze sav s. a a Sav ergodický Dosažielos savu 33
Uzavřeá možia savů Nerozložielý MŘ Rozložielý MŘ Korolí úkol 4.8. Jak e o s dosažielosí savů v případě áhodé procházky s odrážeícími sěami? Defiice 4.7. Neprázdá možia C savů Markovova řeězce e uzavřeá, esliže žádý sav vě možiy C eí dosažielý z žádého savu uviř C. Nemeší uzavřeá možia obsahuící C se azývá uzávěr možiy C. Uzavřeá možia savů C předsavue samozřemě aké Markovův řeězec. Příslušou maici přechodu dosaeme vyecháím ěch řádků a sloupců, keré odpovídaí savům acházeícím se vě možiy C. Věa 4.6. Možia savů C e uzavřeá právě ehdy, když plaí s C, s C: p =. i i Důkaz. ( ) Vyplývá přímo z defiice uzavřeé možiy. ( ) Předpokládeme, že e splěa podmíka uvedeá v dokazovaé věě. Pak ale musí plai (vzhledem k defiici uzavřeé možiy savů) p = pro všecha >. Ñ i Nyí předeme k defiici erozložielého Markovova řeězce. Defiice 4.8. Markovův řeězec se azývá erozložielý, esliže v ěm kromě možiy všech savů eexisue žádá iá uzavřeá možia savů. V opačém případě se Markovův řeězec azývá rozložielý. Věa 4.7. Markovův řeězec e erozložielý, právě když každý eho sav e dosažielý z každého iého savu. Důkaz vyplývá přímo z defiic uvedeých v omo odsavci. Markovův řeězec z příkladu 4. e zřemě rozložielý (savy s a sa sou absorpčí a voří uzavřeou možiu), zaímco řeězec z příkladů 4. e erozložielý. Věa 4.8. Markovův řeězec s koečě moha savy e rozložielý, právě když eho přechodová maice má (po případém přečíslováí) var P P =, A B kde v diagoálích polích sou čvercové maice poli ulová maice. P, B Ñ a v pravém horím Důkaz. Sačí přečíslova savy ak, aby eižší pořadová čísla příslušela savům uzavřeé možiy. Uvedeé vrzeí pak vyplývá z věy 4.4. Ñ Příklad 4.8. Nechť e dá Markovův řeězec s maicí pravděpodobosí přechodu 34
P = 3 3 3. 5 5 5 5 5 Rozhoděe, zda e řeězec rozložielý ebo erozložielý. Řešeí. Savy s a s 5 voří zřemě uzavřeou možiu, proo e řeězec rozložielý. Přečíslueme-li savy podle schémau s, s, s, s, s s, s, s, s, s, dosaeme ( 3 4 5 3 4 5 ) P =. 3 3 3 5 5 5 5 5 Doporučueme čeáři, aby si při určováí dosažielosi savů ebo rozložielosi Markovova řeězce kreslil diagram s šipkami reprezeuícími přechody mezi edolivými savy řeězce. Korolí úkoly 4.9. Rozhoděe, zda e Markovův řeězec s přechodovou maicí rozložielý ebo erozložielý. P = 3 3 3 3 3 3 4.. Rozhoděe, zda e Markovův řeězec s přechodovou maicí rozložielý ebo erozložielý. P = 35
Savy éhož ypu Defiice 4.9. Savy si a s oba přechodé, oba rvalé ulové, oba rvalé eulové a eperiodické oba rvalé eulové a periodické. sou éhož ypu, esliže sou Věa 4.9. Je-li sav s dosažielý ze savu éhož ypu. s i a aopak, sou oba savy Důkaz. Z předpokladů věy plye, že exisuí přirozeá čísla M a N aková, že ( N ), ( M p = α > p ) = β >. Pro libovolé přirozeé zřemě plaí a aké Je-li = p = aké sav ypů. p ii <+. i <+, i ( + N+ M) ( N) ( M) p p p p = αβ p ii i i ( + N+ M) ( M) ( N) ( = αβ ). p p p p p i ii i ii z prvího z uvedeých vzahů vyplývá, že aké To podle věy 4.4 zameá, že e-li sav si přechodý, e s přechodý. Aalogicky se provede důkaz i pro savy osaích Ñ Důsledek. V erozložielém Markovově řeězci sou všechy savy éhož ypu. Na závěr ohoo odsavce uvedeme ešě věu pro periodické savy erozložielého Markovova řeězce. Věa 4.. Nechť e dá erozložielý Markovův řeězec, ehož všechy savy sou periodické s periodou λ. Pak exisue rozklad možiy všech savů a λ podmoži G, G,..., G λ akový, že přechody po edom kroku ze savů možiy G ν sou možé e do savů možiy G ν + ( ν λ ), resp. ze savů možiy G λ do savů možiy G. Příklad 4.9. Nechť e dá Markovův řeězec s maicí pravděpodobosí přechodu Vyšeřee periodiciu eho savů. P =. Řešeí. Uvedeý Markovův řeězec e podle věy 4.7 erozložielý, což zameá, že všechy eho savy sou seého ypu. Spočeme mociy maice P : 36
, 3 P =. P = Všechy savy řeězce sou rvalé eulové a periodické s periodou λ = 3, proože mociy 3 k P, k, maí a hlaví diagoále vesměs eulové prvky, kdežo osaí mociy maí a hlaví diagoále samé uly. Možiu eho savů lze podle věy 4. rozloži a ři podmožiy ako: G = s, s, G = s, G = s. Můžee se o om sado přesvědči. { } { } { } 4 3 4.7. Sacioárí rozděleí Nechť e dá erozložielý Markovův řeězec s maicí pravděpodobosí přechodu P. ( Defiice 4.. Vekor π = π, π,... se azývá sacioárí rozděleí ohoo erozložielého Markovova řeězce, esliže plaí π = π p pro všecha eboli maicově π = πp, přičemž všechy i i i prvky vekoru sou eulové a i= ) π =. i Sacioariu lze ierpreova ásleduícím způsobem. Měme velký poče ezávislých sysémů (apř. čásic), keré se řídí seým Markovovým řeězcem. Podle zákoa velkých čísel e relaiví čeos čásic, keré sou v čase ve savu s, přibližě rova. = i pravděpodobosi a i V případě sacioariy e edy rozděleí relaivích čeosí čásic v edolivých savech eměé v čase. Věa 4.. V erozložielém Markovově řeězci exisue sacioárí rozděleí, právě když všechy savy sou rvalé eulové. Too rozděleí e edié a pro všecha i, plaí Sacioárí rozděleí π = lim p > v případě eperiodickém, i ( ν ) π = lim pi > v případě periodickém. ν = Důkaz éo věy (poěkud zdlouhavý) e uvede ve skripech [3]. Ñ Věy 4. se užívá časo ako kriéria pro klasifikaci savů daého erozložielého Markovova řeězce. Zisíme-li oiž, že exisue sacioárí rozděleí, pak sou všechy savy akového řeězce rvalé eulové. Příklad 4.. Nechť e dá Markovův řeězec s maicí pravděpodobosí přechodu (áhodá procházka s odrážeícími sěami) 37