Rychlost konvergence náhodné procházky k ekvilibriu

Transkript

1 Univerzita Karlova v Praze Matematicko-fyzikální fakulta BAKALÁŘSKÁ PRÁCE Dana Chromíková Rychlost konvergence náhodné procházky k ekvilibriu Katedra pravděpodobnosti a matematické statistiky Vedoucí bakalářské práce: Mgr. Lucie Fajfrová, PhD., Ústav teorie informace a automatizace Studijní program: matematika Studijní obor: obecná matematika 2006

2 Na tomto místě děkuji své vedoucí bakalářské práce Mgr. Lucii Fajfrové, PhD., která mi pomáhala během psaní celé práce, věnovala mi spoustu času a poskytovala mi cenné rady, jak matematické, tak i stylistické. Prohlašuji, že jsem svou bakalářskou práci napsala samostatně a výhradně s použitím citovaných pramenů. Souhlasím se zapůjčováním práce a jejím zveřejňováním. V Praze dne 7. srpna 2006 Dana Chromíková 2

3 Obsah Markovovy řetězce 5. Základní vlastnosti Markovova řetězce s diskrétním časem Náhodná procházka na grafu s diskrétním časem Základní vlastnosti Markovova řetězce se spojitým časem Náhodná procházka na grafu se spojitým časem Konvergence k ekvilibriu pro Markovův řetězec se spojitým časem 4 2. Stacionární rozdělení Konvergence ke stacionárnímu rozdělení Reversibilita Rychlost konvergence k ekvilibriu 9 3. Perron-Frobeniova věta Spektrální analýza matice intenzit Rychlost konvergence k ekvilibriu pro náhodnou procházku Literatura 30 3

4 Název práce: Rychlost konvergence náhodné procházky k ekvilibriu Autor: Dana Chromíková Katedra: Katedra pravděpodobnosti a matematické statistiky Vedoucí bakalářské práce: Mgr. Lucie Fajfrová, PhD. vedoucího: fajfrova@utia.cas.cz Abstrakt: V předložené práci studujeme rychlost konvergence náhodné procházky k ekvilibriu. Uvažujeme náhodnou procházku ve spojitém čase na grafu velikosti n, který si s rostoucím n zachovává stejnou pravidelnou strukturu. Nás bude zajímat rychlost konvergence tohoto Markovova řetězce v závislosti na n. Ukážeme si, že druhé největší vlastní číslo matice pravděpodobnosti přechodu dává dobrý odhad rychlosti konvergence. Prakticky je ovšem většinou velký problém vlastní čísla tak velké matice spočítat, obzvláště závisí-li na další proměnné. Proto existují tzv. geometrické odhady, které dávají dolní odhad spektrální mezery, tj. vzdálenosti největšího a druhého největšího vlastního čísla. Na závěr budeme studovat konkrétně spektrální mezeru pro náhodnou procházku na úplném binárním stromě výšky n v závislosti na n. Získáme výsledek, který bude lepší než zmíněný geometrický odhad. Klíčová slova: náhodná procházka, konvergence k ekvilibriu, spektrální mezera Title: Speed of Convergence to Equilibrium of Random Walk Author: Dana Chromíková Department: Department of Probability and Mathematical Statistics Supervisor: Mgr. Lucie Fajfrová, PhD. Supervisor s address: fajfrova@utia.cas.cz Abstract: This study presents the speed of convergence to equilibrium of random walk. Considering a continuous time random walk on a graph which maintains a regular structure for any magnitude n, the dependence of the convergence speed of the Markov chain on the graph magnitude will be investigated. What is going to be demonstrated is the fact that the second-largest eigenvalue modulus of an transition matrix gives the rate of convergence to equilibrium. However, in practice a big problem usually arises when eigenvalues of a large matrix are to be computed, especially if they depend on another variable. That is why so-called geometric estimates are used, enabling to get a low estimate of spectral gap, i. e. the distance between the largest eigenvalue and the second-largest one. Finally, a concrete example of a spectral gap of random walk on a binary tree of depth n depending on n is examined. The results thus obtained are better than the geometric estimates mentioned above. Keywords: random walk, convergence to equilibrium, spectral gap 4

5 Kapitola Markovovy řetězce V této práci se budeme zabývat speciálním případem náhodného procesu, jehož charakteristickou vlastností je, že je bez paměti. Tedy jeho chování v budoucnosti je ovlivňováno pouze stavem v přítomnosti a nikoli celou minulostí. Proces s touto vlastností nazýváme Markovův proces. Budeme se zabývat takovými procesy, kde náhodné veličiny nabývají jen diskrétních hodnot, tzv. Markovovými řetězci. Oddíly. a.2 této kapitoly se zabývají řetězci s diskrétním časem k probíhajícím přirozená čísla N 0 = {0,, 2,...}. Markovův řetězec s diskrétním časem budeme označovat symbolem (X k ) k 0. V oddílech.3 a.4 se budeme věnovat Markovovým řetězcům se spojitým časem t probíhajícím kladnou poloosu reálných čísel R + = 0, ). Značit je budeme symbolem (X t ) t 0.. Základní vlastnosti Markovova řetězce s diskrétním časem Necht (X k ) k 0 je náhodný proces s diskrétním časem na pravděpodobnostním prostoru (Ω, F, P ). Tedy pro každé k 0 je náhodná veličina X k měřitelné zobrazení z Ω na I. Množina I může být bud konečná nebo nekonečná spočetná a prvek i náleží do I právě tehdy, když existuje k 0 takové, že P (X k = i) > 0. Tuto množinu nazýváme množinou stavů náhodného procesu (X k ) k 0 a její prvky nazýváme stavy. Definice. Necht (X k ) k 0 je náhodný proces s diskrétním časem a s množinou stavů I. Posloupnost (X k ) k 0 nazýváme Markovův řetězec s diskrétním časem, jestliže pro všechna k 0 a všechna j, i, i k,..., i 0 I, pro která je P (X k = i, X k = i k,..., X 0 = i 0 ) > 0, platí P (X k+ = j X k = i, X k = i k,..., X 0 = i 0 ) = P (X k+ = j X k = i). (.) Jestliže pravá strana rovnice (.) nezávisí na k, říkáme, že příslušný Markovův řetězec je homogenní. 5

6 Dále budeme uvažovat pouze homogenní Markovovy řetězce. V tomto případě jsou pravděpodobnosti P (X k+ = j X k = i) nezávislé na k, závisí pouze na stavech i a j. Označme je proto p ij a nazývejme je pravděpodobnosti přechodu ze stavu i do stavu j. Podmíněné pravděpodobnosti P (X k+ = j X k = i) jsou definovány pro všechna i, j I, protože pro každý stav i existuje takové k, pro které je P (X k = i) > 0. Tedy platí p ij 0, p ij =, (.2) pro všechny stavy i, j. Takovou čtvercovou matici, jejíž prvky splňují vlastnost (.2), nazýváme stochastickou maticí. j I Definice.2 Necht (X k ) k 0 je homogenní Markovův řetězec s množinou stavů I. Stochastickou matici P = {p ij } i,j I nazveme maticí pravděpodobností přechodu řetězce (X k ) k 0, jestliže p ij = P (X k+ = j X k = i) (.3) pro všechna k 0 a všechna i, j I. Matici pravděpodobností přechodu můžeme jednoznačně reprezentovat grafem přechodu. Graf přechodu se skládá z vrcholů a z ohodnocených orientovaných hran. Každý vrchol grafu jednoznačně odpovídá jednomu prvku z množiny stavů příslušného Markovova řetězce. Graf přechodu obsahuje orientovanou hranu z i do j jen tehdy, když p ij > 0. Této hraně přiřazujeme ohodnocení p ij. Náhodná veličina X 0 se nazývá počáteční stav a její pravděpodobnostní rozdělení ν, ν i = P (X 0 = i), je počáteční rozdělení Markovova řetězce. Dále nás bude zajímat, jaká je pravděpodobnost, že po k krocích Markovův řetězec přejde ze stavu i do stavu j. Tuto pravděpodobnost označme p (k) ij. Položme p (0) ij = δ ij, kde δ ij je Kroneckerův symbol, a necht je p () ij = p ij. Postupně definujme p (k+) ij = l I p (k) il p lj (.4) pro všechna k N. Dále označme P (k) = {p (k) ij } i,j I. Ze vztahu (.4) plyne, že P (k+) = P (k) P = P P (k) = P k+. Také lze snadno ukázat, že matice P (k) je stochastická matice, a že platí pro každé l náležící do N 0 p (k) ij = P (X l+k = j X l = i). (.5) Rozdělení Markovova řetězce v čase k značíme ν(k) = {ν j (k), j I} a platí pro něj vztah ν(k) T = ν T P k, k N 0, (.6) kde ν je počáteční rozdělení Markovova řetězce. Důkaz vztahů (.5) a (.6) může čtenář najít v [3], str. 5. 6

7 .2 Náhodná procházka na grafu s diskrétním časem Jedním z příkladů Markovova řetězce s diskrétním časem je náhodná procházka na grafu. Uvažujme částici, která se pohybuje po neorientovaném souvislém grafu G a to tak, že z vrcholu i může skočit do vrcholu j pouze v případě, že tyto vrcholy jsou spojeny hranou. To, že jsou vrcholy i a j spojeny hranou, označme i j. Pravděpodobnost přechodu částice z daného vrcholu i do vrcholu j je pro všechny vrcholy j takové, že i j, stejná. Tato pravděpodobnost přechodu p ij vyplývá ze struktury grafu a platí pro ni rovnost p ij = { d(i) pro všechna j : j i 0 jinak, kde d(i) je počet vrcholů, které jsou s vrcholem i spojeny hranou. Dále předpokládáme, že rozhodování, kam částice skočí v čase k, nezávisí na jejích pohybech v časech 0,,..., k. Polohu této částice v čase k označíme X k a posloupnost (X k ) k 0 budeme nazývat náhodnou procházkou na grafu G. Jde o speciální případ homogenního Markovova řetězce. Z grafu G, po kterém se částice pohybuje, snadno vytvoříme graf přechodu Markovova řetězce (X k ) k 0 tak, že každou hranu rozdělíme ve dvě orientované v opačném směru a každé orientované hraně z vrcholu i do vrcholu j přiřadíme ohodnocení. Připomeňme, že grafu přechodu jednoznačně odpovídá matice pravděpodobností d(i) přechodu a že vrcholy tohoto grafu odpovídají množině stavů. V této práci se budeme zabývat grafem se speciální strukturou, kterou si nyní popíšeme. Necht I je množina vrcholů grafu G. Předpokládáme, že I je spočetná a že ke grafu G existuje posloupnost souvislých grafů G n taková, že: - I = I n n N - I n jsou konečné množiny - G n G n+, G n G pro všechna n N, a že jednotlivé grafy G n jsou si určitým způsobem podobné, mají jistou pravidelnost, která je pro všechny grafy G n i graf G stejná. Čtenář si vytvoří lepší představu z následujících příkladů. Příklad.3 Náhodná procházka na Z Symetrická náhodná procházka na Z má graf G: 7

8 kde { když i j = p ij = 2 0 jinak. Grafy G n v tomto případě definujeme jako Z n, n. To znamená, že každý graf G n má 2n + vrcholů, které jsou symetricky rozmístěny kolem nuly. Pravděpodobnosti přechodu pro náhodnou procházku na G n jsou stejné jako pro náhodnou procházku na G, pouze se liší v krajních bodech G n. Pro tyto body platí, že p n,n = p n, (n ) =. Matice pravděpodobností přechodu pro náhodnou procházku na G n má tvar: (2n+) (2n+) Příklad.4 Náhodná procházka na Z 2 Pravděpodobnosti přechodu symetrické náhodné procházky na Z 2 jsou: { když i j = p ij = 4 0 jinak. Grafy G n definujeme jako Z 2 n, n 2, tedy každý graf G n má (2n + ) 2 vrcholů, které jsou symetricky rozmístěny kolem nuly. Tato náhodná procházka na Z 2 má graf G:

9 Analogicky můžeme uvažovat náhodnou procházku na Z d, d N. Příklad.5 Náhodná procházka na úplném binárním stromě Úplný binární strom T je binární strom, který má všechny hladiny plně obsazené. Pro každé n N 0 definujme konečný graf T n jako úplný binární strom ukončený n-tou hladinou. Tedy počet vrcholů grafu T n je 2 n+. Na obrázku je zobrazen graf T n=0 n= n=2 n=3 Jestliže chceme sestrojit matici pravděpodobností přechodu P = {p ij } i,j I, kde p ij je pravděpodobnost přechodu ze stavu i do j, je potřeba, abychom si vrcholy grafu očíslovali. Například je můžeme očíslovat zleva doprava, jak je naznačené na obrázku. Pak už matici sestrojíme jednoduše, protože p ij známe pro všechna i, j I. Vyslovme nyní větu o klasifikaci stavů náhodné procházky na souvislém grafu. Věta.6 Náhodná procházka na souvislém grafu G n s konečně mnoha vrcholy je nerozložitelný Markovův řetězec s konečně mnoha stavy a všechny stavy tohoto řetězce jsou trvalé nenulové. Dále všechny stavy náhodné procházky na souvislém grafu G se spočetně mnoha vrcholy mají periodu dvě. Důkaz: Tato věta je důsledkem tvrzení, že v Markovově řetězci s konečně mnoha stavy jsou všechny stavy trvalé nenulové. Podrobněji viz [4], str Základní vlastnosti Markovova řetězce se spojitým časem Markovovy řetězce se spojitým časem jsou přirozeným zobecněním Markovových řetězců s časem diskrétním, kterým jsme se dosud věnovali. 9

10 Definice.7 Náhodný proces (X t ) t 0 se spočetnou množinou stavů I a zprava spojitými trajektroriemi se nazývá Markovův řetězec se spojitým časem, jestliže P (X t = j X s = i, X sn = i n,..., X s0 = i 0 ) = P (X t = j X s = i) (.7) pro všechna n N, pro všechna i, j, i 0,..., i n I a pro všechna 0 s 0 < s <... < s n < s < t, pro která je P (X s = i, X sn = i n,..., X s0 = i 0 ) > 0. Jestliže pravá strana rovnice (.7) závisí jen na rozdílu t s, říkáme, že příslušný Markovův řetězec je homogenní. Stejně jako pro Markovovy řetězce s diskrétním časem budeme i nyní uvažovat pouze homogenní řetězec. Protože jsou v tomto případě pravděpodobnosti přechodu P (X t = j X s = i) závislé pouze na rozdílu t s, označme je p ij (t s) a nazývejme je pravděpodobnosti přechodu ze stavu i do stavu j za čas t s. Řetězec se spojitým časem popisují matice pravděpodobností přechodu {P(t)} t 0 za čas t, které jsou analogické maticím pravděpodobností přechodu {P (k) } k N0 po k krocích pro řetězce s diskrétním časem. Pro matici P(t) platí P(t) = {p ij (t)} i,j I, t 0, kde p ij (t) = P (X s+t = j X s = i). Obdobou vlastnosti, že P (k) = P k, je zde tzv.chapmanova-kolmogorova rovnost P(t + s) = P(t)P(s) pro všechna t, s > 0. Stejně jako pro Markovovy řetězce s diskrétním časem budeme i nyní rozdělení Markovova řetězce v čase t značit ν(t) = {ν j (t), j I}. Popis Markovova řetězce s použitím rodiny matic pravděpodobností přechodu {P(t)} t 0 často s výhodou nahrazuje popis pomocí matice intenzit přechodu, kterou si nyní definujeme, a řekneme si, jak souvisí s rodinou matic pravděpodobností přechodu {P(t)} t 0. Definice.8 Necht I je spočetná množina. Matici Q = (q ij ) i,j I nazýváme maticí intenzit přechodu, jestliže. 0 q ii < pro všechna i I 2. q ij 0 pro všechna i j, i, j I 3. j I q ij = 0 pro všechna i I. Dále označme jako q i = q ii pro každé i I. Věta.9 Necht I je konečná množina.. Potom Q je matice intenzit přechodu nějakého Markovova řetězce (X t ) t 0 právě tehdy, když P(t) = e tq pro všechna t 0, kde e tq = k=0 0 t k Q k k!.

11 2. Necht Q je matice intenzit přechodu Markovova řetězce (X t ) t 0. Potom platí pro všechna i j, i, j I. Důkaz:. Viz [3], str Viz [3], str. 94. p ij (t) p ii (t) q ij = lim, q i = lim t 0+ t t 0+ t Z předcházející věty plyne, že Markovův řetězec se spojitým časem a s konečně mnoha stavy je charakterizován jedinou maticí Q. Jestliže matici Q vhodně upravíme na stochastickou matici, dostaneme Markovův řetězec s diskrétním časem (Y k ) k 0 příslušný nové stochastické matici. Tento řetězec (Y k ) k 0 charakterizuje původní Markovův řetězec se spojitým časem. Budeme jej nazývat vnořeným řetězcem. Definice.0 Necht (X t ) t 0 je Markovův řetězec se spojitým časem a s maticí intenzit přechodu Q. Potom Markovův řetězec s diskrétním časem (Y k ) k 0 se nazývá vnořený diskrétní řetězec procesu (X t ) t 0, jestliže jeho matice pravděpodobností přechodu Q je definována následujícím předpisem: { qij qij = q i, jestliže i j a q i > 0 { 0, jestliže i j a q i = 0 0, jestliže qii qi 0 =, jestliže q i = 0. Lze ukázat, že klasifikace stavů Markovova řetězce (X t ) t 0 se shoduje s klasifikací stavů jeho vnořeného řetězce (Y k ) k 0. To znamená, že řetězec (X t ) t 0 je nerozložitelný právě tehdy, když je nerozložitelný řetězec (Y k ) k 0. Dále stav, který je trvalý v řetězci (X t ) t 0, je trvalý i ve vnořeném řetězci (Y k ) k 0 a naopak. Ale pozor, stav, který je nenulový v řetězci (X t ) t 0, nemusí mít tuto vlastnost i ve vnořeném řetězci (Y k ) k 0. Ještě poznamenejme, že přechodem k Markovovu řetězci se spojitým časem jsme ztratili periodicitu. V nerozložitelném periodickém Markovově řetězci s diskrétním časem je možné dosáhnout ze stavu i kterýkoli jiný stav, ale pouze po určitém počtu kroků, kdežto v nerozložitelném Markovově řetězci se spojitým časem můžeme s nenulovou pravděpodobností libovolného stavu dosáhnout kdykoli.

12 .4 Náhodná procházka na grafu se spojitým časem Náhodnou procházku na grafu G n se spojitým časem uvažujme jako analogii náhodné procházky s diskrétním časem, která je definována v kapitole.2. Tím myslíme Markovův řetězec se spojitým časem, jehož vnořený řetězec je totožný s řetězcem popsaným ve výše zmíněné kapitole. I ve spojitém čase uvažujeme částici, která se pohybuje po vrcholech grafu G n. Je-li částice v čase s ve vrcholu i, pak zde setrvá náhodný čas t. Pro tento čas t platí, že má exponenciální rozdělení se střední hodnotou q i. My položíme q i = pro všechna i I (obecněji stačí i-tý řádek vynásobit požadovanou hodnotou q i ). Poté částice přeskočí do jednoho z vrcholů j sousedícím s vrcholem i podle pravděpodobností q ij. Matice Q = {q ij} i,j I je příslušnou maticí pravděpodobností přechodu, pro kterou platí g ij = p ij pro všechna i, j I, kde pravděpodobnosti p ij jsou definovány v kapitole.2. Tudíž matice intenzit přechodu Q = {q ij } i,j I náhodné procházky na grafu G n se spojitým časem je dána q ij = d(i) pro všechna j : j i pro i = j 0 jinak. Příklad. Náhodná procházka (X t ) t 0 na Z n, n je Markovův řetězec s maticí intenzit přechodu Q n = (2n+) (2n+) Příklad.2 Nyní sestrojme matici intenzit přechodu Q n pro náhodnou procházku (X t ) t 0 na konečném binárním stromě T n. Budeme vycházet z očíslování vrcholů grafu T n popsaném v příkladu.5. V takovém případě platí pro matici intenzit přechodu rekurzivní vztah Q n b n 0 Q n = a T n a T n, 0 b n Qn (2 n+ ) (2 n+ ) kde 0 je nulová matice o rozměru (2 n ) (2 n ), a n a b n jsou vektory délky (2 n ), pro které platí a 2 n =, b 2 2 n = a všechny ostatní prvky mají nulové. 3 Dále Q n = { q ij } i,j I je matice o rozměru (2 n ) (2 n ), pro kterou platí 2

13 q 2 n,2 n 2 = q 2 n,3 2 n 2 =, q 3 ij = q ij pro ostatní i, j I. Pro úplnost ještě musíme uvést 0 Q =

14 Kapitola 2 Konvergence k ekvilibriu pro Markovův řetězec se spojitým časem 2. Stacionární rozdělení Mnoho limitních vlastností Markovova řetězce souvisí se stacionárním rozdělením. Uved me si nyní definici stacionárního rozdělení pro Markovův řetězec s diskrétním časem a následně se spojitým časem. Definice 2. Necht (X k ) k 0 je homogenní Markovův řetězec s množinou stavů I a maticí pravděpodobností přechodu P. Necht π = {π j, j I} je libovolné pravděpodobnostní rozdělení na množině I, tzn. π j 0, j I a π j =. (2.) j I Jestliže π T = π T P, (2.2) neboli π i = j I π j p ji, když uvažujeme sloupcové vektory, potom π nazýváme stacionární rozdělení daného řetězce. Definice 2.2 Necht (X t ) t 0 je homogenní Markovův řetězec s množinou stavů I a maticemi pravděpodobností přechodu P(t), t 0. Necht π = {π j, j I} je libovolné 4

15 pravděpodobnostní rozdělení na množině I, tzn. π j 0, j I a π j =. (2.3) Jestliže j I π T = π T P(t) pro všechna t 0, (2.4) neboli π i = π j p ji (t), j I když uvažujeme sloupcové vektory, potom π nazýváme stacionární rozdělení daného řetězce. Zvolíme-li π jako počáteční rozdělení Markovova řetězce, potom π T P(t) je absolutní rozdělení v čase t. To znamená, že jestliže řetězec začne ve stacionárním rozdělení, jeho absolutní rozdělení zůstanou navždy stejná. V tomto smyslu je řetězec stacionární, nebo také můžeme říci, že je v ekvilibriu (rovnovážném stavu). Řešení rovnice (2.4) pro všechna t 0 může být obtížné. Uvedeme si proto jedno z kritérií pro existenci stacionárního rozdělení pomocí matice intenzit přechodu Q. Věta 2.3 Necht (X t ) t 0 je Markovův řetězec se spojitým časem, s maticí intenzit přechodu Q a vnořeným řetězcem (Y k ) k 0. Necht (Y k ) k 0 je nerozložitelný Markovův řetězec a má všechny stavy trvalé. Potom existuje stacionární rozdělení řetězce (X t ) t 0 právě tehdy, když soustava π T Q = 0 (2.5) má jediné řešení splňující π j 0 pro všechna j I a j I π j =. Potom π je hledané stacionární rozdělení řetězce (X t ) t 0. Důkaz: Viz [4], str. 92. Poznámka 2.4 Necht (X t ) t 0 je Markovův řetězec s konečnou množinou stavů I a nerozložitelným vnořeným řetězcem. Potom existuje jediné stacionární rozdělení, které je řešením soustavy (2.5). Ještě uved me vztah mezi stacionárním rozdělením Markovova řetězce se spojitým časem a stacionárním rozdělením jeho vnořeného řetězce. Věta 2.5 Necht (X t ) t 0 je Markovův řetězec se spojitým časem a s vnořeným řetězcem (Y k ) k 0. Potom π je stacionárním rozdělením řetězce (X t ) t 0 právě tehdy, když π, kde π j = π i q i pro všechna i I, je stacionárním rozdělením vnořeného řetězce (Y k ) k 0. Důkaz: Viz [3], str. 7. 5

16 2.2 Konvergence ke stacionárnímu rozdělení Uvažujme homogenní Markovův řetězec se spojitým časem, který je nerozložitelný a má všechny stavy trvalé. Již víme, že jestliže je počáteční rozdělení tohoto řetězce jeho stacionárním, pak rozdělení v každém čase bude stejné, řetězec je v ekvilibriu. V této kapitole nás bude zajímat, jaké bude limitní chování řetězce, jestliže zvolíme počáteční rozdělení libovolně. Tedy budeme vyšetřovat pravděpodobnosti přechodu p ij (t) pro t jdoucí k nekonečnu a jejich vztah ke stacionárnímu rozdělení. Můžeme si položit otázku, zda bude konvergovat k ekvilibriu a v jakém smyslu? Věta 2.6 Necht (X t ) t 0 je nerozložitelný Markovův řetězec se spojitým časem, s množinou stavů I, které jsou trvalé, a se stacionárním rozdělením π. Potom P (X(t) = j) π j pro t pro všechna j I a také p ij (t) π j pro t pro všechna i, j I. Důkaz: Viz [4], str. 94. Vztah p ij (t) π j pro t, i, j I, lze maticově vyjádřit jako π π 2 P(t) π π 2 = π T pro t,..... kde je vektor složený ze samých jedniček. Příklad 2.7 Stacionární rozdělení náhodné procházky na grafu G n Nyní spočítáme stacionární rozdělení náhodné procházky na grafu G n, která je popsána v kapitole.4. Stacionární rozdělení π musí splňovat rovnost (2.5), tedy musí platit π i + π j d(j) = 0 j: j i pro všechna i I. Tento vztah je splněn pro π i = d(i). Navíc ještě, abychom dostali pravděpodobnostní rozdělení, musí platit (2.3), a tedy dostáváme stacionární rozdělení π = {π j, j I}, kde π j = d(j) d(j) = d(l) 2 G n, l I 6

17 pro všechna j I, kde G je počet hran grafu G. Podle poznámky 2.4 je obdržené stacionární rozdělení jednoznačně určeno. Dále podle věty 2.6 platí pro t pro všechna i, j I. p ij (t) d(j) 2 G n Příklad 2.8 Pro náhodnou procházku na grafu G, který má nekonečně mnoho vrcholů, neexistuje stacionární rozdělení. Jestliže nějaký vektor π splňuje (2.5), potom i I π i =, tedy neexistuje pravděpodobnostní rozdělení splňující (2.5). 2.3 Reversibilita Pro Markovovy řetězce jsou minulost a budoucnost nezávislé a budoucnost je ovlivněna pouze stavem v přítomnosti. Tato vlastnost je symetrická v čase, proto se můžeme podívat na chování Markovova řetězce, když obrátíme čas. Avšak symetrická v čase není konvergence k ekvilibriu. Tedy jestliže chceme dokonalou symetrii v čase, Markovův řetězec s obráceným časem musíme začít v ekvilibriu. Markovův řetězec, který začne v ekvilibriu a běží pozpátku, je opět Markovovým řetězcem. Nás navíc zajímá vlastnost, která říká, že tyto dva řetězce se chovají stejně. Tuto vlastnost nazýváme reversibilita. Ukážeme si, že náhodná procházka na grafu G n je reversibilní, a v oddíle 3.2 s pomocí této vlastnosti získáme snáze odhad pro rychlost konvergence náhodné procházky. Definice 2.9 Necht Q je matice intenzit přechodu Markovova řetězce (X t ) t 0 s množinou stavů I a π > 0 je pravděpodobnostní vektor na I. Dvojici (Q, π) nazýváme reversibilní, jestliže platí π i q ij = π j q ji (2.6) pro všechna i, j I. Jestliže je množina stavů I konečná a matice intenzit přechodu Q je nerozložitelná, pak existuje jednoznačně určené stacionární rozdělení. Proto v těchto případech říkáme jen, že Q je reversibilní nebo že řetězec je reversibilní, aniž bychom zmiňovali π. Příklad 2.0 Náhodná procházka na grafu G n je reversibilní Náhodná procházka na grafu G n je nerozložitelný Markovův řetězec s konečnou množinou stavů I. Z kapitoly.4 víme, že intenzity přechodu náhodné procházky jsou rovny q ij = d(i) pro všechna j : j i pro i = j 0 jinak. 7

18 a v příkladu 2.7 jsme vypočítali příslušné stacionární rozdělení π. Po dosazení do (2.6) vidíme, že rovnost platí. Tedy jsme dokázali, že matice intenzit přechodu Q je reversibilní. 8

19 Kapitola 3 Rychlost konvergence k ekvilibriu Už víme, že nerozložitelný Markovův řetězec s konečnou množinou stavů uvažovaný ve spojitém čase konverguje ke stacionárnímu rozdělení. V této kapitole nás bude zajímat, jak rychle k němu konverguje. Budeme tedy hledat horní mez pro rozdíl P(t) π T ve vhodné normě. Nejprve si tedy definujeme normu na R k, která souvisí se stacionárním rozdělením a kterou později využijeme k odhadu. Definice 3. Necht l 2 (π) je prostor vektorů na R k, kde π je pravděpodobnostní rozdělení na k-prvkové množině stavů I takové, že π j > 0 pro všechna j I. Definujme na tomto prostoru skalární součin x, y π := i I x i y i π i a k němu příslušnou normu Dále označme ( ) x π := x 2 2 i π i. i I x π = x, π V ar π (x) = x 2 π x 2 π. 3. Perron-Frobeniova věta Když je množina stavů konečná, ke studiu limitního chování Markovova řetězce využíváme standartní výsledky lineární algebry. Rozdělení řetězce v čase t závisí na matici pravděpodobností přechodu P(t) za čas t, kterou lze ovšem vyjádřit jako 9

20 e tq, a tedy záleží především na vlastní struktuře matice Q, kterou budeme dále zkoumat. Nejprve vyslovíme Perron-Frobeniovu větu, která popisuje vlastní čísla matice určitých vlastností. V oddíle 3.2 s pomocí této věty ukážeme, že konvergence ke stacionárnímu rozdělení je exponenciální a rychlost konvergence závisí na druhém největším vlastním čísle matice Q. Definice 3.2 Čtvercovou matici A nazýváme primitivní, jestliže existuje přirozené číslo l takové, že A l > 0. Zápisem A 0 (resp. A > 0) označujeme matici A = {a ij } i,j r, pro kterou platí a ij 0 (resp. a ij > 0) pro všechna i, j {,..., r}. Takovouto matici nazýváme nezápornou (resp. kladnou). Poznamenejme, že nezáporná matice je primitivní právě tehdy, když je nerozložitelná a aperiodická. Věta 3.3 Perron-Frobeniova Necht A je primitivní stochastická matice stupně r. Potom existuje vlastní číslo λ matice A takové, že λ =, a platí = λ > λ 2... λ r, kde λ j, j {,..., r}, jsou vlastní čísla matice A (po vhodném přeuspořádání). Důkaz: Viz [5]. 3.2 Spektrální analýza matice intenzit Při spektrálním rozkladu matice intenzit přechodu Q s výhodou využijeme reversibilitu vzhledem ke stacionárnímu rozdělení π. Proto dále budeme uvažovat pouze reversibilní Markovovy řetězce, jak jsme je definovali v oddíle 2.3. V této kapitole nalezneme odhad pro rozdíl P(t) π T ve vhodné normě. Nyní se pojd me věnovat významu vlastních čísel při odhadu rychlosti konvergence matice pravděpodobností přechodu P(t) k matici π T. Vzhledem ke vztahu P(t) = k=0 t k k! Qk (3.) nás zajímá, jak vypadají mocniny matice Q. Uvědomme si, že jestliže je matice přechodu Q nerozložitelná a reversibilní, potom existuje symetrická matice Q podobná matici Q taková, že kde D = diag{ π, π 2,...}. Symetrická matice Q má pro nás zajímavé vlastnosti: Q = DQD, (3.2) 20

21 . Má všechna vlastní čísla reálná. Protože jsou matice Q a Q podobné, tak mají stejná vlastní čísla. Tedy i matice Q má všechna vlastní čísla reálná. 2. Pro symetrickou matici Q existuje rozklad Q = UΛU T, (3.3) kde Λ = diag{λ,..., λ r }, {λ,..., λ r } jsou vlastní čísla matice Q (resp. Q) a sloupce U jsou vlastní vektory matice Q takové, že U T U = I. Ze vztahů (3.2) a (3.3) dostaneme vztah pro k-tou mocninu matice Q Q k = D UΛ k U T D = r λ k i v i wi T, (3.4) i= kde vektor v i je i-tý sloupec matice V = D U a w i je i-tý sloupec matice W = DU. Z těchto vztahů a ze (3.2) lze také ukázat, že vektory v i jsou pravé vlastní vektory matice Q a vektory w i jsou levé vlastní vektory matice Q. Pro další postup bychom potřebovali vědět něco víc o vlastních číslech matice intenzit přechodu Q. Avšak matice Q není stochastická a tudíž nemůžeme přímo použít Perron-Frobeniovu větu. Označme matici R := I + 2 Q, která vznikne jako součet matice jednotkové a -násobku matice Q. Matice R je 2 stochastická, primitivní a má stejné stacionární rozdělení jako matice Q. Protože všechna vlastní čísla matice Q jsou reálná a pro vlastní čísla {λ i } r i= matice Q a vlastní čísla {β i } r i= matice R platí stejný vztah jako pro jejich matice β i = + 2 λ i, tak i matice R má všechna vlastní čísla reálná. Z Perron-Frobeniovy věty pro reálná vlastní čísla {β i } r i= matice R platí = β > β 2... β r. S pomocí této nerovnosti dostaneme ze vztahu pro vlastní čísla {λ i } r i= a {β i } r i= důležitou vlastnost vlastních čísel matice Q: 0 = λ > λ 2... λ r 4. Dále lze z definice vlastního vektoru dokázat, že matice Q a matice R mají stejné vlastní vektory. Tedy vektory v i (resp. w i ) jsou také pravé (resp. levé) vlastní vektory matice R. Protože matice R je stochastická, pravý vlastní vektor v příslušný 2

22 vlastnímu číslu β = je roven jednotkovému vektoru a levý vlastní vektor w příslušný vlastnímu číslu β = je roven vektoru π, tudíž stacionárnímu rozdělení matice R. Ze vztahů (3.) a (3.4) po dosazení známých vlastních vektorů dostaneme P(t) = r e λi t v i wi T = π T + i= r e λi t v i wi T, i=2 nebo-li r P(t)x = x π + e λi t v i v i, x π, kde x R r je libovolný vektor. Nyní můžeme odhadnout rychlost konvergence P(t) k π T t. i=2 v normě l 2 (π), když Věta 3.4 Necht (X t ) t 0 je Markovův řetězec s maticemi pravděpodobností přechodu P(t) a s nerozložitelnou a reversibilní maticí intenzit přechodu Q stupně r, jejíž stacionární rozdělení je π, a λ 2 je její druhé největší vlastní číslo. Potom platí pro libovolný x R r. Důkaz: Z předchozích úvah máme P(t)x π T x π x π e λ 2 t P(t)x x π = r e λi t v i v i, x π, i=2 tedy P(t)x x π 2 π = ( r ) 2 π l e λi t v li v i, x π = l I i=2 r r = e λi t e λj t v i, x π v j, x π v i, v j π i=2 j=2 Protože vektory {v,..., v r } jsou ortonormální v l 2 (π), je v i, v j π = δ ij. Po dosazení tohoto vztahu do předchozího výrazu dostaneme P(t)x x π 2 π = r r (e λi t ) 2 ( v i, x π ) 2 (e λ2 t ) 2 v i, x π 2 = i=2 i=2 = (e λ 2 t ) 2 V ar π (x) (e λ 2 t ) 2 ( x π ) 2 22

23 A po odmocnění dostáváme požadované tvrzení. Z uvedeného odhadu je vidět, že druhé největší vlastní číslo λ 2 matice Q má rozhodující vliv při odhadu rychlosti konvergence k ekvilibriu a že tato rychlost je exponenciální. Jelikož největší vlastní číslo matice Q je (jak plyne z Frobeniovy věty) nula a má násobnost, význam čísla λ 2 z předchozího odhadu je vlastně vzdálenost mezi dvěmi největšími vlastními čísly. Definice 3.5 Absolutní hodnota λ 2 druhého největšího vlastního čísla matice intenzit přechodu se nazývá spektrální mezera. 3.3 Rychlost konvergence k ekvilibriu pro náhodnou procházku Již jsme ukázali, že náhodná procházka na grafu G n je reversibilní Markovův řetězec. Platí tedy pro ni odhad rychlosti konvergence P(t) k π T uvedený ve větě 3.4. Tento odhad má však nevýhodu, že je někdy obtížné určit vlastní čísla matice Q. Tedy než hledání vlastních čísel této matice se používá odhad (dolní mez) pro její spektrální mezeru. Tato dolní mez se získá z Poincarého koeficientu (podrobněji viz [], str. 23) a souvisí se strukturou grafu přechodu G n. Uved me zde větu, která nám dává takovýto odhad. Věta 3.6 Necht Q je matice intenzit přechodu náhodné procházky na grafu G n a λ 2 je její druhé největší vlastní číslo. Potom kde λ 2 2 G n d 2 B γ, d = max i I d i, γ = max γ ij, kde γ ij je cesta z i do j, tedy posloupnost i, i,..., i m, j taková, že p ii... p imj > 0, kde se žádná hrana nepoužije dvakrát. Dále B = max {γ Γ; e γ}, e E kde a E je množina všech hran grafu G n a Γ = {γ ij } i,j I je předem zvolená množina cest (pro každou dvojici (i, j) jediná cesta). Důkaz: Viz [], str

24 Poznámka 3.7 Tedy γ je nejdelší možná cesta na grafu G n taková, že se v ní žádná hrana neopakuje, a B je maximální počet cest procházejících jednou hranou grafu G n. Ale v našem odhadu chceme ještě trochu víc. Máme posloupnost matic intenzit přechodu Q n příslušných náhodné procházce na grafu G n a nás zajímá jejich spektrální mezera jako funkce parametru n N. Příklad 3.8 Náhodná procházka na přímce (viz příklad.) Připomeňme si z příkladu.3 grafy G n, po kterých se částice pohybuje. Ze struktury grafů G n dostaneme: G n = 2n, d = 2, B = n(n + ), γ = 2n. A tedy λ 2 (n) 2n(n + ). Příklad 3.9 Náhodná procházka na úplném binárním stromě (viz příklad.2) Grafem T n, po kterém se částice pohybuje, je úplný binární strom, který má n hladin. Podrobněji je tento graf popsán v příkladu.5. Opět uvažujeme tuto procházku se spojitým časem. Ze struktury grafů T n dostaneme: T n = 2 n+ 2, d = 3, B = 2 n (2 n ), γ = 2n. A tedy λ 2 (n) 9n2 n. Na závěr této práce se budeme věnovat právě této náhodné procházce na úplném binárním stromě. Nalezneme odhad spektrální mezery, který je řádově lepší než odhad uvedený v příkladu 3.9. Tento odhad plyne z přímého výpočtu druhého největšího vlastního čísla matice intenzit přechodu. Věta 3.0 Necht Q n je matice intenzit přechodu náhodné procházky na úplném binárním stromě T n, který má n hladin (tudíž 2 n+ vrcholů), a λ 2 (n) je její druhé největší vlastní číslo. Potom λ 2 (n) 2 n+2. Důkaz: Vlastní čísla matice Q n lze vyjádřit jako kořeny rovnice det(λi Q n ) = 0. Důkaz provedeme ve třech krocích. V prvním kroku upravíme det(λi Q n ). Ve druhém kroku najdeme polynom, jehož největším kořenem je γ2 2 = ( + λ 2 ) 2. Ve třetím kroku provedeme odhad pro λ 2.. Matici intenzit přechodu Q n+ jsme popsali v příkladu.2. Označme matici λi Q n = Ãn = {ã ij } i,j I. Dolní index matice nám říká, že matice Ãn má 24

25 rozměr (2 n+ ) (2 n+ ). Rekurzivní vztah platící pro matici Q n přenáší i na matici à n. Ta má tedy tvar A n b n 0 à n = a T n γ a T n, 0 b n A n (2 n+ ) (2 n+ ) se kde A n = λi Q n, matice Q n, 0 a vektory a n, b n jsou již popsány v příkladu.2. Pro zjednodušení dalších výpočtů jsme zavedli značení γ = +λ. Protože všechna vlastní čísla λ j matice Q n jsou reálná, jsou reálná i γ j pro všechna j I. Dále víme, že λ = 0 a λ j ( 4, 0) pro j {2,..., 2 n + }. Tedy γ = a γ j ( 3, ) pro j {2,..., 2 n + }. Nyní vyjádříme Ãn s pomocí matic o řád nižších. Opakovaně použijeme úpravu, která determinant nezmění. Je to přičtení lineární kombinaci řádků (sloupců) k jinému řádku (sloupci). A nakonec rozvineme determinant podle prostředního sloupce. Dostaneme Ãn = A n b n 0 0 T γ a T n 2A n 0 A n = A n 0 C n 0 T γ a T n 2A n 0 A n = = A n 0 C n 0 T γ a T n 0 0  n = A n T γ a T n 0 0  n = = γ A n 0 0  n = γ An  n, kde 0 je nulový vektor délky (2 n ) a C je matice, která má jediný nenulový prvek c 2 n,2 n =. Stejným postupem budeme upravovat determinanty 6γ dále, dokud nezískáme matice o rozměru 3 3. Při těchto úpravách vznikají posloupnosti matic {Âk l k }l k= a {Ak l k }l k=0, kde l {2, 3,..., n}. Všechny matice v těchto posloupnostech jsou stejné s maticemi stejného rozměru A l k, liší se pouze v prostředním prvku matice. Horní index udává prostřední prvek tak, že matice A k n má uprostřed prvek a k a matice Âk n má uprostřed â k. Obecný vztah mezi determinanty matic v těchto posloupnostech je A k l k = a k A l k A k+ l k = A l k A k+ l k Âk l k = â k A l k Âk+ l k = Al k Âk+ l k. 25

26 Druhou úpravu (vynechání prostředního prvku ze součinu) jsme provedli, protože se tento prvek vyskytuje ve jmenovateli determinantu A k+ l k (resp. Âk+ l k ). Tato vlastnost bude jasnější, když si popíšeme prostřední prvky. Tyto prvky tvoří posloupnosti {a k } n k=0 a {â k} n, pro které platí a 0 = γ, a k = γ 2 9a k pro k {,..., n }, (3.5) k= â = γ 3γ, â k = γ 2 9â k pro k {2,..., n }. (3.6) Tvar těchto diferenčních rovnic vyplývá z jednotlivých kroků úpravy determinantu na součin determinantů matic o řád nižších. Nyní použijeme indukci Ãn = γ Â n A 2n 2 A 2n 3... A n 2 20 = 0. (3.7) Poznamenejme, že řešením této rovnice dostaneme právě všechna vlastní čísla matice Q n. 2. Pro získání vlastních čísel řešíme rovnici Ãn = 0. Protože chceme určit pouze druhé největší vlastní číslo γ 2 (n) = + λ 2 (n), stačí najít činitele v (3.7), jehož kořenem je γ 2 (n). Protože γ 2 (n) je funkcí n, která není konstantní, tak hledaný činitel bude ten, který je ve výrazu Ãn nový. Tím myslíme, že se neobjevuje ve výrazu Ãn. Takoví činitelé jsou Ân a A n 2. Z jejich tvaru lze ukázat, že γ 2 (n) je největším kořenem rovnice A n 2 = γ 0 3 a n γ = γ(γa n ) = 0. Pro vyřešení této rovnice potřebujeme znát a n 2. Určíme ho pomocí diferenčních rovnic (3.5). Definujme si novou posloupnost {z k } n k=2, pro kterou platí a k = z k+2 z k+, k {0,..., n 2}. Tento vztah dosadíme do (3.5), a tedy {z k } n k=0 je řešením diferenční rovnice z k+2 γz k z k = 0 pro k {0,..., n } s počátečními podmínkami z 0 = 0, z =. Vyřešením těchto rovnic dostaneme z k = (u k v k γ + γ 2 8 γ γ ), kde u = a u = γ

27 pro všechna k {0,..., n}a tedy a n 2 = (un v n ) (u n v n ), přičemž musí být γ 2 8 > 0. Protože hledáme γ 9 2(n) a ne všechna vlastní čísla, stačí nám splnění této v podmínky ve tvaru γ2(n) 2 8 > 0. Pro n = 3 9 je γ2(3) 2 = 8 a pro n 4 je 9 γ2 2(n) > 8. Proto další výpočty budou platit pro 9 n 4. Číslo γ 2(n) je řešením rovnice γa n 2 2 = 0, nebo-li 3 γ(u n v n ) = 2 3 (un v n ). (3.8) Použijeme vzorec pro binomický rozvoj a substituci γ 2 = x a vyjádříme u k v k = 2 k k+ 2 l= (x 8 9 )l 2 x k+ 2 l ( k 2l Dosazením tohoto vztahu do (3.8) dostaneme rovnici, jejíž řešení je ekvivalentní s kořeny následujících polynomů ). p n = q n = n 2 [ (x 8 9 )k x n 2 k x ( n k= n 2 k= 2k (x 8 9 )k x n 2 k [x ( n 2k ) 4 3 ) 4 ( n ) ] 2k 3 ( n ) ] + (x 8) n 2, 2k 9 (3.9) kde p n je polynom pro sudá n 4 a q n je pro lichá n Kořeny polynomu p n (resp. q n ) jsou reálná čísla. Protože γ 2 = x a všechny mocniny u x v polynomech jsou celá čísla, jsou čísla γ j, j I rozmístěna na reálné ose symetricky podle 0, a proto leží v intervalu (, ). Tedy všechny kořeny polynomu p n (resp. q n ) leží v intervalu (0, ). Najít explicitně kořeny těchto polynomů je obtížné. Budeme se tedy zabývat pouze největším kořenem x 2 = γ 2 2, resp. jeho horním odhadem. Víme, že tento kořen je menší než. Tedy nejprve spočítáme hodnotu polynomu p n (resp. q n ) v bodě a v tomto bodě ho aproximujeme tečnou. Průsečík této tečny s osou bude horní odhad pro x 2. Hodnotu polynomu p n (resp. q n ) v bodě získáme dosazením x = do (3.9). Při úpravách využijeme vztahu ( ) ( n 2k = n ) ( 2k + n 2k 2). Platí ( 2 ) n. p n () = q n () = 3 27

28 Abychom mohli polynom aproximovat přímkou, spočítáme derivaci polynomu p n (resp. q n ) v bodě. Tedy zderivujeme (3.9), dosadíme x =, a po úpravách vyjde p n() = 4( 4 3 )n ( 2 3 )n ( 3n+4 ) 2 q n() = 4( 4 3 )n ( 2 3 )n ( 3n+5 ). 2 Nyní si můžeme vyjádřit tečnu t(x) k polynomu p n t(x) = [ ( 4 ) n ( ) n ( 3n + 4 )] ( 2 x ) n ( 3n + 6 ) ( 4 ) n Vidíme, že polynom p n má v bodě kladnou hodnotu a je rostoucí na intervalu p (x 2, ). Proto na tomto intervalu také platí n. Analogicky to splňuje t(x) i q n. To znamená, že jestliže označíme x 0 průsečík t(x) s osou x, tak platí x 2 x 0. Průsečík x 0 bude tedy horním odhadem x 2 a je roven x 0 = p n() p n() = 4 2 n 3n+4 Označme y = 4 2 n 3n Nyní můžeme hledat dolní odhad spektrální mezery λ 2 (n) = γ 2 = x 2 x 0 = x 0 + x 0 = Nejprve upravme y 4 2 n 2. + a dále použijme tuto nerovnost pro dolní odhad spektrální mezery λ 2 (n) 2y 8 2 n. y y. 28

29 Závěr V této práci jsme se zabývali náhodnou procházkou na grafu a jejím chováním v nekonečném čase. Našli jsme stacionární rozdělení náhodné procházky na konečném grafu a ukázali jsme, že pro náhodnou procházku na nekonečném grafu stacionární rozdělení neexistuje. Uvedli jsme, že pokud existuje stacionární rozdělení, pak náhodná procházka s libovolným počátečním rozdělením vždy konverguje ke stacionárnímu rozdělení, říkáme k ekvilibriu. Hlavním cílem této práce byla rychlost této konvergence, kterou jsme zkoumali pro náhodnou procházku se spojitým časem. Dokázali jsme, že rychlost konvergence k ekvilibriu je exponenciální a závisí na druhém největším vlastním čísle matice intenzit přechodu. Proto jsme dále uvedli geometrický odhad pro vzdálenost mezi největším a druhým největším vlastním číslem, nebo-li pro spektrální mezeru. Pro podrobnější studium jsem si vybrala náhodnou procházku na úplném binárním stromě hloubky n a našla jsem pro něj dolní odhad spektrální mezery v závislosti na n. V porovnání s uvedeným geometrickým odhadem je náš odhad spektrální mezery řádově lepší. Závěrem bych chtěla podotknout, že obdržený odhad je nejlepším možným, viz [2], str. 48, kde je uveden tvar druhého největšího vlastního čísla. 29

30 Literatura [] Brémaud P.: Markov chains : Gibbs fields, Monte Carlo simulation, and queues, Springer, New York, 999. [2] Diaconis P., Stroock D.:The Annals of Applied Probability, Vol., No., 99, 36-6 [3] Norris J.R.: Markov chains, Cambridge University Press, Cambridge, 997. [4] Prášková Z., Lachout P.: Základy náhodných procesů, Karolinum, Praha, 200. [5] Seneta E.: Nonnegative matrices and Markov chains, Springer, New York,