MASARYKOVA UNIVERZITA

MASARYKOVA UNIVERZITA PŘÍRODOVĚDECKÁ FAKULTA ÚSTAV MATEMATIKY A STATISTIKY Bakalářská práce BRNO 2012 VLASTISLAV FORCH

MASARYKOVA UNIVERZITA PŘÍRODOVĚDECKÁ FAKULTA ÚSTAV MATEMATIKY A STATISTIKY Pravděpodobný výsledek jednoduché poziční hry Bakalářská práce Vlastislav Forch Vedoucí práce: Mgr. David Kruml, Ph.D. Brno 2012

Bibliografický záznam Autor: Název práce: Studijní program: Studijní obor: Vedoucí práce: Vlastislav Forch Přírodovědecká fakulta, Masarykova univerzita Ústav matematiky a statistiky Pravděpodobný výsledek jednoduché poziční hry Aplikovaná matematika Finanční a pojistná matematika Mgr. David Kruml, Ph.D. Akademický rok: 2011/2012 Počet stran: ix + 34 Klíčová slova: markovský řetězec; stav; pravděpodobnost přechodu; matice přechodu; absorpce; MATLAB; poziční hra; herní plán; strategie; hadi a žebříky

Bibliographic Entry Author: Title of Thesis: Degree Programme: Field of Study: Supervisor: Vlastislav Forch Faculty of Science, Masaryk University Department of Mathematics and Statistics Probable result of a simple extensive game Applied Mathematics Financial and Insured Mathematics Mgr. David Kruml, Ph.D. Academic Year: 2011/2012 Number of Pages: ix + 34 Keywords: Markov chain; state; probability of transition; transition matrix; absorption; MATLAB; extensive game; game plan; strategy; Snakes and Ladders

Abstrakt Práce se věnuje výpočtu pravděpodobného výsledku hry hadi a žebříky pomocí markovských řetězců. V první části se zaměřuje na teorii markovských řetězců. V druhé části jsou tyto teoretické znalosti aplikovány. Konec práce nastiňuje řešení obtížnějších problémů. Abstract This thesis focuses on computation of the probable result of the game Snakes and Ladders using Markov chains. In the first part we study theory of Markov chains. In the second part we use these knowledge. The end of the thesis deals with more difficult problems.

Poděkování Na tomto místě bych chtěl poděkovat Mgr. Davidu Krumlovi, Ph.D., vedoucímu mé bakalářské práce, za cenné rady a připomínky k práci. Děkuji také za ochotu a čas, který mi věnoval. Prohlášení Prohlašuji, že jsem svoji bakalářskou práci vypracoval samostatně s využitím informačních zdrojů, které jsou v práci citovány. Brno 29. května 2012.......................... Vlastislav Forch

Obsah Úvod....................................................................... viii Kapitola 1. Jednoduchá poziční hra........................................ 1 1.1 Poziční hra........................................... 1 1.2 Hadi a žebříky......................................... 1 1.2.1 Klasická hra...................................... 1 1.2.2 Upravená hra..................................... 2 Kapitola 2. Markovské řetězce............................................. 4 2.1 Stochastický proces..................................... 4 2.2 Markovský řetězec..................................... 5 2.2.1 Vlastnosti markovského řetězce........................ 7 2.3 Homogenní markovský řetězec............................ 9 2.3.1 Vlastnostni homogenního markovského řetězce............ 10 2.3.2 Přechodový diagram................................ 10 2.4 Stavy homogenního markovského řetězce.................... 12 2.5 Absorpční řetězec...................................... 13 Kapitola 3. Hadi a žebříky jako homogenní markovský řetězec........... 16 3.1 Vektor počátečních pravděpodobností....................... 17 3.2 Matice přechodu....................................... 17 3.3 Výpočet vektorů absolutních pravděpodobností............... 19 3.4 Absorpční řetězec...................................... 24 3.5 Výsledky............................................. 26 Kapitola 4. Dva hráči, strategie............................................ 29 4.1 Dva hráči............................................ 29 4.2 Strategie............................................. 32 Seznam použité literatury................................................. 33 vii

Úvod Tato bakalářská práce, jak již název napovídá, se zabývá možností výpočtu pravděpodobného výsledku jednoduché poziční hry. Za tuto hru byla zvolena všeobecně známá desková hra hadi a žebříky. Využito bylo teorie markovských řetězců, konkrétně je hra modelována jako absorpční homogenní markovský řetězec s diskrétním časem i stavy. Tento model může být využit i pro další podobné hry, popřípadě může s menšími úpravami řešit některé vhodné ekonomické problémy. Markovské řetězce naleznou uplatnění také v pojistné matematice. Při psaní práce byly uplatněny také poznatky z teorie her, zejména v poslední kapitole. Hra byla vybrána hlavně kvůli jednoduchosti svých pravidel a přehlednosti herního plánu, což oceníme především při sestavování matice přechodu, která je jednou z nejdůležitějších věcí pro další výpočty. Herní plán byl však zmenšen. Drobně byla upravena také pravidla hry, kdy uvažujeme pouze jednoho hráče. Za nejzásadnější výsledek lze považovat výpočet střední hodnoty počtu okamžiků, které řetězec stráví v neabsorpčních stavech než bude absorbován. Tuto střední hodnotu lze interpretovat jako počet hodů kostkou (tahů), které jsou potřebné k dohrání hry. Pro naši hru je to 13 hodů kostkou, začínáme-li na prvním poli. Hru však lze dohrát i po pouhých 3 hodech kostkou. Pro jednotlivé výpočty byl použit výpočetní systém MATLAB. Jedná se o komerční systém a jeho užívání je tedy zpoplatněno. Můžeme jej však zdarma využít v počítačových učebnách Ústavu matematiky a statistiky na Přírodovědecké fakultě Masarykovy univerzity. Alternativou k MATLABu může být jazyk R, který je bezplatný. Tento jazyk je dostupný například z http://www.r-project.org/. Práce je rozčleněna do čtyř kapitol. První kapitola se věnuje hře samotné, jejím pravidlům a základním principům. Poznatky k této kapitole jsou čerpány ze zdrojů [1], [2] a [12]. Druhá kapitola se věnuje teorii markovských řetězců. Pro její sestavení byla použita literatura [3], [4], [5] [6], [7], [8] a [9]. Taktéž bylo využito studijních materiálů RNDr. Marie Budíkové, Dr. k předmětu M5444 Markovské řetězce, který jsem navštěvoval. Tento teoretický aparát není kompletní teorií k markovským řetězcům. Hra je reprezentována jako absorpční řetězec, proto v této práci nenalezneme například řetězce regulární. V třetí kapitole nalezneme model hry hadi a žebřky jako homogenní markovský řetězec a samotné výpočty s pomocí systému MATLAB. Z literatury zde byly viii

Úvod ix využity především zdroje [10] a [11]. Pro sestavení grafu znázorňující pravděpodobnost dohrání hry při m-tém hodu kostkou bylo využito práce [13]. Poslední, čtvrtá kapitola se věnuje otázce dvou hráčů a hře, ve které má hráč více figurek. Pro napsání této kapitoly bylo využito zdrojů [1] a [2].

Kapitola 1 Jednoduchá poziční hra 1.1 Poziční hra Poziční hry jsou často hry pro dva hráče, kdy oba mají určitou množinu strategií, ze které mohou volit. Hráči se střídají v tazích, přičemž jeden hráč vždy reaguje na tah druhého hráče a volí nejlepší možnou strategii z té pozice, ve které se nachází po tahu protihráče. Řada těchto her se hraje na desce, kterou můžeme nazvat herní plán. Mezi nejznámější poziční hry patří šachy, dáma, člověče, nezlob se, či třeba karetní hra válka. Z moderních her pak můžeme jmenovat například Activity. Také hru hadi a žebříky, jíž se podrobně věnuje tato práce, můžeme považovat za poziční hru. Hra hadi a žebříky je z pohledu teorie her hrou jednoho hráče, kterým je příroda. Ta hází kostkou a hráči pak podle hodu posouvají svou figurku. Prostor pro plnohodnotné využití strategie se zde naskýtá v případě, že má hráč více figurek a může po hodu kostkou zvolit, kterou figurkou táhne. 1.2 Hadi a žebříky 1.2.1 Klasická hra Hadi a žebříky je klasická desková hra. Herní plán má nejčastěji sto polí uspořádaných do čtverce o straně deseti polí. Tato pole jsou očíslována od 1 do 100. Dvojice náhodných polí jsou spojeny takzvanými žebříky, případně hady. Jejich počet bývá zpravidla vyrovnaný a odvíjí se od rozměrů desky. Hra je určena pro 2 až 6 hračů. Každý hráč umístí svoji figurku na pole číslo 1. Hráči hazí po řadě kostkou ve směru hodinových ručiček. Hráč svou figurku posune vždy o tu hodnotu, která padne na jeho kostce. 1

Kapitola 1. Jednoduchá poziční hra 2 Pokud hráč vstoupí na pole, kde začíná žebřík nebo had, vyšplhá na pole, kde tento žebřík končí, popřípadě sjede po hadovi dolů na jeho konec. Vstoupí-li hráč na pole, kde se nachází figurka jiného hráče (protihráče), musí protihráč svou figurku přesunout zpět na pole startovní. Vyhrává ten, kdo jako první dosáhne pole číslo 100. Obrázek 1.1: Herní plán 10 10 polí 1.2.2 Upravená hra Pro potřeby této práce bylo nutné pozměnit pravidla a sestavit menší herní plán než je běžné, především kvůli sestavení matice přechodu homogenního markovského řetězce, které se budeme podrobně věnovat později. Pro představu uved me, že pokud bychom zachovali rozměry herního plánu 10 10 polí se sedmi hady a sedmi žebříky, matice přechodu pro jednoho hráče s jednou figurkou by měla rozměry 86 86. Upravený herní plán má pouze 5 5 polí. Snížen byl také počet hadů a žebříků na dva od každého. 25 polí plánu budou číslována od 0 do 20, kde pole, na nichž začíná žebřík nebo had, číslována nebudou. Tento krok bude rozebrán později v souvislosti s homogenními markovskými řetězci. Pokud by měl hráč po svém tahu figurku na jednom z těchto (nečíslovaných) polí, posune ji nahoru nebo dolů podle toho, zda na políčku začíná žebřík či had, stejně jako v klasické hře. Přestože nejsou tato pole očíslována, při pohybu figurkou se počítá i s nimi, stejně jako by číslována byla. Například: Padne-li při prvním hodu kostkou hodnota 5, přesune hráč figurku na pole číslo 4. Bude-li hodnota na kostce 3, přemístí se hráč na pole s číslem 10, jelikož se dostane na začátek žebříku, který končí na poli 10. Pro výpočet budeme uvažovat pouze jednoho hráče s jednou figurkou. Hráčem ve smyslu teorie her je však příroda, která hází kostkou a volí ze svých šesti

Kapitola 1. Jednoduchá poziční hra 3 možných strategií (hodnot na kostce). Figurka je pak přemístěna podle výsledku hodu. Hráč umístí svou figurku na pole číslo 0 a hází kostkou. Po každém hodu se hráč posune o hodnotu, která padla na hrací kostce. Vstoupí-li hráč na pole, kde začíná žebřík nebo had, přesune figurku na jeho konec. Cílem hry je dostat se na pole číslo 20. Hráči ovšem musí padnout na kostce stejná hodnota, jako je počet polí, která mu zbývají na pole poslední. Bude-li hodnota na kostce vyšší, hráč zůstává na stejném poli jako před hodem a hází znovu. Obrázek 1.2: Herní plán 5 5 polí

Kapitola 2 Markovské řetězce Nejprve ze všeho si vybudujeme teoretický aparát, na jehož základě pak můžeme převést hru hadi a žebříky na homogenní markovský řetězec. Jelikož se předpokládají alespoň základní znalosti čtenáře z počtu pravděpodobnosti, v teoretické části zmíníme nejdříve stochastické procesy a poté markovské řetězce s diskrétním časem, jejichž speciálním případem jsou homogenní markovské řetězce. S jejich pomocí budeme počítat pravděpodobný výsledek hry. 2.1 Stochastický proces Definice 2.1. Necht je dán pravděpodobnostní prostor (Ω, A, P), množina T R reprezentující čas a reálná funkce X : Ω T R definovaná pro každé ω Ω a t T. Necht pro všechna t T je X(ω, t) náhodná veličina vzhledem k A. Potom {X(ω, t) : ω Ω, t T} nazýváme stochastický proces. Poznámka. V dalším textu zavedeme pro náhodnou veličinu značení X t a stochastický proces budeme značit jako {X t, t T}. Definice 2.2. Necht {X t, t T} je stochastický proces. Jestliže je T spočetná, lineárně uspořádaná množina (tj. t 0 < t 1 < < t n ), jde o stochastický proces s diskrétním časem. Je-li T interval, mluvíme o stochastickém procesu se spojitým časem. Definice 2.3. Necht {X t, t T} je stochastický proces. Množinu všech hodnot, jichž může nabýt náhodná veličina X t nazýváme množina stavů a označíme ji J, její prvky pak budeme nazývat stavy. Je-li množina stavů stochastického procesu spočetná ( t T je náhodná veličina X t diskrétní), jedná se o stochastický proces s diskrétními stavy. Pokud je t T náhodná veličina X t spojitá, jde o stochastický proces se spojitými stavy. 4

Kapitola 2. Markovské řetězce 5 V případě stochastických procesů s diskrétními stavy se množina stavů promítá nejčastěji do množiny přirozených čísel (J = {1, 2, 3,... }), která může být doplněna nulou (J = {0, 1, 2, 3,... }). Toto číslování má však význam pouze jako označení stavů, neudává žádnou hodnotu. Na závěr této části definujeme stochastický vektor a stochastickou matici. Definice 2.4. Necht má řádkový vektor nejvýše spočetné množství nezáporných složek se součtem, jenž je roven 1, pak tento vektor bude nazýván stochastický vektor. Je-li každý řádek čtvercové matice stochastickým vektorem, nazýváme tuto matici stochastickou maticí. 2.2 Markovský řetězec Definice 2.5. Necht N 0 = {0, 1, 2,... } je indexová množina, její prvky nazveme okamžiky a J = {1, 2,..., n} případně J = {0, 1, 2,..., n} je spočetná množina stavů 1. Stochastický proces {X n, n N 0 }, pro který náhodná veličina X n nabývá hodnot z množiny stavů J, nazveme markovským řetězcem s diskrétním časem, splňuje-li následující dvě podmínky: j J n N 0 : P (X n = j) > 0 (2.1) P (X n = j n X n 1 = j n 1 X n 2 = j n 2 X 0 = j 0 ) = P (X n = j n X n 1 = j n 1 ) (2.2) pro všechna n N 0 a všechna j 0, j 1,..., j n J taková, že P (X n 1 = j n 1 X n 2 = j n 2 X 0 = j 0 ) > 0. Markovské řetězce jsou tedy stochastické procesy, které počítají s diskrétností času i stavů a splňují dva vztahy. Vztah (2.1) popisuje vyloučení nepotřebných stavů. Tento vztah říká, že ke každému j J existuje alespoň jeden takový okamžik n N 0, v němž je pravděpodobnost, že se markovský řetězec nalézá právě ve stavu j, kladná. Vztah (2.2) vyjadřuje markovskou vlastnost. Ta říká, že na budoucí stav mají dosavadní stavy řetězce vliv jen prostřednictvím stavu přítomného. To znamená, že v okamžiku n je pravděpodobnost výskytu stavu j n závislá pouze na bezprostředně předcházejícím stavu v okamžiku n 1. Nyní zavedeme značení typické pro markovské řetězce: 1 Obecně můžeme stavy značit malými písmeny, popřípadě indexy j 0, j 1,..., j n.

Kapitola 2. Markovské řetězce 6 Nachází-li se markovský řetězec v čase n ve stavu j, použijeme následující značení. {X n = j} Pravděpodobnost, že se markovský řetězec nachází ve stavu j v okamžiku n (tj. P (X n = j)), nazveme absolutní pravděpodobnost stavu j v čase n a symbolicky zapíšeme p j (n). Vektor absolutních pravděpodobností v čase n zapíšeme jako p(n) = ( p j0 (n), p j1 (n),..., p jn (n) ). Absolutní pravděpodobnost stavu j v čase n = 0 (tj. P (X 0 = j)) nazýváme počáteční pravděpodobnost stavu j a značíme: p j (0). Vektor počátečních pravděpodobností pak zapíšeme následovně: Podmíněna pravděpodobnost p(n) = ( p j0 (0), p j1 (0),..., p jn (0) ). P (X n+1 = j X n = i ) = p ij (n, n + 1) se nazývá pravděpodobnost přechodu ze stavu i v čase n do stavu j v čase n + 1 (také pravděpodobnost přechodu 1. řádu). Podobně P (X n+m = j X n = i ) = p ij (n, n + m) se nazývá pravděpodobnost přechodu ze stavu i v čase n do stavu j v čase n + m (někdy též pravděpodobnost přechodu m-tého řádu), pro přirozené m 1. Pomocí pravděpodobností přechodu můžeme sestavit matici přechodu 1. či vyššího řádu: Matice přechodu 1. řádu: p j0 j 0 (n, n + 1) p j0 j 1 (n, n + 1)... p j0 j n (n, n + 1) p j1 j P(n, n + 1) = 0 (n, n + 1) p j1 j 1 (n, n + 1)... p j1 j n (n, n + 1)....... p jn j 0 (n, n + 1) p jn j 1 (n, n + 1)... p jn j n (n, n + 1)

Kapitola 2. Markovské řetězce 7 Matice přechodu m-tého řádu: p j0 j 0 (n, n + m) p j0 j 1 (n, n + m)... p j0 j n (n, n + m) p j1 j P(n, n + m) = 0 (n, n + m) p j1 j 1 (n, n + m)... p j1 j n (n, n + m)...... p jn j 0 (n, n + m) p jn j 1 (n, n + m)... p jn j n (n, n + m) opět pro přirozené m 1. 2.2.1 Vlastnosti markovského řetězce Věta 2.1. Necht {X n, n N 0 } je markovský řetězec. Jestliže existují níže uvedené podmíněné pravděpodobnosti, platí pro n, m, m 1, m 2 N 0 i, j, k J: a) b) P (X n+m = j X n = i ) 0 tj. p ij (n, n + m) 0 Pravděpodobnost přechodu ze stavu i v čase n do stavu j v čase n + m je vždy nezáporná. P (X n = j X n = i ) = { 1 pro i = j 0 pro i = j tj. p ij (n, n) = { 1 pro i = j 0 pro i = j Pravděpodobnost přechodu ve stejném okamžiku je jev jistý, jestliže nedojde ke změně stavu (tj. i = j). V opačném případě (tj. i = j) je tato pravděpodobnost nulová. P (X n+m = j X n = i ) = 1 tj. p ij (n, n + m) = 1 j J j J Součet prvků každého jednoho řádku matice přechodu, tedy součet pravděpodobností přechodu ze stavu i do všech stavů řetězce (včetně setrvání ve stavu i) je vždy roven 1. Každý řádek matice přechodu je tedy stochastickým vektorem a celá matice přechodu je pak stochastickou maticí podle definice 2.4. c) Chapmanova-Kolmogorovova rovnice: tj. P (X n+m1 +m 2 = j X n = i ) = (X n+m1 = k X n = i ) P (X n+m1 +m 2 = j X n+m1 = k ) k J p ij (n, n + m 1 + m 2 ) = p ik (n, n + m 1 )p kj (n + m 1, n + m 1 + m 2 ) k J (2.3)

Kapitola 2. Markovské řetězce 8 Je-li řetězec ve stavu i v čase n, do stavu j v čase n + m 1 + m 2 se dostane tak, že v čase n + m 1 přestoupí do libovolného stavu k a poté do stavu j v čase n + m 1 + m 2. d) Zákon evoluce: P (X n+m = j) = P (X n = k ) P (X n+m = j X n = k ) k J tj. p j (n + m) = p k (n)p kj (n, n + m) k J (2.4) Do stavu j v čase n + m se lze dostat přes libovolný stav k v čase n. Důkaz. a) Podle definice 2.5, konkrétně vztahu (2.1) vyloučení nepotřebných stavů: P (X n = j X n = i) 0 a P (X n = i) > 0. Pak: P (X n = j X n = i ) = P (X n = j X n = i) 0 P (X n = i) (X n = j X n = i ) = P (X n = j X n = i) P (X n = i) = { 1 pro i = j 0 pro i = j b) c) j J P (X n+m = j X n = i ) = P j J{X n+m = j} X n = i = P (Ω {X n = i}) P (X n = i) = 1 P (X n+m1 +m 2 = j X n = i ) = P(X n+m1 +m 2 =j X n =i) P(X n =i) = P({X n+m 1 +m 2 =j} Ω {X n =i}) P(X n =i) = P({X n+m1 +m 2 =j} k J{X n+m1 =k } {X n =i}) P(X n =i) = k J P(X n =i X n+m1 =k X n+m1 +m 2 =j) P(X n =i) = k J P(X n =i)p(x n+m1 =k X n =i)p(x n+m1 +m 2 =j X n+m1 =k X n =i) P(X n =i) = k J P(X n =i)p(x n+m1 =k X n =i)p(x n+m1 +m 2 =j X n+m1 =k) P(X n = =i) P (X n+m1 = k X n = i ) P (X n+m1 +m 2 = j X n+m1 = k ) k J

Kapitola 2. Markovské řetězce 9 d) P (X n+m = j) = P (Ω {X n+m = j}) = P k J{X n = k } {X n+m = j} = P (X n = k X n+m = j) = k J P (X n = k ) P (X n+m = j X n = k ) k J Poznámka. Předchozí větu 2.1 lze zapsat také maticově. a) P(n, n + m) 0, kde 0 je nulová matice, P(n, n) = I, kde I je jednotková matice b) P(n, n + m)e = e, kde e je sloupcový vektor ze samých jedniček c) P(n, n + m 1 + m 2 ) =P(n, n + m 1 )P(n + m 1, n + m 1 + m 2 ) d) p(n + m) =p(n)p(n, n + m) 2.3 Homogenní markovský řetězec Definice 2.6. Markovský řetězec {X n, n N 0 } s množinou stavů J nazveme homogenním, pokud pravděpodobnost přechodu ze stavu i do stavu j v čase n + 1, p ij (n, n + 1), nezávisí na časovém okamžiku n, tedy pro všechny hodnoty i, j J p 00 p 01... p 0n p 10 p 11... p 1n a n N 0 platí p ij (n, n + 1) = p ij. Pak matici P=...... nazýváme p n0 p n1... p nn maticí přechodu a číslo p ij pravděpodobností přechodu. Pravděpodobnost přechodu u homogenního markovského řetězce tedy není závislá na čase. Homogenita tedy v tomto případě znamená, že mechanismus způsobující změny stavu řetězce (matice přechodu P) je v čase neměnný. Pravděpodobnosti přechodu vyšších řádů p ij (n, n + m) závisí pouze na rozdílu příslušných časových okamžiků, tedy na hodnotě m. Poznámka. Značení zůstává stejné jako u markovských řetězců, pouze u pravděpodobností přechodu 1. řádu p ij podle předchozí definice 2.6 vynecháváme (n, n + 1), pravděpodobnosti přechodu vyšších řádů zapisujeme jako p ij (m), kde m 1. Matici přechodu 1. řádu pak opět označme podle definice 2.6 jako P, matice přechodu vyšších řádů pak značíme P(m), kde m 1.

Kapitola 2. Markovské řetězce 10 2.3.1 Vlastnostni homogenního markovského řetězce Věta 2.2. Necht {X n, n N 0 } je homogenní markovský řetězec s vektorem počátečních pravděpodobností p(0) a maticí přechodu P. Pak pro m N 0 platí: a) b) P(m) = P m (2.5) Matice přechodu vyššího řádů P(m), pro m 1 je totožná s m-tou mocninou matice přechodu homogenního markovského řetězce P, tedy s maticí P m. p(m) = p(0)p m K zisku vektoru absolutních pravděpodobností v čase m postačí znalost vektoru počátečních pravděpodobností p(0) a mocnin matice přechodu P. Důkaz. a) Z (2.3) (Chapmanovy-Kolmogorovovy rovnice) plyne: P(m) = P(m 1 + 1) = P(m 1)P = P(m 2 + 1)P = P(m 2)P 2 = = P(0)P m = P m b) Z (2.4) (zákona evoluce) plyne: p(m) = p(m 1 + 1) = p(m 1)P = p(m 2 + 1)P = p(m 2)P 2 = = p(0)p m Poznámka. První dvě vlastnosti z věty 2.1 platí i pro homogenní markovské řetězce. Pravděpodobnost přechodu p ij je vždy nezáporná, pravděpodobnost přechodu při nezměněném časovém okamžiku p ij (n, n) je nulová pro i = j a jedná se o jev jistý pokud i = j. Matice přechodu P je stochastická matice a její řádky jsou pak stochastické vektory. Důkazy těchto tvrzení nebudeme provádět, jsou obdobné jako u již zmíněné věty 2.1. 2.3.2 Přechodový diagram Homogenní markovský řetězec lze znázornit i graficky, a to díky přechodovému diagramu, který může být v nerozvinutém či rozvinutém tvaru. Přechodový diagram v nerozvinutém tvaru je orientovaný ohodnocený graf, jehož vrcholy znázorňují stavy a orientované hrany představují nenulové pravděpodobnosti přechodu 1. řádu. Tyto hrany jsou ohodnoceny podle pravděpodobností přechodu. (Například obrázek 2.1.) Diagram v rozvinutém tvaru ukazuje všechny možné cesty řetězcem z konkrétního stavu. Tento diagram pak znázorníme pomocí stromu (obrázek 2.2). Pomocí

Kapitola 2. Markovské řetězce 11 přechodového diagramu v rozvinutém tvaru můžeme spočítat i vektor absolutních pravděpodobností p(n). Postupuje se tak, že pro každý stav v okamžiku n sečteme součiny vah těch hran, které v okamžiku n v daném stavu končí. Příklad: Uvažujme homogenní markovský řetězec s maticí přechodu P. P = 0 1 2 0 1 4 1 1 2 0 1 1 4 2 4 0 0 3 4 0 0 0 1 Předpokládejme, že řetězec začal ve stavu 0. Vypočtěte vektor absolutních pravděpodobností v čase n = 2 pomocí přechodového diagramu. Řešení: Nejprve pro matici přechodu P sestavíme přechodový diagram v rozvinutém i nerozvinutém tvaru. Obrázek 2.1: Přechodový diagram v nerozvinutém tvaru Obrázek 2.2: Přechodový diagram v rozvinutém tvaru Nyní spočítáme absolutní pravděpodobnosti jednotlivých stavů po 2 krocích. p 0 (2) = 1 2 1 4 = 1 8

Kapitola 2. Markovské řetězce 12 p 1 (2) = 1 2 1 4 = 1 8 p 2 (2) = 1 2 1 4 = 1 8 p 3 (2) = 1 2 1 2 + 1 2 3 4 = 5 8 Nakonec sestavíme vektor absolutních pravděpodobností. p(2) = ( 1 8, 1 8, 1 8, 5 ) 8 2.4 Stavy homogenního markovského řetězce Necht {X n, n N 0 } je homogenní markovský řetězec s množinou stavů J. Jak již víme ze vztahu (2.5), matici přechodu vyšších řádů můžeme zapisovat jako P m, kde m 1. Prvky této matice pak značíme p ij (m). V literatuře se můžeme setkat i se značením pij m, kde index m označuje pořadí časového okamžiku, nikoliv mocninu. Definice 2.7. Necht se homogenní markovský řetězec {X n, n N 0 } v čase n = 0 nachází ve stavu j, tj. P(X 0 = j) = p j (0) = 1. Zavedeme množinu T j = {n 1 : X n = j}. Ta udává pořadí okamžiků, v nichž se řetězec vrací do stavu j. Náhodnou veličinu τ j definovanou jako τ j = nazveme dobou prvního návratu do stavu j. { min{t j } pro T j = pro T j = Definice 2.8. Necht {X n, n N 0 } je homogenní markovský řetězec s množinou stavů J. Stav j J je trvalý, pokud P(τ j < ) = 1. Je-li P(τ j = ) > 0, stav j J je přechodný. Do trvalého stavu se řetězec vrátí po konečně mnoha krocích. U přechodného stavu existuje kladná pravděpodobnost, že se řetězec do tohoto stavu nevrátí. Množinu trvalých stavů můžeme označit jako J T, přechodných jako J P. Přitom je zřejmé, že J T J P = J a J T J P =. Definice 2.9. Necht j J je trvalý stav homogenního markovského řetězce {X n, n N 0 } a necht µ j je střední hodnota náhodné veličiny τ j. Existuje-li µ j, pak stav j J nazveme trvalým nenulovým.

Kapitola 2. Markovské řetězce 13 Stav j J se nazývá trvalý nulový, pokud střední hodnota µ j neexistuje. Definice 2.10. Necht j J a d j je největší společný dělitel čísel m 1, pro která platí p jj (m) > 0. Stav j J je periodický s periodou d j, pokud d j > 1. Je-li d j = 1, pak stav j J nazveme neperiodickým. Definice 2.11. Stav j J nazveme ergodickým, je-li tento stav trvalý nenulový neperiodický. U ergodického stavu tedy může návrat do výchozího stavu nastat kdykoliv. Pomocí pravděpodobností přechodu po n krocích p ij (n) můžeme rozlišit stavy dosažitelné a nedosažitelné z určitých stavů. Definice 2.12. Stav j J nazveme dosažitelným ze stavu i J, existuje-li p ij (n) > 0 pro nějaké n N 0, tj. existuje-li nenulová pravděpodobnost přechodu ze stavu i do j po n krocích. V opačném případě ( n N 0 : p ij (n) = 0) se jedná o stav nedosažitelný. Definice 2.13. Dva stavy i, j J, i = j, nazveme souslednými, jsou-li vzájemně dosažitelné. Tj. existuje-li p ij (n) > 0 a zároveň p ji (m) > 0 pro libovolná n, m N 0 Poznámka. Skupinu takových stavů pak můžeme nazvat uzavřenou třídou. Nachází-li se všechny stavy řetězce v jedné této třídě, nazýváme řetězec nerozložitelným, v opačném případě rozložitelným. Tvoří-li všechny stavy řetězce uzavřenou třídu a jsou-li navíc ergodické, pak nazveme řetězec regulárním. Definice 2.14. Necht j, k J, platí-li pro některý ze stavů řetězce p kk = 1 a zároveň j : p jk > 0. Tedy setrvání ve stavu k je jistý jev a řetězec může vstoupit do tohoto stavu. Pak nazýváme tento stav pohlcující (absorpční). Poznámka. Vstoupí-li řetězec do absorpčního stavu, řekneme, že je absorbován. 2.5 Absorpční řetězec Definice 2.15. Homogenní markovský řetězec {X n, n N 0 } s koncečnou množinou stavů J nazýváme absorpční řetězec, pokud všechny jeho trvalé stavy jsou absorpční. Věta 2.3. V absorpčním markovském řetězci je pravděpodobnost absorbování procesu rovna 1.

Kapitola 2. Markovské řetězce 14 Důkaz. Ukážeme pouze hlavní myšlenku důkazu. Z každého neabsorpčního stavu j lze přejít do absorpčního stavu k, ne nutně za jeden časový okamžik (p jk (n) > 0). Označíme c j nejmenší počet okamžiků nutných k přechodu do absorpčního stavu, za předpokladu, že se řetězec v čase n = 0 nachází ve stavu j, tedy řetězec vyjde ze stavu j. Pravděpodobnost, že řetězec za tuto dobu nepřejde do absorpčního stavu označíme p j. Pak tato pravděpodobnost p j je nutně z otevřeného intervalu (0, 1). Dále necht c je největší z čísel c j a p největší z p j. Pak pravděpodobnost, že řetězec nebude absorbován v čase c je menší než p. Pravděpodobnost, že nebude absorbován ani za 2c časových okamžiků je menší než p 2, atd. Jelikož 0 < p < 1, tyto pravděpodobnost se blíží nule, podle lim n pn = 0. Absorpce je pak jev opačný a její pravděpodobnsot se blíží 1. Definice 2.16. Necht {X n, n N 0 } je homogenní markovský řetězec, který je absorpční, s konečnou množinou stavů J. Necht má a absorpčních a n neabsorpčních stavů. Množinu absorpčních stavů označíme J A a neabsorpčních J N. Přečíslujeme stavy tak, aby po množině absorpčních stavů J A následovaly neabsorpční stavy v množině J N a matici přechodu P pak přepíšeme na tvar ( ) I* 0 P =, A N kde I* je jednotková matice o rozměrech a a, 0 je nulová matice rozměrů a n. Matice A obsahuje pravděpodobnosti přechodu z neabsorpčních do absorpčních stavů a je typu n a. Matice N rozměrů n n je maticí přechodu mezi neabsorpčními stavy. Matici F = (I N) 1, kde I je jednotková matice stejných rozměrů jako matice N, nazýváme fundamentální maticí absorpčního řetězce. Prvky f ij matice F udávají střední hodnotu počtu okamžiků, které řetězec, jenž vyjde ze stavu i, stráví ve stavu j, než přejde do absorpčního stavu. Součet prvků v i-tém řádku matice F udává střední hodnotu počtu okamžiků, které řetězec stráví v neabsorpčních stavech, jestliže vyjde ze stavu i a skončí v absorpčním stavu. Maticově to lze zapsat jako t = Fe, kde e je sloupcový vektor ze samých jedniček rozměrů n 1. Věta 2.4. Necht {X n, n N 0 } je absorpční homogenní markovský řetězec, stav i J je neabsorpční a k J je absorpční. Označme u ik pravděpodobnost, že řetězec bude absorbován ve stavu k, když vyšel ze stavu i. Sestavíme matici U = (u ik ) i,k J. Pak U = FA, kde F je fundamentální matice a A je matice pravděpodobností přechodu z neabsorpčních do absorpčních stavů.

Kapitola 2. Markovské řetězce 15 Důkaz. Stavu k lze dosáhnout během jednoho okamžiku s pravděpodobností u ik nebo přechodem přes jiný neabsorpční stav j J s pravděpodobností p ij a poté do absorpčního stavu k s pravděpodobností u jk. Tedy u ik = p ij u jk. j J

Kapitola 3 Hadi a žebříky jako homogenní markovský řetězec Nyní máme dostatečný teoretický aparát k převedení hry hadi a žebříky na homogenní markovský řetězec. Hra počítá jak s diskrétními stavy, tak časem. Stavy jsou jednotlivá pole herního plánu očíslována od 0 do 20. Tedy J = {0, 1, 2,..., 20}. Časovými okamžiky či kroky pak budou hody kostkou. Hod kostkou a následné posunutí figurky nazveme tahem. Vyloučení nepotřebných stavů jsme provedli již v sekci 1.2.2, kdy jsme na herním plánu neočíslovali pole, na kterých začínají žebříky nebo hadi. Na těchto polích nezůstane figurka po žádném z tahů. Odpovídající řádky a sloupce matice přechodu P by pro tato pole byly nulové. Hra také splňuje markovskou vlastnost. Pravděpodobnost, že se figurka bude nacházet po n-tém hodu na poli j n, závisí pouze na tom, kde se nachází po hodu n 1, nikoli na tom, na jakých polích se nacházela po hodech n 2, n 3,... Homogenitu pak zajišt uje neměnnost herního plánu v čase a stále stejný interval počtu ok na kostce, jako dva faktory, které ovlivňují pravděpodobnosti přechodu. Matici přechodu prvního řádu pak nazveme jednoduše maticí přechodu P. K tomu, abychom podle věty 2.2 o vlastnostech homogenního markovského řetězce získali vektory absolutních pravděpodobností v čase m, díky kterým získáme pravděpodobnosti výskytu figurky po m hodech kostkou, potřebujeme vektor počátečních pravděpodobností p(0), matici přechodu P a její mocniny, které spočítáme pomocí systému MATLAB. 16

Kapitola 3. Hadi a žebříky jako homogenní markovský řetězec 17 3.1 Vektor počátečních pravděpodobností Jak je již uvedeno v pravidlech, při zahájení hry umístí hráč svou figurku na pole číslo 0. Tedy P (X 0 = 0) = p 0 (0) = 1. Tj. s pravděpodobností 1 (100 %) se v čase 0 (zahájení hry) bude figurka nalézat na poli 0. Ostatní pole budou obsazena s nulovou pravděpodobností. Vektor počátečních pravděpodobností p(0) = (p 0 (0), p 1 (0), p 2 (0),..., p 19 (0), p 20 (0)) bude po dosazení pravděpodobností následující: p(0) = (1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0). 3.2 Matice přechodu Při sestavování matice přechodu budeme předpokládat vyváženost hrací kostky. Pravděpodobnost, že padne jakákoliv možná hodnota (1-6) je vždy stejná, tj. 1 6. Hodnoty v prvním řádku matice P udávají pravděpodobnost s jakou se figurka po jednom hodu kostkou přesune z pole 0 na jiné pole. Symbolicky tuto pravděpodobnost zapíšeme jako p 0i, kde i = 0, 1, 2,..., 20. p 0,0 = 0, p 0,1 = 1 6, p 0,2 = 1 6, p 0,3 = 1 6, p 0,4 = 1 6, p 0,5 = 1 6, p 0,6 = 0,..., p 0,9 = 0, p 0,10 = 1 6, p 0,11 = 0,..., p 0,20 = 0 Vidíme, že pravděpodobnost setrvání ve stavu 0 je nulová. Pokud hráči padne hodnota 1 posune se na pole 1, pokud bude počet ok na kostce roven dvěma, přesune svoji figurku na pole 2. Padne-li na kostce číslo 3, měl by hráč posunout svoji figurku na neočíslované pole, kde začíná žebřík, jak vidíme na herním plánu na obrázku 1.2. Podle pravidel však hráč přesune svoji figurku na pole 10, kde tento žebřík končí. Proto je pravděpodobnost přechodu p 0,10 = 6 1. Hodí-li hráč na kostce 4, 5 nebo 6, posune se po řadě na pole 3, 4 nebo 5, pro každou z hodnot s pravděpodobností 1 6. Na ostatní pole nelze při jednom hodu kostkou z pole číslo 0 dosáhnout, pravděpodobnost přechodu do těchto stavů z pole 0 je tedy rovna nule. Druhý řádek matice udává pravděpodobnosti přechodu z pole 1 na ostatní pole herního plánu. Podobně jako u pole 0 nemůže hráč setrvat po hodu kostkou na poli 1. Taktéž se nemůže vrátit na pole s číslem 0. Pokud na hrací kostce padne 2, hráč přesune svou figurku po žebříku na pole s číslem 10. Pravděpodobnost, že na kostce padne hodnota dva je opět 1 6. Stejně je tomu u ostatních hodnot 1, 3, 4, 5 a 6, při nichž se figurka posune po řadě na pole 2, 3, 4, 5 a 6. Pravděpodobnost

Kapitola 3. Hadi a žebříky jako homogenní markovský řetězec 18 dosažení jiných stavů, než zde zmíněných, je nulová. Nenulové pravděpodobnosti přechodu ve druhém řádku budou následující: p 1,2 = 1 6, p 1,3 = 1 6, p 1,4 = 1 6, p 1,5 = 1 6, p 1,6 = 1 6 a p 1,10 = 1 6. Obdobně sestavíme i ostatní řádky matice přechodu P, přičemž pravděpodobnosti přechodu na pole, kde začínají žebříky a hadi, ošetříme stejně jako v předchozích dvou odstavcích. Zastavme se ještě u posledních pěti řádků matice P. Jak již víme z pravidel, pokud hráči nepadne přesný počet ok na hrací kostce, jaký potřebuje na přesun na poslední pole ve hře, zůstává figurka na stejném poli jako před hodem kostkou a hráč hází znovu. Stojí-li hráč na poli číslo 16, může se s pravděpodobností 1 6 přesunout na pole 17, 18 a 19, hodí-li po řadě kostkou hodnotu 1, 2 a 3. Padne-li hodnota 4, přesune hráč svou figurku po hadovi na pole 11. Hráč vyhraje hru, pokud padne na kostce hodnota 5. Při hodu šesti ok však figurka zůstává na poli 16. Nenulové pravděpodobnosti přechodu z pole 16 budou: p 16,11 = 1 6, p 16,16 = 1 6, p 16,17 = 1 6, p 16,18 = 1 6, p 16,19 = 1 6 a p 16,20 = 1 6. Pravděpodobnost setrvání ve stavu 17, p 17,17, bude rovna 6 2 = 1 3. Hráč v tomto stavu setrvá, padne-li hodnota 5 nebo 6. Pravděpodobnost setrvání ve stavu 18 se zvýší opět o 1 6, tedy na 1 2, atd... Dostane-li se hráč do stavu 20, vyhrává hru. Z teorie markovských řetězců řekneme, že řetězec bude absorbován. Jediná nenulová pravděpodobnost přechodu v posledním řádku matice P bude tedy p 20,20 = 1. Matice přechodu P pro naši hru hadi a žebříky vypadá následovně:

Kapitola 3. Hadi a žebříky jako homogenní markovský řetězec 19 0 1 1 1 1 1 6 6 6 6 6 0 0 0 0 1 6 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 6 6 6 6 6 0 0 0 1 6 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 6 6 6 6 6 0 0 1 6 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 6 6 6 6 6 0 0 0 0 0 0 1 6 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 6 6 6 6 6 0 0 0 0 0 1 6 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 6 6 6 6 6 0 0 0 0 1 6 0 0 0 0 0 0 0 1 6 0 0 0 0 1 1 1 1 6 6 6 6 0 0 0 0 1 6 0 0 0 0 0 0 0 1 6 0 0 0 0 0 1 1 1 1 6 6 6 6 0 0 0 1 6 0 0 0 0 0 0 0 1 6 0 0 0 0 0 0 1 1 1 1 6 6 6 6 0 0 1 6 0 0 0 0 0 0 0 1 6 0 0 0 0 0 0 0 1 1 1 1 1 6 6 6 6 6 0 0 0 0 0 0 P = 0 0 1 6 0 0 0 0 0 0 0 0 1 1 1 1 1 6 6 6 6 6 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 6 6 6 6 6 6 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 6 6 6 6 6 6 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 6 6 6 6 6 6 0 0 0 0 0 0 0 0 0 0 0 0 1 6 0 0 0 1 1 1 1 1 6 6 6 6 6 0 0 0 0 0 0 0 0 0 0 0 0 1 6 0 0 0 0 1 1 1 1 1 6 6 6 6 6 0 0 0 0 0 0 0 0 0 0 0 1 6 0 0 0 0 1 1 1 1 1 6 6 6 6 6 0 0 0 0 0 0 0 0 0 0 0 6 1 0 0 0 0 0 1 1 1 1 3 6 6 6 0 0 0 0 0 0 0 0 0 0 0 6 1 0 0 0 0 0 0 1 1 1 2 6 6 0 0 0 0 0 0 0 0 0 0 0 6 1 0 0 0 0 0 0 0 2 1 3 6 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 3.3 Výpočet vektorů absolutních pravděpodobností V této části ukážeme, jak pomocí výpočetního systému MATLAB získáme vektory absolutních pravděpodobností po m hodech kostkou. Díky těmto vektorům p(m) = (p 0 (m), p 1 (m),..., p 20 (m)) získáme pravděpodobnost výskytu figurky na polích herního plánu. Poslední složka tohoto vektoru pak udává pravděpodobnost absorpce řetězce, tedy pravděpodobnost dohrání hry. Nejdřív zadefinujeme matici přechodu P. Při zadávání matice oddělujeme jednotlivé prvky v řádcích mezerou (space) nebo čárkou (,). Pro oddělení jednotlivých řádků matice pak použijeme středník (;). Příkaz ukončíme taktéž středníkem, díky čemuž se výsledná matice nevypíše, což u naší matice přechodu s rozměry 21 21 uvítáme. Prvky matice jsou uzavřeny v hranatých závorkách. >> P=[0 1/6 1/6 1/6 1/6 1/6 0 0... 0 0 0 0 0 1]; Poznámka. Vzhledem k délce příkazu jsem se rozhodl nevypisovat jej celý, pouze začátek a konec. Podrobněji o práci s maticemi v MATLABu v [10] a [11]. Dále potřebujeme vektor počátečních pravděpodobností p(0).

Kapitola 3. Hadi a žebříky jako homogenní markovský řetězec 20 >> p0 = [1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0]; Syntaxe příkazu je obdobná jako u matice přechodu P. Vektor jsme zadefinovali jako matici o rozměrech 1 21. Na konec příkazu opět přidáme středník. Podle věty 2.2 o vlastnostech homogenního markovského řetězce můžeme spočítat vektory absolutních pravděpodobností pro jednotlivá m = 1, 2, 3, 4,... podle vzorce p(m) = p(0)p m. Násobení v MATLABu provedeme jednoduše pomocí symbolu *. Umocňování matice přechodu pak pomocí symbolu ^. Umocňování matic vyšších řádů však může být i pro výpočetní systémy časově náročný problém a při zaokrouhlování můžou vznikat nepřesnosti. Částečným řešením tohoto problému by bylo nalezení Jordanova kanonického tvaru matice přechodu a umocňování provádět pomocí něj. Jordanův kanonický tvar matice přechodu P označme J. Tato matice J se skládá s tzv. jordanových bloků, které se skládají z vlastních čísel matice P na diagonále těchto bloků a případně jedniček nad hlavní diagonálou. Pokud bychom našli tuto matici J a matici Q takovou, že P = Q J Q 1, mocniny matice přechodu bychom spočítali pomocí vztahu P n = ( Q J Q 1) n = Q Jn Q 1. Při tomto výpočtu však narazíme na dva problémy. Prvním problémem je samotný výpočet vlastních čísel λ, druhým pak nalezení matice Q. Pro výpočet matic J a Q existuje v systému MATLAB příkaz [J,Q] = jordan (P), který do proměnné J uloží Jordanův kanonický tvar matice přechodu P a do proměnné Q pak matici Q. MATLAB však pro naši matici o rozměrech 21 21 prvků není schopen tyto matice spočítat. Výpočet vlastních čísel pomocí příkazu eig(p) už je bezproblémový. Bohužel některá vlastní čísla jsou komplexní, což dále ztěžuje ostatní výpočty. Nalezení Jordanova tvaru J matice přechodu a příslušné matice Q je tedy výpočetně natolik komplikované, především pro matice vyšších řádů, že se spokojíme s klasickým umocňováním matic. Jinou možností by bylo první výsledný vektor p(1) opět násobit maticí přechodu P pro získání vektoru p(2). Po opětovném násobení právě získaného vektoru maticí P vznikne vektor p(3) atd. Poznámka. V následujícím textu jsou výstupu systému Matlab psány velikostí písma pro indexy.

Kapitola 3. Hadi a žebříky jako homogenní markovský řetězec 21 m = 1 : >> p1 = p0 * P^1 p1 = Columns 1 through 7 0 0.1667 0.1667 0.1667 0.1667 0.1667 0 Columns 8 through 14 0 0 0 0.1667 0 0 0 Columns 15 through 21 0 0 0 0 0 0 0 Vektor absolutních pravděpodobností po jednom hodu kostkou označíme p1. Jak vidíme z výsledku, jedná se o první řádek matice přechodu. Po jednom hodu kostkou nezle hru dokončit. m = 2 : >> p2 = p0 * P^2 p2 = Columns 1 through 7 0 0 0.0556 0.0556 0.0833 0.1111 0.1389 Columns 8 through 14 0.1111 0.0833 0.0556 0.0833 0.0278 0.0278 0.0278 Columns 15 through 21 0.0278 0.1111 0 0 0 0 0 Po druhém hodu kostkou se figurka může nalézat na polích číslo 3 až 16, přičemž s největší pravděpodobností bude na poli 7. m = 3 : >> p3 = p0 * P^3 p3 = Columns 1 through 7 0 0 0.0787 0.0093 0.0185 0.0324 0.0509 Columns 8 through 14 0.0741 0.0833 0.0880 0.0926 0.0787 0.0417 0.0324 Columns 15 through 21 0.0370 0.1296 0.0370 0.0370 0.0324 0.0278 0.0185

Kapitola 3. Hadi a žebříky jako homogenní markovský řetězec 22 Po třetím hodu kostkou je pravděpodobnost dohrání hry (absorpce) rovna 1 54. m = 4 : >> p4 = p0 * P^4 p4 = Columns 1 through 7 0 0 0.0648 0.0131 0.0147 0.0177 0.0231 Columns 8 through 14 0.0316 0.0309 0.0432 0.0679 0.1065 0.0571 0.0502 Columns 15 through 21 0.0556 0.0918 0.0594 0.0718 0.0687 0.0694 0.0625 S dalším tahem se pravděpodobnost dohrání hry zvyšuje na 1 16. m = 5 : >> p5 = p0 * P^5 p5 = Columns 1 through 7 0 0 0.0328 0.0108 0.0130 0.0154 0.0184 Columns 8 through 14 0.0222 0.0167 0.0197 0.0352 0.0984 0.0414 0.0458 Columns 15 through 21 0.0541 0.0781 0.0701 0.0940 0.0986 0.1125 0.1227 Pravděpodobnost výhry po pátém hodu kostkou se blíží 1 8. Po šestém hodu se pravděpodobnost přiblíží k 1 5. S dalšími hody se absolutní pravděpodobnost p 20 (m) stále zvyšuje. Po deseti hodech kostkou je pravděpodobnost téměř 1 2. m = 40 : >> p40 = p0 * P^40 p40 = Columns 1 through 7 0 0 0.0000 0.0000 0.0000 0.0000 0.0000 Columns 8 through 14 0.0000 0.0000 0.0000 0.0000 0.0008 0.0002 0.0002 Columns 15 through 21 0.0002 0.0003 0.0004 0.0006 0.0008 0.0020 0.9944

Kapitola 3. Hadi a žebříky jako homogenní markovský řetězec 23 Po 40. tahu je hra dohrána s pravděpodobností více než 99 %. m = 80 : >> p80 = p0 * P^80 p80 = Columns 1 through 7 0 0 0.0000 0.0000 0.0000 0.0000 0.0000 Columns 8 through 14 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 Columns 15 through 21 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 1.0000 S dalšími hody se pravděpodobnost výhry stále více blíží k 1. Což je podle věty 2.3 očekávaný výsledek. Výsledky MATLABu ukazují, že po 80. hodu bude hra dohrána s pravděpodobností 100 %. To je ovšem díky zaokrouhlování výpočetního systému. Pokud se podíváme na herní plán (obrázek 1.2), vidíme, že hráčova figurka může stát na poli 19 a stále se nedostat na pole 20. Existuje tedy pravděpodobnost, že hra nebude dohrána ani po 80 hodech, ta je však téměř nulová. Vývoj pravděpodobnosti absorpce, za předpokladu výchozího pole číslo 0, můžeme vyjádřit i graficky. K sestavení následujícího grafu byl použit jazyk R. 1.0 pravdepodobnost absorpce 0.8 0.6 0.4 0.2 0.0 0 20 40 60 80 poradí hodu kostkou Obrázek 3.1: Pravděpodobnost absorpce v čase m

Kapitola 3. Hadi a žebříky jako homogenní markovský řetězec 24 3.4 Absorpční řetězec Podle teoretické části 2.5 o absorpčních homogenních markovských řetězcích nejdříve spočítáme fundamentální matici F. Přečíslujeme stavy tak, jak je uvedeno v definici 2.16. Vznikne matice ( ) I* 0 P =, A N která bude pro naši hru následující: 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 6 6 6 6 6 0 0 0 0 6 1 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 6 6 6 6 6 0 0 0 1 6 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 6 6 6 6 6 0 0 1 6 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 6 6 6 6 6 0 0 0 0 0 0 1 6 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 6 6 6 6 6 0 0 0 0 0 1 6 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 6 6 6 6 6 0 0 0 0 1 6 0 0 0 0 0 0 0 1 6 0 0 0 0 1 1 1 1 6 6 6 6 0 0 0 0 1 6 0 0 0 0 0 0 0 1 6 0 0 0 0 0 1 1 1 1 6 6 6 6 0 0 0 1 6 0 0 0 0 0 0 0 1 6 0 0 0 0 0 0 1 1 1 1 6 6 6 6 0 0 1 6 0 0 0 0 P = 0 0 0 1 6 0 0 0 0 0 0 0 6 1 1 1 1 1 6 6 6 6 0 0 0 0 0 0 0 0 1 6 0 0 0 0 0 0 0 0 6 1 1 1 1 1 6 6 6 6 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 6 6 6 6 6 6 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 6 1 1 1 1 1 1 6 6 6 6 6 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 6 1 1 1 1 1 1 6 6 6 6 6 0 0 0 0 0 0 0 0 0 0 0 0 6 1 0 0 0 1 1 1 1 1 6 6 6 6 6 1 6 0 0 0 0 0 0 0 0 0 0 0 6 1 0 0 0 0 6 1 1 1 1 6 6 6 1 6 0 0 0 0 0 0 0 0 0 0 0 6 1 0 0 0 0 6 1 1 1 1 6 6 6 1 6 0 0 0 0 0 0 0 0 0 0 0 6 1 0 0 0 0 0 3 1 1 1 6 6 1 6 0 0 0 0 0 0 0 0 0 0 0 6 1 0 0 0 0 0 0 1 1 2 6 1 6 0 0 0 0 0 0 0 0 0 0 0 6 1 0 0 0 0 0 0 0 2 3 Čáry v matici oddělují jednotlivé submatice I*, 0, A a N. Pro výpočet fundamentální matice je potřeba pouze submatice N, která se nachází v pravém dolním rohu. Tato matice udává pravděpodobnosti přechodu mezi neabsorpčními stavy. Tuto matici můžeme pomocí MATLABu získat i před přečíslováním stavů a to následujícím příkazem, který vrátí matici bez posledního řádku a sloupce. >> N=P(1:20,1:20); Zjistíme řád matice N, který použijeme při tvorbě jednotkové matice stejného řádu.

Kapitola 3. Hadi a žebříky jako homogenní markovský řetězec 25 >> rad=size(n,1) rad = 20 >> I=eye(rad); Nyní již můžeme spočítat fundamentální matici F pomocí následujícího příkazu. >> F=inv(I-N); Opět jsme zabránili vypsání matice pomocí symbolu středník (;) na konci příkazu. Matice F na výstupu MATLABu zabírá mnoho místa, nás však zajímá především první řádek této matice. Ten udává střední hodnotu počtu okamžiků, které stráví řetězec v neabsorpčních stavech než bude absorbován, při předpokladu, že vyšel ze stavu 0. Nyní vypíšeme tento vektor, tvořící první řádek matice F. >> f0=f(1,:) f0 = Columns 1 through 7 1.0000 0.1667 0.4500 0.2694 0.3143 0.3667 0.2612 Columns 8 through 14 0.2769 0.2481 0.2446 0.5024 1.2904 0.3809 0.4030 Columns 15 through 20 0.4702 0.7973 0.6684 1.0025 1.2408 2.2911 Z výsledku vidíme, že řetězec stráví ve stavu 0 v průměru 1 okamžik, ve stavu 2 stráví 1 6 okamžiku atd. Nejvíce času stráví figurka na poli 19, a to téměř 2,3 okamžiku. To je zapříčiněno vysokou pravděpodobností setrvání v na tomto poli. Po sečtení složek vektoru f0 získáme průměrný čas potřebný k dohrání hry, začínáme-li na poli 0. >> cas=sum(f0) cas = 12.6448

Kapitola 3. Hadi a žebříky jako homogenní markovský řetězec 26 K dohrání hry je tedy potřeba průměrně necelých 13 hodů kostkou. Podle věty 2.4 můžeme ještě spočítat pravděpodobnosti přechodu do absorpčního stavu. Pro náš řetězec, který má pouze jeden absorpční stav, budou ale podle věty 2.3 pravděpodobnosti u ik rovny 1. Tento výpočet tedy budeme brát jako kontrolu. Nejprve z matice P získáme v MATLABu submatici A a poté díky součinu fundamentální matice F a matice A získáme matici U. Složky této matice jsou pravděpodobnosti u ik. Matice A je v nepřečíslované matici přechodu P prvních 20 prvků posledního sloupce. >> A=P(1:20,21); >> U=F*A U~= 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 Vidíme tedy, že naše výpočty byly správné. Z každého pole, na kterém se může figurka ocitnout, bude absorbována polem 20 s pravděpodobností 1. 3.5 Výsledky Výsledky získané pomocí výpočtů z této kapitoly můžeme shrnout do následujících dvou tabulek. Jednotlivé sloupce udávají pravděpodobnost absorpce po m hodech kostkou, za předpokladu, že se figurka nachází na i-tém poli. Jedná se o pravděpodobnost přechodu ze stavu i do stavu 20 v čase m, proto tuto pravděpodobnost označíme p i,20 (m) pro i = 0, 1,..., 19. Poslední řádek pak udává střední hodnotu počtu tahů potřebných k dohrání hry, opět za předpokladu, že se figurka nalézá na poli i.

Kapitola 3. Hadi a žebříky jako homogenní markovský řetězec 27 i 0 1 2 3 4 5 6 7 8 9 m p0,20(m) p1,20(m) p2,20(m) p3,20(m) p4,20(m) p5,20(m) p6,20(m) p7,20(m) p8,20(m) p9,20(m) 1 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 2 0,0000 0,0000 0,0000 0,0278 0,0278 0,0278 0,0278 0,0278 0,0278 0,0000 3 0,0185 0,0231 0,0278 0,0694 0,0648 0,0648 0,0602 0,0694 0,0833 0,0833 4 0,0625 0,0687 0,0756 0,1181 0,1211 0,1312 0,1258 0,1481 0,1728 0,1813 5 0,1227 0,1322 0,1443 0,1906 0,2006 0,2157 0,2073 0,2334 0,2591 0,2689 6 0,1982 0,2108 0,2256 0,2716 0,2830 0,2981 0,2876 0,3138 0,3390 0,3499 7 0,2789 0,2918 0,3065 0,3493 0,3605 0,3749 0,3645 0,3900 0,4141 0,4254 8 0,3566 0,3688 0,3827 0,4219 0,4327 0,4464 0,4367 0,4606 0,4829 0,4936 9 0,4291 0,4404 0,4534 0,4888 0,4990 0,5116 0,5026 0,5244 0,5446 0,5546 10 0,4955 0,5059 0,5177 0,5494 0,5587 0,5701 0,5619 0,5815 0,5997 0,6087 15 0,7358 0,7416 0,7481 0,7651 0,7703 0,7765 0,7720 0,7826 0,7924 0,7974 20 0,8637 0,8667 0,8701 0,8789 0,8816 0,8848 0,8825 0,8880 0,8931 0,8957 30 0,9639 0,9647 0,9656 0,9680 0,9687 0,9695 0,9689 0,9704 0,9717 0,9724 40 0,9905 0,9907 0,9909 0,9915 0,9917 0,9919 0,9918 0,9922 0,9925 0,9927 50 0,9975 0,9975 0,9976 0,9978 0,9978 0,9979 0,9978 0,9979 0,9980 0,9981 60 0,9993 0,9993 0,9994 0,9994 0,9994 0,9994 0,9994 0,9995 0,9995 0,9995 70 0,9998 0,9998 0,9998 0,9998 0,9998 0,9999 0,9998 0,9999 0,9999 0,9999 80 1,0000 1,0000 1,0000 1,0000 1,0000 1,0000 1,0000 1,0000 1,0000 1,0000 E i 12,6448 12,4871 12,3062 11,7212 11,5899 11,4130 11,5406 11,2206 10,9127 10,8020 Tabulka 3.1: Výsledky část 1

Kapitola 3. Hadi a žebříky jako homogenní markovský řetězec 28 i 10 11 12 13 14 15 16 17 18 19 m p10,20(m) p11,20(m) p12,20(m) p13,20(m) p14,20(m) p15,20(m) p16,20(m) p17,20(m) p18,20(m) p19,20(m) 1 0,0000 0,0000 0,0000 0,0000 0,0000 0,1667 0,1667 0,1667 0,1667 0,1667 2 0,0278 0,0833 0,1111 0,1389 0,1389 0,2778 0,2778 0,2778 0,2778 0,2778 3 0,1250 0,2037 0,2315 0,2546 0,2454 0,3657 0,3657 0,3657 0,3657 0,3657 4 0,2215 0,3048 0,3272 0,3457 0,3387 0,4444 0,4444 0,4444 0,4444 0,4444 5 0,3061 0,3908 0,4104 0,4268 0,4212 0,5138 0,5138 0,5138 0,5138 0,5138 6 0,3845 0,4666 0,4838 0,4983 0,4933 0,5743 0,5743 0,5743 0,5743 0,5743 7 0,4570 0,5331 0,5481 0,5608 0,5564 0,6273 0,6273 0,6273 0,6273 0,6273 8 0,5220 0,5912 0,6044 0,6155 0,6116 0,6737 0,6737 0,6737 0,6737 0,6737 9 0,5798 0,6421 0,6537 0,6634 0,6600 0,7143 0,7143 0,7143 0,7143 0,7143 10 0,6311 0,6867 0,6968 0,7053 0,7023 0,7499 0,7499 0,7499 0,7499 0,7499 15 0,8093 0,8388 0,8440 0,8484 0,8469 0,8714 0,8714 0,8714 0,8714 0,8714 20 0,9018 0,9171 0,9198 0,9220 0,9213 0,9338 0,9338 0,9338 0,9338 0,9338 30 0,9740 0,9781 0,9788 0,9794 0,9792 0,9825 0,9825 0,9825 0,9825 0,9825 40 0,9931 0,9942 0,9944 0,9945 0,9945 0,9954 0,9954 0,9954 0,9954 0,9954 50 0,9982 0,9985 0,9985 0,9986 0,9985 0,9988 0,9988 0,9988 0,9988 0,9988 60 0,9995 0,9996 0,9996 0,9996 0,9996 0,9997 0,9997 0,9997 0,9997 0,9997 70 0,9999 0,9999 0,9999 0,9999 0,9999 0,9999 0,9999 0,9999 0,9999 0,9999 80 1,0000 1,0000 1,0000 1,0000 1,0000 1,0000 1,0000 1,0000 1,0000 1,0000 E i 10,3517 9,3007 9,0650 8,8629 8,9254 7,6504 7,6504 7,6504 7,6504 7,6504 Tabulka 3.2: Výsledky část 2

Kapitola 4 Dva hráči, strategie 4.1 Dva hráči Uvažujme hru hadi a žebříky, kterou hrají dva hráči, přičemž každý z hráčů má jednu figurku. Nutno říci, že z pohledu teorie her se stále jedná o hru jednoho hráče, jímž je příroda. Ta rozhoduje o počtu ok na kostce (strategii) a hrající osoby pak pouze posunují své figurky. Poznámka. V následujícím textu nebudou hráči vnímáni z pohledu teorie her, nebude-li to zdůrazněno. Budou to osoby posouvající každá svou figurku. Připomeňme pravidla klasické hry, kdy hráč, jehož figurka se po tahu ocitne na poli obsazeném jiným hráčem (protihráčem), takzvaně vyhodí tuto protihráčovu figurku. Ta je přesunuta na startovní pole. Poznámka. Startovním polem u herního plánu na obrázku 1.2 je myšleno pole, jenž je označeno číslem 0. V každém kole existuje pravděpodobnost, že jeden z hráčů bude vyhozen. Poznámka. Kolem nazvěme tah obou hráčů. Je-li hráčů více, pak všech hráčů. Tedy všichni hráči hodí kostkou a následně posunou svou figurku. Výše popsanou situaci lze řešit několika způsoby, které jsou však poměrně komplikované, a proto si pouze ukážeme jak postupovat při jejich řešení. Předpokládejme, že jsme hráčem, který je právě na tahu, házíme tedy kostkou a následně přesouváme naši figurku. Po tomto tahu je naše figurka na poli j s pravděpodobností p j. Figurka protihráče se nachází na poli i s pravděpodobností p i. V případě 0 < j i 6, můžeme být protihráčem vyhozeni s pravděpodobností p j,0 = 1 6. Obecně je tato pravděpodobnost přechodu (vyhození) p j,0 = 1 6 p i + 1 6 p i+1 + 1 6 p i+2 + 1 6 p i+3 + 1 6 p i+4 + 1 6 p i+5 pro i, j J taková, že rozdíl j i [1; 6], kde p označuje pravděpodobnosti výskytu figurky druhého hráče. Pokud není rozdíl j i z intervalu [1; 6], pravdě- 29