3 Teorie her. 3.1 Základní pojmy Typy her

Transkript

1 3 Teorie her Základy matematické teorie her položili v první pol. 20. toletí John von Nemann a Okar Morgerntern. Teorie her je diciplína aplikované matematiky, která analyzje široké pektrm konfliktních rozhodovacích itací, které moho natat kdekoliv, kde dochází ke třet zájmů. Herně-teoretické modely e pak naží tyto konfliktní itace nejen analyzovat, ale etavením matematického model daného konflikt a pomocí výpočtů e naží nalézt co nejlepší trategie pro konkrétní účatníky takových konfliktů. Teorie her e platňje v mnoha oblatech lidké činnoti od ekonomie, pře politologii až například po ociologii a biologii. 3. Základní pojmy Základem většiny matematických modelů z oblati teorie her je předpoklad racionality. Očekáváme, že každý hráč e chová tak, aby maximalizoval vůj zik (výhr). To znamená, že: o hráč i na základě tabilních preferencí tanovje cíle a volí i trategie k co možná nejefektivnějším doažení těchto cílů. o hráč je konfrontován rčitým počtem itací a dokáže i je eřadit podle vých preferencí od nejvýhodnější po nejméně výhodno. Toto eřazení mí být úplné, tj. mí pokrývat všechny itace, a tranzitivní, tj. pokd dá hráč přednot itaci A před itací B a itaci B před itací C, mí dát přednot itaci A před itací C. Na základě preferencí itací je odvozena žitková fnkce (tility fnction) hráče. Jediným cílem hráče je potom maximalizace hodnoty žitkové fnkce. Předpoklad racionality (každého hráče) je to, co odlišje teorii her (a přílšné trategie) od teorie rozhodování. Jo ale i pojetí, která chápo teorii rozhodování (popano v předcházející kapitole) jako peciální typ her, kdy jeden z hráčů je příroda, pro ktero předpoklad racionality neplatí. Bdeme-li hledat analogii teorií rozhodování, pak hráči jo účatnící rozhodovacího problém, trategie jo rozhodntí a hodnoty žitkové fnkce (výhry, výplaty) jo důledky rozhodntí. 3.. Typy her Hry (a jejich modely) můžeme pozovat z celé řady hlediek. Jo to [Peli] počet hráčů obvykle předpokládáme konečný počet hráčů; nejmenší možný počet je 2 a to bdo hry na které e dále zaměříme (příkladem moho být šachy, dáma, piškvorky, ale i bilaterální politická vyjednávání), počet trategií může být konečný i nekonečný; ná bdo zajímat hry konečným počtem trategií (šachy, dáma, piškvorky). U nekonečných trategií hraje roli i načaování jednotlivých tahů, typ výhry rozlišjí e tzv. hry kontantním očtem a hry nekontantním očtem; pro hry kontantním očtem platí, že pro každo volb trategií je očet výplatních fnkcí (výher) všech hráčů kontantní peciálním případem her kontantním očtem jo hry nlovým očtem, při kterých to, co jeden hráč vyhraje mí drhý hráč (v případě her o dvo hráčích) prohrát

2 příkladem jo šachy, piškvorky apod. U her nenlovým očtem zik jednoho hráče nemí pro jiného hráče ntně znamenat ztrát (vězňovo dilema i různá vyjednávání). počet tahů hry trategické předpokládají, že hráči provedo jeden tah (rozhodntí) očaně (např. kámen-nůžky-papír nebo vězňovo dilema), hry tahové jo založeny na ekvenci tahů, při kterých e hráči třídají (šachy, piškvorky) dotpná informace hry úplno informací (např. šachy) a hry neúplno informací (např. poker); v hrách úplnými informacemi má každý hráč k dipozici tejné informace týkající e hry jako všichni otatní. polpráce kooperativních hrách moho hráči vytvářet koalice případně e mezi ebo domlovat, nekooperativních hrách to možné není Ne všechny kombinace jednotlivých hlediek moho natat: každá hra dvo hráčů kontantním očtem je nekooperativní pro takovo hr e někdy požívá termín antagonitická hra Hra v normálním tvar Def. 3. Hra v normálním tvar je definována množino { Q X,..., X, ( x,... x ),..., ( x,..., x )}, n n n n kde Q = {,,n} jo hráči, množiny X,,X n jo množiny trategií a i (x,,x n ) jo výhry hráče i pro jednotlivé trategie. Hra v normálním tvar je obvykle znázorněna pomocí matice. Hr pro dva hráče vidíme na Obr.. Zde hráč čílo vybírá ze trategií,, k a hráč čílo 2 vybírá ze trategií t,,t l. Předpokládejme, že e jedná o hr nlovým očtem, v takové hře ( i, t j ) = - 2 ( i, t j ) a proto tačí zapiovat jen hodnot žitkové fnkce (výhry) pro jednoho hráče. hráč t 2 k 2 k t k 2 tl t 2t kl Obr. Hra pro dva hráče v normálním tvar. Příklad zápi (blíže nepecifikované hry) vidíme na Obr. 2. t t 2 hráč Obr. 2 Příklad hry v normálním tvar

3 Jiný příklad, tentokrát hry kámen-nůžky-papír je na Obr. 3 hráč K N P K 0 N 0 P 0 Obr. 3 Hra kámen-nůžky-papír v normálním tvar Normální tvar popije možné trategie a výplaty jednotlivých hráčů a možňje tak tdovat otázk optimální trategie. Pokd ná bde zajímat způob nalezení vhodné trategie, požívá e zápi hry v explicitním tvar Hra v explicitním tvar Explicitní tvar hry bývá požívána k formalizaci her, ve kterých hraje roli pořadí tahů. Hry jo reprezentovány jako tromy (viz obrázek vlevo). Každý zel zde reprezentje míto, ve kterém některý z hráčů vybírá tah, každá hrana odpovídá možném tah. Zápi hry NIM v explicitním tvar kazje Obr. 4. V této hře dvo hráčů jo na počátk dvě hromádky dvo zápalek. Hráči třídavě odebírají z některé z hromádek jedn nebo dvě irky. Prohraje ten z hráčů, který odebere polední irk. Na této hře je zajímavé, že hráč čílo 2 vždy vyhraje. Proč? Obr. 4 Hra NIM v explicitním tvar Věta 3.: Každo hr v explicitním tvar lze převét na právě jedn hr v normálním tvar. Věta 3.2: Ke každé hře v normálním tvar lze nalézt více her v explicitním tvar. Na Obr. 5 pak vidíme v explicitním tvar zápi hry kámen-nůžky-papír.

4 Obr. 5 Hra kámen-nůžky-papír v explicitním tvar Příklad 3.: Tic-Tac-Toe (neboli americké piškvorky) e hrají na čtvercové íti 3x3 políčka. První z hráčů malje křížky, drhý malje kolečka. Hráči e třídají a vyhraje ten, kom e podaří mítit tři vé ymboly do řádk, do lopce nebo na diagonál. Hrbý odhad počt pozic vychází z toho, že v každém z 9 polí může být o, x, nebo mezera, tedy 3 9 = Podobně hrbý odhad počt různých partií vychází z toho, že první tah může být do některého z 9 polí, drhý tah do některého z 8 polí atd, tedy 9! = (Obr. 6). Hrací pole je ale ymetrické a ne všechny možné kombinace ymbolů je příptná (např. devět x ). Je tedy různých partií (web). Obr. 6 Tic-tac-toe bez važování ymetrie

5 Obr. 7 Tic tac toe važováním ymetrie 3.2 Optimální trategie 3.2. Antagonitické hry Cílem každého racionálního hráče je vyhrát, jinými lovy maximalizovat voji výhr. Zabývejme e poze trategiemi antagonitických her dvo hráčů, které jo zapány v normálním tvar (viz Obr. ). Uvedený zápi vyjadřje hodnoty výher (výplat) hráče č.. Tento hráč volí mezi vými trategiemi (řádky i matice ( i,t j )) tak, aby jeho výhra byla maximální. Přitom ví, že jeho protihráč, hráč č. 2 bde vé trategie volit tak, aby výhr hráče č. minimalizoval. Hráč č. tedy volí takovo trategii *, pro který minimální hodnota jeho výhry (v rámci tohoto řádk) bde ze všech řádků maximální: * = max i min j ( i,t j ) Hráč. č. 2 potpje analogicky. Mezi vými trategiemi (lopci j matice ( i,t j )) volí t trategii t*, pro ktero maximální hodnota jeho prohry (v rámci tohoto lopce) bde ze všech lopců minimální. t* = min j max i ( i,t j ) Přitom platí, že max i min j ( i,t j ) < min j max i ( i,t j ) max i min j ( i,t j ) e nazývá dolní cena hry min j max i ( i,t j ) e nazývá horní cena hry Def. 3.2: Nechť (*,t*) = max i min j ( i,t j ) = min j max i ( i,t j ) Potom (*,t*) e nazývá edlový bod matice a předtavje tzv. cen hry. Dvojce trategií (*,t*) e nazývá rovnovážný bod. Teorie her e naží nalézt v každé hře rovnovážný bod, v němž hráči volí takové trategie, že žádný z nich nemá důvod vo trategii změnit za předpoklad, že nikdo z otatních vo trategii nezmění. Pokd rovnovážný bod exitje, optimální trategie obo hráčů e nazývají ryzí trategie.

6 Příklad: Pro hr v normálním tvar vedeno na Obr. 2 má rovnovážný bod podob ( 2, t ). Pro prvního hráče je totiž min (, t j ) = 2 a min ( 2, t j ) = 3 a tedy max min (,t) = ( 2, t ) což odpovídá trategii 2. Pro drhého hráče je pak max ( i, t ) = 3 a max ( i, t 2 ) = 4 a tedy min max (,t) = ( 2, t ) což odpovídá trategii t. Ne vždy ale rovnovážný bod a tedy ryzí trategie exitje. Uvažjme hr znázorněno maticí z Obr. 8. Hráč č. zvolí trategii 2, neboť pro ní je min j ij největší (je to prvek 2 =7). Hráč č. 2 zvolí trategii t, neboť pro ní je max i ij nejmenší (je to prvek 2 =9). Tentokrát tedy dolní cena hry je menší než horní cena hry. max i min j ( i,t j ) < min j max i ( i,t j ). Tato hra nemá rovnovážný bod a proto pro ní neexitje ryzí trategie. Def. 3.3: Nechť máme maticovo hr popano maticí z Obr.. Nechť p + p2 + + p k = a zároveň pi > 0 Pak hr výplatní fnkcí q + q2 + + q l = a zároveň qi > 0 π ( p, q) = k l i= j= nazveme míšeným rozšířením původní hry. Strčně řečeno, míšené rozšíření (a míšené trategie) znamená, že každý z hráčů vybírá ze vých trategií rčito pravděpodobnotí. Mlvíme pak o míšené trategii, ktero zapijeme jako vektor přílšných pravděpodobnotí. p i ij q j Příklad: Vraťme e ke hře znázorněné na Obr. 8. Smíšeno trategii jednotlivých hráčů můžeme hledat jako extrém výplatní fnkce, tedy jako hodnoty p a q pro které π(p, q) bde maximální (minimální): π(p, q) = p q + 5 p (- q ) + 7 q (- p ) + 9(- p ) (- q ) = 8 p q 4 p 2 q + 9 z toho π ( p, q) = 8q p π ( p, q) = 8p q 4 = 0 2 = 0 a tedy q = /2 a tedy p = /4 Hráč č. tedy volí trategii (/4, 3/4) a hráč č. 2 volí trategii (/2, /2). Pro tyto trategie je cena hry π(p, q) maximální a rovná e 8.

7 hráč 2 t t Obr. 8 Hra bez edlového bod Neantagonitické hry V případě neantagonitických her nejde výhra jednoho hráče na úkor hráčů otatních. Hráči e o vých trategiích moho (kooperativní hry) či nemoho (nekooperativní hry) domlovat. Ukážeme e příklady hodnocení trategií her obo typů. Bdeme opět važovat jen hry dvo hráčů, ktero můžeme tentokrát znázornit pomocí dvojmatice výplat (Obr. 9). Hodnota ij odpovídá výplatě prvního hráče v případě trategií i (první hráč) a t j (drhý hráč), hodnota v ij odpovídá výplatě drhého hráče v případě trategií i (první hráč) a t j (drhý hráč). t t2 tl (, v) ( 2, v2 ) ( t, v t ) hráč 2 ( 2, v2) ( 22, v22 ) ( 2t, v2t ) k ( k, vk) ( k 2, vk 2 ) ( kl, vkl ) Obr. 9 Dvojmaticová hra Def. 3.4: Dvojice trategií (*, t*) e nazývá rovnovážný bod, právě když (,t*) < (*,t*) pro všechna v(*,t) < v(*,t*) pro všechna t Věta 3.3: Nechť rovnovážném bod odpovídá prvek ( ij,v ij ). Potom ij = max k kj v ij = max k v ik Příklad: vězňovo dilema Vězňovo dilema patří k nejznámějším příkladům nekooperativních her. Dva vězni jo obviněni ze tejného tretného čin. Pokd e oba přiznají (P), bdo oba odozeni na 5 let (přiznání je polehčjící okolnot). Pokd bdo oba zapírat (Z), bdo oba odozeni za menší delikt na rok. Pokd e přizná jen jeden, bde v roli kornního vědka ovobozen, ale drhý obviněný bde odozen na 0 let. Přílšný zápi této hry v normálním tvar je na Obr. 0. Číla v dvojmatici dávají výši tret. Cílem hráčů je tto hodnot minimalizovat, neboli zvolit trategii, pro ktero bde maximální výše tret (pro možné trategie polobviněného) minimální. Tedy vězeň č. * = min i max j ij vězeň č. 2 t* = min j max i v ij

8 Z toho vychází rovnovážná trategie (*, t*) = (přiznat, přiznat). Pohledem na dvojmatici ovšem zjitíme, že vhodnější (z hledika výše tret) by byla trategie (zapírat, zapírat), neboť v tomto případě by výše tret pro oba byla nižší proto název hry dilema. Žádný z obviněných totiž neví, zda jeho komplic nepodlehne pokšení přiznat e a vyváznot bez tret. vězeň vězeň 2 Z P Z (,) (0,0) P (0,0) (5,5) Obr. 0 Vězňovo dilema Příklad: manželká domlva Manželé řeší otázk, jak trávit večer. Manžel by chtěl jít na fotbal, manželka preferje divadlo. Večer však chtějí trávit polečně. Tto hr můžeme znázornit maticí vedeno na Obr.. manžel fotbal (2,) divadlo (0,0) manželka fotbal divadlo (0,0) (,2) Obr. Manželká domlva Tato hra má dvě ryzí trategie v rovnovážných bodech (fotbal, fotbal) a (divadlo, divadlo). Platí totiž, že prvek (2,) předtavje maximm v prvním řádk i prvním lopci a prvek (,2) předtavje maximm ve drhém řádk i drhém lopci. Hra má i jedn míšeno trategii. 3.3 Hledání vhodné trategie Náledjící dvě podkapitoly káží dva způoby hledání vhodné trategie antagonitických her: minimax a alfa-beta prořezávání. Obě trategie i kážeme na příkladě hry zapané v rozvintém tvar a reprezentované tedy tromem. Připomeňme, že některé algoritmy pro prohledávání trom řešení jme poznali v kapitole věnované tavovém protor. Hlavní rozdíl mezi těmito algoritmy a algoritmy pro hledání trategií při hrách počívá v tom, že nyní nemáme kontrol nad všemi přechody mezi zly v daném trom. Některé tahy totiž dělá náš protihráč. Přeněji: važjeme-li ekvenční hr dvo hráčů, pak hráč A e rozhodje zlů, které mají do hlobk a hráč B e rozhodje zlů, které mají licho hlobk. Tomto způob prohledávání, kdy žádný z hráčů nemá kontrol nad všemi tahy e říká adverarial earch Minimax Minimaxová trategie pro rozhodování za nerčitoti byla popána v předcházející kapitole. V teorii her e vychází z podobného princip: za předpoklad racionality protihráče volím takový tah, aby náledný nejlepší tah protihráče byl z mého pohled nejméně nebezpečný. Minimaxovo trategii moh hledat na základě zápi hry v rozvintém tvar. Tento zápi je tvořen tromem, kde každém zl přiřadíme hodnoty na základě hodnot výher (hodnot fnkce ) v podtrom daného zl.

9 Jednotlivé zly trom e dělí do MAX úrovní (zly e do hlobko) a MIN úrovní (zly licho hlobko). Na každé MAX úrovni vybírá první hráč tah, který maximalizje hodnot rčitého kritéria, na každé MIN úrovni vybírá drhý hráč tah, který minimalizje hodnot tohoto kritéria. (kritéri hodnotí tahy z pohled prvního hráče). Tímto kritériem je tzv. MINIMAX hodnota: kde jo všichni náledníci zl n. ( n) pro n litový zel MINIMAX ( n) = max MINMAX ( ) pro n je MAX zel min MINMAX ( ) pro n je MIN zel Ohodnocování zlů probíhá od pod - od litů reprezentjících koncovo itaci hry měrem ke kořeni. Příklad takto ohodnoceného trom vidíme na Obr. 2. Je zřejmé, že první hráč zvolí tah odpovídající první větvi zleva. Obr. 2 Volba trategie dle minimax Aplikace minimaxového přítp předpokládá, že známe celý trom řešení. V reálných hrách to může být nepřekonatelný problém. Jak již bylo zmíněno, hra tic-tac-toe má různých partií, trom řešení pro šachy pak může mít okolo zlů (průměrný počet větvení 35, průměrná délka partie 50 tahů). Navíc, čaová náročnot algoritm O(b d ), tedy exponenciální podle hlobky prohledávání (a paměťová náročnot je O(bd) jde totiž o prohledávání do hlobky). Řešením je: o omezit hlobk prohledávání o pracovat poze odhady míto přenými hodnotami žitk pro jednotlivé zly Příklad: Tic-Tac-Toe. Obr. 3 kazje volb prvního tah vyžitím minimax pro hr tic-tac-toe. Kritérim, kterým e hodnotí jednotlivé zly je počet možných vítězných pozic X min počet možných vítězných pozic O.

10 Obr. 3 Tic-tac-toe volba prvního tah dle minimax Alfa-beta prořezávání Alfa-beta prořezávání je modifikace minimaxové trategie založená ne metodě větví a mezi, která možňje oříznot neperpektivní čáti trom. V algoritm e zavádí dvě nové hodnoty: o α je nejlepší (největší) známá hodnota pro zel MAX (na počátk α = - ) o β je nejlepší (nejmenší) známá hodnota pro zel MIN (na počátk β = ) Pro každý MAX zel potpně porovnáme MINMAX hodnot jednotlivých náledníků hodnoto β a je-li MINMAX > β, pak zbylé náledníky neprohledáváme. Pro každý MIN zel potpně porovnáme MINMAX hodnot jednotlivých náledníků hodnoto α a je-li MINMAX < α pak zbylé náledníky neprohledáváme (viz Obr. 4 pro prohledávání náledníků zleva doprava). Lze dokázat, že čaová ložitot alfa-beta prořezávání klene na O(b d/2 ), můžeme tedy oproti minimax prohledávat do dvojnáobné hlobky. Obr. 4 Volba trategie dle alfa-beta prořezávání

11 Cvičení: ) Karty. Každý ze dvo hráčů má dvě karty. Hráč č. má 5 a 2, hráč č. 2 má 5 a 3. Oba hráči mí najedno kázat jedn z karet. Dojde-li ke hodě barev, dotane první hráč od drhého aboltní hodnot rozdíl hodnot obo karet. Liší-li e barvy, dotane ten, kdo kázal kart vyšší hodnoto očet hodnot obo karet. Zapište tto hr v normálním tvar a nalezněte trategii. 2) Kámen-nůžky-papír. Najděte míšeno trategii pro hr kámen-nůžky-papír definovano náledjící maticí: K N P hráč K 0 N P 0 0 3) Manželká domlva. Najděte míšeno trategii pro manželko domlv definovano náledjící maticí: manželka fotbal divadlo manžel fotbal (2,) divadlo (0,0) (0,0) (,2) 4) Tic-tac-toe. Nalezněte trategii pro první dva tahy hry tic-tac-toe (minimax i alfa-beta prořezávání). Pro hodnocení pozic požijte počet možných vítězných pozic X min počet možných vítězných pozic O. Může-li některý z hráčů mítit vítězný ymbol, je tato pozice z jeho pohled hodnocena hodnoto 00. Literatra: Hykšová, M.: Teorie her. FD ČVUT Praha, Maňa, M.: Teorie her a její aplikace, SNTL, Praha, 99 Peliš, M.: Teorie her jako teorie racionálního rozhodování. web.ff.cni.cz/~peli/gt-peli.pdf, 2007 Štecha, J: Optimální rozhodování a řízení. FEL ČVUT Praha, 999. Wikipedia: