Úvod do teorie her. Formy her a rovnovážné řešení Tomáš Kroupa http://staff.utia.cas.cz/kroupa/ 208 ÚTIA AV ČR
Program. Definujeme 2 základní formy pro studium různých her: rozvinutou, strategickou. 2. Formulujeme pojem Nashova rovnovážného řešení hry a ukážeme si jeho význam a omezení na příkladech. 3. Ukážeme, že každá hra s dokonalou informací má rovnovážné řešení.
Hry v rozvinuté formě Definice Hra v rozvinuté formě s dokonalou informací je uspořádaná sedmice Γ = ( N, V, E, x 0, (V i ) i N, O, u ) kde N = {,..., n} je konečná množina hráčů, (V, E, x 0 ) je kořenový strom s kořenem x 0 V, (V i ) i N je rozklad množiny neterminálních vrcholů z V, O je množina výsledků hry, u je zobrazení, které každému listu x V přiřadí výsledek u(x) O. 2
Hry v rozvinuté formě s dokonalou informací interpretace Vrcholy x V značí herní pozice (x 0 počáteční, listy konečné). V každém neterminálním vrcholu x je na tahu nějaký hráč J(x) N. Akce A(x) hráče J(x) jsou hrany vedoucí z vrcholu x. V listech herního stromu (V, E, x 0 ) jsou specifikovány výsledky z O. 2 X Y 2 x (0, 4) y (2, ) (, 2) x 2 y 2 X 2 (3, 8) Y 2 (8, 0) 3
Strategie - plán akcí pro každou příležitost Definice Necht Γ je hra s dokonalou informací. Strategie hráče i N je zobrazení s i : V i x V i A(x) takové, že s i (x) A(x), pro každé x V i. Profil strategíı je uspořádaná n-tice s = (s i ) i N strategíı s i. Profil strategíı s jednoznačně určuje partii hry, tj. cestu x 0, x,..., x k od kořene x 0 k listu x k herního stromu: x je vrchol určený akcí hráče J(x 0 ) na základě strategie s J(x 0 ) x 2 je vrchol určený akcí hráče J(x ) na základě strategie s J(x ) atd. Definujeme: u(s) := u(x k ) O, kde x k je list cesty určené profilem s. 4
Hry v rozvinuté formě s dokonalou informací expresivita Předpoklad dokonalé informace Každý hráč, který je na tahu, zná historii předchozích tahů všech hráčů. Jaké hry popíšeme? + piškvorky + šachy, dáma + go Mimo expresivní možnosti modelu: - kámen-nůžky-papír - karetní hry (poker, bridge) - různé hry v kostky Předpoklad dokonalé informace později zobecníme: hry s externím faktorem náhodnosti, který hráči znají hry s nedokonalou informací 5
Náhodné tahy Novým faktorem ve hře je náhoda, kterou formálně vyjadřuje hráč 0. Definice Hra v rozvinuté formě s dokonalou informací a náhodnými tahy je kde Γ = ( N, V, E, x 0, (V i ) i N0, (p x ) x V0, O, u ) N = {,..., n} je konečná množina hráčů, N 0 := N {0}, (V, E, x 0 ) je kořenový strom s kořenem x 0 V, (V i ) i N0 je rozklad množiny neterminálních vrcholů z V, p x je pravděpodobností distribuce na množině hran spojujících vrchol x V 0 s jeho následníky, O je množina výsledků hry, u je zobrazení, které každému listu x V přiřadí výsledek u(x) O. 6
Náhodné tahy expresivita Předpoklad dokonalé informace a náhodných tahů Každý hráč zná historii předchozích tahů všech hráčů včetně náhody. Každý hráč zná všechny pravděpodobnostní distribuce p x, pro x V 0. Ve hře bez náhodných tahů určuje profil strategíı jednoznačně výsledek hry. Ve hře s náhodnými tahy určuje profil strategíı jednoznačně pravděpodobnostní distribuci na výsledcích hry. 7
Příklad hry s náhodnými tahy 2 a b 0 o c d o 2 o 3 2 2 e 0 f o 7 4 2 4 Hráč voĺı (b, e), hráč 2 voĺı (c). Pravděpodobnosti výsledků: p(o ) = p(o 2 ) = p(o 7 ) = 0, p(o 3 ) = 2, p(o 4) = p(o 6 ) = 8, p(o 5) = 4. 8 o 4 o 5 o 6
Strategické hry Definice Hra ve strategické formě je uspořádaná trojice G = ( ) N, (S i ) i N, (u i ) i N kde. N = {,..., n} je konečná množina hráčů, 2. S i je množina strategíı každého hráče i N, S := S S n, 3. u i : S R je užitková (výplatní) funkce každého hráče i N. Předpoklad: všichni hráči voĺı své strategie simultánně. Kardinalita množin S i může být libovolná. Strategické forma nezachycuje dynamiku hry v plné míře (pořadí tahů, informace o průběhu hry atp.) 9
Strategické hry příklady Vězňovo dilema Dva obvinění sedí v izolaci. Budou-li proti sobě oba svědčit (s), dostanou 2 roky. Pokud jeden svědčí proti druhému a ten zachová mlčení (m), svědek je propuštěn a obviněný dostane 3 roky. Mlčí-li oba, dostanou rok. s m s 2, 2 0, 3 m 3, 0, Paritní hra Dva hráči voĺı bit. Výplatní funkce jsou u (s, s 2 ) :=, pokud s s 2 = 0 a u (s, s 2 ) :=, pokud s s 2 =, a u 2 := u. 0 0,,,, 0
Rovnovážné řešení strategických her Je-li s S profil strategíı a i N, pak s i značí projekci s na množinu S S i S i+ S n. Definice (Nash, 950) Necht G je hra ve strategické formě. Profil strategíı s = (s i ) i N S je (Nashovým) rovnovážným řešením, platí-li pro každého hráče i N a každou strategii s i S i podmínka u i (s ) u i (s i, s i). V rovnováze voĺı každý hráč strategii maximalizující svůj vlastní užitek při použití rovnovážných strategíı ostatními hráči.
Rovnovážné řešení - příklady () Bezpečnostní dilema Velmoci (SSSR a USA) se rozhodují, zda investovat do jaderných (j) nebo pouze konvenčních (k) zbraní. Užitek je nejvyšší v případě, pokud nedojde k jadernému zbrojení (je nákladné a případná válka likvidační). Druhý nejlepší výsledek pro danou zemi je, pokud má jaderné zbraně, avšak její nepřítel jen konvenční (a obráceně). Nejmenší užitek nastane v případě, pokud je země jadernou mocností a její oponent též. USA k j j 3, 2, 2 SSSR k 4, 4, 3 Existují dva rovnovážné profily: (k, k) a (j, j). 2
Rovnovážné řešení - příklady (2) Vězňovo dilema s m s 2, 2 0, 3 m 3, 0, Jediný rovnovážný profil strategíı je (s, s). Povšimněme si, že při volbě strategíı (m, m) si oba hráči polepší, tato dvojice je však nedosažitelná díky nemožnosti komunikace mezi obviněnými. Paritní hra 0 0,,,, Tato hra nemá rovnovážné řešení. 3
Rovnovážné řešení her v rozvinuté formě Rovnovážné řešení lze přirozeně definovat i pro hry v rozvinuté formě s dokonalou informací a náhodnými tahy. Nadále uvažujeme, že výsledky hry jsou reálná čísla měřící užitky hráčů. Jak? Zadanou hru v rozvinuté formě G převedeme do jednoznačně určené strategické formy G S. Pokud jsou ve hře náhodné tahy, uvažujeme střední hodnoty užitků místo původních užitků v listech. Rovnovážné řešení hry G definujeme jako rovnovážné řešení hry ve strategické formě G S. Tato transformace však vede až k exponenciálnímu nárustu složitosti. 4
Existence rovnovážného řešení pro hry s dokonalou informací Věta (Kuhn) Každá hra v rozvinuté formě s dokonalou informací a náhodnými tahy má rovnovážné řešení. Uvažujme hry bez náhodných tahů. Rovnovážné řešení nalezneme pomocí algoritmu, který rozšíří užitky z listů na všechny uzly herního stromu. Zpětná indukce. Každému vrcholu x V i, jehož následníkem jsou listy y,..., y k, připiš vektor užitků u(y l ) takový, že u i (y l ) = max u i(y j ). j=,...,k 2. Analogicky postupuj pro vrcholy o úroveň výše než x V i z kroku. 3. Skonči, když byla připsán vektor užitků kořenu stromu. 5