Teorie her a ekonomické rozhodování 5. Opakované hry

Teorie her a ekonomické rozhodování 5. Opakované hry (chybějící či chybná indexace ve skriptech)

5.1 Opakovaná hra Hra až dosud hráči hráli hru jen jednou v reálu se konflikty neustále opakují (firmy nabízí množství výrobků trh stanovuje cenu výrobci reagují dodávají výrobky atd.) a tak analyzujeme opakovanou hru Mgr. Jana Sekničková, Ph.D. 2

5.1 Opakovaná hra Informace o opakování hry ovlivňuje chování hráčů Odlišně hrajeme, pokud hráče již nikdy neuvidíme, a jinak, pokud očekáváme další hru Nedodržení dohody v kooperativní hře (např. kartelové dohody) může mít následky v budoucnosti Mgr. Jana Sekničková, Ph.D. 3

5.1 Opakovaná hra Jednokolová hra G v normálním tvaru s N hráči strategie hráče v jednokolové hře = akce ai neprázdný prostor strategií hráče i v jednokolové hře = prostor akcí Ai Mgr. Jana Sekničková, Ph.D. 4

5.1 Opakovaná hra Příklad 1 Kámen nůžky papír Akce hráče i: a i, i = 1, 2 a i = kámen nebo a i = nůžky nebo a i = papír Prostor akcí hráče i: A i, i = 1, 2 A i = kámen, nůžky, papír Mgr. Jana Sekničková, Ph.D. 5

5.1 Opakovaná hra Příklad 2 Vězňovo dilema Akce hráče i: a i, i = 1, 2 a i a i = spolupráce (nepřiznat) nebo = podvod (přiznat) Prostor akcí hráče i: A i, i = 1, 2 A i = spolupráce nepřiznat, podvod (přiznat) Mgr. Jana Sekničková, Ph.D. 6

5.1 Opakovaná hra Opakovaná hra G* (superhra) je-li hra G hrána opakovaně, je řada her G sama o sobě také hrou (opakovanou) strategie hráče i = posloupnost zvolených akcí v rámci celé opakované hry hraje se v diskrétních okamžicích t = 0, 1,, T celkový počet kol = T+1 (t počet opakování) T < konečně opakovaná hra T = nekonečně opakovaná hra Mgr. Jana Sekničková, Ph.D. 7

5.1 Opakovaná hra Příklad 1 Kámen nůžky papír Jak může vypadat strategie prvního hráče ve dvoukolové hře? Kámen, kámen Nůžky, papír Papír, zopakuji tah druhého hráče z prvního kola Mgr. Jana Sekničková, Ph.D. 8

5.1 Opakovaná hra Příklad 2 Vězňovo dilema Jak může vypadat strategie prvního hráče ve dvoukolové hře? Spolupráce, spolupráce Spolupráce, podvod Spolupráce, zopakuji tah druhého hráče z prvního kola Mgr. Jana Sekničková, Ph.D. 9

5.1 Opakovaná hra Nutno rozlišovat index hráče i budeme používat dolní index index času t budeme používat horní index Akce, kterou hraje hráč i v okamžiku t: a i t Prostor akcí hráče i v čase t: A i t (a i t A i t ) Profil akcí v čase t: a t = (a 1 t, a 2 t,, a n t ) Mgr. Jana Sekničková, Ph.D. 10

5.1 Opakovaná hra Příklad 1 Kámen nůžky papír Prostor akcí hráče i v čase t: A i t = kámen, nůžky, papír, i = 1, 2, t = 0, 1, Profil akcí v čase 0: a 0 = (kámen, nůžky) Profil akcí v čase 1: a 1 = (papír, kámen) Profil akcí v čase 2: a 2 = (papír, papír) Mgr. Jana Sekničková, Ph.D. 11

5.1 Opakovaná hra Předpoklady: Prostor akcí Ai každého hráče i se mezi jednotlivými Hráč volí v každém koly nemění kole akci (A t i =A v závislosti t+1 i ) na minulých rozhodnutích ostatních hráčů Výplaty pro hráče se v jednotlivých kolech nemění, mohou však být diskontovány Výplaty pro hráče závisí pouze na profilu akcí daného kola (nezávisí na pořadí kola) Prostředí Hráči volí pro a realizují opakovanou akce hru v kole je stacionární současně výplatní Hráči znají matice akce má ostatních v každém hráčů kole stejný v předchozích rozměr a kolech stejné hodnoty Mgr. Jana Sekničková, Ph.D. 12

5.1 Opakovaná hra Za těchto předpokladů: Akce, kterou hraje hráč i v čase t: a i t Prostor akcí hráče i v čase t nezávisí na kole: A i (a i t A i ) Profil akcí v čase t: a t = (a 1 t, a 2 t,, a n t ) Prostor profilů akcí: A = A 1 A 2 A n Mgr. Jana Sekničková, Ph.D. 13

5.1 Opakovaná hra Historie hry představuje všechny předchozí realizované profily akcí: při 0. opakování: a 0 = (a 1 0, a 2 0,, a n 0 ) při 1. opakování: a 1 = (a 1 1, a 2 1,, a n 1 ) při T. opakování: a T = (a 1 T, a 2 T,, a n T ) Historie v čase t: h t = (a 0, a 1,, a t 1 ) Mgr. Jana Sekničková, Ph.D. 14

5.1 Opakovaná hra Příklad 1 Kámen nůžky papír Prostor akcí hráče i v čase t: A i = kámen, nůžky, papír, i = 1,2 Historie v čase 0: h 0 = Profil akcí v čase 0: a 0 = (kámen, nůžky) Historie v čase 1: h 1 = (kámen, nůžky) Profil akcí v čase 1: a 1 = (papír, kámen) Historie v čase 2: h 2 = kámen, nůžky, (papír, kámen) Mgr. Jana Sekničková, Ph.D. 15

5.1 Opakovaná hra Pro historii platí: historie h 0 je prázdná historie h t v sobě obsahuje také informaci o předchozích historiích h t 1, h t 2,, h 0 historie h T se nazývá konečná historie (konečná historie v nekonečné hře má nekonečnou délku, T = ) historie h t označuje historii po t+1. kole (po t- tém opakování hry, neboť hra začíná v čase 0) Mgr. Jana Sekničková, Ph.D. 16

5.1 Opakovaná hra Prostor historií hry: H t množina všech možných historií v čase t H t = (A) t = A 0 A 1 A t kartézský součin prostorů profilů akcí jednotlivých kol opakované hry Mgr. Jana Sekničková, Ph.D. 17

5.1 Opakovaná hra Příklad 1 Kámen nůžky papír Prostor historií po 1. kole (pro 2. kolo, t = 1): H 1 = {(kámen, kámen), (kámen, nůžky), (kámen, papír), (nůžky, kámen), (nůžky, nůžky), (nůžky, papír), (papír, kámen), (papír, nůžky), (papír, papír)} Prostor historií po 2. kole (t = 2) má již 9 x 9 možných historií h 2 Mgr. Jana Sekničková, Ph.D. 18

5.1 Opakovaná hra Ryzí strategie hráče i: s i h t : H t A i Ryzí strategie tedy přiřazuje hráči i akci a i t A i po odehrané historii h t H t Hráč tedy vyhodnotí výsledek odehrané hry až do času t 1 a na jeho základě zvolí akci pro čas t Na začátku hry hráč nemá žádné informace Mgr. Jana Sekničková, Ph.D. 19

5.1 Opakovaná hra Profil strategií odehraných hráči v čase t: s t = s 1 h t, s 2 h t,, s n h t Strategie hráče i v opakované hře: s i = s i h 0, s i h 1,, s i h T tento vektor má T+1 složek vektor ryzích strategií z každého kola hry Mgr. Jana Sekničková, Ph.D. 20

5.1 Opakovaná hra Prostor strategií hráče i: S i množina všech strategií s i, které může hráč i uskutečnit Prostor profilů strategií: S množina všech prostorů strategií, které mohou ve hře nastat Mgr. Jana Sekničková, Ph.D. 21

5.1 Opakovaná hra Příklad 2 Vězňovo dilema Prostor akcí hráče i v čase t: A i = spolupráce nepřiznat, podvod (přiznat) Ryzí strategie hráče i může být např.: s i h t = spolupráce, t = 0 spolupráce, když a τ j = spolupráce j i, τ = 1 t 1 podvod, jinak spolupracuj, dokud všichni hráči spolupracují Mgr. Jana Sekničková, Ph.D. 22

5.1 Opakovaná hra Jak probíhá hra? na počátku je historie prázdná h 0 = každý hráč volí akci pro nulté kolo a i 0 po ukončení kola se vytvoří historie h 1 = a 0 všichni hráči jsou s touto historií seznámeni volí strategii pro první kolo s i h 1 aktualizuje se historie, hráči jsou s ní seznámeni a volí strategii pro další kolo, Mgr. Jana Sekničková, Ph.D. 23

5.1 Opakovaná hra Pro výplatní funkci u i použijeme přístup založený na diskontování s diskontním faktorem δ i (0,1) Diskontní faktor je společný pro výplaty ze všech kol g i a t výplata pro hráče i při profilu akcí a t Tento faktor se teoreticky může lišit pro jednotlivé hráče a jednotlivá kola Mgr. Jana Sekničková, Ph.D. 24

5.1 Opakovaná hra Diskontní faktor přidává do výplatní funkce hodnotu času popisuje míru netrpělivosti hráčů δ i 0 hráč je netrpělivý, má sklon podvádět, hrozba budoucího trestu má malý význam δ i 1 hráč je trpělivý, má sklon spolupracovat, hrozba budoucího trestu má velký význam Mgr. Jana Sekničková, Ph.D. 25

5.1 Opakovaná hra Výplatní funkci hráče i lze definovat jako diskontovaný součet výplat z každého kola: u i = g i a 0 + δ i g i a 1 + δ i 2 g i a 2 + neboli u i = T t=0 δ i t g i a t Mgr. Jana Sekničková, Ph.D. 26

5.1 Opakovaná hra Přenásobení užitkové funkce kladnou konstantou nemění preference, takže místo T diskontovaného součtu výplat u i = t=0 δ t i g i a t lze použít diskontovanou průměrnou výplatu u i = (1 δ i ) T t=0 δ i t g i a t Mgr. Jana Sekničková, Ph.D. 27

5.1 Opakovaná hra Tato úprava umožňuje srovnání s jednorázovou hrou u i = (1 δ i ) Opakovaná hra s výplatami (v, v, v,, v) T má užitek u i = 1 δ i t=0 δ t i v = T = 1 δ i v t=0 δ t i = = 1 δ i v 1 = v 1 δ i T t=0 δ i t g i a t Mgr. Jana Sekničková, Ph.D. 28

5.1 Opakovaná hra Nashova rovnováha Strategie hráče i s i = s i h 0, s i h 1,, s i h T je Nashovou rovnováhou v opakované hře, jestliže s i je nejlepší odezvou hráče i vůči chování ostatních hráčů, kteří se drží svých rovnovážných strategií Mgr. Jana Sekničková, Ph.D. 29

5.2 Konečně opakovaná hra Je dán všem hráčům známý počet opakování T < V důsledku této informace může v posledních kolech hry dojít ke změně chování hráčů Často spolupracují téměř až do konce, na úplném konci (kdy už nehrozí postih za podvod) spolupracovat přestanou Mgr. Jana Sekničková, Ph.D. 30

5.2 Konečně opakovaná hra Příklad: Vězňovo dilema P N P 6, 6 0, 10 N 10,0 2, 2 Jednorázová hra má Nashovo rovnovážné řešení (podvod, podvod) dominování Mgr. Jana Sekničková, Ph.D. 31

5.2 Konečně opakovaná hra P N P 6, 6 0, 10 N 10,0 2, 2 Předpokládejme nyní opakovanou hru Je dán počet opakování hry T a diskontní faktor δ Dokonalá rovnováha podhry V posledním kole je výhodné podvádět (protihráč již nemůže podvod trestat) a tak bude výsledkem řešení (podvod, podvod) Mgr. Jana Sekničková, Ph.D. 32

5.2 Konečně opakovaná hra V posledním kole tedy hrají (podvod, podvod) stejně jako v jednorázové hře V předposledním kole je opět výhodnější podvod než spolupráce za podvod může protihráč trestat tak, že bude podvádět ale podvádět bude stejně, takže to žádný trest není Mgr. Jana Sekničková, Ph.D. 33

5.2 Konečně opakovaná hra Postupně dojdeme stejnou úvahou až na začátek hry Nashovou rovnováhou je tedy strategie: s i h t = podvod t = 0, 1,, T Platí: V konečně opakované hře vězňovo dilema existuje jediná Nashova rovnováha (a jediná dokonalá rovnováha podhry), ve které všichni hráči volí podvod Mgr. Jana Sekničková, Ph.D. 34

5.3 Nekonečně opakovaná hra Je dán nekonečný časový horizont T = Hráči nevědí, ve kterém kole hra skončí a zda vůbec skončí Není tedy stanoveno poslední kolo, ve kterém by hráči mohli beztrestně podvádět Hráči se tedy drží dohodnuté spolupráce pod hrozbou trestu z nedodržení dohody Mgr. Jana Sekničková, Ph.D. 35

5.3 Nekonečně opakovaná hra Místo jedné rovnovážné strategie (jako v jednorázové hře nebo v konečně opakované hře) existuje řada potenciálně rovnovážných strategií Ukážeme si ty nejznámější pro vězňovo dilema Jaké strategie napadají Vás? Mgr. Jana Sekničková, Ph.D. 36

5.3 Nekonečně opakovaná hra 1. Vždy podvádějte (Always Defect) Jestřábí strategie Hráč podvádí bez ohledu na historii s i h t = podvod t = 0, 1, 2, Mgr. Jana Sekničková, Ph.D. 37

5.3 Nekonečně opakovaná hra 2. Vždy spolupracujte (Always Cooperate) Holubí strategie Hráč spolupracuje bez ohledu na historii s i h t = spolupráce t = 0, 1, 2, Mgr. Jana Sekničková, Ph.D. 38

5.3 Nekonečně opakovaná hra 3. Naivní GrimTrigger Hráč spolupracuje až do chvíle, než někdo spolupráci poruší, pak již podvádí Podvod protihráče je navždy trestán s i h t = spolupráce, t = 0 spolupráce, když a τ j = spolupráce j i, τ = 0,1,, t 1 podvod, jinak Mgr. Jana Sekničková, Ph.D. 39

5.3 Nekonečně opakovaná hra 4. GrimTrigger Hráč spolupracuje až do chvíle, než někdo spolupráci poruší, pak již podvádí Postihuje zradu protihráčů i hráče samého s i h t = spolupráce, t = 0 spolupráce, když a τ j = spolupráce j, τ = 0,1,, t 1 podvod, jinak Mgr. Jana Sekničková, Ph.D. 40

5.3 Nekonečně opakovaná hra 5. Oko za oko (Tit-for-Tat) Strategie Půjčka za oplátku Začít spoluprací a dále kopírovat strategie protihráčů z předchozího kola spolupráce, t = 0 s i h t = spolupráce, když a t 1 j = spolupráce j i podvod, jinak Mgr. Jana Sekničková, Ph.D. 41

5.3 Nekonečně opakovaná hra 6. Omezená odplata (Limited Retaliation) Strategie Odpouštějící trigger Začít spoluprací Pokud kdokoliv zradí, k kol podvádět jako trest za zradu Pak opět spolupracovat bez ohledu na historii během odvety Mgr. Jana Sekničková, Ph.D. 42

5.3 Nekonečně opakovaná hra 7. Win-Stay, Lose-Shift Začít spoluprací a dále spolupracovat, pokud hráči hráli stejně, a podvádět, pokud hráli různě s i h t = spolupráce, t = 0 spolupráce, když a t 1 j = spolupráce j nebo a t 1 j = podvod j podvod, jinak Mgr. Jana Sekničková, Ph.D. 43

5.3 Nekonečně opakovaná hra 8. Jednou podvádějte (Deviate Once) Použít Oko za oko až do kola L V kole L podvod, v L+1 spolupráce a dále Oko za oko s i h t = spolupráce, t = 0, L + 1 spolupráce, když a t 1 j = spolupráce j i, t L podvod, jinak t = L Mgr. Jana Sekničková, Ph.D. 44

5.3 Nekonečně opakovaná hra 9. Grim Deviate Once Použít Grim Trigger až do kola L V kole L a následujících podvádět s i h t = spolupráce, t = 0 spolupráce, když a τ j = spolupráce τ = 0, 1,, t 1, t < L podvod, jinak t L Mgr. Jana Sekničková, Ph.D. 45

5.3 Nekonečně opakovaná hra Pro řešení opakované hry potřebujeme určit Nashovy rovnovážné strategie obou hráčů Jednou možností jsou strategie Grim Trigger Jsou rovnovážnými strategiemi? Bude výsledkem hry trvalá spolupráce? Na čem závisí rozhodnutí hráčů? Mgr. Jana Sekničková, Ph.D. 46

5.3 Nekonečně opakovaná hra Příklad: GrimTrigger Hráč spolupracuje až do chvíle, než někdo (i on) spolupráci poruší, pak již podvádí Oba začínají spoluprací, v dalším kole opět spolupracují (nikdo dohodu neporušil) atd. Výplaty v jednotlivých kolech tedy budou: 2, 2, 2 P N P 6, 6 N 0, 10 10,0 2, 2 Mgr. Jana Sekničková, Ph.D. 47

5.3 Nekonečně opakovaná hra Příklad: GrimTrigger Pokud by někdo podváděl, bude protihráč dále volit podvod Podvodník tedy získá 0, 6, 6, 6, V prvním kole získá o 2 jednotky více, v každém dalším však o 4 jednotky P více Nztratí Pokud je velmi netrpělivý, P 6, může 6pro 0, něj 10 být tato strategie výhodnější N 10,0 2, 2 Mgr. Jana Sekničková, Ph.D. 48

5.3 Nekonečně opakovaná hra Příklad: GrimTrigger Pro opakovanou spolupráci s výplatami ( 2, 2, 2 ) je diskontovaná průměrná výplata u i = 1 δ i = 1 δ i 2 t=0 δ i t 2 = 1 1 δ i = 2 Mgr. Jana Sekničková, Ph.D. 49

5.3 Nekonečně opakovaná hra Příklad: GrimTrigger Pro podvod v kroku τ s výplatami ( 2, 2, 2, 2, 0, 6, 6, 6, ) je diskontovaná průměrná výplata = 1 δ i u i = 1 δ i τ 1 t=0 t=0 δ i t 2 + 0 + δ i t g i a t = t=τ+1 δ i t 6 Mgr. Jana Sekničková, Ph.D. 50

5.3 Nekonečně opakovaná hra Příklad: GrimTrigger u i = 1 δ i τ 1 t=0 τ 1 δ i t = 1 1 δ i τ t=0 u i = 1 δ i δ i t 2 + 0 + 1 δ i t=τ+1 t=τ+1 δ i t 6 δ i t = δ i τ+1 1 δ i 2 1 δ i τ + 6 δ τ+1 i 1 δ i 1 δ i Mgr. Jana Sekničková, Ph.D. 51

5.3 Nekonečně opakovaná hra Příklad: GrimTrigger u i = 2 1 δ i τ 6δ i τ+1 = 2 + 2δ i τ 6δ i τ+1 Hráč bude spolupracovat, pokud u i (spolupráce) u i (podvod) 2 2 + 2δ i τ 6δ i τ+1 6δ i τ+1 2δ i τ δ i τ+1 δ i τ 2 6 δ i 1 3 Mgr. Jana Sekničková, Ph.D. 52

5.3 Nekonečně opakovaná hra Příklad: GrimTrigger Hráč tedy bude spolupracovat, pokud pro jeho diskontní faktor platí δ i 1 3 Pro trpělivé hráče s δ i 1 3 se podvádění nevyplatí Naopak netrpěliví hráči (s nízkým diskontním faktorem) preferují krátkodobý zisk Mgr. Jana Sekničková, Ph.D. 53

5.3 Nekonečně opakovaná hra Příklad: GrimTrigger Strategie GrimTrigger je Nashovou rovnováhou v uvedeném příkladě pro trpělivé hráče s δ i 1 3 Mgr. Jana Sekničková, Ph.D. 54

5.3 Nekonečně opakovaná hra Závěr: Odchýlením od rovnovážné strategie si trpělivý hráč nemůže polepšit Pro opakované hry s vysokým diskontním faktorem (blízkým 1) existuje mnoho rovnovážných strategií Pro trpělivého hráče libovolná strategie zajišťující výhry alespoň rovné zaručené maximinové výhře může představovat Nashovu rovnovážnou strategii Mgr. Jana Sekničková, Ph.D. 55

KONEC Mgr. Jana Sekničková, Ph.D. 56