ANALÝZA ZÁVISLOSTI. Martina Litschmannová

Transkript

1 ANALÝZA ZÁVISLOSTI Martina Litschmannová

2 Obsah přednášky Analýza závislosti dvou kategoriálních proměnných Analýza závislosti v kontingečních tabulkách Analýza závislosti v asociačních tabulkách Simpsonův paradox Analýza závislosti dvou spojitých proměnných Pearsonův korelační koeficient, Spearmanův korelační koeficient

3 Analýza závislosti V praxi často u statistických jednotek (pozorovaných osob nebo jiných objektů) zjišťujeme současně řadu znaků. Například spotřeba, objem motoru, hmotnost a zrychlení automobilů, výše mzdy, velikost IQ, hmotnost a výška mužů, školní prospěch a pocit deprese u dětí, apod. Možnosti vyhodnocení: Analýza jednotlivých znaků (každý zvlášť) Analýza závislosti, tj. může zajímat, zda existuje závislost mezi spotřebou automobilu a jeho hmotností, výši mzdy a velikostí IQ, pocitem deprese u dětí a školním prospěchem.

4 Typ znaku X (příčina) Metody analýzy jednostranné závislosti Jednostranná závislost - znak X působí na znak Y, avšak znak Y již nepůsobí zpětně na znak X. kategoriální kvantitativní Typ znaku Y (důsledek) kategoriální kvantitativní analýza závislosti v kontingenčních, ANOVA resp. v asociačních tabulkách Diskriminační analýza, logistická regrese regresní a korelační analýza Není náplni základního kurzu Pravděpodobnost a statistika!

5 Analýza závislosti dvou kategoriálních proměnných

6 Analýza závislosti v kontingenčních tabulkách

7 Motivační příklad Pro diferencovaný přístup v personální politice potřebuje vedení podniku vědět, zda spokojenost v práci závisí na tom, jedná-li se o pražský závod či závody mimopražské. Šetření se účastnilo 100 pracovníků z Prahy a 200 pracovníků z venkova. Výsledky šetření jsou v následující tabulce. místo/stupeň spokojenosti velmi spíše spíše velmi nespokojen nespokojen spokojen spokojen Praha Venkov Výsledky šetření analyzujte.

8 V jakém formátu obvykle získáváme tento typ dat? Místo Praha Praha Venkov Praha Venkov Venkov Stupeň spokojenosti velmi spokojen spíše spokojen spíše nespokojen spíše spokojen velmi spokojen spíše spokojen Tento převod lze provést pomocí většiny tabulkových procesorů i statistického software. Standardní datový formát místo/stupeň spokojenosti velmi spíše spíše velmi nespokojen nespokojen spokojen spokojen Praha Venkov Kontingenční tabulka

9 Základní terminologie Se základní terminologii a způsobem testování nezávislosti v kontingenční tabulce se seznamte v řešeném příkladu Analýza závislosti dvou kategoriálních veličin (flash animace).

10 Co je to kontingenční tabulka? X\Y y 1 y 2 y s Celkem x 1 n 11 n 12 n 1s n 1 x 2 n 21 n 22 n 2s n 2 x r n r1 n r2 n rs n r Celkem n 1 n 2 n s n Schéma rozšířené kontingenční tabulka Dvourozměrná tabulka četností, z jejichž hodnot můžeme usoudit na závislost či nezávislost mezi dvěma kategoriálními proměnnými.

11 Jak posoudit intenzitu závislosti mezi dvěma kategoriálními proměnnými pomoci explor. analýzy? Grafická analýza Shlukový sloupcový graf, kumulativní sloupcový graf, prostorový sloupcový graf (angl. sky chart), mozaikový graf, 100% skládaný pruhový graf Míry kontingence koeficient kontingence (počet variant obou proměnných je stejný) korigovaný koeficient kontingence, Cramerovo V Čím jsou tyto koeficienty blíže 1, tím je závislost mezi X a Y těsnější.

12 Míry kontingence Označme: r počet variant proměnné X, s počet variant proměnné Y, s O ij E ij 2 K = σr i=1 σ j=1, kde O E ij jsou pozorované sdružené četnosti ij zapsané v kontingenční tabulce a E ij jsou očekávané četnosti odpovídající součinu příslušných marginálních relativních četností. Koeficient kontingence ( r = s CC 0; 1 ) CC = K K+n

13 Míry kontingence Označme: r počet variant proměnné X, s počet variant proměnné Y, s O ij E ij 2 K = σr i=1 σ j=1, kde O E ij jsou pozorované sdružené četnosti ij zapsané v kontingenční tabulce a E ij jsou očekávané četnosti odpovídající součinu příslušných marginálních relativních četností. Korigovaný koeficient kontingence CC cor = CC CC max, kde CC max = min r;s 1 min r;s

14 Míry kontingence Označme: r počet variant proměnné X, s počet variant proměnné Y, s O ij E ij 2 K = σr i=1 σ j=1, kde O E ij jsou pozorované sdružené četnosti ij zapsané v kontingenční tabulce a E ij jsou očekávané četnosti odpovídající součinu příslušných marginálních relativních četností. Cramerovo V V = K n min r;s 1

15 Motivační příklad Pro diferencovaný přístup v personální politice potřebuje vedení podniku vědět, zda spokojenost v práci závisí na tom, jedná-li se o pražský závod či závody mimopražské. Šetření se účastnilo 100 pracovníků z Prahy a 200 pracovníků z venkova. Výsledky šetření jsou v následující tabulce. místo/stupeň spokojenosti velmi spíše spíše velmi nespokojen nespokojen spokojen spokojen Praha Venkov Výsledky šetření analyzujte.

16 Exploratorní analýza pomocí R pozorované četnosti sdružené relativní četnosti řádkové relativní četnosti sloupcové relativní četnosti

17 Exploratorní analýza pomocí R Shlukový sloupcový graf

18 Exploratorní analýza pomocí R Skládaný sloupcový graf

19 Exploratorní analýza pomocí R Mozaikový graf

20 Exploratorní analýza pomocí R Mozaikový graf Cramerovo V = 0,296

21 Exploratorní analýza pomocí Excelu Venkov Praha % 20% 40% 60% 80% 100% Praha Venkov Velmi nespokojen Spíše nespokojen Spíše spokojen Velmi spokojen 15 40

22 Metody statistické indukce vhodné pro analýzu závislosti dvou kategoriálních veličin Intervalové odhady vybraných pravděpodobností (viz Úvod do statistiky, kapitola 4) A to musím počítat intervalové odhady pro všechny pravděpodobnosti, které jsou v té tabulce???

23 Metody statistické indukce vhodné pro analýzu závislosti dvou kategoriálních veličin Intervalové odhady vybraných pravděpodobností (viz Úvod do statistiky, kapitola 4) NE!!! Vždy záleží na tom, co od výstupu analýzy očekáváš! Tohle je jen návrh analýz, které lze provést

24 Metody statistické indukce vhodné pro analýzu závislosti dvou kategoriálních veličin χ 2 test nezávislosti v kontingenční tabulce H 0 : Znaky X a Y v kontingenční tabulce jsou statisticky nezávislé H A : Znaky X a Y v kontingenční tabulce jsou statisticky závislé. Předpoklady testu: žádná z očekávaných četností E ij nesmí být menší než 2, alespoň 80 % očekávaných četností E ij musí být větších než 5. Testové kritérium: K = σr i=1 p hodnota = 1 F 0 x OBS, 2 σs O ij E ij j=1 E ij kde F 0 x je distribuční funkce χ 2 rozdělení s r 1 s 1 stupni volnosti.

25 Metody statistické indukce vhodné pro analýzu závislosti dvou kategoriálních veličin Yatesova korekce χ 2 testu nezávislosti v kontingenční tabulce H 0 : Znaky X a Y v kontingenční tabulce jsou statisticky nezávislé H A : Znaky X a Y v kontingenční tabulce jsou statisticky závislé. Předpoklady testu: ---- Testové kritérium: K Yates = σr i=1 σs O ij E ij 0,5 2 j=1 E ij p hodnota = 1 F 0 x OBS, kde F 0 x je distribuční funkce χ 2 rozdělení s r 1 s 1 stupni volnosti. Poznámka: Test má menší sílu testu (oproti χ 2 testu nezávislosti).

26 Metody statistické indukce vhodné pro analýzu závislosti dvou kategoriálních veličin H 0 : Spokojenost v práci nesouvisí s umístěním závodu. H A : Spokojenost v práci souvisí s umístěním závodu. Ověření předpokladů testu: žádná z očekávaných četností E ij nesmí být menší než 2, alespoň 80 % očekávaných četností E ij musí být větších než 5. Všechny očekávané četnosti jsou větší než 5. Předpoklady testu lze považovat za splněné. POZOR! Nezaměňovat očekávané a pozorované četnosti!!!

27 Metody statistické indukce vhodné pro analýzu závislosti dvou kategoriálních veličin H 0 : Spokojenost v práci nesouvisí s umístěním závodu. H A : Spokojenost v práci souvisí s umístěním závodu. Ověření předpokladů testu: žádná z očekávaných četností E ij nesmí být menší než 2, alespoň 80 % očekávaných četností E ij musí být větších než 5. A co když předpoklady splněny nebudou??? Všechny očekávané četnosti jsou větší než 5. Předpoklady testu lze považovat za splněné.

28 Metody statistické indukce vhodné pro analýzu závislosti dvou kategoriálních veličin H 0 : Spokojenost v práci nesouvisí s umístěním závodu. H A : Spokojenost v práci souvisí s umístěním závodu. Ověření předpokladů testu: Pokud lze některé varianty proměnné smysluplně sloučit, zkus to udělat. Pokud žádná z očekávaných četností E ij nesmí být menší než 2, ne, nelze výsledky z výběrového šetření alespoň 80 % očekávaných četností zobecnit E ij musí na populaci. být větších Na tento než 5. možný problém je vhodné myslet již před výběrovým šetřením (dostatečný rozsah výběru). Všechny očekávané četnosti jsou větší než 5. Předpoklady testu lze považovat za splněné.

29 Metody statistické indukce vhodné pro analýzu závislosti dvou kategoriálních veličin H 0 : Spokojenost v práci nesouvisí s umístěním závodu. H A : Spokojenost v práci souvisí s umístěním závodu. Ověření předpokladů testu: Pokud lze některé varianty proměnné smysluplně sloučit, zkus to udělat. Pokud ne, nelze výsledky z výběrového šetření zobecnit na populaci. Na tento možný problém je vhodné myslet již před výběrovým šetřením (dostatečný rozsah výběru). Všechny očekávané četnosti jsou větší než 5. Předpoklady testu lze považovat za splněné.

30 Metody statistické indukce vhodné pro analýzu závislosti dvou kategoriálních veličin H 0 : Spokojenost v práci nesouvisí s umístěním závodu. H A : Spokojenost v práci souvisí s umístěním závodu. Ověření předpokladů testu: Všechny očekávané četnosti jsou větší než 5. Předpoklady testu lze považovat za splněné. Rozhodnutí: Na hladině významnosti 0,05 zamítáme nulovou hypotézu (χ 2 test nezávislosti v kontingenční tabulce, χ 2 = 26,27, df = 3, p hodnota 0,001). Lze předpokládat, že spokojenost v práci souvisí s umístěním závodu (Cramerovo V = 0,296).

31 Analýza závislosti v asociačních tabulkách

32 Asociační tabulky speciální typ kontingenčních tabulek, které používáme k sledování závislosti dvou dichotomických znaků, tj. kategoriálních znaků nabývajících pouze dvou variant. (asociace = vztah dvou dichotomických znaků) X (okolnosti)\y(výskyt události) y 1 (úspěch) y 2 (neúspěch) Celkem x 1 (I.) a b a + b x 2 (II.) c d c + d Celkem a + c b + d n Schéma rozšířené asociační tabulky

33 Asociační tabulky speciální typ kontingenčních tabulek, které používáme k sledování závislosti dvou dichotomických znaků, tj. kategoriálních znaků nabývajících pouze dvou variant. (asociace = vztah dvou dichotomických znaků) X (sledovaný faktor)\y(výskyt onemocnění) D (ANO) ഥD (NE) Celkem E (přítomnost faktoru) a b a + b തE (nepřítomnost faktoru) c d c + d Celkem a + c b + d n Schéma rozšířené asociační tabulky (biomedicínská aplikace)

34 Asociační tabulky Na asociační tabulku lze sice nahlížet jako na speciální případ kontingenčních tabulek a při analýze používat jejich aparát, nicméně vhodnější je využít specifické metody a charakteristiky asociace. X (sledovaný faktor)\y(výskyt onemocnění) D (ANO) ഥD (NE) Celkem E (přítomnost faktoru) a b a + b തE (nepřítomnost faktoru) c d c + d Celkem a + c b + d n Schéma rozšířené asociační tabulky (biomedicínská aplikace)

35 Míry asociace Poměr šancí OR (angl. odds ratio ), nazýváno také křížový poměr (angl. cross product ratio ) Pozorovaný poměr počtu úspěchů k počtu neúspěchů (tzv. pozorovaná šance) za okolností I. je a, za okolností II. c. Odhad poměru šancí je pak b d OR = ad. bc X (okolnosti)\y(výskyt události) y 1 (úspěch) y 2 (neúspěch) Celkem x 1 (I.) a b a + b x 2 (II.) c d c + d Celkem a + c b + d n Schéma rozšířené asociační tabulky

36 Míry asociace Poměr šancí OR (angl. odds ratio ), nazýváno také křížový poměr (angl. cross product ratio ) Pozorovaný poměr počtu nemocných k počtu zdravých (tzv. pozorovaná šance) u exponované populace je a b, u neexponované populace c d. Odhad poměru šancí je pak OR = ad bc. X (sledovaný faktor)\y(výskyt onemocnění) D (ANO) ഥD (NE) Celkem E (přítomnost faktoru) a b a + b തE (nepřítomnost faktoru) c d c + d Celkem a + c b + d n Schéma rozšířené asociační tabulky (biomedicínská aplikace)

37 Lze očekávat přibližně 6 novorozeneckých úmrtí na přeživších novorozenců s normální porodní hmotností. Závisí novorozenecká úmrtnost (do 7 dnů po porodu) na porodní váze? Data odpovídající situaci v New Yorku v roce 1974 jsou uvedena v následující tabulce. porodní váha\novorozenecká úmrtí ANO NE Celkem nízká normální Celkem Odhad šance novorozeneckého úmrtí u dětí s nízkou porodní váhou je a b = = 0,134, což odpovídá přibližně 134 novorozeneckým úmrtím na přeživších novorozenců s nízkou porodní váhou. Obdobně odhadneme šanci novorozeneckého úmrtí u dětí s normální porodní váhou. c d = = 0,006

38 Závisí novorozenecká úmrtnost (do 7 dnů po porodu) na porodní váze? Data odpovídající situaci v New Yorku v roce 1974 jsou uvedena v následující tabulce. porodní váha\novorozenecká úmrtí ANO NE Celkem nízká normální Celkem Odhad šance novorozeneckého úmrtí u dětí s nízkou porodní váhou je a b = = 0,134, Obdobně odhadneme šanci novorozeneckého úmrtí u dětí s normální porodní váhou. c = 422 = 0,006. d OR = ad bc = = 0, ,006 21,4 šance novorozeneckého úmrtí je 21,4 krát vyšší u novorozenců s nízkou porodní váhou než u novorozenců s normální porodní váhou.

39 Míry asociace Poměr šancí OR (angl. odds ratio ), nazýváno také křížový poměr (angl. cross product ratio ) OR = ad bc. 0R < 1 OR = 1 OR > 1 U exponované populace (populace vystavené sledovanému faktoru) je nižší šance výskytu nemoci. Šance výskytu onemocnění u exponované a neexponované populace jsou shodné. U exponované populace je vyšší šance výskytu nemoci. X (sledovaný faktor)\y(výskyt onemocnění) D (ANO) ഥD (NE) Celkem E (přítomnost faktoru) a b a + b തE (nepřítomnost faktoru) c d c + d Celkem a + c b + d n Schéma rozšířené asociační tabulky (biomedicínská aplikace)

40 Míry asociace Poměr šancí OR (angl. odds ratio ), nazýváno také křížový poměr (angl. cross product ratio ) OR = ad bc. 0R < 1 OR = 1 OR > 1 U exponované populace (populace vystavené sledovanému faktoru) je nižší šance výskytu nemoci. Šance výskytu onemocnění u exponované a neexponované populace jsou shodné. U exponované populace je vyšší šance výskytu nemoci. Je-li OR 1, potřebujeme zpravidla ještě rozhodnout, zda je indikována asociace statisticky významná. Woolfova metoda: α % intervalový odhad OR : OR e 1 a +1 b +1 c +1 d z 1 α 2; OR e 1 a +1 b +1 c +1 d z 1 α 2. Jestliže α % intervalový odhad OR nezahrnuje 1, pak zamítáme hypotézu o nezávislosti znaků X a Y.

41 Závisí novorozenecká úmrtnost (do 7 dnů po porodu) na porodní váze? Data odpovídající situaci v New Yorku v roce 1974 jsou uvedena v následující tabulce. porodní váha\novorozenecká úmrtí ANO NE Celkem nízká normální Celkem OR 21,4 šance novorozeneckého úmrtí je 21,4 krát vyšší u novorozenců s nízkou porodní váhou než u novorozenců s normální porodní váhou. 95% intervalový odhad OR je dán vztahem OR e 1 a +1 b +1 c +1 d z 0,975 ; OR e 1 a +1 b +1 c +1 d z 0,975. z 0,975 = 1,64 (0,975 kvantil normovaného normálního rozdělení) Po dosazení: 95% intervalový odhad OR je 19,2; 23,8. Je zcela zřejmé, že šance novorozeneckého úmrtí statisticky významně závisí na porodní váze 1 19,2; 23,8.

42 Míry asociace Absolutní riziko (angl. absolute risk ) výskytu události (onemocnění, úmrtí, ) v závislosti na okolnostech (přítomnosti sledovaného faktoru) odhad absolutního rizika (=pravděpodobnosti) onemocnění u exponovaných respondentů je a a+b, odhad absolutního rizika (=pravděpodobnosti) onemocnění u neexponovaných respondentů je c c+d. Absolutní rizika mohou nabývat hodnot z intervalu 0; 1. X (sledovaný faktor)\y(výskyt onemocnění) D (ANO) ഥD (NE) Celkem E (přítomnost faktoru) a b a + b തE (nepřítomnost faktoru) c d c + d Celkem a + c b + d n Schéma rozšířené asociační tabulky (biomedicínská aplikace)

43 Míry asociace Relativní riziko RR (angl. relative risk ) poměr odhadů absolutních rizik vzniku onemocnění u exponovaných a neexponovaných osob, tj. RR = a a+b c c+d = a c+d c a+b. X (sledovaný faktor)\y(výskyt onemocnění) D (ANO) ഥD (NE) Celkem E (přítomnost faktoru) a b a + b തE (nepřítomnost faktoru) c d c + d Celkem a + c b + d n Schéma rozšířené asociační tabulky (biomedicínská aplikace)

44 Závisí novorozenecká úmrtnost (do 7 dnů po porodu) na porodní váze? Data odpovídající situaci v New Yorku v roce 1974 jsou uvedena v následující tabulce. porodní váha\novorozenecká úmrtí ANO NE Celkem nízká normální Celkem Odhad absolutního rizika novorozeneckého úmrtí u dětí s nízkou porodní a hmotností je = 618 = 0,119, a+b tj. novorozenecké úmrtí lze očekávat u cca 119 z novorozenců s nízkou porodní váhou), u dětí s normální porodní hmotností je absolutní riziko: 0,006, c = 422 = c+d tj. novorozenecké úmrtí lze očekávat u cca 6 z novorozenců s normální porodní váhou.

45 Závisí novorozenecká úmrtnost (do 7 dnů po porodu) na porodní váze? Data odpovídající situaci v New Yorku v roce 1974 jsou uvedena v následující tabulce. porodní váha\novorozenecká úmrtí ANO NE Celkem nízká normální Celkem Odhad absolutního rizika novorozeneckého úmrtí u dětí s nízkou porodní a hmotností je = 618 = 0,119, a+b u dětí s normální porodní hmotností je absolutní riziko: 0,006, c = 422 = c+d Odhad relativního rizika novorozeneckého úmrtí RR = a c+d = 0,119 = 19,0. c a+b 0,006 Ve sledovaném období bylo u dětí s nízkou porodní váhou cca 19 krát vyšší riziko novorozeneckého úmrtí než u dětí s normální porodní váhou.

46 Míry asociace Relativní riziko RR (angl. relative risk ) poměr odhadů absolutních rizik vzniku onemocnění u exponovaných a neexponovaných osob, tj. RR = a c+d c a+b. RR < 1 RR = 1 RR > 1 Expozice snižuje riziko onemocnění. Mezi expozici a onemocněním neexistuje žádná asociace. Expozice zvyšuje riziko onemocnění. X (sledovaný faktor)\y(výskyt onemocnění) D (ANO) ഥD (NE) Celkem E (přítomnost faktoru) a b a + b തE (nepřítomnost faktoru) c d c + d Celkem a + c b + d n Schéma rozšířené asociační tabulky (biomedicínská aplikace)

47 Míry asociace Relativní riziko RR (angl. relative risk ) poměr odhadů absolutních rizik vzniku onemocnění u exponovaných a neexponovaných osob, tj. RR = a c+d c a+b. RR < 1 RR = 1 RR > 1 Expozice snižuje riziko onemocnění. Mezi expozici a onemocněním neexistuje žádná asociace. Expozice zvyšuje riziko onemocnění. Je-li RR 1, musíme rozhodnout, zda je indikována asociace statisticky významná. Katzova metoda: α % intervalový odhad RR: RR e b a a+b + d c c+d z 1 α 2; RR e b a a+b + d c c+d z 1 α 2. Jestliže α % intervalový odhad RR nezahrnuje 1, pak zamítáme hypotézu o nezávislosti znaků X a Y.

48 Závisí novorozenecká úmrtnost (do 7 dnů po porodu) na porodní váze? Data odpovídající situaci v New Yorku v roce 1974 jsou uvedena v následující tabulce. porodní váha\novorozenecká úmrtí ANO NE Celkem nízká normální Celkem Odhad relativního rizika novorozeneckého úmrtí RR = 19,0 ve sledovaném období bylo u dětí s nízkou porodní váhou 19 krát vyšší riziko novorozeneckého úmrtí než u dětí s normální porodní váhou. 95% intervalový odhad RR je dán vztahem RR e b a a+b + d c c+d z 1 α 2; RR e b a a+b + d c c+d z 1 α 2. z 0,975 = 1,64 (0,975 kvantil normovaného normálního rozdělení) Po dosazení: 95% intervalový odhad RR je 17,1; 21,0. Je zcela zřejmé, že riziko novorozeneckého úmrtí statisticky významně závisí na porodní váze 1 17,1; 21,0.

49 Simpsonův paradox aneb pozor na posuzování tabulek, které se skládají ze dvou či více skupin

50 V Horních Sádrovicích bylo hospitalizováno 600 lehkých pacientů, z nichž 10 (1,7 %) zemřelo a 400 těžkých pacientů, z nichž zemřelo 190 (47,5 %). Ve Staré Dláze bylo hospitalizováno 900 lehkých pacientů, z nichž 30 (3,2 %) zemřelo a 100 těžkých pacientů, z nichž zemřelo 100 (10,0 %). Horní Sádrovice stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,017 (10/600) 0,983 (590/600) těžký ,475 (190/400) 0,525 (210/400) celkem ,200 (200/1000) 0,800 (800/1000)

51 Horní Sádrovice stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,017 (10/600) 0,983 (590/600) těžký ,475 (190/400) 0,525 (210/400) celkem ,200 (200/1000) 0,800 (800/1000) Stará Dláha stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,033 (30/900) 0,967 (870/900) těžký , 700 (70/100) 0,300 (30/100) celkem , 100 (100/1000) 0,900 (900/1000) Kontingenční tabulky rozšířené o marginální četnosti a řádkové rel. četnosti

52 Horní Sádrovice stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,017 (10/600) 0,983 (590/600) těžký ,475 (190/400) 0,525 (210/400) celkem ,200 (200/1000) 0,800 (800/1000) Stará Dláha stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,033 (30/900) 0,967 (870/900) těžký , 700 (70/100) 0,300 (30/100) celkem , 100 (100/1000) 0,900 (900/1000) Ve kterém městě je u lehkých pacientů nižší riziko úmrtí?

53 Horní Sádrovice stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,017 (10/600) 0,983 (590/600) těžký ,475 (190/400) 0,525 (210/400) celkem ,200 (200/1000) 0,800 (800/1000) Stará Dláha stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,033 (30/900) 0,967 (870/900) těžký , 700 (70/100) 0,300 (30/100) celkem , 100 (100/1000) 0,900 (900/1000) Ve kterém městě je u lehkých pacientů nižší riziko úmrtí?

54 Horní Sádrovice stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,017 (10/600) 0,983 (590/600) těžký ,475 (190/400) 0,525 (210/400) celkem ,200 (200/1000) 0,800 (800/1000) Stará Dláha stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,033 (30/900) 0,967 (870/900) těžký , 700 (70/100) 0,300 (30/100) celkem , 100 (100/1000) 0,900 (900/1000) Ve kterém městě je u těžkých pacientů nižší riziko úmrtí?

55 Horní Sádrovice stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,017 (10/600) 0,983 (590/600) těžký ,475 (190/400) 0,525 (210/400) celkem ,200 (200/1000) 0,800 (800/1000) Stará Dláha stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,033 (30/900) 0,967 (870/900) těžký , 700 (70/100) 0,300 (30/100) celkem , 100 (100/1000) 0,900 (900/1000) Ve kterém městě je u těžkých pacientů nižší riziko úmrtí?

56 Horní Sádrovice stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,017 (10/600) 0,983 (590/600) těžký ,475 (190/400) 0,525 (210/400) celkem ,200 (200/1000) 0,800 (800/1000) Stará Dláha stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,033 (30/900) 0,967 (870/900) těžký , 700 (70/100) 0,300 (30/100) celkem , 100 (100/1000) 0,900 (900/1000) Ve kterém městě je nižší riziko úmrtí pacienta?

57 Horní Sádrovice stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,017 (10/600) 0,983 (590/600) těžký ,475 (190/400) 0,525 (210/400) celkem ,200 (200/1000) 0,800 (800/1000) Stará Dláha stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,033 (30/900) 0,967 (870/900) těžký , 700 (70/100) 0,300 (30/100) celkem , 100 (100/1000) 0,900 (900/1000) Ve kterém městě je nižší riziko úmrtí pacienta?

58 Horní Sádrovice stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,017 (10/600) 0,983 (590/600) těžký ,475 (190/400) 0,525 (210/400) celkem ,200 (200/1000) 0,800 (800/1000) Stará Dláha stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,033 (30/900) 0,967 (870/900) těžký , 700 (70/100) 0,300 (30/100) celkem , 100 (100/1000) 0,900 (900/1000)???

59 Horní Sádrovice stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,017 (10/600) 0,983 (590/600) těžký ,475 (190/400) 0,525 (210/400) celkem ,200 (200/1000) 0,800 (800/1000) Stará Dláha stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,033 (30/900) 0,967 (870/900) těžký , 700 (70/100) 0,300 (30/100) celkem , 100 (100/1000) 0,900 (900/1000) Simpsonův paradox

60 Simpsonův paradox Jedná se o situaci, kdy se závislost mezi dvěma znaky kvalitativně změní, jestliže uvážíme vliv znaku třetího (skrytého). (Např. vztah mezi úmrtnosti pacientů a místem léčby (Horní Sádrovice vs. Stará Dláha), vezmeme-li v úvahu stav pacienta při přijetí do nemocnice.) Důvodem je silná závislost mezi jedním z dvou analyzovaných znaků a znakem skrytým.

61 Simpsonův paradox Zajímavé odkazy: 1) 2) Agresti, A. (2002). Categorical Data Analysis, Second Edition. Hoboken: John Wiley and Sons. ISBN ) Blyth, C. R. (1972). On Simpson's paradox and the sure-thing principle. Journal of the American Statistical Association, 67, ) Davis, L. J. (1989). Intersection union tests for strictly collapsibility in three-dimensional contingency tables. Annals of Statistics, 17, ) Dong, J. (1998). Simpson's paradox. Pp in Encyclopedia of Biostatistics, vol. 5. Chichester: John Wiley and Sons. 6) Pavlides, M. G., Perlman, M. D. (2009). How likely is Simpson's paradox? The American Statistician, 63, ) Samuels, M. L. (1993). Simpson's paradox and related phenomena. Journal of the American Statistical Association, 88, ) Simpson, E. H. (1951). The interpretation of interaction in contingency tables. Journal of the Royal Statistical Society, Series B, 13, ) Wagner, C. H. (1982). Simpson's paradox in real life. The American Statistician, 36, ) Wardrop, R. L. (1995). Simpson's paradox and the hot hand in basketball. The American Statistician, 49,

62 Analýza závislosti dvou numerických proměnných

63 Malé opakování z pravděpodobnosti Co je to kovariance? Kovariance cov X, Y je definována jako smíšený centrální moment řádu cov X, Y = E X E X Y E Y Vlastnosti kovariance 1. cov X, Y = E X Y E X E Y (výpočetní vztah), 2. cov X, X = D X, 3. cov a 1 X + b 1, a 2 Y + b 2 = a 1 a 2 cov X, Y, 4. jsou-li X, Y jsou nezávislé náhodné veličiny, pak cov X, Y = 0.

64 Malé opakování z pravděpodobnosti Co je to korelační koeficient? Korelační koeficient ρ X, Y je mírou lineární závislosti dvou náh. veličin. ρ X, Y = cov X, Y, DX, DY 0, DX DY 0 jinak. Vlastnosti korelačního koeficientu 1. 1 ρ X, Y 1, 2. ρ X, Y = ρ Y, X, 3. ρ X, X = 1, 4. jsou-li X, Y nezávislé náhodné veličiny, pak ρ X, Y = 0, 5. je-li ρ X, Y = 0, říkáme, že X, Y jsou nekorelované náhodné veličiny, 6. je-li ρ X, Y = 1, pak existuje a, b R, a > 0 takové, že Y = ax + b s pravd je-li ρ X, Y = 1, pak existuje a, b R, a < 0 takové, že Y = ax + b s pravd je-li ρ X, Y > 0, říkáme, že X, Y jsou pozitivně korelované (s rostoucím X roste Y), 9. je-li ρ X, Y < 0, říkáme, že X, Y jsou negativně korelované (s rostoucím X klesá Y).

65 Malé opakování z pravděpodobnosti ρ X, Y =1,000 ρ X, Y = -1,000 ρ X, Y =0,000 ρ X, Y =0,934 ρ X, Y =0,967 ρ X, Y =0,857 ρ X, Y =-0,143 ρ X, Y =0,608 Ověřit si, zda máte představu o významu korelačního koeficientu, můžete ZDE (jar).

66 Malé opakování z pravděpodobnosti Pokud jsou dvě náhodné veličiny korelované, znamená to pouze to, že jsou lineárně závislé. Nelze z toho však ještě usoudit, že by jedna z nich musela být příčinou a druhá následkem. To samotná korelovanost nedovoluje rozhodnout. Silná korelace

67 Malé opakování z pravděpodobnosti Pokud jsou dvě náhodné veličiny korelované, znamená to pouze to, že jsou lineárně závislé. Nelze z toho však ještě usoudit, že by jedna z nich musela být příčinou a druhá následkem. To samotná korelovanost nedovoluje rozhodnout. Silná korelace

68 Pearsonův korelační koeficient Korelační koeficient ρ dokážeme určit pouze tehdy, známe-li sdružené rozdělení náhodného vektoru X; Y. Nechť X 1 ; Y 1,, X n ; Y n je výběr z dvourozměrného normálního rozdělení, tj. z rozdělení, jehož sdružená hustota pravděpodobnosti je dána vztahem f x; y = 1 2πσ X σ Y 1 ρ 2 e 2 1 x μ X 2 1 ρ 2 2ρ x μ X y μ Y σ X σ X σ Y + y μ 2 Y σ Y. Pak lze odhad korelačního koeficientu ρ určit jako r = kde S XY = 1 σ n n 1 i=1 S XY S X 2 S Y 2, S X 2, S Y 2 0, 0 jinak, X i തX Y i തY = σ n i=1 σ n i=1 X 2 i n തX 2 σ i=1 Xi Y i n തX തY. n Y 2 i n തY 2

69 Pearsonův korelační koeficient Nechť X 1 ; Y 1,, X n ; Y n rozdělení. je výběr z dvourozměrného normálního Zjistíme-li, že výběrový korelační koeficient r 0, zpravidla nás zajímá, zda je indikovaná korelace statisticky významná. Chceme testovat nulovou hypotézu H 0 : ρ = 0 vůči alternativě H A : ρ 0, resp. ρ < 0, resp. ρ > 0. Testová statistika: T = r n 2 1 r 2 má za předpokladu platnosti H 0 Studentovo rozdělení s n 2 stupni volnosti. Poznámka: Jsou-li složky náhodného vektoru X; Y s dvourozměrným normálním rozdělením nekorelované, jsou nezávislé. (POZOR! Obecně to neplatí.)

70 Spearmanův korelační koeficient Mějme náhodný výběr X 1 ; Y 1,, X n ; Y n z dvourozměrného rozdělení. Nechť R X1,, R Xn jsou pořadí veličin X 1,, X n a nechť R Y1,, R Yn jsou pořadí veličin Y 1,, Y n. r S = 1 6 σ n n n 2 1 i=1 R X1 R Y1 2 Pokud se v náhodných výběrech, z nichž je r S počítán, vyskytuje mnoho shod (tj. stejně velkých pozorování), doporučuje se používat korigovaný Spearmanův korelační koeficient r Skorig. r Skorig = 1 6 σn n 3 n T X T i=1 Y R X1 R Y1 2

71 Srovnání Pearsonova a Spearmanova korel. koeficientu ρ X, Y = 1,000 ρ X, Y = -1,000 ρ X, Y = 0,000 ρ X, Y = 0,934 ρ S X, Y = 1,000 ρ S X, Y = -1,000 ρ S X, Y = 0,000 ρ S X, Y = 1,000 ρ X, Y = 0,967 ρ X, Y = 0,857 ρ X, Y = -0,143 ρ X, Y = 0,608 ρ S X, Y = 0,981 ρ S X, Y = 0,893 ρ S X, Y = -0,178 ρ S X, Y = 0,911

72 Spearmanův korelační koeficient Mějme náhodný výběr X 1 ; Y 1,, X n ; Y n z dvourozměrného rozdělení. Nechť R X1,, R Xn jsou pořadí veličin X 1,, X n a nechť R Y1,, R Yn jsou pořadí veličin Y 1,, Y n. Pokud se v náhodných výběrech, z nichž je r S počítán, vyskytuje mnoho shod (tj. stejně velkých pozorování), doporučuje se používat korigovaný Spearmanův korelační koeficient r Skorig. r Skorig = 1 6 n σ n 3 n T X T i=1 Y R X1 R Y1 2, kde T X = 1 2 σ t X 3 t X, T Y = 1 2 σ t Y 3 t Y, kde t X jsou rozsahy skupin stejně velkých X-ových hodnot. Obdobně definujeme t Y.

73 Spearmanův korelační koeficient Je-li hodnota Spearmanova korelačního koeficientu r S blízká nule, chceme zpravidla testovat, zda je odchylka koeficientu r S od nuly náhodná či statisticky významná. H 0 : X, Y jsou nezávislé náhodné veličiny. H A : X, Y jsou závislé náhodné veličiny. Testová statistika: r S Nulovou hypotézu zamítáme pokud r S r S α, kde r S α je kritická hodnota Spearmanova korelačního koeficientu. Pro rozsah výběru n 30 a hladiny významnosti 0,05, resp. 0,01 jsou kritické hodnoty r S α; n tabelovány (tabulka T16). Je-li rozsah výběru n > 30, pak kde z 1 α 2 je 1 α 2 r S α; n = z 1 α 2 n 1, kvantil normovaného normálního rozdělení.

74 Děkuji za pozornost!