Přednáška 10. Analýza závislosti

Transkript

1 Přednáška 10 Analýza závislosti Analýza závislosti dvou kategoriálních proměnných Analýza závislosti v kontingečních tabulkách Analýza závislosti v asociačních tabulkách Simpsonův paradox Analýza závislosti dvou spojitých proměnných Pearsonův korelační koeficient, Spearmanův korelační koeficient

2 Analýza závislosti V praxi často u statistických jednotek (pozorovaných osob nebo jiných objektů) zjišťujeme současně řadu znaků. Například spotřeba, objem motoru, hmotnost a zrychlení automobilů, výše mzdy, velikost IQ, hmotnost a výška mužů, školní prospěch a pocit deprese u dětí, apod. Možnosti vyhodnocení: Analýza jednotlivých znaků (každý zvlášť) Analýza závislosti, tj. může zajímat, zda existuje závislost mezi spotřebou automobilu a jeho hmotností, výši mzdy a velikostí IQ, pocitem deprese u dětí a školním prospěchem.

3 Typ znaku X (příčina) Metody analýzy jednostranné závislosti Jednostranná závislost - znak X působí na znak Y, avšak znak Y již nepůsobí zpětně na znak X. kategoriální kvantitativní Typ znaku Y (důsledek) kategoriální kvantitativní analýza závislosti v kontingenčních, ANOVA resp. v asociačních tabulkách Diskriminační analýza, logistická regrese regresní a korelační analýza Není náplni základního kurzu Statistika!

4 Analýza závislosti dvou kategoriálních proměnných

5 Analýza závislosti v kontingenčních tabulkách

6 Motivační příklad Pro diferencovaný přístup v personální politice potřebuje vedení podniku vědět, zda spokojenost v práci závisí na tom, jedná-li se o pražský závod či závody mimopražské. Šetření se účastnilo 100 pracovníků z Prahy a 200 pracovníků z venkova. Výsledky šetření jsou v následující tabulce. místo/stupeň spokojenosti velmi spíše spíše velmi nespokojen nespokojen spokojen spokojen Praha Venkov Výsledky šetření analyzujte.

7 V jakém formátu obvykle získáváme tento typ dat? Místo Praha Praha Venkov Praha Venkov Venkov Stupeň spokojenosti velmi spokojen spíše spokojen spíše nespokojen spíše spokojen velmi spokojen spíše spokojen Tento převod lze provést pomocí většiny tabulkových procesorů i statistického software. Standardní datový formát místo/stupeň spokojenosti velmi spíše spíše velmi nespokojen nespokojen spokojen spokojen Praha Venkov Kontingenční tabulka

8 Základní terminologie Se základní terminologii a způsobem testování nezávislosti v kontingenční tabulce se seznamte v řešeném příkladu Analýza závislosti dvou kategoriálních veličin (flash animace).

9 Co je to kontingenční tabulka? X\Y y 1 y 2 y s Celkem x 1 n 11 n 12 n 1s n 1 x 2 n 21 n 22 n 2s n 2 x r n r1 n r2 n rs n r Celkem n 1 n 2 n s n Schéma rozšířené kontingenční tabulka Dvourozměrná tabulka četností, z jejichž hodnot můžeme usoudit na závislost či nezávislost mezi dvěma kategoriálními proměnnými.

10 Jak posoudit intenzitu závislosti mezi dvěma kategoriálními proměnnými pomoci explor. analýzy? Grafická analýza Shlukový sloupcový graf, kumulativní sloupcový graf, prostorový sloupcový graf (angl. sky chart), mozaikový graf, 100% skládaný pruhový graf Míry kontingence koeficient kontingence (počet variant obou proměnných je stejný) korigovaný koeficient kontingence, Cramerovo V Čím jsou tyto koeficienty blíže 1, tím je závislost mezi X a Y těsnější.

11 Míry kontingence Označme: r počet variant proměnné X, s počet variant proměnné Y, K = r i=1 s j=1 O ij E ij 2 E ij, kde O ij jsou pozorované sdružené četnosti zapsané v kontingenční tabulce a E ij jsou očekávané četnosti odpovídající součinu příslušných marginálních relativních četností. Koeficient kontingence ( r = s CC 0; 1 ) CC = K K+n

12 Míry kontingence Označme: r počet variant proměnné X, s počet variant proměnné Y, K = r i=1 s j=1 O ij E ij 2 E ij, kde O ij jsou pozorované sdružené četnosti zapsané v kontingenční tabulce a E ij jsou očekávané četnosti odpovídající součinu příslušných marginálních relativních četností. Korigovaný koeficient kontingence CC cor = CC CC max, kde CC max = min r;s 1 min r;s

13 Míry kontingence Označme: r počet variant proměnné X, s počet variant proměnné Y, K = r i=1 s j=1 O ij E ij 2 E ij, kde O ij jsou pozorované sdružené četnosti zapsané v kontingenční tabulce a E ij jsou očekávané četnosti odpovídající součinu příslušných marginálních relativních četností. Cramerovo V V = K n min r;s 1

14 Motivační příklad Pro diferencovaný přístup v personální politice potřebuje vedení podniku vědět, zda spokojenost v práci závisí na tom, jedná-li se o pražský závod či závody mimopražské. Šetření se účastnilo 100 pracovníků z Prahy a 200 pracovníků z venkova. Výsledky šetření jsou v následující tabulce. místo/stupeň spokojenosti velmi spíše spíše velmi nespokojen nespokojen spokojen spokojen Praha Venkov Výsledky šetření analyzujte.

15 Exploratorní analýza pomocí Statgraphicsu

16 Exploratorní analýza pomocí Statgraphicsu Mosaic Plot Praha Velmi nespokojen Spíše nespokojen Spíše spokojen Velmi spokojen Venkov

17 Exploratorní analýza pomocí Statgraphicsu

18 Exploratorní analýza pomocí Excelu Venkov Praha % 20% 40% 60% 80% 100% Praha Venkov Velmi nespokojen Spíše nespokojen Spíše spokojen Velmi spokojen 15 40

19 Metody statistické indukce vhodné pro analýzu závislosti dvou kategoriálních veličin Intervalové odhady vybraných pravděpodobností (viz Úvod do statistiky, kapitola 4) A to musím počítat intervalové odhady pro všechny pravděpodobnosti, které jsou v té tabulce???

20 Metody statistické indukce vhodné pro analýzu závislosti dvou kategoriálních veličin Intervalové odhady vybraných pravděpodobností (viz Úvod do statistiky, kapitola 4) NE!!! Vždy záleží na tom, co od výstupu analýzy očekáváš! Tohle je jen návrh analýz, které lze provést

21 Metody statistické indukce vhodné pro analýzu závislosti dvou kategoriálních veličin χ 2 test nezávislosti v kontingenční tabulce H 0 : Znaky X a Y v kontingenční tabulce jsou statisticky nezávislé H A : Znaky X a Y v kontingenční tabulce jsou statisticky závislé. Předpoklady testu: žádná z očekávaných četností E ij nesmí být menší než 2, alespoň 80% očekávaných četností E ij musí být větších než 5. Testové kritérium: K = r i=1 s j=1 O ij E ij 2 E ij p hodnota = 1 F 0 x OBS, kde F 0 x je distribuční funkce χ 2 rozdělení s r 1 s 1 stupni volnosti.

22 Metody statistické indukce vhodné pro analýzu závislosti dvou kategoriálních veličin Yatesova korekce χ 2 testu nezávislosti v kontingenční tabulce H 0 : Znaky X a Y v kontingenční tabulce jsou statisticky nezávislé H A : Znaky X a Y v kontingenční tabulce jsou statisticky závislé. Předpoklady testu: ---- Testové kritérium: K Yates = r i=1 s j=1 O ij E ij 0,5 2 E ij p hodnota = 1 F 0 x OBS, kde F 0 x je distribuční funkce χ 2 rozdělení s r 1 s 1 stupni volnosti. Poznámka: Test má menší sílu testu (oproti χ 2 testu nezávislosti).

23 Metody statistické indukce vhodné pro analýzu závislosti dvou kategoriálních veličin H 0 : Spokojenost v práci nesouvisí s umístěním závodu. H A : Spokojenost v práci souvisí s umístěním závodu. Ověření předpokladů testu: Všechny očekávané četnosti jsou větší než 5. Předpoklady testu lze považovat za splněné.

24 Metody statistické indukce vhodné pro analýzu závislosti dvou kategoriálních veličin H 0 : Spokojenost v práci nesouvisí s umístěním závodu. H A : Spokojenost v práci souvisí s umístěním závodu. Ověření předpokladů testu: A co když předpoklady splněny nebudou??? Všechny očekávané četnosti jsou větší než 5. Předpoklady testu lze považovat za splněné.

25 Metody statistické indukce vhodné pro analýzu závislosti dvou kategoriálních veličin H 0 : Spokojenost v práci nesouvisí s umístěním závodu. H A : Spokojenost v práci souvisí s umístěním závodu. Ověření předpokladů testu: Pokud lze některé varianty proměnné smysluplně sloučit, zkus to udělat. Pokud ne, nelze výsledky z výběrového šetření zobecnit na populaci. Na tento možný problém je vhodné myslet již před výběrovým šetřením (dostatečný rozsah výběru). Všechny očekávané četnosti jsou větší než 5. Předpoklady testu lze považovat za splněné.

26 Metody statistické indukce vhodné pro analýzu závislosti dvou kategoriálních veličin H 0 : Spokojenost v práci nesouvisí s umístěním závodu. H A : Spokojenost v práci souvisí s umístěním závodu. Ověření předpokladů testu: Všechny očekávané četnosti jsou větší než 5. Předpoklady testu lze považovat za splněné. Výstup ze Statgraphicsu (Nekopírovat do projektů, DP, článků!!!) Rozhodnutí: Na hladině významnosti 0,05 zamítáme nulovou hypotézu (χ 2 test nezávislosti v kontingenční tabulce, χ 2 = 26,27, DF = 3, p hodnota 0,001). Lze předpokládat, že spokojenost v práci souvisí s umístěním závodu (Cramerovo V = 0,296).

27 Takže stačí stáhnout něco z dotazníky vyhodnotit a mám projekt!!! No, když tam seženeš data, která lze považovat za náhodný výběr z populace, na níž chceš výsledky zobecnit, tak by to šlo. Bude hodně záležet na tom, jak to vyhodnocení provedeš

28 Analýza závislosti v asociačních tabulkách

29 Asociační tabulky speciální typ kontingenčních tabulek, které používáme k sledování závislosti dvou dichotomických znaků, tj. kategoriálních znaků nabývajících pouze dvou variant. (asociace = vztah dvou dichotomických znaků) X (okolnosti)\y(výskyt události) y 1 (úspěch) y 2 (neúspěch) Celkem x 1 (I.) a b a + b x 2 (II.) c d c + d Celkem a + c b + d n Schéma rozšířené asociační tabulky

30 Asociační tabulky speciální typ kontingenčních tabulek, které používáme k sledování závislosti dvou dichotomických znaků, tj. kategoriálních znaků nabývajících pouze dvou variant. (asociace = vztah dvou dichotomických znaků) X (sledovaný faktor)\y(výskyt onemocnění) D (ANO) D (NE) Celkem E (přítomnost faktoru) a b a + b E (nepřítomnost faktoru) c d c + d Celkem a + c b + d n Schéma rozšířené asociační tabulky (biomedicínská aplikace)

31 Asociační tabulky Na asociační tabulku lze sice nahlížet jako na speciální případ kontingenčních tabulek a při analýze používat jejich aparát, nicméně vhodnější je využít specifické metody a charakteristiky asociace. X (sledovaný faktor)\y(výskyt onemocnění) D (ANO) D (NE) Celkem E (přítomnost faktoru) a b a + b E (nepřítomnost faktoru) c d c + d Celkem a + c b + d n Schéma rozšířené asociační tabulky (biomedicínská aplikace)

32 Míry asociace Poměr šancí (angl. odds ratio ), nazýváno také křížový poměr (angl. cross product ratio ) Pozorovaný poměr počtu úspěchů k počtu neúspěchů (tzv. pozorovaná šance) za okolností I. je a, za okolností II. c. Odhad poměru šancí je pak b d OR = ad bc. X (okolnosti)\y(výskyt události) y 1 (úspěch) y 2 (neúspěch) Celkem x 1 (I.) a b a + b x 2 (II.) c d c + d Celkem a + c b + d n Schéma rozšířené asociační tabulky

33 Míry asociace Poměr šancí (angl. odds ratio ), nazýváno také křížový poměr (angl. cross product ratio ) Pozorovaný poměr počtu nemocných k počtu zdravých (tzv. pozorovaná šance) u exponované populace je a b, u neexponované populace c d. Odhad poměru šancí je pak OR = ad bc. X (sledovaný faktor)\y(výskyt onemocnění) D (ANO) D (NE) Celkem E (přítomnost faktoru) a b a + b E (nepřítomnost faktoru) c d c + d Celkem a + c b + d n Schéma rozšířené asociační tabulky (biomedicínská aplikace)

34 Závisí novorozenecká úmrtnost (do 7 dnů po porodu) na porodní váze? Data odpovídající situaci v New Yorku v roce 1974 jsou uvedena v následující tabulce. porodní váha\novorozenecká úmrtí ANO NE Celkem nízká normální Celkem Odhad šance novorozeneckého úmrtí u dětí s nízkou porodní váhou je a b = = 0,134, což odpovídá přibližně 134 novorozeneckým úmrtím na přeživších novorozenců s nízkou porodní váhou. Obdobně odhadneme šanci novorozeneckého úmrtí u dětí s normální porodní váhou. c d = = 0,006 Lze očekávat přibližně 6 novorozeneckých úmrtí na přeživších novorozenců s normální porodní hmotností.

35 Závisí novorozenecká úmrtnost (do 7 dnů po porodu) na porodní váze? Data odpovídající situaci v New Yorku v roce 1974 jsou uvedena v následující tabulce. porodní váha\novorozenecká úmrtí ANO NE Celkem nízká normální Celkem Odhad šance novorozeneckého úmrtí u dětí s nízkou porodní váhou je a b = = 0,134. Odhad šance novorozeneckého úmrtí u dětí s normální porodní váhou je c d = = 0,006 OR = ad bc = ,4 šance novorozeneckého úmrtí je 21,4 krát vyšší u novorozenců s nízkou porodní váhou než u novorozenců s normální porodní váhou.

36 Míry asociace Poměr šancí (angl. odds ratio ), nazýváno také křížový poměr (angl. cross product ratio ) OR = ad bc. 0R < 1 U exponované populace (populace vystavené sledovanému faktoru) je nižší šance výskytu nemoci. OR = 1 Šance výskytu onemocnění u exponované a neexponované populace jsou shodné. OR > 1 U exponované populace je vyšší šance výskytu nemoci. X (sledovaný faktor)\y(výskyt onemocnění) D (ANO) D (NE) Celkem E (přítomnost faktoru) a b a + b E (nepřítomnost faktoru) c d c + d Celkem a + c b + d n Schéma rozšířené asociační tabulky (biomedicínská aplikace)

37 Míry asociace Poměr šancí (angl. odds ratio ), nazýváno také křížový poměr (angl. cross product ratio ) OR = ad bc. 0R < 1 U exponované populace (populace vystavené sledovanému faktoru) je nižší šance výskytu nemoci. OR = 1 Šance výskytu onemocnění u exponované a neexponované populace jsou shodné. OR > 1 U exponované populace je vyšší šance výskytu nemoci. Je-li OR 1, potřebujeme zpravidla ještě rozhodnout, zda je indikována asociace statisticky významná. Woolfova metoda: α % intervalový odhad OR : OR e 1 a +1 b +1 c +1 d z 1 α 2; OR e 1 a +1 b +1 c +1 d z 1 α 2. Jestliže α % intervalový odhad OR nezahrnuje 1, pak zamítáme hypotézu o nezávislosti znaků X a Y.

38 Závisí novorozenecká úmrtnost (do 7 dnů po porodu) na porodní váze? Data odpovídající situaci v New Yorku v roce 1974 jsou uvedena v následující tabulce. porodní váha\novorozenecká úmrtí ANO NE Celkem nízká normální Celkem OR = ad bc = ,4 šance novorozeneckého úmrtí je 21,4 krát vyšší u novorozenců s nízkou porodní váhou než u novorozenců s normální porodní váhou. 95% intervalový odhad OR je dán vztahem OR e 1 a +1 b +1 c +1 d z 0,975 ; OR e 1 a +1 b +1 c +1 d z 0,975. z 0,975 = 1,64 (viz vybrana_rozdeleni.xls) Po dosazení: 95% intervalový odhad OR je 19,2; 23,8. Je zcela zřejmé, že šance novorozeneckého úmrtí závisí na porodní váze 1 19,2; 23,8.

39 Míry asociace Absolutní riziko (angl. absolute risk ) výskytu události (onemocnění, úmrtí, ) v závislosti na okolnostech (přítomnosti sledovaného faktoru) odhad absolutního rizika onemocnění u exponovaných respondentů je a a+b, odhad absolutního rizika onemocnění u neexponovaných respondentů je c c+d. Absolutní rizika mohou nabývat hodnot z intervalu 0; 1. X (sledovaný faktor)\y(výskyt onemocnění) D (ANO) D (NE) Celkem E (přítomnost faktoru) a b a + b E (nepřítomnost faktoru) c d c + d Celkem a + c b + d n Schéma rozšířené asociační tabulky (biomedicínská aplikace)

40 Míry asociace Relativní riziko (angl. relative risk ) poměr odhadů absolutních rizik vzniku onemocnění u exponovaných a neexponovaných osob, tj. RR = a c+d c a+b. X (sledovaný faktor)\y(výskyt onemocnění) D (ANO) D (NE) Celkem E (přítomnost faktoru) a b a + b E (nepřítomnost faktoru) c d c + d Celkem a + c b + d n Schéma rozšířené asociační tabulky (biomedicínská aplikace)

41 Závisí novorozenecká úmrtnost (do 7 dnů po porodu) na porodní váze? Data odpovídající situaci v New Yorku v roce 1974 jsou uvedena v následující tabulce. porodní váha\novorozenecká úmrtí ANO NE Celkem nízká normální Celkem Odhad absolutního rizika novorozeneckého úmrtí u dětí s nízkou porodní a hmotností je = 618 = 0,119, a+b tj. novorozenecké úmrtí lze očekávat u cca 119 z novorozenců s nízkou porodní váhou), u dětí s normální porodní hmotností je absolutní riziko: 0,006, c = 422 = c+d tj. novorozenecké úmrtí lze očekávat u cca 6 z novorozenců s normální porodní váhou.

42 Závisí novorozenecká úmrtnost (do 7 dnů po porodu) na porodní váze? Data odpovídající situaci v New Yorku v roce 1974 jsou uvedena v následující tabulce. porodní váha\novorozenecká úmrtí ANO NE Celkem nízká normální Celkem Odhad absolutního rizika novorozeneckého úmrtí u dětí s nízkou porodní a hmotností je = 618 = 0,119, a+b u dětí s normální porodní hmotností je absolutní riziko: 0,006, c = 422 = c+d Odhad relativního rizika novorozeneckého úmrtí RR = a c+d = 0,119 = 19,0. c a+b 0,006 Ve sledovaném období bylo u dětí s nízkou porodní váhou 19 krát vyšší riziko novorozeneckého úmrtí než u dětí s normální porodní váhou.

43 Míry asociace Relativní riziko (angl. relative risk ) poměr odhadů absolutních rizik vzniku onemocnění u exponovaných a neexponovaných osob, tj. RR = a c+d c a+b. RR < 1 RR = 1 RR > 1 Expozice snižuje riziko onemocnění. Mezi expozici a onemocněním neexistuje žádná asociace. Expozice zvyšuje riziko onemocnění. X (sledovaný faktor)\y(výskyt onemocnění) D (ANO) D (NE) Celkem E (přítomnost faktoru) a b a + b E (nepřítomnost faktoru) c d c + d Celkem a + c b + d n Schéma rozšířené asociační tabulky (biomedicínská aplikace)

44 Míry asociace Relativní riziko (angl. relative risk ) poměr odhadů absolutních rizik vzniku onemocnění u exponovaných a neexponovaných osob, tj. RR = a c+d c a+b. RR < 1 RR = 1 RR > 1 Expozice snižuje riziko onemocnění. Mezi expozici a onemocněním neexistuje žádná asociace. Expozice zvyšuje riziko onemocnění. Je-li RR 1, musíme rozhodnout, zda je indikována asociace statisticky významná. Katzova metoda: α % intervalový odhad RR: RR e b a a+b + d c c+d z 1 α 2; RR e b a a+b + d c c+d z 1 α 2. Jestliže α % intervalový odhad RR nezahrnuje 1, pak zamítáme hypotézu o nezávislosti znaků X a Y.

45 Závisí novorozenecká úmrtnost (do 7 dnů po porodu) na porodní váze? Data odpovídající situaci v New Yorku v roce 1974 jsou uvedena v následující tabulce. porodní váha\novorozenecká úmrtí ANO NE Celkem nízká normální Celkem Odhad relativního rizika novorozeneckého úmrtí RR = 19,0 ve sledovaném období bylo u dětí s nízkou porodní váhou 19 krát vyšší riziko novorozeneckého úmrtí než u dětí s normální porodní váhou. 95% intervalový odhad RR je dán vztahem RR e b a a+b + d c c+d z 1 α 2; RR e b a a+b + d c c+d z 1 α 2. z 0,975 = 1,64 (viz vybrana_rozdeleni.xls) Po dosazení: 95% intervalový odhad RR je 17,1; 21,0. Je zcela zřejmé, že riziko novorozeneckého úmrtí závisí na porodní váze 1 17,1; 21,0.

46 Simpsonův paradox aneb pozor na posuzování tabulek, které se skládají ze dvou či více skupin

47 V Horních Sádrovicích bylo hospitalizováno 600 lehkých pacientů, z nichž 10 (1,7%) zemřelo a 400 těžkých pacientů, z nichž zemřelo 190 (47,5%). Ve Staré Dláze bylo hospitalizováno 900 lehkých pacientů, z nichž 30 (3,2%) zemřelo a 100 těžkých pacientů, z nichž zemřelo 100 (10,0%). Horní Sádrovice stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,017 (10/600) 0,983 (590/600) těžký ,475 (190/400) 0,525 (210/400) celkem ,200 (200/1000) 0,800 (800/1000)

48 Horní Sádrovice stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,017 (10/600) 0,983 (590/600) těžký ,475 (190/400) 0,525 (210/400) celkem ,200 (200/1000) 0,800 (800/1000) Stará Dláha stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,033 (30/900) 0,967 (870/900) těžký , 700 (70/100) 0,300 (30/100) celkem , 100 (100/1000) 0,900 (900/1000) Kontingenční tabulky rozšířené o marginální četnosti a řádkové rel. četnosti

49 Horní Sádrovice stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,017 (10/600) 0,983 (590/600) těžký ,475 (190/400) 0,525 (210/400) celkem ,200 (200/1000) 0,800 (800/1000) Stará Dláha stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,033 (30/900) 0,967 (870/900) těžký , 700 (70/100) 0,300 (30/100) celkem , 100 (100/1000) 0,900 (900/1000) Ve kterém městě je u lehkých pacientů nižší riziko úmrtí?

50 Horní Sádrovice stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,017 (10/600) 0,983 (590/600) těžký ,475 (190/400) 0,525 (210/400) celkem ,200 (200/1000) 0,800 (800/1000) Stará Dláha stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,033 (30/900) 0,967 (870/900) těžký , 700 (70/100) 0,300 (30/100) celkem , 100 (100/1000) 0,900 (900/1000) Ve kterém městě je u lehkých pacientů nižší riziko úmrtí?

51 Horní Sádrovice stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,017 (10/600) 0,983 (590/600) těžký ,475 (190/400) 0,525 (210/400) celkem ,200 (200/1000) 0,800 (800/1000) Stará Dláha stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,033 (30/900) 0,967 (870/900) těžký , 700 (70/100) 0,300 (30/100) celkem , 100 (100/1000) 0,900 (900/1000) Ve kterém městě je u těžkých pacientů nižší riziko úmrtí?

52 Horní Sádrovice stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,017 (10/600) 0,983 (590/600) těžký ,475 (190/400) 0,525 (210/400) celkem ,200 (200/1000) 0,800 (800/1000) Stará Dláha stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,033 (30/900) 0,967 (870/900) těžký , 700 (70/100) 0,300 (30/100) celkem , 100 (100/1000) 0,900 (900/1000) Ve kterém městě je u lehkých pacientů nižší riziko úmrtí?

53 Horní Sádrovice stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,017 (10/600) 0,983 (590/600) těžký ,475 (190/400) 0,525 (210/400) celkem ,200 (200/1000) 0,800 (800/1000) Stará Dláha stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,033 (30/900) 0,967 (870/900) těžký , 700 (70/100) 0,300 (30/100) celkem , 100 (100/1000) 0,900 (900/1000) Ve kterém městě je nižší riziko úmrtí pacienta?

54 Horní Sádrovice stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,017 (10/600) 0,983 (590/600) těžký ,475 (190/400) 0,525 (210/400) celkem ,200 (200/1000) 0,800 (800/1000) Stará Dláha stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,033 (30/900) 0,967 (870/900) těžký , 700 (70/100) 0,300 (30/100) celkem , 100 (100/1000) 0,900 (900/1000) Ve kterém městě je nižší riziko úmrtí pacienta?

55 Horní Sádrovice stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,017 (10/600) 0,983 (590/600) těžký ,475 (190/400) 0,525 (210/400) celkem ,200 (200/1000) 0,800 (800/1000) Stará Dláha stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,033 (30/900) 0,967 (870/900) těžký , 700 (70/100) 0,300 (30/100) celkem , 100 (100/1000) 0,900 (900/1000)???

56 Horní Sádrovice stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,017 (10/600) 0,983 (590/600) těžký ,475 (190/400) 0,525 (210/400) celkem ,200 (200/1000) 0,800 (800/1000) Stará Dláha stav pacienta při přijetí/úmrtnost ANO NE celkem lehký ,033 (30/900) 0,967 (870/900) těžký , 700 (70/100) 0,300 (30/100) celkem , 100 (100/1000) 0,900 (900/1000) Simpsonův paradox

57 Simpsonův paradox Jedná se o situaci, kdy se závislost mezi dvěma znaky kvalitativně změní, jestliže uvážíme vliv znaku třetího (skrytého). (Např. vztah mezi úmrtnosti pacientů a místem léčby (Horní Sádrovice vs. Stará Dláha), vezmeme-li v úvahu stav pacienta při přijetí do nemocnice.) Důvodem je silná závislost mezi jedním z dvou analyzovaných znaků a znakem skrytým.

58 Simpsonův paradox Zajímavé odkazy: 1) 2) Agresti, A. (2002). Categorical Data Analysis, Second Edition. Hoboken: John Wiley and Sons. ISBN ) Blyth, C. R. (1972). On Simpson's paradox and the sure-thing principle. Journal of the American Statistical Association, 67, ) Davis, L. J. (1989). Intersection union tests for strictly collapsibility in three-dimensional contingency tables. Annals of Statistics, 17, ) Dong, J. (1998). Simpson's paradox. Pp in Encyclopedia of Biostatistics, vol. 5. Chichester: John Wiley and Sons. 6) Pavlides, M. G., Perlman, M. D. (2009). How likely is Simpson's paradox? The American Statistician, 63, ) Samuels, M. L. (1993). Simpson's paradox and related phenomena. Journal of the American Statistical Association, 88, ) Simpson, E. H. (1951). The interpretation of interaction in contingency tables. Journal of the Royal Statistical Society, Series B, 13, ) Wagner, C. H. (1982). Simpson's paradox in real life. The American Statistician, 36, ) Wardrop, R. L. (1995). Simpson's paradox and the hot hand in basketball. The American Statistician, 49,

59 Analýza závislosti dvou numerických proměnných

60 Malé opakování z pravděpodobnosti Co je to kovariance? Kovariance cov X, Y je definována jako smíšený centrální moment řádu cov X, Y = E X E X Y E Y Vlastnosti kovariance 1. cov X, Y = E X Y E X E Y (výpočetní vztah), 2. cov X, X = D X, 3. cov a 1 X + b 1, a 2 Y + b 2 = a 1 a 2 cov X, Y, 4. jsou-li X, Y jsou nezávislé náhodné veličiny, pak cov X, Y = 0.

61 Malé opakování z pravděpodobnosti Co je to korelační koeficient? Korelační koeficient ρ X, Y je mírou lineární závislosti dvou náh. veličin. ρ X, Y = cov X, Y, DX, DY 0, DX DY 0 jinak. Vlastnosti korelačního koeficientu 1. 1 ρ X, Y 1, 2. ρ X, Y = ρ Y, X, 3. ρ X, X = 1, 4. jsou-li X, Y nezávislé náhodné veličiny, pak ρ X, Y = 0, 5. je-li ρ X, Y = 0, říkáme, že X, Y jsou nekorelované náhodné veličiny, 6. je-li ρ X, Y = 1, pak existuje a, b R, a > 0 takové, že Y = ax + b s pravd je-li ρ X, Y = 1, pak existuje a, b R, a < 0 takové, že Y = ax + b s pravd je-li ρ X, Y > 0, říkáme, že X, Y jsou pozitivně korelované (s rostoucím X roste Y), 9. je-li ρ X, Y < 0, říkáme, že X, Y jsou negativně korelované (s rostoucím X klesá Y).

62 Malé opakování z pravděpodobnosti ρ X, Y =1,000 ρ X, Y = -1,000 ρ X, Y =0,000 ρ X, Y =0,934 ρ X, Y =0,967 ρ X, Y =0,857 ρ X, Y =-0,143 ρ X, Y =0,608 Ověřit si, zda máte představu o významu korelačního koeficientu, můžete ZDE (jar).

63 Malé opakování z pravděpodobnosti Pokud jsou dvě náhodné veličiny korelované, znamená to pouze to, že jsou lineárně závislé. Nelze z toho však ještě usoudit, že by jedna z nich musela být příčinou a druhá následkem. To samotná korelovanost nedovoluje rozhodnout. Silná korelace

64 Malé opakování z pravděpodobnosti Pokud jsou dvě náhodné veličiny korelované, znamená to pouze to, že jsou lineárně závislé. Nelze z toho však ještě usoudit, že by jedna z nich musela být příčinou a druhá následkem. To samotná korelovanost nedovoluje rozhodnout. Silná korelace

65 Pearsonův korelační koeficient Korelační koeficient ρ dokážeme určit pouze tehdy, známe-li sdružené rozdělení náhodného vektoru X; Y. Nechť X 1 ; Y 1,, X n ; Y n je výběr z dvourozměrného normálního rozdělení, tj. z rozdělení, jehož sdružená hustota pravděpodobnosti je dána vztahem f x; y = 1 2πσ X σ Y 1 ρ 2 e 2 1 x μ X 2 1 ρ 2 2ρ x μ X y μ Y σ X σ X σ Y + y μ 2 Y σ Y. Pak lze odhad korelačního koeficientu ρ určit jako r = kde S XY = 1 n 1 n S XY S X 2 S Y 2, S X 2, S Y 2 0, 0 jinak, i=1 X i X Y i Y = n i=1 X i Y i nxy n X 2 i=1 i nx 2 n Y 2 i i=1 ny 2.

66 Pearsonův korelační koeficient Nechť X 1 ; Y 1,, X n ; Y n je výběr z dvourozměrného normálního rozdělení. Zjistíme-li, že výběrový korelační koeficient r 0, zpravidla nás zajímá, zda je indikovaná korelace statisticky významná. Chceme testovat nulovou hypotézu H 0 : ρ = 0 vůči alternativě H A : ρ 0, resp. ρ < 0, resp. ρ > 0. Testová statistika: T = r n 2 1 r 2 má za předpokladu platnosti H 0 Studentovo rozdělení s n 2 stupni volnosti. Poznámka: Jsou-li složky náhodného vektoru X; Y s dvourozměrným normálním rozdělením nekorelované, jsou nezávislé. (POZOR! Obecně to neplatí.)

67 Spearmanův korelační koeficient Mějme náhodný výběr X 1 ; Y 1,, X n ; Y n z dvourozměrného rozdělení. Nechť R X1,, R Xn jsou pořadí veličin X 1,, X n a nechť R Y1,, R Yn jsou pořadí veličin Y 1,, Y n. r S = 1 6 n n 2 1 n i=1 R X1 R Y1 2 Pokud se v náhodných výběrech, z nichž je r S počítán, vyskytuje mnoho shod (tj. stejně velkých pozorování), doporučuje se používat korigovaný Spearmanův korelační koeficient r Skorig. r Skorig = 1 6 n 2 R n 3 n T X T i=1 X1 R Y1 Y

68 Spearmanův korelační koeficient Mějme náhodný výběr X 1 ; Y 1,, X n ; Y n z dvourozměrného rozdělení. Nechť R X1,, R Xn jsou pořadí veličin X 1,, X n a nechť R Y1,, R Yn jsou pořadí veličin Y 1,, Y n. Pokud se v náhodných výběrech, z nichž je r S počítán, vyskytuje mnoho shod (tj. stejně velkých pozorování), doporučuje se používat korigovaný Spearmanův korelační koeficient r Skorig. r Skorig = 1 6 n 2 R n 3 n T X T i=1 X1 R Y1, Y kde T X = 1 2 t X 3 t X, T Y = 1 2 t Y 3 t Y, kde t X jsou rozsahy skupin stejně velkých X-ových hodnot. Obdobně definujeme t Y.

69 Spearmanův korelační koeficient Je-li hodnota Spearmanova korelačního koeficientu r S blízká nule, chceme zpravidla testovat, zda je odchylka koeficientu r S od nuly náhodná či statisticky významná. H 0 : X, Y jsou nezávislé náhodné veličiny. H A : X, Y jsou závislé náhodné veličiny. Testová statistika: r S Nulovou hypotézu zamítáme pokud r S r S α, kde r S α je kritická hodnota Spearmanova korelačního koeficientu. Pro rozsah výběru n 30 a hladiny významnosti 0,05, resp. 0,01 jsou kritické hodnoty r S α; n tabelovány (tabulka T16). Je-li rozsah výběru n > 30, pak r S α; n = z 1 α 2 n 1, kde z 1 α 2 je 1 α 2 kvantil normovaného normálního rozdělení.

70 Na základě datového souboru biometrie.sf3 analyzujte míru závislosti mezi výškou a váhou respondentů. Describe/Numeric Data/Multiple Variable Analysis

71 Na základě datového souboru biometrie.sf3 analyzujte míru závislosti mezi výškou a váhou respondentů. Describe/Numeric Data/Multiple Variable Analysis

72 Na základě datového souboru biometrie.sf3 analyzujte míru závislosti mezi výškou a váhou respondentů. Pro výpočty jsou brány v úvahu pouze statistické jednotky neobsahující chybějící hodnoty (angl. missing values) pro žádnou z analyzovaných proměnných. (Lze nastavit v Analysis Options.) Rozptylogram Pearsonův korelační koeficient Describe/Numeric Data/Multiple Variable Posuzovat Analysis hodnotu Pearsonova korelačního koeficientu bez vizuálního posouzení rozptylogramu nemá smysl!!!

73 Na základě datového souboru biometrie.sf3 analyzujte míru závislosti mezi výškou a váhou respondentů. Pro výpočty jsou brány v úvahu pouze statistické jednotky neobsahující chybějící hodnoty (angl. missing values) pro žádnou z analyzovaných proměnných. (Lze nastavit v Analysis Options.) Rozptylogram Pearsonův korelační koeficient Je to správný korelační koeficient??? Describe/Numeric Data/Multiple Variable Posuzovat Analysis hodnotu Pearsonova korelačního koeficientu bez vizuálního posouzení rozptylogramu nemá smysl!!!

74 Na základě datového souboru biometrie.sf3 analyzujte míru závislosti mezi výškou a váhou respondentů. H 0 : Data jsou výběrem z normálního rozdělení. H A : Data nejsou výběrem z normálního rozdělení. Proměnná Váha 0,178 Výška 0,021 P-hodnota (χ 2 test dobré shody) Na hladině významnosti 0,05 zamítáme předpoklad normality pro proměnnou výška. předpoklady pro použití Pearsonova korelačního koeficientu byly zamítnuty, je nutno použít např. Spearmanův korelační koeficient. Nutno ověřit normalitu proměnných!!!

75 Na základě datového souboru biometrie.sf3 analyzujte míru závislosti mezi výškou a váhou respondentů. H 0 : Data jsou výběrem z normálního rozdělení. H A : Data nejsou výběrem z normálního rozdělení. Proměnná Váha 0,178 Výška 0,021 P-hodnota (χ 2 test dobré shody) Na hladině významnosti 0,05 zamítáme předpoklad normality pro proměnnou výška. předpoklady pro použití Pearsonova korelačního koeficientu byly zamítnuty, je nutno použít např. Spearmanův korelační koeficient. Statgraphics: Tabular Options (žlutá ikona), Rank Correlations

76 Na základě datového souboru biometrie.sf3 analyzujte míru závislosti mezi výškou a váhou respondentů. korigovaný Spearmanův korelační koeficient

77 Na základě datového souboru biometrie.sf3 analyzujte míru závislosti mezi výškou a váhou respondentů. Pro posouzení korelace mezi váhou a výškou byl z důvodů porušení normality u proměnné výška (χ 2 test dobré shody, p hodnota = 0,021) použit korigovaný Spearmanův korelační koeficient. Pozorovanou hodnotu korelace (0,519) lze na hladině významnosti 0,05 označit za statisticky významnou (p hodnota 0,001).

78 Děkuji za pozornost!