Statistika, Biostatistika pro kombinované studium. Jan Kracík

Transkript

1 Statistika, Biostatistika pro kombinované studium Letní semestr 2014/2015 Tutoriál č. 6: ANOVA Jan Kracík

2 Obsah: Testování hypotéz opakování ANOVA

3 Testování hypotéz (opakování)

4 Testování hypotéz základní princip, klasický test Předpoklad: rozdělení náhodné veličiny X závisí na neznámém parametru θ.

5 Testování hypotéz základní princip, klasický test Předpoklad: rozdělení náhodné veličiny X závisí na neznámém parametru θ. Hypotéza (tvrzení o rozdělení n.v. X, tj. tvrzení o parametru θ): H 0 (nulová hypotéza): θ = θ 0 H 1 (alternativní hypotéza): θ = θ 1

6 Testování hypotéz základní princip, klasický test Předpoklad: rozdělení náhodné veličiny X závisí na neznámém parametru θ. Hypotéza (tvrzení o rozdělení n.v. X, tj. tvrzení o parametru θ): H 0 (nulová hypotéza): θ = θ 0 H 1 (alternativní hypotéza): θ = θ 1 Hledáme množinu W (kritický obor). Pokud X W (hodnota n.v. X padne do množiny W ), pak zamítáme H 0. Kritický obor W hledáme tak, aby P θ0 (X W ) = α, pro zvolené α R (typicky α = 0.05). Tj. pravděpodobnost chyby 1. druhu (H 0 zamítáme, i když platí) je rovna α. Zároveň chceme, aby P θ1 (X / W ) (pravděpodobnost chyby 2. druhu) byla minimální.

7 V praxi bývá situace složitější. Např: X (X 1, X 2,..., X n ), kde X i jsou nezávsilé stejně rozdělené veličiny, tj. X představuje posloupnost dat (měření, pozorování,...). Místo náhodné veličiny (vektoru) X pracujeme pouze s určitou (reálnou) funkcí T (X), tzv. testovou statistikou. T (X) může ale nemusí nést stejnou informaci o parametru θ jako vektor X. Kritický obor W pak hledáme pro hodnoty statistiky T (X). Místo jednoduché hypotézy θ = θ 0 můžeme pracovat s tzv. složenou hypotézou např. H 0 : θ Θ 0. Alternativou pak je H 1 : θ / Θ 0. Vícevýběrové testy: Hypotéza se současně týká rozdělení několika veličin. Základní princip testování ale zůstává stejný.

8 Čistý test významnosti (pomocí p-hodnoty) 1 Formulace nulové a alternativní hypotézy. 2 Volba testové statistiky T (X). 3 Ověření předpokladů testu. 4 Výpočet pozorované hodnoty testové statistiky x OBS. 5 Výpočet p-hodnoty, tj. pravděpodobnosti alespoň tak extrémního výsledku jako x OBS za předpokladu nulové hypotézy.

9 tvar H 1 p-hodnota θ θ 0 p-hodnota = F 0 (x OBS ) θ θ 0 p-hodnota = 1 F 0 (x OBS ) θ θ 0 p-hodnota = 2min(F(x OBS ), 1 F 0 (x OBS )) Rozhodnutí o výsledku testu: p-hodnota Rozhodnutí p-hodnota < α Zamítáme H 0 ve prospěch H 1 p-hodnota > α Nezamítáme H 0 Výhodou čistého testu významnosti je, že rovnou vidíme, na jaké hladině významnosti lze ještě rozhodnout o zamítnutí H 0. Tento typ testu se v praxi používá častěji. Bývá výstupem statistického software.

10 Příklad 11 selat bylo náhodně rozděleno do 2 skupin. Selata v první skupině byla krmena dietou A, selata v 2. sk. dietou B. Průměrné denní přírůstky váhy jsou uvedeny v tabulce. Jsou obě diety stejně efektivní? Dieta A Dieta B

11 Příklad 11 selat bylo náhodně rozděleno do 2 skupin. Selata v první skupině byla krmena dietou A, selata v 2. sk. dietou B. Průměrné denní přírůstky váhy jsou uvedeny v tabulce. Jsou obě diety stejně efektivní? Dieta A Dieta B Pracovní předpoklad: veličiny mají normální rozdělení se stejnými rozptyly. Dále můžeme předpokládat nezávislost. Denní přírůstky tedy mají rozdělení X A N(µ A, σ 2 ), X B N(x B, σ 2 ). µ A, µ B, σ 2 jsou neznámé parametry.

12 H 0 : µ A = µ B H 1 : µ A µ B Za daných předpokladů (normalita, nezávislost, stejné rozptyly) má statistika T = X A X B (µ A µ B ) mn(m + n 2), (m 1)SA 2 + (n 1)S2 m + n B kde m = 6, n = 5 (počty pozorování), X A = 1 m m i=1 X Ai = 57 (výběrový průměr), S 2 A = 1 m 1 m i=1 (X Ai X A ) 2 = 12.8, podobně X B = 51.6, S 2 B = 7.3, Studentovo rozdělení s m + n 2 = 9 stupni volnosti, tj. T t 9.

13 Za předpokladu platnosti H 0 (tj. µ A µ B = 0) dostaneme po dosazení výběrových charakteristik hodnotu statistiky T = Při oboustranné alternativě (H 1 : µ A µ B ) a nulovém rozdělení t 9 dostaneme p-value= Protože 0.022<0.05, zamítáme hypotézu H 0 na hladině významnosti Můžeme učinit závěr, že volba diety má vliv na váhový přírůstek selat.

14 ANOVA - jednofaktorová analýza rozptylu

15 ANOVA - umožňuje srovnávat několik středních hodnot nezávislých náhodných výběrů současně

16 Příklad: 100 selat rozdělíme do 10 skupin, selata v každé skupině krmíme jinou dietou. Má volba diety vliv na váhový přírůstek? H 0 : µ 1 = µ 2 =... = µ 10 H 1 : H 0 neplatí Můžeme provést test pro každou dvojici skupin. Dvojic je ( 10 2 ) = 45. Uvažujme klasické dvouvýběrové Studentovy testy na hladině α = Platí-li H 0, pak u každého testu zamítáme H 0 : µ i = µ j s pravděpodobností S pravděpodobností =0.9 zamítneme alespoň jednu dílčí hypotézu H 0 a tedy i celou H 0. Závěr: Rovnost středních hodnot (homogenitu) nelze testovat po částech. Je potřeba ji otestovat najednou jediným testem.

17 ANOVA - předpokládáme několik nezávislých náhodných výběrů z normálních rozdělení se stejnými rozptyly (homoskedasticita) X 11, X 12,..., X 1n1 N(µ 1, σ 2 ) X 21, X 22,..., X 2n2 N(µ 2, σ 2 ). X k1, X k2,..., X knk N(µ k, σ 2 ) Formulace problému: H 0 : µ 1 = µ 2 =... = µ k H 1 : H 0 neplatí

18 Rozdíly v datech mohou mít 2 příčiny: Rozdíly mezi třídami (vliv sledovaného faktoru) Rozdíly uvnitř tříd (zbytkové vlivy)

19 Rozdíly v datech mohou mít 2 příčiny: Rozdíly mezi třídami (vliv sledovaného faktoru) Rozdíly uvnitř tříd (zbytkové vlivy) ANOVA je založena na použití statistiky, která umožní srovnání těchto dvou zdrojů variability dat.

20 Značení: n = k i=1 n i (celkový počet dat) X i = 1 ni n i j=1 X ij (průměr v i-té třídě) X = 1 k ni n i=1 j=1 X ij (celkový průměr) SS B = k i=1 n i( X i X) 2 (mezitřídní variabilita) SS W = k i=1 ni SS TOTAL = k i=1 j=1 (X ij X i ) 2 (vnitřní variabilita) ni j=1 (X ij X) 2 (celková variabilita) Platí: SS TOTAL = SS B + SS W

21 Označme ještě výběrové rozptyly: S 2 W = SS W n k (vnitřní výběrový rozptyl) SB 2 = SS B k 1 (mezitřídní výběrový rozptyl) Statistiku F = S2 B S 2 W nazveme F-poměr.

22 Označme ještě výběrové rozptyly: S 2 W = SS W n k (vnitřní výběrový rozptyl) SB 2 = SS B k 1 (mezitřídní výběrový rozptyl) Statistiku F = S2 B S 2 W Vlastnosti F-poměru: nazveme F-poměr. Platí-li H 0, je F-poměr blízký 1. Neplatí-li H 0, je F-poměr výrazně větší než 1. F-poměr má Fisherovo-Snedecorovo rozdělení s k 1 stupni volnosi v čitateli a n k st. volnosti ve jmenovateli. F F k 1,n k. Toho využíváme při testování hypotéz.

23 Tabulka ANOVA - mezivýsledky při analýze rozptylu se zaznamenávají v taulce ANOVA Zdroj Součet čtverců St. Rozptyl Testová P-value variability volnosti stat. Mezitřídní SS B = k i=1 n i ( X i X) 2 k 1 S 2 B = SS B k 1 Vnitřní Celkový SS W = k n i i=1 j=1 (X ij X i ) 2 n k SW 2 = SS W n k SS TOTAL = k n i i=1 j=1 (X ij X) 2 n 1 F = S2 B S 2 W 1 F k 1,n k (F )

24 Post Hoc analýza Pokud H 0 nezamítáme, znamená to, že data neukazují na rozdílnost středních hodnot. Zamítneme-li H 0, je potřeba určit, které výběry se od sebe liší. Tento proces nazýváme post hoc analýza. Spočívá v porovnání výběrových průměrů, tj. testování hypotéz H 0 : µ i = µ j proti alternativám H 1 : µ i µ j.

25 Post Hoc analýza Pokud H 0 nezamítáme, znamená to, že data neukazují na rozdílnost středních hodnot. Zamítneme-li H 0, je potřeba určit, které výběry se od sebe liší. Tento proces nazýváme post hoc analýza. Spočívá v porovnání výběrových průměrů, tj. testování hypotéz H 0 : µ i = µ j proti alternativám H 1 : µ i µ j. Fisherova LSD metoda (Least Significant Difference) - modifikovaný dvouvýběrový t-test: H 0 zamítneme na hladině α, pokud X i X j t n k (1 α 2 ) S 2 W ( 1 n i + 1 n j )

26 Fisherova metoda vede s rosoucím počtem skupin k vyšší pravděpodobnosti chyby 1. druhu. Tomu lze zabránit použitím Bonferroniho metody, kdy místo α volíme α = α ( k 2).

27 Fisherova metoda vede s rosoucím počtem skupin k vyšší pravděpodobnosti chyby 1. druhu. Tomu lze zabránit použitím Bonferroniho metody, kdy místo α volíme α = α ( k 2). Existují další metody: Sheffého, Tukeyova (pro vyvážené třídění), Tukeyova HSD (pro nevyvážené třídění),...

28 Kruskal-Wallisův test neparametrická obdoba jednofaktorové analýzy rozptylu pro výběry nesplňující předpoklady pro použití jednofaktorové analýzy rozptylu, zejména předpoklad normality jde o vícevýběrový test shody mediánů založen na pořadí původních datových hodnot v setříděném datovém souboru testová statistika: Q = 12 n(n + 1) k i=1 T 2 i n i 3(N + 1) χ 2 k 1, kde T i jsou součty pořadí dat v jednotlivých výběrech v setříděném souboru

29 Posthoc anlýza pro Kruskal-Wallisův test Neményiova metoda (pro vyvážené třídění) Dunnové metoda

30 Shrnutí - postup při analýze rozptylu Exporační analýza - vizualizace dat, identifikace odlehlých pozorování Ověření předpokladů Nezávislost výběrů Normalita rozdělení - při porušení normality Kruskal-Wallisův test Homoskedasticita (identické rozptyly) - Bartletův, Leveneův; pro vyvážená třídění Hartleyův, Cochranův Post hoc analýza - Tukeyova HSD metoda, Fisherovo LSD, Bonferroniho metoda; při použití Kruskal-Wallisova testu Dunnové, Neméneyiova metoda