letní semestr 2012 Katedra pravděpodobnosti a matematické statistiky Matematicko-fyzikální fakulta Univerzity Karlovy Matematická statistika t-test

Transkript

1 Párový Šárka Hudecová Katedra pravděpodobnosti a matematické statistiky Matematicko-fyzikální fakulta Univerzity Karlovy letní semestr 2012

2 motivační příklad Párový Příklad (Platová diskriminace) firma provedla šetření s cílem zjistit, zda dochází k platové diskriminaci žen do studie zahrnuto 100 náhodně vybraných zaměstnanců, z toho 35 žen a 65 mužů měsíční plat žen X 35 = Kč měsíční plat mužů Y 65 = Kč lze z těchto výsledků usuzovat, že muži mají (v dané firmě) obecně vyšší platy než ženy?

3 motovační příklad Párový Otázka: Mají muži vyšší příjem než ženy? přesnější formulace zajímá nás zřejmě porovnání středních hodnot platů mužů a žen, EX a EY porovnání X a Y náhodné veličiny jiný náhodný výběr by zahrnul jiných 100 zaměstnanců dostali bychom odlišné výběrové průměry X a Y Je rozdíl Y X = > 0 Kč dostatečně průkazný na to, abychom mohli tvrdit, že muži mají (v dané firmě) obecně vyšší platy než ženy? Nebo je to jen vliv náhody?

4 Párový = vyhodnocování pravdivostní hodnoty výroků na základě náhodného výběru (tj. ověřování platnosti nějakého výroku) provádíme pomocí statistických testů Hypotéza = výrok, o jehož pravdivosti chceme rozhodnout nulová a H 0 tvrzení o populaci, o jehož platnosti rozhodujeme (není rozdíl, nezávisí, neliší se,...) alternativní a H 1 : alternativa (doplňující možnost) k H 0 často tvrzení, které chceme prokázat

5 Statistický test Párový Statistický test = rozhodovací pravidlo, na jehož základě zamítáme nebo nezamítáme H 0 testová T n = T n (X 1,...,X n ) = náhodná veličina, která je funkcí pozorování X 1,...,X n kritický obor C = možné výsledky pokusu, kdy H 0 zamítáme

6 Chyba I. a II. druhu Párový rozhodujeme na základě náhodného výběru nemůžeme testovanou otázku zodpovědět s absolutní jistotou můžeme se dopustit chyby tyto chyby se budeme snažit omezit (resp. kontrolovat jejich pravděpodobnosti) H 0 platí H 0 neplatí H 0 zamítáme H 0 nezamítáme

7 Chyba I. a II. druhu Párový rozhodujeme na základě náhodného výběru nemůžeme testovanou otázku zodpovědět s absolutní jistotou můžeme se dopustit chyby tyto chyby se budeme snažit omezit (resp. kontrolovat jejich pravděpodobnosti) H 0 platí H 0 neplatí H 0 zamítáme H 0 nezamítáme OK OK

8 Chyba I. a II. druhu Párový rozhodujeme na základě náhodného výběru nemůžeme testovanou otázku zodpovědět s absolutní jistotou můžeme se dopustit chyby tyto chyby se budeme snažit omezit (resp. kontrolovat jejich pravděpodobnosti) H 0 zamítáme H 0 nezamítáme H 0 platí chyba 1. druhu OK H 0 neplatí OK

9 Chyba I. a II. druhu Párový rozhodujeme na základě náhodného výběru nemůžeme testovanou otázku zodpovědět s absolutní jistotou můžeme se dopustit chyby tyto chyby se budeme snažit omezit (resp. kontrolovat jejich pravděpodobnosti) H 0 zamítáme H 0 nezamítáme H 0 platí chyba 1. druhu OK H 0 neplatí OK chyba 2. druhu

10 Chyba I. a II. druhu Párový rozhodujeme na základě náhodného výběru nemůžeme testovanou otázku zodpovědět s absolutní jistotou můžeme se dopustit chyby tyto chyby se budeme snažit omezit (resp. kontrolovat jejich pravděpodobnosti) H 0 zamítáme H 0 nezamítáme H 0 platí chyba 1. druhu OK H 0 neplatí OK chyba 2. druhu Označíme: α = P(chyba 1. druhu) = P(zamítáme H 0 H 0 platí) β = P(chyba 2. druhu) = P(nezamítáme H 0 H 0 neplatí) Přirozený požadavek: α,β min bohužel nelze současně

11 Chyba I. a II. druhu Párový zvoĺıme hladinu testu α (zpravidla α = 0.05) maximální dovolená pst chyby 1. druhu maximální pst falešného prokázání vědecké y voĺıme před pokusem, nezávisle na jeho výsledku pro dané α chceme minimální β maximální 1 β síla testu 1 β pst zamítnutí neplatné H 0 pst, s jakou prokážeme platnou vědeckou u H 1 nemáme pod kontrolou (závisí na tom, co opravdu platí) můžeme ovlivnit volbou statistického testu, počtem pozorování,... α máme plně pod kontrolou, o β toho moc nevíme (chyba 1. druhu je závažnější)

12 Dosažená hladina testu Párový Dosažená hladina testu p-hodnota (angl. p-value) pravděpodobnost, že dostaneme výsledek, který stejně nebo ještě méně podporuje H 0, jestliže H 0 platí nejmenší hladina α, na které lze ještě H 0 zamítnout stupeň důvěry v platnost H 0 výsledek provedení statistického testu pomocí softwaru Pravidlo: je-li p α zamítáme H 0 je-li p > α nezamítáme H 0 (Zapamatovat!)

13 Nesymetrie H 0 a H 1 Párový H 0 a H 1 nejsou posuzovány symetricky: H 0 považujeme a priori za platnou a zamítáme ji jen tehdy, pokud k tomu máme dostatečně silné důvody pokud jsme zamítli H 0 můžeme tvrdit, že data svědčí o tom, že H 0 neplatí (a prokazujeme platnost H 1 ) pokud jsme H 0 nezamítli pak bud H 0 opravdu platí anebo H 0 neplatí, ale data neposkytují dostatečné důkazy k jejímu zamítnutí (malá síla testu) nutné volit opatrné formulace závěrů (u H 0 nelze na základě našich dat zamítnout apod.) Závěr Hypotézu H 0 nemůžeme prokázat, ale pouze vyvrátit

14 Párový Minule: filozofie testování testy střední hodnoty v normálním rozdělení (při známém a neznámém σ 2 ) spec. jednovýběrový Studentovo t-rozdělení intervalové odhady

15 : : Párový Situace: X 1,...,X n náhodný výběr z normálního rozdělení N(µ,σ 2 ), kde σ 2 neznáme. Chceme testovat proti Testová H 0 : µ = µ 0 H 1 : µ µ 0 T n = n X µ 0 S n má za platnosti H 0 t n 1 rozdělení. Test: je-li T n > t n 1 (1 α 2 ), pak zamítáme H 0. Jiné možné altervativy: H 1 : µ < µ 0 nebo H 1 : µ > µ 0 modifikace testu

16 Příklad Párový Příklad Provádíme průzkum, jaký skutečný objem piva točí v nejmenované hospodě. Zakoupeno bylo 10 piv a jejich objem byl (v litrech): 0.510, 0.462, 0.491, 0.466, 0.461, 0.503, 0.495, 0.488, 0.512, Z pohledu zákazníka bychom chtěli otestovat, zda hostinský netočí pod míru.

17 Příklad Párový Příklad Provádíme průzkum, jaký skutečný objem piva točí v nejmenované hospodě. Zakoupeno bylo 10 piv a jejich objem byl (v litrech): 0.510, 0.462, 0.491, 0.466, 0.461, 0.503, 0.495, 0.488, 0.512, Z pohledu zákazníka bychom chtěli otestovat, zda hostinský netočí pod míru. Model: Předpokládejme, že datům odpovídají nezávislé náhodné veličiny s normálním rozdělením N(µ,σ 2 ) Hypotézy: H 0 : µ = 0.5 proti H 1 : µ < 0.5

18 Příklad pokrač. Párový spočteme odtud T n = n X 0.5 S X = , S = = = H 0 zamítáme, pokud T n < t 9 (0.95) = nerovnost neplatí H 0 nelze na hladině významnosti 5 % zamítnout nelze prokázat, že by hostinský točil pivo pod míru (bud skutečně pod míru netočí nebo tak málo, že tuto odchylku nemůžeme na základě našich dat prokázat)

19 Příklad výpočet v programu R Párový >t.test(pivo,mu=0.5,alternative= less ) One Sample data: pivo t = , df = 9, p-value = alternative hypothesis: true mean is less than percent confidence interval: Inf sample estimates: mean of x p-hodnota > 0.05 nezamítáme H 0 na hladině 5 %

20 Problém Párový Příklad na každém subjektu měřímě dvě veličiny otázka: Mají tyto dvě veličiny stejnou střední hodnotu? Neboli, jsou co do polohy stejné? Věk rodičů: Jsou otcové starší než matky? Účinnost redukční diety: Je hmotnost po dietě nižší než před ní? Úspěšnost reklamní kampaně: Je prodejnost výrobku vyšší po kampani než před ní? Jsou dvojčata stejně inteligentní?...

21 Matematický zápis Párový párová pozorování (X 1,Y 1 ),...,(X n,y n ) nezávislé dvojice náhodných veličin náhodný výběr z dvourozměrného rozdělení X i a Y i měřeny na stejném subjektu i příklady: věk matky a věk otce, hmotnost před a po redukční dietě,... µ X = EX i, µ Y = EY i chceme otestovat u H 0 : µ X = µ Y proti H 1 : µ X µ Y. (příp. proti jednostranným H 1 )

22 Párový Párový Idea: zavedeme Z i = X i Y i rozdíly (např. rozdíl věku rodičů) předpoklad Z 1,...,Z n stejné rozdělení normální zjevně µ Z = µ X µ Y, a proto H 0 : µ X = µ Y platí platí µ Z = 0 střední hodnota X i a Y i je stejná Z i koĺısají kolem nuly úloha převedena na jednovýběrový test

23 Párový Párový definujeme Z i = X i Y i, i = 1,...,n předpokládáme, že Z 1,...,Z n náhodný výběr z N(µ Z,σ 2 ) test H 0 : µ Z = 0 proti H 1 : µ Z 0 jednovýběrový : spočteme Z odhad µ Z, S 2 odhad σ 2 testová T n = n Z S = n X Y S H 0 zamítáme ve prospěch H 1 : µ 0, pokud T n > t n 1 (1 α/2) ve prospěch H 1 : µ > 0, pokud T n > t n 1 (1 α) ve prospěch H 1 : µ < 0, pokud T n < t n 1 (1 α)

24 Párový : Poznámky Párový Obecnější y: lze testovat obecněji H 0 : µ X µ Y = δ testová : T n = n Z δ S Porušení předpokladů: test dodržuje požadovanou hladinu α, pokud Z i mají normální rozdělení, nebo počet pozorovaných dvojic n je dost velký (n > 50) jestliže normalitu nelze předpokládat je-li n dost velké lze párový je-li n malé párový test může dávat nesprávné výsledky nutné použít jiný postup (Wilcoxonův párový test)

25 Příklad věk otce vs. věk matky Párový Otázka: Jsou otcové studentů vyšší než matky studentů? n = 256 studentů z let věk otce a věk matky X - věk otce, Y - věk matky, Z = X Y rozdíl věků test H 0 : µ Z = 0 proti H 1 : µ Z > 0 na hladině α = 0.05 vypočteme X = 48.88, Y = 46.60, Z = 2.28, S = 4.12 testová T n = = 8.85 kritická hodnota t 255 (0.95) = 1.65

26 Příklad věk otce vs. věk matky Párový T n = 8,85 > t 255 (0.95) = 1.65 zamítáme u H 0 : µ Z = 0 ve prospěch H 1 : µ Z > 0 p-hodnota < Závěr: Prokázali jsme, že střední věk otců je statisticky významně vyšší než střední věk matek Ověření předpokladu normality: graficky histogram, QQ graf Shapirův-Wilkův test: p-hodnota normalitu dat nelze předpokládat; nicméně n dostatečně vysoké párový lze použít

27 Příklad Věk otce vs. věk matky Párový Otázka: Je střední hodnota věku otce přesně o dva roky vyšší než střední hodnota věku matky? nyní test H 0 : µ Z = 2 proti H 0 : µ Z 2 testová : T n = = kritická hodnota t 255 (0.975) = neplatí T n > 1.97 nelze zamítnout H 0 (p-hodnota 0.282) Závěr: Střední věk otců je bud přesně o dva roky vyšší než střední věk matek anebo je rozdíl středního věku tak bĺızko 2 rokům, že odchylku od 2 let na základě nasbíraných dat nedokážeme rozpoznat.

28 Příklad Věk otce vs. věk matky Párový 95 % intervalový odhad rozdílu věku rodičů: obecný vzorec ( Z S t n 1 (1 α/2),z + S ) t n 1 (1 α/2) n n dosadíme: (1.771, 2.784) interval, který s pravděpodobností 95 % pokryje skutečný rozdíl středních hodnot věku rodičů hodnota 2 leží v tomto intervalu

29 Párový Řešení v programu R: > t.test(vek.otce,vek.matky,mu=2,paired=t) Paired data: vek.otce and vek.matky t = , df = 255, p-value = alternative hypothesis: true difference in means is not equal to 2 95 percent confidence interval: sample estimates: mean of the differences

30 problém Párový Příklad jedna veličina měřená ve dvou nezávislých skupinách m nezávislých pozorování X i a n nezávislých pozorování Y j navzájem nezávislé zajímá nás porovnání jejich středních hodnot výška mužů a žen jsou muži vyšší než ženy? (je v jejich průměrné výšce systematický rozdíl?) plat mužů a žen je plat mužů stejný jako plat žen? (je v platech mužů a žen rozdíl, který se projevuje ve střední hodnotě?) liší se výše cholesterolu u kuřáků a nekuřáků?

31 Matematický zápis Párový Model: dva nezávislé náhodné výběry X 1,...,X m z normálního rozdělení N(µ X,σ 2 X ) Y 1,...,Y n z normálního rozdělení N(µ Y,σ 2 Y ) předpoklad: shodné rozptyly σ 2 X = σ2 Y Chceme otestovat H 0 : µ X = µ Y proti H 1 : µ X µ Y (resp. proti jednostranným alternativám) dvouvýběrový

32 : odvození Párový Idea: porovnáme průměry X a Y velký rozdíl zamítnutí y H 0 je třeba brát v úvahu také rozsahy výběrů a rozptyl Testová : T = X Y S.E.(X Y) = mn X Y, m+n S kde S 2 je společný odhad rozptylu σ 2 spočítaný z obou výběrů S 2 = 1 [ (m 1)S 2 m+n 2 X +(n 1)SY] 2

33 : odvození Párový Společný odhad rozptylu: umíme odhadnout σ 2 z každého výběru zvlášt pomocí výběrových rozptylů S 2 X = 1 m 1 S 2 Y = 1 n 1 m (X i X m ) 2 i=1 n (Y i Y n ) 2 i=1 vezmeme vážený průměr S 2 = 1 [ (m 1)S 2 m+n 2 X +(n 1)SY] 2

34 Rozdělení testové statistiky Párový Model: dva nezávislé náhodné výběry X 1,...,X m z normálního rozdělení N(µ X,σ 2 X ) Y 1,...,Y n z normálního rozdělení N(µ Y,σ 2 Y ) shodné rozptyly σ 2 X = σ2 Y Pak za H 0 : µ X = µ Y má testová T = mn m+n X m Y n, S t m+n 2 rozdělení, tj. t-rozdělení s m+n 2 stupni volnosti.

35 : Párový H 0 : µ X = µ Y zamítáme ve prospěch alternativy ( ) H 1 : µ X µ Y když T > t m+n 2 1 α ( ) 2 H 1 : µ X > µ Y když T > t m+n 2 1 α H 1 : µ X < µ Y když T < t m+n 2 ( 1 α ) zamítáme-li H 0, říkáme, že rozdíl ve výběrových průměrech je statisticky významný

36 : Párový H 0 : µ X = µ Y zamítáme ve prospěch alternativy ( ) H 1 : µ X µ Y když T > t m+n 2 1 α ( ) 2 H 1 : µ X > µ Y když T > t m+n 2 1 α H 1 : µ X < µ Y když T < t m+n 2 ( 1 α ) zamítáme-li H 0, říkáme, že rozdíl ve výběrových průměrech je statisticky významný Poznámka lze obecnější a H 0 : µ X µ Y = δ testová mn X m Y n δ T = m+n S

37 Ověření předpokladů Párový Normalita ověření normality pro každý výběr zvlášt pro velká n, m porušení normality velmi nevadí Shoda rozptylů S 2 X a S2 Y podobné F-test shody rozptylů H 0 : σ 2 X = σ2 Y proti H 1 : σ 2 X σ2 Y pochyby o shodě Welchův test (modifikace u) Welchův test: model: nezávislé výběry X 1,...,X m z normálního rozdělení N(µ X,σ 2 X ) a Y 1,...,Y n z normálního rozdělení N(µ Y,σ 2 Y ) modifikace testové statistiky již nemá rozdělení t m+n 2, numerická aproximace

38 Příklad plat Párový Problém: Je plat mužů vyšší než plat žen? 100 náhodně vybraných zaměstnanců měsíční plat v Kč 35 žen a 65 mužů X plat žen, Y plat mužů rozsah průměr směr. odchylka ženy muži

39 Příklad plat Párový Problém: Je plat mužů vyšší než plat žen? 100 náhodně vybraných zaměstnanců měsíční plat v Kč 35 žen a 65 mužů X plat žen, Y plat mužů rozsah průměr směr. odchylka ženy muži Předpoklady: normalita muži p-hodnota normalita ženy p-hodnota test shody rozptylů p-hodnota 0.218

40 Příklad grafické znázornění Párový Plat zena muz Pohlavi

41 Příklad předpoklady zena muz Párový Percent of Total Plat Q Q graf Q Q graf Sample Quantiles Sample Quantiles

42 Příklad řešení Párový H 0 : µ X = µ Y proti H 1 : µ X < µ Y společný odhad rozptylu S 2 = = testová T = = kritická hodnota t 98 (0.95) = na základě našich dat nelze zamítnout H 0, tj. nelze prokázat H 1

43 Příklad řešení Párový Řešení v programu R: > t.test(zeny,muzi,var.equal=t,alternative= less ) Two Sample data: zeny and muzi t = , df = 98, p-value = alternative hypothesis: true difference in means is less than 0 95 percent confidence interval: -Inf sample estimates: mean of x mean of y

44 Shrnutí Párový Testy o střední hodnotě 1 jeden výběr jednovýběrový normalita (není nezbytné při dostatečně velkém rozsahu výběru) 2 párová pozorování párový normalita rozdílu (není nezbytné při dostatečně velkém rozsahu výběru) 3 dva nezávislé výběry dvouvýběrový nezávislost normalita (není nezbytné při dostatečně velkém rozsahu výběru) shoda rozptylů (neplatí-li použít Welchův test)

45 Porušení normality Párový Jestliže nelze normalitu předpokládat a rozsah výběru je malý nutné použít jiné testy, které předpoklad normality nepotřebují neparametrické testy založeny na pořadí pořadové testy Uvedeme si jednovýběrový Wilcoxonův test dvouvýběrový Wilcoxonův test