Párový Šárka Hudecová Katedra pravděpodobnosti a matematické statistiky Matematicko-fyzikální fakulta Univerzity Karlovy letní semestr 2012
motivační příklad Párový Příklad (Platová diskriminace) firma provedla šetření s cílem zjistit, zda dochází k platové diskriminaci žen do studie zahrnuto 100 náhodně vybraných zaměstnanců, z toho 35 žen a 65 mužů měsíční plat žen X 35 = 20685.5 Kč měsíční plat mužů Y 65 = 21364.4 Kč lze z těchto výsledků usuzovat, že muži mají (v dané firmě) obecně vyšší platy než ženy?
motovační příklad Párový Otázka: Mají muži vyšší příjem než ženy? přesnější formulace zajímá nás zřejmě porovnání středních hodnot platů mužů a žen, EX a EY porovnání X a Y náhodné veličiny jiný náhodný výběr by zahrnul jiných 100 zaměstnanců dostali bychom odlišné výběrové průměry X a Y Je rozdíl Y X = 678.9 > 0 Kč dostatečně průkazný na to, abychom mohli tvrdit, že muži mají (v dané firmě) obecně vyšší platy než ženy? Nebo je to jen vliv náhody?
Párový = vyhodnocování pravdivostní hodnoty výroků na základě náhodného výběru (tj. ověřování platnosti nějakého výroku) provádíme pomocí statistických testů Hypotéza = výrok, o jehož pravdivosti chceme rozhodnout nulová a H 0 tvrzení o populaci, o jehož platnosti rozhodujeme (není rozdíl, nezávisí, neliší se,...) alternativní a H 1 : alternativa (doplňující možnost) k H 0 často tvrzení, které chceme prokázat
Statistický test Párový Statistický test = rozhodovací pravidlo, na jehož základě zamítáme nebo nezamítáme H 0 testová T n = T n (X 1,...,X n ) = náhodná veličina, která je funkcí pozorování X 1,...,X n kritický obor C = možné výsledky pokusu, kdy H 0 zamítáme
Chyba I. a II. druhu Párový rozhodujeme na základě náhodného výběru nemůžeme testovanou otázku zodpovědět s absolutní jistotou můžeme se dopustit chyby tyto chyby se budeme snažit omezit (resp. kontrolovat jejich pravděpodobnosti) H 0 platí H 0 neplatí H 0 zamítáme H 0 nezamítáme
Chyba I. a II. druhu Párový rozhodujeme na základě náhodného výběru nemůžeme testovanou otázku zodpovědět s absolutní jistotou můžeme se dopustit chyby tyto chyby se budeme snažit omezit (resp. kontrolovat jejich pravděpodobnosti) H 0 platí H 0 neplatí H 0 zamítáme H 0 nezamítáme OK OK
Chyba I. a II. druhu Párový rozhodujeme na základě náhodného výběru nemůžeme testovanou otázku zodpovědět s absolutní jistotou můžeme se dopustit chyby tyto chyby se budeme snažit omezit (resp. kontrolovat jejich pravděpodobnosti) H 0 zamítáme H 0 nezamítáme H 0 platí chyba 1. druhu OK H 0 neplatí OK
Chyba I. a II. druhu Párový rozhodujeme na základě náhodného výběru nemůžeme testovanou otázku zodpovědět s absolutní jistotou můžeme se dopustit chyby tyto chyby se budeme snažit omezit (resp. kontrolovat jejich pravděpodobnosti) H 0 zamítáme H 0 nezamítáme H 0 platí chyba 1. druhu OK H 0 neplatí OK chyba 2. druhu
Chyba I. a II. druhu Párový rozhodujeme na základě náhodného výběru nemůžeme testovanou otázku zodpovědět s absolutní jistotou můžeme se dopustit chyby tyto chyby se budeme snažit omezit (resp. kontrolovat jejich pravděpodobnosti) H 0 zamítáme H 0 nezamítáme H 0 platí chyba 1. druhu OK H 0 neplatí OK chyba 2. druhu Označíme: α = P(chyba 1. druhu) = P(zamítáme H 0 H 0 platí) β = P(chyba 2. druhu) = P(nezamítáme H 0 H 0 neplatí) Přirozený požadavek: α,β min bohužel nelze současně
Chyba I. a II. druhu Párový zvoĺıme hladinu testu α (zpravidla α = 0.05) maximální dovolená pst chyby 1. druhu maximální pst falešného prokázání vědecké y voĺıme před pokusem, nezávisle na jeho výsledku pro dané α chceme minimální β maximální 1 β síla testu 1 β pst zamítnutí neplatné H 0 pst, s jakou prokážeme platnou vědeckou u H 1 nemáme pod kontrolou (závisí na tom, co opravdu platí) můžeme ovlivnit volbou statistického testu, počtem pozorování,... α máme plně pod kontrolou, o β toho moc nevíme (chyba 1. druhu je závažnější)
Dosažená hladina testu Párový Dosažená hladina testu p-hodnota (angl. p-value) pravděpodobnost, že dostaneme výsledek, který stejně nebo ještě méně podporuje H 0, jestliže H 0 platí nejmenší hladina α, na které lze ještě H 0 zamítnout stupeň důvěry v platnost H 0 výsledek provedení statistického testu pomocí softwaru Pravidlo: je-li p α zamítáme H 0 je-li p > α nezamítáme H 0 (Zapamatovat!)
Nesymetrie H 0 a H 1 Párový H 0 a H 1 nejsou posuzovány symetricky: H 0 považujeme a priori za platnou a zamítáme ji jen tehdy, pokud k tomu máme dostatečně silné důvody pokud jsme zamítli H 0 můžeme tvrdit, že data svědčí o tom, že H 0 neplatí (a prokazujeme platnost H 1 ) pokud jsme H 0 nezamítli pak bud H 0 opravdu platí anebo H 0 neplatí, ale data neposkytují dostatečné důkazy k jejímu zamítnutí (malá síla testu) nutné volit opatrné formulace závěrů (u H 0 nelze na základě našich dat zamítnout apod.) Závěr Hypotézu H 0 nemůžeme prokázat, ale pouze vyvrátit
Párový Minule: filozofie testování testy střední hodnoty v normálním rozdělení (při známém a neznámém σ 2 ) spec. jednovýběrový Studentovo t-rozdělení intervalové odhady
: : Párový Situace: X 1,...,X n náhodný výběr z normálního rozdělení N(µ,σ 2 ), kde σ 2 neznáme. Chceme testovat proti Testová H 0 : µ = µ 0 H 1 : µ µ 0 T n = n X µ 0 S n má za platnosti H 0 t n 1 rozdělení. Test: je-li T n > t n 1 (1 α 2 ), pak zamítáme H 0. Jiné možné altervativy: H 1 : µ < µ 0 nebo H 1 : µ > µ 0 modifikace testu
Příklad Párový Příklad Provádíme průzkum, jaký skutečný objem piva točí v nejmenované hospodě. Zakoupeno bylo 10 piv a jejich objem byl (v litrech): 0.510, 0.462, 0.491, 0.466, 0.461, 0.503, 0.495, 0.488, 0.512, 0.505. Z pohledu zákazníka bychom chtěli otestovat, zda hostinský netočí pod míru.
Příklad Párový Příklad Provádíme průzkum, jaký skutečný objem piva točí v nejmenované hospodě. Zakoupeno bylo 10 piv a jejich objem byl (v litrech): 0.510, 0.462, 0.491, 0.466, 0.461, 0.503, 0.495, 0.488, 0.512, 0.505. Z pohledu zákazníka bychom chtěli otestovat, zda hostinský netočí pod míru. Model: Předpokládejme, že datům odpovídají nezávislé náhodné veličiny s normálním rozdělením N(µ,σ 2 ) Hypotézy: H 0 : µ = 0.5 proti H 1 : µ < 0.5
Příklad pokrač. Párový spočteme odtud T n = n X 0.5 S X = 0.4893, S = 0.0197. = 10 0.4893 0.5 0.0197 = 1.7148 H 0 zamítáme, pokud T n < t 9 (0.95) = 1.833 nerovnost neplatí H 0 nelze na hladině významnosti 5 % zamítnout nelze prokázat, že by hostinský točil pivo pod míru (bud skutečně pod míru netočí nebo tak málo, že tuto odchylku nemůžeme na základě našich dat prokázat)
Příklad výpočet v programu R Párový >t.test(pivo,mu=0.5,alternative= less ) One Sample data: pivo t = -1.7148, df = 9, p-value = 0.06026 alternative hypothesis: true mean is less than 0.5 95 percent confidence interval: Inf 0.5007382 sample estimates: mean of x 0.4893 p-hodnota > 0.05 nezamítáme H 0 na hladině 5 %
Problém Párový Příklad na každém subjektu měřímě dvě veličiny otázka: Mají tyto dvě veličiny stejnou střední hodnotu? Neboli, jsou co do polohy stejné? Věk rodičů: Jsou otcové starší než matky? Účinnost redukční diety: Je hmotnost po dietě nižší než před ní? Úspěšnost reklamní kampaně: Je prodejnost výrobku vyšší po kampani než před ní? Jsou dvojčata stejně inteligentní?...
Matematický zápis Párový párová pozorování (X 1,Y 1 ),...,(X n,y n ) nezávislé dvojice náhodných veličin náhodný výběr z dvourozměrného rozdělení X i a Y i měřeny na stejném subjektu i příklady: věk matky a věk otce, hmotnost před a po redukční dietě,... µ X = EX i, µ Y = EY i chceme otestovat u H 0 : µ X = µ Y proti H 1 : µ X µ Y. (příp. proti jednostranným H 1 )
Párový Párový Idea: zavedeme Z i = X i Y i rozdíly (např. rozdíl věku rodičů) předpoklad Z 1,...,Z n stejné rozdělení normální zjevně µ Z = µ X µ Y, a proto H 0 : µ X = µ Y platí platí µ Z = 0 střední hodnota X i a Y i je stejná Z i koĺısají kolem nuly úloha převedena na jednovýběrový test
Párový Párový definujeme Z i = X i Y i, i = 1,...,n předpokládáme, že Z 1,...,Z n náhodný výběr z N(µ Z,σ 2 ) test H 0 : µ Z = 0 proti H 1 : µ Z 0 jednovýběrový : spočteme Z odhad µ Z, S 2 odhad σ 2 testová T n = n Z S = n X Y S H 0 zamítáme ve prospěch H 1 : µ 0, pokud T n > t n 1 (1 α/2) ve prospěch H 1 : µ > 0, pokud T n > t n 1 (1 α) ve prospěch H 1 : µ < 0, pokud T n < t n 1 (1 α)
Párový : Poznámky Párový Obecnější y: lze testovat obecněji H 0 : µ X µ Y = δ testová : T n = n Z δ S Porušení předpokladů: test dodržuje požadovanou hladinu α, pokud Z i mají normální rozdělení, nebo počet pozorovaných dvojic n je dost velký (n > 50) jestliže normalitu nelze předpokládat je-li n dost velké lze párový je-li n malé párový test může dávat nesprávné výsledky nutné použít jiný postup (Wilcoxonův párový test)
Příklad věk otce vs. věk matky Párový Otázka: Jsou otcové studentů vyšší než matky studentů? n = 256 studentů z let 2006 2011 věk otce a věk matky X - věk otce, Y - věk matky, Z = X Y rozdíl věků test H 0 : µ Z = 0 proti H 1 : µ Z > 0 na hladině α = 0.05 vypočteme X = 48.88, Y = 46.60, Z = 2.28, S = 4.12 testová T n = 256 2.28 4.12 = 8.85 kritická hodnota t 255 (0.95) = 1.65
Příklad věk otce vs. věk matky Párový T n = 8,85 > t 255 (0.95) = 1.65 zamítáme u H 0 : µ Z = 0 ve prospěch H 1 : µ Z > 0 p-hodnota < 10 16 Závěr: Prokázali jsme, že střední věk otců je statisticky významně vyšší než střední věk matek Ověření předpokladu normality: graficky histogram, QQ graf Shapirův-Wilkův test: p-hodnota 6 10 14 normalitu dat nelze předpokládat; nicméně n dostatečně vysoké párový lze použít
Příklad Věk otce vs. věk matky Párový Otázka: Je střední hodnota věku otce přesně o dva roky vyšší než střední hodnota věku matky? nyní test H 0 : µ Z = 2 proti H 0 : µ Z 2 testová : T n = 256 2.28 2 4.12 = 1.078 kritická hodnota t 255 (0.975) = 1.970 neplatí T n > 1.97 nelze zamítnout H 0 (p-hodnota 0.282) Závěr: Střední věk otců je bud přesně o dva roky vyšší než střední věk matek anebo je rozdíl středního věku tak bĺızko 2 rokům, že odchylku od 2 let na základě nasbíraných dat nedokážeme rozpoznat.
Příklad Věk otce vs. věk matky Párový 95 % intervalový odhad rozdílu věku rodičů: obecný vzorec ( Z S t n 1 (1 α/2),z + S ) t n 1 (1 α/2) n n dosadíme: (1.771, 2.784) interval, který s pravděpodobností 95 % pokryje skutečný rozdíl středních hodnot věku rodičů hodnota 2 leží v tomto intervalu
Párový Řešení v programu R: > t.test(vek.otce,vek.matky,mu=2,paired=t) Paired data: vek.otce and vek.matky t = 1.0782, df = 255, p-value = 0.282 alternative hypothesis: true difference in means is not equal to 2 95 percent confidence interval: 1.770783 2.783904 sample estimates: mean of the differences 2.277344
problém Párový Příklad jedna veličina měřená ve dvou nezávislých skupinách m nezávislých pozorování X i a n nezávislých pozorování Y j navzájem nezávislé zajímá nás porovnání jejich středních hodnot výška mužů a žen jsou muži vyšší než ženy? (je v jejich průměrné výšce systematický rozdíl?) plat mužů a žen je plat mužů stejný jako plat žen? (je v platech mužů a žen rozdíl, který se projevuje ve střední hodnotě?) liší se výše cholesterolu u kuřáků a nekuřáků?
Matematický zápis Párový Model: dva nezávislé náhodné výběry X 1,...,X m z normálního rozdělení N(µ X,σ 2 X ) Y 1,...,Y n z normálního rozdělení N(µ Y,σ 2 Y ) předpoklad: shodné rozptyly σ 2 X = σ2 Y Chceme otestovat H 0 : µ X = µ Y proti H 1 : µ X µ Y (resp. proti jednostranným alternativám) dvouvýběrový
: odvození Párový Idea: porovnáme průměry X a Y velký rozdíl zamítnutí y H 0 je třeba brát v úvahu také rozsahy výběrů a rozptyl Testová : T = X Y S.E.(X Y) = mn X Y, m+n S kde S 2 je společný odhad rozptylu σ 2 spočítaný z obou výběrů S 2 = 1 [ (m 1)S 2 m+n 2 X +(n 1)SY] 2
: odvození Párový Společný odhad rozptylu: umíme odhadnout σ 2 z každého výběru zvlášt pomocí výběrových rozptylů S 2 X = 1 m 1 S 2 Y = 1 n 1 m (X i X m ) 2 i=1 n (Y i Y n ) 2 i=1 vezmeme vážený průměr S 2 = 1 [ (m 1)S 2 m+n 2 X +(n 1)SY] 2
Rozdělení testové statistiky Párový Model: dva nezávislé náhodné výběry X 1,...,X m z normálního rozdělení N(µ X,σ 2 X ) Y 1,...,Y n z normálního rozdělení N(µ Y,σ 2 Y ) shodné rozptyly σ 2 X = σ2 Y Pak za H 0 : µ X = µ Y má testová T = mn m+n X m Y n, S t m+n 2 rozdělení, tj. t-rozdělení s m+n 2 stupni volnosti.
: Párový H 0 : µ X = µ Y zamítáme ve prospěch alternativy ( ) H 1 : µ X µ Y když T > t m+n 2 1 α ( ) 2 H 1 : µ X > µ Y když T > t m+n 2 1 α H 1 : µ X < µ Y když T < t m+n 2 ( 1 α ) zamítáme-li H 0, říkáme, že rozdíl ve výběrových průměrech je statisticky významný
: Párový H 0 : µ X = µ Y zamítáme ve prospěch alternativy ( ) H 1 : µ X µ Y když T > t m+n 2 1 α ( ) 2 H 1 : µ X > µ Y když T > t m+n 2 1 α H 1 : µ X < µ Y když T < t m+n 2 ( 1 α ) zamítáme-li H 0, říkáme, že rozdíl ve výběrových průměrech je statisticky významný Poznámka lze obecnější a H 0 : µ X µ Y = δ testová mn X m Y n δ T = m+n S
Ověření předpokladů Párový Normalita ověření normality pro každý výběr zvlášt pro velká n, m porušení normality velmi nevadí Shoda rozptylů S 2 X a S2 Y podobné F-test shody rozptylů H 0 : σ 2 X = σ2 Y proti H 1 : σ 2 X σ2 Y pochyby o shodě Welchův test (modifikace u) Welchův test: model: nezávislé výběry X 1,...,X m z normálního rozdělení N(µ X,σ 2 X ) a Y 1,...,Y n z normálního rozdělení N(µ Y,σ 2 Y ) modifikace testové statistiky již nemá rozdělení t m+n 2, numerická aproximace
Příklad plat Párový Problém: Je plat mužů vyšší než plat žen? 100 náhodně vybraných zaměstnanců měsíční plat v Kč 35 žen a 65 mužů X plat žen, Y plat mužů rozsah průměr směr. odchylka ženy 35 20 686 5 180 muži 65 21 364 4 334
Příklad plat Párový Problém: Je plat mužů vyšší než plat žen? 100 náhodně vybraných zaměstnanců měsíční plat v Kč 35 žen a 65 mužů X plat žen, Y plat mužů rozsah průměr směr. odchylka ženy 35 20 686 5 180 muži 65 21 364 4 334 Předpoklady: normalita muži p-hodnota 0.134 normalita ženy p-hodnota 0.310 test shody rozptylů p-hodnota 0.218
Příklad grafické znázornění Párový Plat 10000 15000 20000 25000 30000 zena muz Pohlavi
Příklad předpoklady zena 10000 15000 20000 25000 30000 muz Párový Percent of Total 25 20 15 10 5 0 10000 15000 20000 25000 30000 Plat Q Q graf Q Q graf Sample Quantiles 10000 15000 20000 25000 30000 2 1 0 1 2 Sample Quantiles 15000 20000 25000 30000 2 1 0 1 2
Příklad řešení Párový H 0 : µ X = µ Y proti H 1 : µ X < µ Y společný odhad rozptylu S 2 = 35 1 35+65 2 51802 + 65 1 35+65 2 43342 = 21356170 testová T = 35 65 100 20686 21364 21356170 = 0.700 kritická hodnota t 98 (0.95) = 1.661 na základě našich dat nelze zamítnout H 0, tj. nelze prokázat H 1
Příklad řešení Párový Řešení v programu R: > t.test(zeny,muzi,var.equal=t,alternative= less ) Two Sample data: zeny and muzi t = -0.6971, df = 98, p-value = 0.2437 alternative hypothesis: true difference in means is less than 0 95 percent confidence interval: -Inf 938.2113 sample estimates: mean of x mean of y 20685.51 21364.37
Shrnutí Párový Testy o střední hodnotě 1 jeden výběr jednovýběrový normalita (není nezbytné při dostatečně velkém rozsahu výběru) 2 párová pozorování párový normalita rozdílu (není nezbytné při dostatečně velkém rozsahu výběru) 3 dva nezávislé výběry dvouvýběrový nezávislost normalita (není nezbytné při dostatečně velkém rozsahu výběru) shoda rozptylů (neplatí-li použít Welchův test)
Porušení normality Párový Jestliže nelze normalitu předpokládat a rozsah výběru je malý nutné použít jiné testy, které předpoklad normality nepotřebují neparametrické testy založeny na pořadí pořadové testy Uvedeme si jednovýběrový Wilcoxonův test dvouvýběrový Wilcoxonův test