Pravděpodobnost a statistika, Biostatistika pro kombinované studium. Tutoriál č. 5: Bodové a intervalové odhady, testování hypotéz.

Transkript

1 Pravděpodobnost a statistika, Biostatistika pro kombinované studium Letní semestr 2015/2016 Tutoriál č. 5: Bodové a intervalové odhady, testování hypotéz Jan Kracík jan.kracik@vsb.cz

2 Obsah: Výběrová rozdělení Bodové a intervalové odhady Testování hypotéz

3 Výběrová rozdělení

4 Výběrové charakteristiky (opakování): číslné charakteristiky výběrového souboru výběrový průměr, výběrový rozptyl, relativní četnost,... náhodné veličiny (funkce pozorování)

5 Výběrové charakteristiky (opakování): číslné charakteristiky výběrového souboru výběrový průměr, výběrový rozptyl, relativní četnost,... náhodné veličiny (funkce pozorování) E[ X] = E[ 1 n n i=1 X i] = 1 n n E[X] = µ X D[ X] = D[ 1 n n i=1 X i] = 1 n D[X] = 1 n 2 n σ2 X centrální limitní věta: X ( ) N µ x, σ2 x n další aplikace CLV: rozdělení součtu náhodných veličin, rozdílu průměrů, rozdílu relativních četností,...

6 Výběrová rozdělení: rozdělení pravděpodobnosti důležitých výběrových charakteristik vyžití pro odhady parametrů, testování hypotéz,... 3 důležitá rozdělení: χ 2 -rozdělení Studentovo rozdělení Fisher-Snedecorovo rozdělení

7 χ 2 -rozdělení ( chí kvadrát ) Mějme Z 1, Z 2,..., Z n nezávislé náhodné veličiny s rozdělením N(0, 1). Označme X = n i=1 Z i 2. Potom X má rozdělení χ 2 s n stupni volnosti. Zapisujeme X χ 2 n. Důležitá vlastnost: Pro nezávislé X 1, X 2,..., X n N(µ, σ 2 ) platí kde S 2 je výběrový rozptyl, (n 1)S 2 S 2 = 1 n 1 σ 2 χ 2 n 1, n (X i X) 2. i=1

8 Studentovo (t) rozdělení Necht Z a X jsou nezávislé náhodné veličiny. Z N(0, 1) X χ 2 n Označme T = Z. X n Potom T má Studentovo t rozdělení s n stupni volnosti. Zapisujeme T t n. Důležitá vlastnost: Pro nezávislé X 1, X 2,..., X n N(µ, σ 2 ) platí X µ n tn 1. S

9 Fisher-Snedecorovo (F ) rozdělení Necht V a W jsou nezávislé náhodné veličiny. V χ 2 m W χ 2 n Označme F = V m W n. Potom F má Fisher-Snedecorovo rozdělení o m a n stupních volnosti. Zapisujeme F F m,n. Důležtá vlastnost: Pro nezávislé X 1, X 2,..., X m N(µ X, σ 2 X ) a Y 1, Y 2,..., Y n N(µ Y, σ 2 Y ) platí S 2 X m S 2 Y n F m 1,n 1.

10

11 Cílem odhadu je určení neznámého parametru rozdělení populace (náhodné veličiny X) na základě informace obsažené ve výběrovém souboru (realizacích náhodné veličiny, datech). Příklad: Hod nesymetrickou mincí lze modelovat jako Bernoulliovský pokus s alternativním (Bernoulliho) rozdělením. Parametrem rozdělení může být pravděpodobnost padnutí orla. Co můžeme říci o neznámém parametru, pokud při 10 hodech padne 3 krát orel?

12 Cílem odhadu je určení neznámého parametru rozdělení populace (náhodné veličiny X) na základě informace obsažené ve výběrovém souboru (realizacích náhodné veličiny, datech). Příklad: Hod nesymetrickou mincí lze modelovat jako Bernoulliovský pokus s alternativním (Bernoulliho) rozdělením. Parametrem rozdělení může být pravděpodobnost padnutí orla. Co můžeme říci o neznámém parametru, pokud při 10 hodech padne 3 krát orel? při 2 hodech orel nepadne ani jednou?

13 Cílem odhadu je určení neznámého parametru rozdělení populace (náhodné veličiny X) na základě informace obsažené ve výběrovém souboru (realizacích náhodné veličiny, datech). Příklad: Hod nesymetrickou mincí lze modelovat jako Bernoulliovský pokus s alternativním (Bernoulliho) rozdělením. Parametrem rozdělení může být pravděpodobnost padnutí orla. Co můžeme říci o neznámém parametru, pokud při 10 hodech padne 3 krát orel? při 2 hodech orel nepadne ani jednou? při 100 hodech padne 30 krát orel? při hodech padne orel? při 2 hodech nepadne ani jednou orel, přitom mince je běžná 1 Kč, jen lehce poškrábaná

14 Při odhadování se zajímáme o hodnotu odhadu (přibližnou hodnotu neznámého parametru), přesnost odhadu - odhad na základě konečného počtu dat bude vždy pouze přibližný.

15 Při odhadování se zajímáme o hodnotu odhadu (přibližnou hodnotu neznámého parametru), přesnost odhadu - odhad na základě konečného počtu dat bude vždy pouze přibližný. Rozlišujeme dva základní typy odhadu: Bodový odhad - neznámý parametr charakterizujeme jedinou hodnotou, pokud možno blízko skutečné hodnotě. Hodnota bodového odhadu nevypovídá nic o přesnosti odhadu. Intervalový odhad - neznámý parametr charakterizujeme intervalem, který s velkou pravděpodobností obsahuje skutečnou hodnotu. Délka intervalu vypovídá o přesnosti odhadu.

16 Bodový odhad

17 Bodový odhad Mějme X 1, X 2,..., X n náhodný výběr z neznámého rozdělení závislého na parametru Θ. Bodovým odhadem parametru Θ je obecně libovolná výběrová charakteristika (funkce náhodného výběru) T (X 1, X 1,..., X n ). Příklady T (X 1, X 2,..., X n ) = 1 n n i=1 X i

18 Bodový odhad Mějme X 1, X 2,..., X n náhodný výběr z neznámého rozdělení závislého na parametru Θ. Bodovým odhadem parametru Θ je obecně libovolná výběrová charakteristika (funkce náhodného výběru) T (X 1, X 1,..., X n ). Příklady T (X 1, X 2,..., X n ) = 1 n n i=1 X i (bodový odhad střední hodnoty) T (X 1, X 2,..., X n ) = 1 n n 1 i=1 (X i X) 2

19 Bodový odhad Mějme X 1, X 2,..., X n náhodný výběr z neznámého rozdělení závislého na parametru Θ. Bodovým odhadem parametru Θ je obecně libovolná výběrová charakteristika (funkce náhodného výběru) T (X 1, X 1,..., X n ). Příklady T (X 1, X 2,..., X n ) = 1 n n i=1 X i (bodový odhad střední hodnoty) T (X 1, X 2,..., X n ) = 1 n n 1 i=1 (X i X) 2 (bodový odhad rozptylu) T (X 1, X 2,..., X n ) = arctg(x 1 X 2... X n )

20 Bodový odhad Mějme X 1, X 2,..., X n náhodný výběr z neznámého rozdělení závislého na parametru Θ. Bodovým odhadem parametru Θ je obecně libovolná výběrová charakteristika (funkce náhodného výběru) T (X 1, X 1,..., X n ). Příklady T (X 1, X 2,..., X n ) = 1 n n i=1 X i (bodový odhad střední hodnoty) T (X 1, X 2,..., X n ) = 1 n n 1 i=1 (X i X) 2 (bodový odhad rozptylu) T (X 1, X 2,..., X n ) = arctg(x 1 X 2... X n ) (podle definice rovněž bodový odhad - mimo jiné čehokoliv)

21 Vlastnosti, které zaručují, že danný bodový odhad je v jistém smyslu dobrý: nestrannost (nevychýlenost) - odhad T ( ) parametru Θ je nestranný, jestliže E[T ] = Θ pro každé Θ

22 Vlastnosti, které zaručují, že danný bodový odhad je v jistém smyslu dobrý: nestrannost (nevychýlenost) - odhad T ( ) parametru Θ je nestranný, jestliže E[T ] = Θ pro každé Θ vydatnost, eficience - nejlepší nestranný (vydatný, eficientní)

23 Vlastnosti, které zaručují, že danný bodový odhad je v jistém smyslu dobrý: nestrannost (nevychýlenost) - odhad T ( ) parametru Θ je nestranný, jestliže E[T ] = Θ pro každé Θ vydatnost, eficience - nejlepší nestranný (vydatný, eficientní) konzistence - odhad T n (X 1,..., X n ) je konzistentní, pokud E[T n ] Θ a D[T n ] 0, tj.odhad se s rostoucím počtem dat zpřesňuje

24 Příklad: X 1, X 2,..., X n nezávislý náhodný výběr z rozdělení se stř. hodnotou µ a rozptylem σ 2. Snadno lze ukázat, že E[ 1 n n i=1 X i] = µ, E[ 1 n 1 n i=1 (X i X) 2 ] = σ 2. Odtud plyne, že výběrový průměr je nestranným odhadem střední hodnoty a výběrový rozptyl je nestranným odhadem rozptylu.

25 Intervalový odhad

26 Interval spolehlivosti (konfidenční interval) pro parametr θ se spolehlivostí 1 α, kde α 0, 1, je dvojice statistik (T D ( ), T H ( )) taková, že P(T D θ T H ) = 1 α. Poznámka: Meze intervalu spolehlivosti T D ( ), T H ( ) jsou náhodné veličiny

27 Interval spolehlivosti (konfidenční interval) pro parametr θ se spolehlivostí 1 α, kde α 0, 1, je dvojice statistik (T D ( ), T H ( )) taková, že P(T D θ T H ) = 1 α. Poznámka: Meze intervalu spolehlivosti T D ( ), T H ( ) jsou náhodné veličiny Intervalový odhad t D, t H je konkrétní realizace intervalu spolehlivosti.

28 Interval spolehlivosti (konfidenční interval) pro parametr θ se spolehlivostí 1 α, kde α 0, 1, je dvojice statistik (T D ( ), T H ( )) taková, že P(T D θ T H ) = 1 α. Poznámka: Meze intervalu spolehlivosti T D ( ), T H ( ) jsou náhodné veličiny Intervalový odhad t D, t H je konkrétní realizace intervalu spolehlivosti. Koeficient α nazýváme hladina významnosti.

29 Délka intervalového odhadu charakterizuje přesnost, kratší interval (při stejném α) představuje přesnější lokalizaci skutečné hodnoty parametru klesá s rostoucím počtem dat (odhad se zpřesňuje) roste s (1 α), vyšší spolehlivost vyžaduje širší interval

30 Délka intervalového odhadu charakterizuje přesnost, kratší interval (při stejném α) představuje přesnější lokalizaci skutečné hodnoty parametru klesá s rostoucím počtem dat (odhad se zpřesňuje) roste s (1 α), vyšší spolehlivost vyžaduje širší interval V praxi volíme α = 0.05 nebo α = 0.01 (při požadavku na vyšší spolehlivost).

31 Typy intervalových odhadů oboustranný P(θ < T D ) = P(θ T H ) = α 2 jednostranný - je-li pro nás důležitá pouze jedna mez levostranný P(T D θ) = 1 α pravostranný P(θ T H) = 1 α

32 Postup při tvorbě intervalového odhadu 1 Zvolíme vhodnou výběrovou charakteristiku T (X), jejíž rozdělení (závislé na θ) známe. 2 Určíme α 2 a (1 α 2 )-kvantily x α a x 1 α veličiny T Z podmínky x α T (X) x 1 α stanovíme meze pro θ Obdobně pro jednostranné odhady.

33 Příklad: Intervalový odhad střední hodnoty normálního rozdělění s neznámým rozptylem se spolehlivostí Máme vzorek velikosti n s výběrovým průměrem X a výběrovým rozptylem S 2. Statistika T (X) = X µ S n. Z vlastností Studentova rozdělení: T (X) t n 1. P ( t α X µ 2 S n t1 α 2 ) = 0.95 Úpravou nerovností dostaneme (využijeme t α = t 1 α ) 2 2 ( P X S t 1 α µ X + S ) t n 2 1 α = n 2

34 Výpočet intervalového odhadu Pro výpočet lze využít tabulky se vzorci (u zk. legální tahák), nejlépe však vhodný software (Statgraphics, R commander, applety ML,...). Nutný předpoklad pro získání smysluplného výsledku je správná volba typu odhadu a ověření předpokladů. Další odhady viz skripta a tabulky.

35 Testování hypotéz

36 Cílem testování hypotéz je ověřit, zda data nepopírají předpoklad (hypotézu), který jsme učinili o rozdělení populace před provedením testu. Terminologie: Statistická hypotéza - tvrzení o rozdělení náhodné veličiny Nulová hypotéza H 0 - výchozí (defaultní) stanovisko, které jsme ochotni akceptovat, pokud data nebudou mluvit výrazně proti; např: neexistuje závislost, systematická výchylka je 0,... Alternativní hypotéza H 1 (H A ) - popírá nulovou hypotézu Na základě výsledku testu pak bud zamítáme H 0, nebo nezamítáme H 0. H 0 nelze na základě testu potvrdit. Lze pouze říci, že data nesvědčí proti ní.

37 Typy testů Parametrické - tvrzení o parametru (parametrech) jedné, dvou, nebo více populací Neparametrické - tvrzení o jiné vlastnosti rozdělení populace - typ rozdělení, závislost mezi sledovanými znaky,...

38 Postup při testování hypotéz (klasický přístup) 1 Formulujeme nulovou H 0 a alternativní hypotézu H 1. 2 Zvolíme testovou statistiku. Rozdělení testové statistiky za předpokladu platnosti nulové hypotézy nazýváme nulové rozdělění. 3 Ověříme předpoklady testu! 4 Určíme kritický obor W, tj. množinu v níž se za předpokladu platnosti H 0 hodnoty testové statistiky vyskytují s velmi malou pravděpodobností. Doplňkem W je tzv. obor přijetí V. Hranici mezi W a V označujeme jako kritickou hodnotu t krit. 5 Na základě realizace výběru určíme pozorovanou hodnotu testové statistiky x OBS. 6 Na základě vztahu x OBS a t krit (tj. podle toho zda x OBS W nebo x OBS V ) rozhodujeme o výsledku testu (zamítnutí nebo nezamítnutí H 0 ).

39 V závislosti na platnosti H 0 a výsledku testu mohou nastat 4 situace: Nezamítáme H 0 Zamítáme H 0 Platí H 0 Správné rozhodnutí Chyba I. druhu: Pravděpodobnost: 1 α Pravděpodobnost: α Platí H 1 Chyba II. druhu Správné rozhodnutí Pravděpodobnost: β Pravděpodobnost: 1 β Chybám I. a II. druhu se z podstaty problému nelze vyhnout, protože rozhodujeme na základě náhodného výběru. α: hladina významnosti testu, v praxi volíme 0.05 nebo β: síla testu; nevolíme je určena hladinou významnosti a konstrukcí testu

40 Ideálně bychom chtěli testy s nízkou hladinou významnosti a vysokou sílou - protichůdné požadavky. Snížit α i β lze pouze zvýšením počtu dat.

41 Čistý test významnosti (pomocí p-hodnoty) 1 Formulace nulové a alternativní hypotézy. 2 Volba testové statistiky T (X). 3 Ověření předpokladů testu. 4 Výpočet pozorované hodnoty testové statistiky x OBS. 5 Výpočet p-hodnoty, tj. pravděpodobnosti alespoň tak extrémního výsledku jako x OBS za předpokladu nulové hypotézy.

42 tvar H 1 p-hodnota θ θ 0 p-hodnota = F 0 (x OBS ) θ θ 0 p-hodnota = 1 F 0 (x OBS ) θ θ 0 p-hodnota = 2min(F(x OBS ), 1 F 0 (x OBS )) Rozhodnutí o výsledku testu: p-hodnota Rozhodnutí p-hodnota < α Zamítáme H 0 ve prospěch H 1 p-hodnota > α Nezamítáme H 0 Výhodou čistého testu významnosti je, že rovnou vidíme, na jaké hladině významnosti lze ještě rozhodnout o zamítnutí H 0. Tento typ testu se v praxi používá častěji. Bývá výstupem statistického software.

43 Příklad: Spotřeba automobilu byla testována 11 řidiči s výsledky: 8,8; 8,9; 9,0; 8,7; 9,3; 9,0; 8,7; 8,8; 9,4; 8,6; 8,9 (l/100 km). Lze výrobcem udávanou spotřebu 8,8 l/100 km považovat za pravdivou? Náhodná veličina X... spotřeba l/100 km Předpokládáme: X N (µ, σ 2 ) Z dat vypočteme: X = 8.92, S 2 = H 0 : µ = 8.8 H 1 : µ > 8.8 T (X) = X µ S n, T t10 T OBS = 1.62 p-value: 2(1 F(T OBS )) = p-value > 0.05 na hladině významnosti 0.05 nezamítáme H 0. Nelze tvrdit, že spotřeba není rovna 8.8l.