Intervalové Odhady Parametrů

Transkript

1 Parametrů Mgr. Rudolf B. Blažek, Ph.D. prof. RNDr. Roman Kotecký, DrSc. Katedra počítačových systémů Katedra teoretické informatiky Fakulta informačních technologií České vysoké učení technické v Praze Rudolf Blažek & Roman Kotecký, 2011 Pravděpodobnost a statistika BI-PST, LS 2010/11, Přednáška 9 Evropský sociální fond Praha & EU: Investujeme do vaší budoucnos@

2 Statistické Metody Statistické Metody 2

3 Statistické Metody Pravděpodobnost Vyberu náhodně 30 kuliček (s vracením) Nevidím do dlaně Vidím do krabičky: V krabičče mám 60% červených kuliček P(20 z 30 je červených) =? (0.6) 20 (0.4) 10 =

4 Statistické Metody Statistika Vyberu náhodně 30 kuliček (s vracením) Vidím do dlaně: 20 z 30 je červených Nevidím do krabičky Kolik procent kuliček v krabičce je asi červených? 4

5 Statistické Metody Statistika: Bodové a intervalové odhady Vyberu náhodně 30 kuliček (s vracením) Vidím do dlaně: 20 z 30 je červených Kolik procent kuliček Nevidím do krabičky v krabičce je asi červených? Bodový odhad: cca 2/3 = 66.67% Intervalový odhad s 95% spolehlivostí: 48.76% 84.57% 5

6 Statistické Metody Statistika: Testování hypotéz Vyberu náhodně 30 kuliček (s vracením) Vidím do dlaně: 20 z 30 je červených Nevidím do krabičky Je v krabičce 40% červených kuliček? Závěr s 95% jistotou: NE Protože na 95% věřím: 48.76% 84.57% 6

7 Konfidenční Intervaly, Intervaly spolehlivosti (Confidence Intervals) 7

8 Bodové odhady populačního průměru μ a rozptylu σ 2 Bodové odhady μ a σ 2 Nechť X1, X2, X3,..., Xn je náhodný výběr (i.i.d. náhodné veličiny) se střední hodnotou μ a rozptylem σ 2 (konečnými). Jako bodový odhad μ použijeme výběrový průměr Jako bodový odhad σ 2 použijeme výběrový rozptyl s 2 n = 1 n 1 X n = 1 n P n i=1 X i P n i=1 (X i X n ) 2 i.i.d....( independent and identically distributed ( ( ( nezávislé a stejně rozdělené 8

9 Intervalový odhad popul. průměru μ Intervalový odhad střední hodnoty μ Nechť X1, X2, X3,..., Xn je náhodný výběr (i.i.d. náhodné veličiny) se střední hodnotou μ a rozptylem σ 2 (konečnými). (1 α)100% Konfidenční interval pro μ je X n ± z /2 / n or X n ± q 1 /2 / n kde zα/2 a q1-α/2 jsou kritická hodnota a kvantil pro N(0,1) Zde předpokládáme, že známe přesně hodnotu σ 2 9

10 Intervalový odhad popul. průměru μ Věta Pravděpodobnost pokrytí μ konfidenčním intervalem s hladinou spolehlivosti (1 α)100% je přibližně (1 α), pokud velikost výběru n je dostatečně velká: P µ X n ± z /2 / n (1 ) přibližně pro velkou velikost výběru n Toto je založeno na Centrální Limitní Větě (CLV, CLT) Vztah platí přesně pokud Xi mají normální rozdělení 10

11 Standardizace normální náh. veličiny Věta Nechť Y ~ N(μ,σ 2 ) je normální (t.j. Gaussovská) náhodná veličina se střední hodnotou μ a rozptylem σ 2. Pak Z = Y µ N(0, 1) T.J. Z má standardní normální rozdělení se střední hodnotou 0 a rozptylem 1. 11

12 Standardizace normální náh. veličiny Střední hodnota a rozptyl Z: EZ = E Y µ = 1 E(Y µ) = 1 (EY µ) =0 Var Z = Var Y µ = 1 2 Var (Y µ) = 1 2 Var Y =1 Hlavní tvrzení věty Z zůstane Gaussovská po lineární transformaci veličiny X Rozdělení Z lze najít vypočtením její hustoty jakožto transformace náhodné veličiny X 12

13 Standardizace normální náh. veličiny Y N(µ, 2 ), Z = Y µ N(0, 1) Intervaly ± k σ kolem těžiště μ P(µ k < Y <µ+ k ) = P( k < Y µ<k ) = P( k < Y µ < k) = P( k < Z < k) 13

14 Standardizace normální náh. veličiny Z ~ N(0,1)

15 Standardizace normální náh. veličiny Y ~ N(μ,σ 2 ) μ 3σ -3 μ 2σ -2 μ σ -1 μ0 μ+σ 1 μ+2σ 2 μ+3σ 3 15

16 Standardizace normální náh. veličiny Z ~ N(0,1) 68.27%

17 Standardizace normální náh. veličiny Y ~ N(μ,σ 2 ) 68.27% μ σ -1 0μ μ+σ 1 17

18 Centrální limitní věta (CLV) Věta) ) ) ) ) ) ) ) ) Central Limit Theorem (CLT) Nechť X1, X2, X3,..., Xn je náhodný výběr (i.i.d. náhodné veličiny) se střední hodnotou μ a rozptylem σ 2 (konečnými). Pak pro velké n je výběrový průměr přibližně normální: X n = 1 n P n i=1 X i approx. N(µ, 2 /n) Podobně platí P n i=1 X i approx. N(n µ, n 2 ) 18

19 Centrální limitní věta Střední hodnota a rozptyl průměru pro i.i.d. Xi: EX n = E 1 P n n i=1 X i = 1 n E P n = 1 n P n i=1 EX i = 1 n i=1 X i nµ = µ Var X n = Var Hlavní tvrzení centrální limitní věty Průměr n i.i.d. náhodných veličin je přibližně Gaussovský, pokud n je dostatečně velké (a pokud μ a σ jsou konečné). Střední hodnotu a rozptyl průměru jsme znali již dříve: S rostoucím n se těžiště nezmění, ale rozptyl se zmenšuje. 1 n P n i=1 X i = 1 n 2 Var P n i=1 X i = 1 n 2 P n i=1 Var X i = 1 n 2 n 2 = 2 /n 19

20 Ilustrace CLV: průměr n hodů kostkou Histogram of x Density x Histogram of xbar (average of 2 random values) Density xbar 20

26 Standardizace normální veličiny a CLV Centralní limitní věta (CLV, CLT) Dříve Y N(µ, 2 ), Z = Y µ N(0, 1) P(µ k < Y <µ+ k ) = P( k < Z < k) Nyní X n N(µ, 2 /n), Z = X n µ / p n N(0, 1) P(µ k / p n < Y <µ+ k / p n) = P( k < Z < k) 26

28 Standardizace normální náh. veličiny Y ~ N(μ,σ 2 ) 68.27% μ σ -1 0μ μ+σ 1 28

29 Standardizace normální náh. veličiny X n N(µ, 2 /n) 68.27% μ σ -1 0μ μ+σ 1 / p n / p n 29

31 Standardizace normální náh. veličiny Y ~ N(μ,σ 2 ) 95.44% μ 2σ -2 0μ μ+2σ 2 31

32 Standardizace normální náh. veličiny X n N(µ, 2 /n) 95.44% μ 2σ -2 0μ μ+2σ 2 / p n / p n 32

34 Standardizace normální náh. veličiny Y ~ N(μ,σ 2 ) 99.73% μ 3σ -3 0μ μ+3σ 3 34

35 Standardizace normální náh. veličiny X n N(µ, 2 /n) 99.73% μ 3σ -3 0μ μ+3σ 3 / p n / p n 35

36 Intervalový odhad popul. průměru μ Věta Pravděpodobnost pokrytí μ konfidenčním intervalem s hladinou spolehlivosti (1 α)100% je přibližně (1 α), pokud velikost výběru n je dostatečně velká: P µ X n ± z /2 / n (1 ) přibližně pro velkou velikost výběru n Toto je založeno na Centrální Limitní Větě (CLV, CLT) Vztah platí přesně pokud Xi mají normální rozdělení 36

37 Intervalový odhad popul. průměru μ Z ~ N(0,1) α/2 1 α α/ zα/2 -q1-α/2 = qα/2 zα/2 q1-α/2 37

38 Intervalový odhad popul. průměru μ P( X n µ < z /2 / n) (1 ) X n N(µ, 2 /n) α/2 1 α α/2 μ zα/2-2σ 0μ μ+ zα/2 2 σ / p n / p n 38

39 Intervalový odhad popul. průměru μ Získali jsme P( X n µ < z /2 / n) (1 ) Proto můžeme sestrojit konfidenční interval pro μ P µ X n ± z /2 / n (1 ) Pokud σ není známo, pak ho odhadneme pomocí s a použijeme Studentovo t-rozdělení s n-1 stupni volnosti P µ X n ± t /2,n 1 s/ n (1 ) 39

40 Intervalový odhad popul. průměru μ Konfidenční interval (KI) pro μ je jeden z P µ X n ± z /2 / n (1 ) P µ X n ± t /2,n 1 s/ n (1 ) Tyto KI můžeme přepsat obecněji jako X n k 1 SE(X n ), X n + k 2 SE(X n ) (nebo jeho odhad) 40

41 Confidence Interval for a Parameter θ KI pro populační průměr můžeme psát jako X n k 1 SE(X n ), X n + k 2 SE(X n ) Konfidenční interval pro parametr θ často dostaneme jako ˆ k 1 SE ˆ, ˆ + k 2 SE ˆ kde ˆ je bodový odhad p SE ˆ = Var ˆ je standardní chyba ˆ k1, k2 jsou vybrány tak, aby pravděpodobnost pokrytí parametru θ byla 1 α 41

42 Intervalový odhad popul. průměru μ Intervalový odhad střední hodnoty μ Nechť X1, X2, X3,..., Xn je náhodný výběr (i.i.d. náhodné veličiny) se střední hodnotou μ a rozptylem σ 2 (konečnými). (1 α)100% Konfidenční interval pro μ je X n ± z /2 / n or X n ± q 1 /2 / n kde zα/2 a q1-α/2 jsou a kritická hodnota a kvantil pro N(0,1) Zde předpokládáme, že známe přesně hodnotu σ 2 Pravděpodobnost pokrytí μ je přibližně (1 α) pro velké n. (Přesně (1 α) i pro malé n, když Xi mají normální rozdělení) 42

43 Intervalový odhad popul. průměru μ Intervalový odhad střední hodnoty μ Nechť X1, X2, X3,..., Xn je náhodný výběr (i.i.d. náhodné veličiny) z normálního rozdělení se střední hodnotou μ a rozptylem σ 2. (1 α)100% Konfidenční interval pro μ je X n ± t n 1, /2 s/ n kde tn-1,α/2 je kritická hodnota t-rozdělení s n-1 stupni volnosti Zde hodnotu σ 2 odhadujeme pomocí s 2 (náhodná veličina). Navíc Xi musejí ale mít normální rozdělení. Pak pravděpodobnost pokrytí μ je presně (1 α). 43

44 Intervalový odhad popul. průměru μ Přibližné rozdělení z CLV, přesné pro normální výběr Z = X n µ / p n N(0, 1) α/2 1 α α/ zα/2 zα/2 44

45 Intervalový odhad popul. průměru μ Přesné rozdělení je známo pro normální výběr T = X n µ s/ p n t(n 1) α/2 1 α α/2 -tα/2,n tα/2,n-1 45

46 Intervalový odhad popul. průměru μ Porovnání normálního a Studentova t-rozdělení α/2 1 α α/2 -zα/2 0 zα/ tα/2,n-1 tα/2,n-1 46

47 Pravidla použití normálního a t-rozdělení Kritickou hodnotu zα/2 normálního rozdělení použijeme pokud známe přesně populační rozptyl σ 2 pravděpodobnost pokrytí přesně (1 α) když výběr je z normálního rozdělení (i pro malé n) pravděpodobnost pokrytí přibližně (1 α) když výběr je dostatečně velký (CLV pro velké n) obvykle stačí n = 30 či n = 50 ale pro šikmá či vícemodální rozdělení n musí být veliké 47

48 Pravidla použití normálního a t-rozdělení Kritickou hodnotu tα/2 Studentova t-rozdělení použijeme když populační rozptyl σ 2 odhadujeme pomocí s 2 pravděpodobnost pokrytí přesně (1 α) pokud výběr je z normálního rozdělení (i pro malé n) pravděpodobnost pokrytí přibližně (1 α) pokud výběr je ze symetrického unimodálního rozdělení, bez odlehlých pozorování a velikost výběru je n 15 výběr je ze mírně šikmého, unimodálního rozdělení, bez odlehlých pozorování a velikost výběru je 16 n 40 výběr je velký (n > 40) a bez odlehlých pozorování 48

49 Student-t KI pro střední hodnotu kostky Histogram of x Density x Histogram of xbar (average of 50 random values) Density % KI: cca 1 z 20 mine μ = xbar 49

50 Student-t KI pro střední hodnotu kostky Histogram of x Density x Density Histogram of xbar (average of 50 random values) xbar 95% KI: cca 1 z 20 mine μ =

55 Statistika Vyberu náhodně 30 kuliček (s vracením) Vidím do dlaně: 20 z 30 je červených Nevidím do krabičky Kolik procent kuliček v krabičce je asi červených? 55

56 Standardizace normální náh. veličiny Přibližné rozdělení je známo pomocí CLV Z = X n µ / p n N(0, 1) 2.5% 95% 2.5%

57 Intervalový odhad popul. průměru μ My ale neznáme σ!! Přibližné rozdělení z CLV... T = X n µ s/ p n t(n 1) 2.5% 95% 2.5%

58 Příklad Example Vyberu náhodně, 30 kuliček (s vracením). Pozorování: 20 z 30 je červených. Výběrové statistiky (č=1, jinak 0): ( Výběrový průměr: ( Výběrová směr. odchylka: X n ± z /2 / n ± / 30 ( Intervalový odhad: (48.76%, 84.57%) 58

59 Statistika: Bodové a intervalové odhady Vyberu náhodně 30 kuliček (s vracením) Vidím do dlaně: 20 z 30 je červených Kolik procent kuliček Nevidím do krabičky v krabičce je asi červených? Bodový odhad: cca 2/3 = 66.67% Intervalový odhad s 95% spolehlivostí: 48.76% 84.57% 59

60 Statistika: Testování hypotéz Vyberu náhodně 30 kuliček (s vracením) Vidím do dlaně: 20 z 30 je červených Nevidím do krabičky Je v krabičce 40% červených kuliček? Závěr s 95% jistotou: NE Protože na 95% věřím: 48.76% 84.57% 60