Parametrů Mgr. Rudolf B. Blažek, Ph.D. prof. RNDr. Roman Kotecký, DrSc. Katedra počítačových systémů Katedra teoretické informatiky Fakulta informačních technologií České vysoké učení technické v Praze Rudolf Blažek & Roman Kotecký, 2011 Pravděpodobnost a statistika BI-PST, LS 2010/11, Přednáška 9 Evropský sociální fond Praha & EU: Investujeme do vaší budoucnos@
Statistické Metody Statistické Metody 2
Statistické Metody Pravděpodobnost Vyberu náhodně 30 kuliček (s vracením) Nevidím do dlaně Vidím do krabičky: V krabičče mám 60% červených kuliček P(20 z 30 je červených) =? 30 20 (0.6) 20 (0.4) 10 = 0.1152 3
Statistické Metody Statistika Vyberu náhodně 30 kuliček (s vracením) Vidím do dlaně: 20 z 30 je červených Nevidím do krabičky Kolik procent kuliček v krabičce je asi červených? 4
Statistické Metody Statistika: Bodové a intervalové odhady Vyberu náhodně 30 kuliček (s vracením) Vidím do dlaně: 20 z 30 je červených Kolik procent kuliček Nevidím do krabičky v krabičce je asi červených? Bodový odhad: cca 2/3 = 66.67% Intervalový odhad s 95% spolehlivostí: 48.76% 84.57% 5
Statistické Metody Statistika: Testování hypotéz Vyberu náhodně 30 kuliček (s vracením) Vidím do dlaně: 20 z 30 je červených Nevidím do krabičky Je v krabičce 40% červených kuliček? Závěr s 95% jistotou: NE Protože na 95% věřím: 48.76% 84.57% 6
Konfidenční Intervaly, Intervaly spolehlivosti (Confidence Intervals) 7
Bodové odhady populačního průměru μ a rozptylu σ 2 Bodové odhady μ a σ 2 Nechť X1, X2, X3,..., Xn je náhodný výběr (i.i.d. náhodné veličiny) se střední hodnotou μ a rozptylem σ 2 (konečnými). Jako bodový odhad μ použijeme výběrový průměr Jako bodový odhad σ 2 použijeme výběrový rozptyl s 2 n = 1 n 1 X n = 1 n P n i=1 X i P n i=1 (X i X n ) 2 i.i.d....( independent and identically distributed ( ( ( nezávislé a stejně rozdělené 8
Intervalový odhad popul. průměru μ Intervalový odhad střední hodnoty μ Nechť X1, X2, X3,..., Xn je náhodný výběr (i.i.d. náhodné veličiny) se střední hodnotou μ a rozptylem σ 2 (konečnými). (1 α)100% Konfidenční interval pro μ je X n ± z /2 / n or X n ± q 1 /2 / n kde zα/2 a q1-α/2 jsou kritická hodnota a kvantil pro N(0,1) Zde předpokládáme, že známe přesně hodnotu σ 2 9
Intervalový odhad popul. průměru μ Věta Pravděpodobnost pokrytí μ konfidenčním intervalem s hladinou spolehlivosti (1 α)100% je přibližně (1 α), pokud velikost výběru n je dostatečně velká: P µ X n ± z /2 / n (1 ) přibližně pro velkou velikost výběru n Toto je založeno na Centrální Limitní Větě (CLV, CLT) Vztah platí přesně pokud Xi mají normální rozdělení 10
Standardizace normální náh. veličiny Věta Nechť Y ~ N(μ,σ 2 ) je normální (t.j. Gaussovská) náhodná veličina se střední hodnotou μ a rozptylem σ 2. Pak Z = Y µ N(0, 1) T.J. Z má standardní normální rozdělení se střední hodnotou 0 a rozptylem 1. 11
Standardizace normální náh. veličiny Střední hodnota a rozptyl Z: EZ = E Y µ = 1 E(Y µ) = 1 (EY µ) =0 Var Z = Var Y µ = 1 2 Var (Y µ) = 1 2 Var Y =1 Hlavní tvrzení věty Z zůstane Gaussovská po lineární transformaci veličiny X Rozdělení Z lze najít vypočtením její hustoty jakožto transformace náhodné veličiny X 12
Standardizace normální náh. veličiny Y N(µ, 2 ), Z = Y µ N(0, 1) Intervaly ± k σ kolem těžiště μ P(µ k < Y <µ+ k ) = P( k < Y µ<k ) = P( k < Y µ < k) = P( k < Z < k) 13
Standardizace normální náh. veličiny Z ~ N(0,1) -3-2 -1 0 1 2 3 14
Standardizace normální náh. veličiny Y ~ N(μ,σ 2 ) μ 3σ -3 μ 2σ -2 μ σ -1 μ0 μ+σ 1 μ+2σ 2 μ+3σ 3 15
Standardizace normální náh. veličiny Z ~ N(0,1) 68.27% -1 0 1 16
Standardizace normální náh. veličiny Y ~ N(μ,σ 2 ) 68.27% μ σ -1 0μ μ+σ 1 17
Centrální limitní věta (CLV) Věta) ) ) ) ) ) ) ) ) Central Limit Theorem (CLT) Nechť X1, X2, X3,..., Xn je náhodný výběr (i.i.d. náhodné veličiny) se střední hodnotou μ a rozptylem σ 2 (konečnými). Pak pro velké n je výběrový průměr přibližně normální: X n = 1 n P n i=1 X i approx. N(µ, 2 /n) Podobně platí P n i=1 X i approx. N(n µ, n 2 ) 18
Centrální limitní věta Střední hodnota a rozptyl průměru pro i.i.d. Xi: EX n = E 1 P n n i=1 X i = 1 n E P n = 1 n P n i=1 EX i = 1 n i=1 X i nµ = µ Var X n = Var Hlavní tvrzení centrální limitní věty Průměr n i.i.d. náhodných veličin je přibližně Gaussovský, pokud n je dostatečně velké (a pokud μ a σ jsou konečné). Střední hodnotu a rozptyl průměru jsme znali již dříve: S rostoucím n se těžiště nezmění, ale rozptyl se zmenšuje. 1 n P n i=1 X i = 1 n 2 Var P n i=1 X i = 1 n 2 P n i=1 Var X i = 1 n 2 n 2 = 2 /n 19
Ilustrace CLV: průměr n hodů kostkou Histogram of x Density 0.00 0.10 1 2 3 4 5 6 x Histogram of xbar (average of 2 random values) Density 0.00 0.10 0.20 0.30 1 2 3 4 5 6 xbar 20
Ilustrace CLV: průměr n hodů kostkou Histogram of x Density 0.00 0.10 1 2 3 4 5 6 x Histogram of xbar (average of 3 random values) Density 0.0 0.1 0.2 0.3 1 2 3 4 5 6 xbar 21
Ilustrace CLV: průměr n hodů kostkou Histogram of x Density 0.00 0.10 1 2 3 4 5 6 x Histogram of xbar (average of 12 random values) Density 0.0 0.4 0.8 1 2 3 4 5 6 xbar 22
Ilustrace CLV: průměr n hodů kostkou Histogram of x Density 0.00 0.10 1 2 3 4 5 6 x Histogram of xbar (average of 40 random values) Density 0.0 0.5 1.0 1.5 1 2 3 4 5 6 xbar 23
Ilustrace CLV: průměr n hodů kostkou Histogram of x Density 0.00 0.10 1 2 3 4 5 6 x Histogram of xbar (average of 100 random values) Density 0.0 1.0 2.0 1 2 3 4 5 6 xbar 24
Ilustrace CLV: průměr n hodů kostkou Histogram of x Density 0.00 0.10 1 2 3 4 5 6 x Histogram of xbar (average of 500 random values) Density 0 1 2 3 4 5 1 2 3 4 5 6 xbar 25
Standardizace normální veličiny a CLV Centralní limitní věta (CLV, CLT) Dříve Y N(µ, 2 ), Z = Y µ N(0, 1) P(µ k < Y <µ+ k ) = P( k < Z < k) Nyní X n N(µ, 2 /n), Z = X n µ / p n N(0, 1) P(µ k / p n < Y <µ+ k / p n) = P( k < Z < k) 26
Standardizace normální náh. veličiny Z ~ N(0,1) 68.27% -1 0 1 27
Standardizace normální náh. veličiny Y ~ N(μ,σ 2 ) 68.27% μ σ -1 0μ μ+σ 1 28
Standardizace normální náh. veličiny X n N(µ, 2 /n) 68.27% μ σ -1 0μ μ+σ 1 / p n / p n 29
Standardizace normální náh. veličiny Z ~ N(0,1) 95.44% -2 0 2 30
Standardizace normální náh. veličiny Y ~ N(μ,σ 2 ) 95.44% μ 2σ -2 0μ μ+2σ 2 31
Standardizace normální náh. veličiny X n N(µ, 2 /n) 95.44% μ 2σ -2 0μ μ+2σ 2 / p n / p n 32
Standardizace normální náh. veličiny Z ~ N(0,1) 99.73% -3 0 3 33
Standardizace normální náh. veličiny Y ~ N(μ,σ 2 ) 99.73% μ 3σ -3 0μ μ+3σ 3 34
Standardizace normální náh. veličiny X n N(µ, 2 /n) 99.73% μ 3σ -3 0μ μ+3σ 3 / p n / p n 35
Intervalový odhad popul. průměru μ Věta Pravděpodobnost pokrytí μ konfidenčním intervalem s hladinou spolehlivosti (1 α)100% je přibližně (1 α), pokud velikost výběru n je dostatečně velká: P µ X n ± z /2 / n (1 ) přibližně pro velkou velikost výběru n Toto je založeno na Centrální Limitní Větě (CLV, CLT) Vztah platí přesně pokud Xi mají normální rozdělení 36
Intervalový odhad popul. průměru μ Z ~ N(0,1) α/2 1 α α/2 0-2 2 -zα/2 -q1-α/2 = qα/2 zα/2 q1-α/2 37
Intervalový odhad popul. průměru μ P( X n µ < z /2 / n) (1 ) X n N(µ, 2 /n) α/2 1 α α/2 μ zα/2-2σ 0μ μ+ zα/2 2 σ / p n / p n 38
Intervalový odhad popul. průměru μ Získali jsme P( X n µ < z /2 / n) (1 ) Proto můžeme sestrojit konfidenční interval pro μ P µ X n ± z /2 / n (1 ) Pokud σ není známo, pak ho odhadneme pomocí s a použijeme Studentovo t-rozdělení s n-1 stupni volnosti P µ X n ± t /2,n 1 s/ n (1 ) 39
Intervalový odhad popul. průměru μ Konfidenční interval (KI) pro μ je jeden z P µ X n ± z /2 / n (1 ) P µ X n ± t /2,n 1 s/ n (1 ) Tyto KI můžeme přepsat obecněji jako X n k 1 SE(X n ), X n + k 2 SE(X n ) (nebo jeho odhad) 40
Confidence Interval for a Parameter θ KI pro populační průměr můžeme psát jako X n k 1 SE(X n ), X n + k 2 SE(X n ) Konfidenční interval pro parametr θ často dostaneme jako ˆ k 1 SE ˆ, ˆ + k 2 SE ˆ kde ˆ je bodový odhad p SE ˆ = Var ˆ je standardní chyba ˆ k1, k2 jsou vybrány tak, aby pravděpodobnost pokrytí parametru θ byla 1 α 41
Intervalový odhad popul. průměru μ Intervalový odhad střední hodnoty μ Nechť X1, X2, X3,..., Xn je náhodný výběr (i.i.d. náhodné veličiny) se střední hodnotou μ a rozptylem σ 2 (konečnými). (1 α)100% Konfidenční interval pro μ je X n ± z /2 / n or X n ± q 1 /2 / n kde zα/2 a q1-α/2 jsou a kritická hodnota a kvantil pro N(0,1) Zde předpokládáme, že známe přesně hodnotu σ 2 Pravděpodobnost pokrytí μ je přibližně (1 α) pro velké n. (Přesně (1 α) i pro malé n, když Xi mají normální rozdělení) 42
Intervalový odhad popul. průměru μ Intervalový odhad střední hodnoty μ Nechť X1, X2, X3,..., Xn je náhodný výběr (i.i.d. náhodné veličiny) z normálního rozdělení se střední hodnotou μ a rozptylem σ 2. (1 α)100% Konfidenční interval pro μ je X n ± t n 1, /2 s/ n kde tn-1,α/2 je kritická hodnota t-rozdělení s n-1 stupni volnosti Zde hodnotu σ 2 odhadujeme pomocí s 2 (náhodná veličina). Navíc Xi musejí ale mít normální rozdělení. Pak pravděpodobnost pokrytí μ je presně (1 α). 43
Intervalový odhad popul. průměru μ Přibližné rozdělení z CLV, přesné pro normální výběr Z = X n µ / p n N(0, 1) α/2 1 α α/2 0-2 2 -zα/2 zα/2 44
Intervalový odhad popul. průměru μ Přesné rozdělení je známo pro normální výběr T = X n µ s/ p n t(n 1) α/2 1 α α/2 -tα/2,n-1 0-2.2 2.2 tα/2,n-1 45
Intervalový odhad popul. průměru μ Porovnání normálního a Studentova t-rozdělení α/2 1 α α/2 -zα/2 0 zα/2-2.2 2 2.2 -tα/2,n-1 tα/2,n-1 46
Pravidla použití normálního a t-rozdělení Kritickou hodnotu zα/2 normálního rozdělení použijeme pokud známe přesně populační rozptyl σ 2 pravděpodobnost pokrytí přesně (1 α) když výběr je z normálního rozdělení (i pro malé n) pravděpodobnost pokrytí přibližně (1 α) když výběr je dostatečně velký (CLV pro velké n) obvykle stačí n = 30 či n = 50 ale pro šikmá či vícemodální rozdělení n musí být veliké 47
Pravidla použití normálního a t-rozdělení Kritickou hodnotu tα/2 Studentova t-rozdělení použijeme když populační rozptyl σ 2 odhadujeme pomocí s 2 pravděpodobnost pokrytí přesně (1 α) pokud výběr je z normálního rozdělení (i pro malé n) pravděpodobnost pokrytí přibližně (1 α) pokud výběr je ze symetrického unimodálního rozdělení, bez odlehlých pozorování a velikost výběru je n 15 výběr je ze mírně šikmého, unimodálního rozdělení, bez odlehlých pozorování a velikost výběru je 16 n 40 výběr je velký (n > 40) a bez odlehlých pozorování 48
Student-t KI pro střední hodnotu kostky Histogram of x Density 0.00 0.10 1 2 3 4 5 6 x Histogram of xbar (average of 50 random values) 2.938929 3.941071 Density 0.0 0.5 1.0 1.5 95% KI: cca 1 z 20 mine μ = 3.5 1 2 3 4 5 6 xbar 49
Student-t KI pro střední hodnotu kostky Histogram of x Density 0.00 0.10 1 2 3 4 5 6 x Density 0.0 0.5 1.0 1.5 Histogram of xbar (average of 50 random values) 3.055486 4.024514 1 2 3 4 5 6 xbar 95% KI: cca 1 z 20 mine μ = 3.5 50
Student-t KI pro střední hodnotu kostky Histogram of x Density 0.00 0.10 1 2 3 4 5 6 x Density 0.0 0.5 1.0 1.5 Histogram of xbar (average of 50 random values) 3.023963 4.096037 1 2 3 4 5 6 xbar 95% KI: cca 1 z 20 mine μ = 3.5 51
Student-t KI pro střední hodnotu kostky Histogram of x Density 0.00 0.10 1 2 3 4 5 6 x Density 0.0 0.5 1.0 1.5 Histogram of xbar (average of 50 random values) 2.750286 3.769714 1 2 3 4 5 6 xbar 95% KI: cca 1 z 20 mine μ = 3.5 52
Student-t KI pro střední hodnotu kostky Histogram of x Density 0.00 0.10 1 2 3 4 5 6 x Density 0.0 0.5 1.0 1.5 Histogram of xbar (average of 50 random values) 3.425662 4.374338 1 2 3 4 5 6 xbar 95% KI: cca 1 z 20 mine μ = 3.5 53
Student-t KI pro střední hodnotu kostky Histogram of x Density 0.00 0.10 1 2 3 4 5 6 x Density 0.0 0.5 1.0 1.5 Histogram of xbar (average of 50 random values) 3.806393 4.753607 1 2 3 4 5 6 xbar 95% KI: cca 1 z 20 mine μ = 3.5 54
Statistika Vyberu náhodně 30 kuliček (s vracením) Vidím do dlaně: 20 z 30 je červených Nevidím do krabičky Kolik procent kuliček v krabičce je asi červených? 55
Standardizace normální náh. veličiny Přibližné rozdělení je známo pomocí CLV Z = X n µ / p n N(0, 1) 2.5% 95% 2.5% -2 0 2-1.96 1.96 56
Intervalový odhad popul. průměru μ My ale neznáme σ!! Přibližné rozdělení z CLV... T = X n µ s/ p n t(n 1) 2.5% 95% 2.5% -2.045 0 2.045-2.2 2.2 57
Příklad Example Vyberu náhodně, 30 kuliček (s vracením). Pozorování: 20 z 30 je červených. Výběrové statistiky (č=1, jinak 0): ( Výběrový průměr: 0.666667 ( Výběrová směr. odchylka: 0.479463 X n ± z /2 / n 0.666667 ± 2.045 0.479463/ 30 ( Intervalový odhad: (48.76%, 84.57%) 58
Statistika: Bodové a intervalové odhady Vyberu náhodně 30 kuliček (s vracením) Vidím do dlaně: 20 z 30 je červených Kolik procent kuliček Nevidím do krabičky v krabičce je asi červených? Bodový odhad: cca 2/3 = 66.67% Intervalový odhad s 95% spolehlivostí: 48.76% 84.57% 59
Statistika: Testování hypotéz Vyberu náhodně 30 kuliček (s vracením) Vidím do dlaně: 20 z 30 je červených Nevidím do krabičky Je v krabičce 40% červených kuliček? Závěr s 95% jistotou: NE Protože na 95% věřím: 48.76% 84.57% 60