Pravděpodobnost a statistika

Transkript

1 Pravděpodobnost a statistika Normální rozdělení a centrální limitní věta Vilém Vychodil KMI/PRAS, Přednáška 9 Vytvořeno v rámci projektu 2963/2011 FRVŠ V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 1 / 57

2 Přednáška 9: Přehled 1 Náhodné výběry a výběrová rozdělení: náhodný výběr, statistika, výběrové rozdělení, lineární kombinace nezávislých veličin a jejich očekávané hodnoty, moment generující funkce, rozdělení součtů náhodných veličin. 2 Normální rozdělení: funkce hustoty normálního rozdělení, normální a standardní normální rozdělení a jejich vztah, střední hodnota, rozptyl, kvantilová funkce, percentily, kritické hodnoty, Box-Mullerova transformace a generování náhodných čísel, rozdělení χ 2, lineární kombinace nezávislých normálních veličin. 3 Limitní věty a aproximace: centrální limitní věta, aproximace pravděpodobností, aproximace binomického a Poissonova rozdělení normálním rozdělením, Čebyševova nerovnost, zákon velkých čísel. V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 2 / 57

3 Náhodný výběr Abstrakce pojmu výběr (Přednáška 1): místo (posloupnosti) konkrétních číselných hodnot x 1,..., x n uvažujme (posloupnost) náhodných veličin X 1,..., X n ; má smysl uvažovat sdružené rozdělení P X1,...,X n (Přednáška 8). Definice (Náhodný výběr, angl.: random sample) Mějme pravděpodobnostní prostor Ω, F, P a n nezávislých náhodných veličin X 1, X 2,..., X n v prostoru Ω, F, P, které mají stejné rozdělení pravděpodobnosti, to jest P ({X i A}) = P ({X j A}) pro každé i, j a A B. Označme toto rozdělení P X. Pak náhodný vektor X : Ω R n definovaný ( X(ω) ) (i) = X i (ω) se nazývá (n-prvkový) náhodný výběr z rozdělení P X. Náhodný výběr X : Ω R n značíme X = X 1,..., X n, nebo jen X 1,..., X n ; posloupnost nezávislých náhodných veličin se stejným rozdělením. V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 3 / 57

4 Statistiky a výběrová rozdělení Definice (Statistika a výběrové rozdělení) Mějme pravděpodobnostní prostor Ω, F, P, náhodný výběr X : Ω R n a Borelovskou funkci g : R n R. Pak náhodnou veličinu ϑ: Ω R definovanou ϑ = g(x) nazveme (výběrová) statistika nebo výběrová charakteristika (angl.: sample statistics) náhodného výběru X. Rozdělení pravděpodobnosti P ϑ : B [0, 1] veličiny ϑ nazýváme výběrové rozdělení, angl.: sampling distribution. Poznámky: Z definice složené funkce pro statistiku ϑ máme ϑ(ω) = g(x(ω)) R; P ϑ (A) = P ({g(x) A}) = P X ({g A}) pro každé A B. pro konkrétní výběr x 1,..., x n je g(x 1,..., x n ) konkrétní hodnota; pro náhodný výběr X je funkce g náhodná veličina v R n, B n, P X. V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 4 / 57

5 Příklad (Výběr, náhodný výběr a související pojmy) Náhodný výběr: n-prvková posloupnost X 1,..., X n nezávislých náhodných veličin; lze chápat jako náhodný vektor X : Ω R n, kde X(ω)(i) = X i (ω); díky nezávislosti lze vyjádřit P X z marginálních rozdělení P Xi. Výběr: n-prvková posloupnost reálných čísel x 1,..., x n ; vznikla jedním pozorováním hodnot veličin náhodného výběru. Výběrová statistika (charakteristika): X = 1 n n i=1 X i (průměr náhodného výběru); S 2 = 1 n n 1 i=1 (X i X) 2 (rozptyl náhodného výběru). Výběrové rozdělení: P X, P S 2,... (závisí na µ a σ 2 výchozích X i a na velikosti náhodného výběru n). V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 5 / 57

6 Věta (Očekávané hodnoty součinu nezávislých veličin) Mějme nezávislé náhodné veličiny X 1, X 2,..., X n v pravděpodobnostním prostoru Ω, F, P a předpokládejme, že jejich očekávané hodnoty E ( X i ) existují. Potom Důkaz. E(X 1 X 2 X n ) = E(X 1 ) E(X 2 ) E(X n ). Pro diskrétní X 1,..., X n s pravděpodobnostními funkcemi f X1,..., f Xn můžeme s využitím nezávislosti náhodných veličin a distributivity psát: E(X 1 X 2 X n ) = x 1 C 1 x n C n x 1 x n f X1,...,X n (x 1,..., x n ) = x 1 C 1 x n C n x 1 x n f X1 (x 1 ) f Xn (x n ) = x 1 C 1 x 1 f X1 (x 1 ) x n C n x n f Xn (x n ). Pro absolutně spojité náhodné veličiny lze prokázat analogicky. V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 6 / 57

7 Lineární kombinace nezávislých náhodných veličin Věta (Střední hodnoty a rozptyl lineárních kombinací) Mějme nezávislé náhodné veličiny X 1,..., X n, které mají střední hodnoty µ X1,..., µ Xn a rozptyly σ 2 X 1,..., σ 2 X n. Pak pro libovolná a 1,..., a n R platí µ Y = n a i µ Xi, σy 2 = n i=1 i=1 a2 i σx 2 i, kde Y = n i=1 a i X i je lineární kombinace X 1,..., X n. Pro náhodný výběr X 1,..., X n z rozdělení se střední hodnotou µ a rozptylem σ 2 : µ X = µ a σ 2 X = σ2 n Důležité související otázky: pro Jaké má X (průměr náhodného výběru) rozdělení? X = X 1 + X X n n Pro jaká n je x (výběrový průměr) dobrým odhadem µ (střední hodnota)? V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 7 / 57.

8 Důkaz. Tvrzení prokážeme pomocí linearity E. První tvrzení je zřejmé, protože µ Y = E(Y ) = E ( n i=1 a ) i X i = n i=1 E(a i X i ) = n i=1 a i µ Xi. Hodnotu rozptylu σy 2 veličiny Y vyjádříme podobně: σy 2 = E ( (Y µ Y ) 2) ( ( n = E i=1 (a i X i ) n i=1 (a i µ Xi ) ) ) 2 ( ( n = E i=1 a i(x i µ Xi ) ) ) 2 = E ( n n i=1 j=1 a ia j (X i µ Xi )(X j µ Xj ) ). Užitím faktu, že E je lineární operátor dostáváme σ 2 Y = n i=1 n j=1 a ia j E ( (X i µ Xi )(X j µ Xj ) ). Pokud ale i j, pak z nezávislosti X i a X j dostáváme E ( (X i µ Xi )(X j µ Xj ) ) = E(X i µ Xi ) E(X j µ Xj ) = ( E(X i ) µ Xi )( E(Xj ) µ Xj ) = ( µxi µ Xi )( µxj µ Xj ) = 0. Odtud dostáváme σ 2 Y = n i=1 a2 i E ( (X i µ Xi ) 2) = n i=1 a2 i σ 2 X i. V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 8 / 57

9 Příklady (Lineární kombinace náhodných veličin) Mějme nezávislé náhodné veličiny X a Y se středními hodnotami µ X = µ Y a rozptyly σx 2 = σ2 Y. Potom pro Z = X + Y platí µ Z = µ X µ Y = 0, σ 2 Z = σ 2 X + ( 1) 2 σ 2 Y = σ 2 X + σ 2 Y = 2 σ 2 X. Pokud je X 1,..., X 10 je desetiprvkový náhodný výběr z rozdělení se střední hodnotou µ = 5 a rozptylem σ 2 = 120, pak pro průměr X náhodného výběru: platí µ X = 10 i=1 X = X X = 10 i= = 5, σ2 Y = 10 i= X i = = 2.5. V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 9 / 57

10 Generující funkce Definice (Moment generující funkce) Mějme náhodnou veličinu X v pravděpodobnostním prostoru Ω, F, P. Pak se reálná funkce M X, která je definovaná v okolí bodu 0 předpisem M X (t) = E ( e t X) = e t X dp. nazývá moment generující funkce veličiny X, angl.: moment generating function. Významné vlastnosti: Lze chápat pro diskrétní i absolutně spojité veličiny; tvar funkce obvykle jednodušší než distribuční funkce; jednoznačně určuje rozdělení pravděpodobnosti veličiny X: Pokud mají X a Y stejné M X a M Y, pak jsou P X a P Y stejné. Důkaz vyžaduje pokročilé techniky z matematické analýzy (viz Billingsley). V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 10 / 57

11 Vyjádření momentů pomocí generující funkce Mějme spojitou náhodnou veličinu X s hustotou f X. Pak M X je rovna M X (t) = E ( e t X) = e t x f X (x) dx. Poznámka: Použitím Leibnitzova pravidla pro derivování pod integrálem máme: M X(t) = e t x x f X (x) dx, M X(t) = e t x x 2 f X (x) dx. Důsledek: Pomocí hodnot M (n) v bodě 0 lze vyjádřit ntý moment, například: M X(0) = X x f X (x) dx = E(X), M X(0) = x 2 f X (x) dx = E(X 2 ). Pokud je X diskrétní veličina, kde P X (C) = 1 pro spočetnou C R, pak M X (t) = E ( e t X) = x C et x f X (x), kde f X je pravděpodobnostní funkce; rovněž platí M (n) X (0) = E(Xn ). V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 11 / 57

12 Věta (Generující funkce lineárních kombinací náhodných veličin) Mějme nezávislé náhodné veličiny X 1,..., X n, které mají moment generující funkce M X1,..., M Xn. Pak pro libovolná a 1,..., a n R platí, že M Y (t) = n M X i (a i t) i=1 je moment generující funkce náhodné veličiny Y = n i=1 a i X i. Důkaz. Rozepsáním definičního vztahu a s využitím vlastností exponenciální funkce máme M Y (t) = E ( e ty ) = E ( exp ( t n i=1 a ix i )) = E ( n i=1 exp(ta ix i ) ). Jelikož jsou X 1,..., X n nezávislé, pak jsou i exp(ta 1 X 1 ),..., exp(ta n X n ) nezávislé: M Y (t) = E ( n i=1 exp(ta ix i ) ) = n i=1 E(exp(ta ix i )). Užitím M Xi (t) = E(exp(tX i )) dostáváme M Xi (a i t) = E(exp(ta i X i )) pro každé i = 1,..., n, z čehož už požadované tvrzení okamžitě plyne. V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 12 / 57

13 Důsledky pro náhodné výběry a jejich průměry Mějme náhodný výběr X 1,..., X n z rozdělení jehož moment generující funkce je M. Potom platí: 1 Moment generující funkce Y = n i=1 X i je ve tvaru M Y (t) = n i=1 M(t) = ( M(t) ) n. 2 Moment generující funkce X = n 1 i=1 X n i je ve tvaru M X (t) = ( ) ( ( )) n t t n M = M. i=1 n n Související otázka: Jak vypadá rozdělení P X odpovídající M X (pro n )? V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 13 / 57

14 Příklady (Rozdělení součtů nezávislých náhodných veličin) Mějme nezávislé náhodné veličiny X 1,..., X n, které mají Bernoulliho (alternativní) rozdělení s parametrem p. Potom moment generující funkce každé z X i je ve tvaru M(t) = (1 p) + pe t. Užitím předchozí věty pro Y = n i=1 X i platí, M Y (t) = M(t) n = ( (1 p) + pe t) n, což je moment generující funkce binomického rozdělení b(n, p). Pokud jsou X 1,..., X n nezávislé a mají Poissonovo rozdělení s parametrem λ = 1, pak je M(t) = exp(e t 1). Pro Y = n i=1 X i máme M Y (t) = M(t) n = ( exp(e t 1) ) n = exp ( n(e t 1) ), to jest Y má Poissonovo rozdělení s parametrem λ = n. Důsledky: X s rozdělením b(n, p) je součtem n nezávislých Bernoulliho veličin; X s Poissonovým rozdělením s λ N je součtem n nezávislých veličin s Poissonovým rozdělením s parametrem 1. V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 14 / 57

15 Příklad (Motivace: rozdělení průměru náhodného výběru) Hodíme n šestistěnných kostek a spočítáme průměrnou hodnotu teček, které padnou na kostkách (pozorujeme tak náhodný výběr X 1,..., X n a jeho průměr X). n = 1 n = 2 n = n = 4 n = 5 n = Otázka: Jaké má X rozdělení? V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 15 / 57

16 Příklad (Motivace: simulace náhodných veličin a jejich průměrů) f X f X f Y f Y V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 16 / 57

17 Normální rozdělení: význam a historické pozadí Rozdělení pravděpodobnosti absolutně spojitých náhodných veličin. Funkce hustoty je symetrická a ve tvaru zvonu : Poznámky: významné pro součty identicky distribuovaných a nezávislých náhodných veličin, limitní věty (centrální limitní věta); Abraham de Moivre, Carl Friedrich Gauss, Marquis Pierre Simon de Laplace,... V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 17 / 57

18 Věta Mějme a R a b (0, ). Pak zobrazení f : R R dané předpisem ) 1 f(x) = ( b 2 π exp (x a)2, pro každé x R, 2 b 2 je funkce hustoty. Důkaz (začátek). Z definice f plyne, že f(x) > 0 pro každé x R. Dále f je zjevně spojitá funkce, což znamená, že je Borelovská. Stačí tedy ověřit, že f dm = 1. To znamená ukázat, že I definované I = nabývá hodnoty 1. f(x) dx = ) 1 ( b 2 π exp (x a)2 dx, 2 b 2 V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 18 / 57

19 Důkaz (pokračování). Substitucí g(x) = x b + a získáváme I = f(g(x)) g (x) dx = 1 2 π e x2 2 dx Dále máme I > 0. To znamená, že pro prokázání I = 1 stačí dokázat I 2 = 1. Máme ( ) 1 2 I 2 = e x2 2 dx = 1 ( ) 2 2 π 2 π 2 dx. e x2 Z poslední rovnosti vyjádříme I 2 pomocí dvojného integrálu: I 2 = 1 ( ) ( 2 π 2 dx = 1 2 π e x2 e x2 ) e y2 2 dy 2 e y2 2 dx dy = 1 2 π exp ( x2 + y 2 R 2 2 ) dx dy. V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 19 / 57

20 Důkaz (dokončení). Transformací dvojného integrálu I 2 = 1 2 π exp R 2 ( x2 + y 2 2 ) dx dy do polárních souřadnic pomocí substituce x = ϱ cos ϕ, y = ϱ sin ϕ dostáváme pro transformovanou oblast T = [0, ) [0, 2π): I 2 = 1 2 π exp ( (ϱ cos ϕ)2 + (ϱ sin ϕ) 2 ) cos ϕ ϱ sin ϕ 2 sin ϕ ϱ cos ϕ dϱ dϕ. T Zjednodušením a využitím faktu, že e x2 2 je primitivní funkce k x e x2 2 máme I 2 = 1 2 π 2 π 0 0 e ϱ2 2 ϱ dϱ dϕ = 1 2 π To znamená, že I = 1, tedy f je funkce hustoty. 2 π 0 1 dϕ = 1 2 π 2 π = 1. V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 20 / 57

21 Normální rozdělení pravděpodobnosti Definice (Normální rozdělení, angl.: normal distribution) Spojitá náhodná veličina X má normální rozdělení pravděpodobnosti pokud existují konstanty µ R a σ 2 > 0 tak, že její funkce hustoty f X je ve tvaru ) 1 f X (x) = ( σ 2 π exp (x µ)2, pro každé x R. 2 σ 2 Zkráceně zapisujeme, že X má rozdělení N(µ, σ 2 ). Pokud má X rozdělení N(0, 1) pak říkáme, že X má standardní normální rozdělení pravděpodobnosti. Poznámky: Korektnost definice plyne z přechodí věty (f X je vskutku funkce hustoty); označení parametrů µ a σ 2 není náhodné (uvidíme dále); standardní normální rozdělení má velký teoretický i praktický význam. V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 21 / 57

22 Příklad (Vliv parametrů µ a σ 2 na tvar funkce hustoty) µ = 2 µ = 0 µ = 2 µ = σ 2 = 0.1 σ 2 = 0.5 σ 2 = 1 σ 2 = σ 2 = µ = 0 V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 22 / 57

23 Věta (Moment generující funkce normálního rozdělení) Nechť X má rozdělení N(µ, σ 2 ). Potom platí: M X (t) = exp (µ t + σ2 t 2 ). 2 Důkaz (začátek). Z definice M X dostáváme: M X (t) = E ( e t X) e t x = e t x f(x) dx = ( σ 2 π exp ) 1 = (t σ 2 π exp (x µ)2 x dx 2 σ 2 ( 1 = σ 2 π exp 1 2 σ 2 ) (x µ)2 dx 2 σ 2 ( x 2 2 x (µ + σ 2 t) + µ 2 ) ) dx. V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 23 / 57

24 Důkaz. V exponentu z předešlého výrazu ( 1 M X (t) = σ 2 π exp 1 2 σ 2 ( x 2 2 x (µ + σ 2 t) + µ 2 ) ) dx vyjádříme x 2 2 (µ + σ 2 t) x + µ 2 jako rozdíl od doplňku na čtverec, to jest: x 2 2 x (µ + σ 2 t) + µ 2 = ( x (µ + σ 2 t) ) 2 2 µ σ2 t σ 4 t 2. Odtud dostáváme, že ( 2 µ σ2 t + σ 4 t 2 ) M X (t) = exp 2 σ 2 1 ( σ 2 π exp (x (µ + σ2 t)) 2 ) dx. 2 σ 2 Předchozí integrál je ale ve tvaru f Y (y) dy, kde f Y je funkce hustoty spojité náhodné veličiny s rozdělením N(µ + σ 2 t, σ 2 ), tudíž musí být roven 1. Odtud: ( 2 µ σ2 t + σ 4 t 2 ) M X (t) = exp = exp (µ t + σ2 t 2 ). 2 σ 2 2 V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 24 / 57

25 Střední hodnota a rozptyl Mějme spojitou náhodnou veličinu X s rozdělením N(µ, σ 2 ). Potom: Derivace moment generující funkce: M X(t) = (µ + σ 2 t) exp (µ t + σ2 t 2 2 M X(t) = ( (µ + σ 2 t) 2 + σ 2) exp (µ t + σ2 t 2 Střední hodnota µ X a rozptyl σ X : µ X = E(X) = M X(0) = µ, ), M X(0) = µ, 2 ), M X(0) = µ 2 + σ 2. σ 2 X = E(X 2 ) E(X) 2 = M X(0) ( M X(0) ) 2 = (µ 2 + σ 2 ) µ 2 = σ 2. Důsledek: Normální rozdělení je dáno svou střední hodnotou a rozptylem. V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 25 / 57

26 Standardní normální rozdělení a distribuční funkce Pokud má náhodná veličina X rozdělení N(0, 1), potom je její funkce hustoty ) 1 f X (x) = ( σ 2 π exp (x µ)2 1 = e x2 2 σ π Distribuční funkce X se obvykle značí Φ. To jest: Poznámky: Φ(a) = P ({X a}) = a 1 e x2 2 dx. 2 π Φ není elementární funkce (její hodnoty se numericky aproximují); Φ(a) = 1 ( 2 a ) 2 π e x2 dx = 1 ( )) a erf( ; 2 erf je chybová funkce; ve standardu C99 je funkce erfl (viz math.h). V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 26 / 57

27 Příklad (Vlastnosti distribuční funkce Φ) Mějme náhodnou veličinu Z s rozdělením N(0, 1) a hustotou f Z. f Z Φ(z 0 ) z Základní vlastnosti Φ: Φ( z) = 1 Φ(z), Φ(z) = 1 Φ( z); P ({Z z}) = Φ(z) = 1 Φ( z) = 1 P ({Z z}) = P ({Z > z}). V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 27 / 57

28 Kvantilová funkce standardního normálního rozdělení Podle definice kvantilové funkce (Přednáška 7) dostáváme, že Φ (p) = inf{z R p Φ(z)}. Protože je Φ absolutně spojitá a rostoucí, existuje k ní inverzní funkce Φ 1. V důsledku máme, že Φ (p) = Φ 1 (p) pro každé p (0, 1). Odtud platí Poznámky: p = Φ ( Φ 1 (p) ) = Φ 1 (p) 1 e z2 2 dz. 2 π Φ 1 (funkce probit) není elementární funkce (numericky se aproximuje); Φ 1 (p) = 2 erf 1 (2p 1), kde erf 1 je inverzní chybová funkce; omezená možnost generovat (pseudo)náhodná čísla pomocí metod založených na inverzní transformaci (Přednáška 8). V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 28 / 57

29 Věta (O vztahu N(µ, σ 2 ) a standardního normálního rozdělení) Pokud má X rozdělení N(µ, σ 2 ), pak má Z = Důkaz. (X µ) σ rozdělení N(0, 1). Pro distribuční funkci F Z náhodné veličiny Z platí ({ }) X µ F Z (z) = P ({Z z}) = P z = P ({X z σ + µ}) σ z σ+µ ) 1 = ( σ 2 π exp (x µ)2 dx. 2 σ 2 Substitucí w = x µ σ dostáváme: P ({Z z}) = z 1 e w2 2 dw = Φ(z). 2 π V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 29 / 57

30 Vyjádření hodnot pravděpodobností pro N(µ, σ 2 ) Pro každé X s rozdělením N(µ, σ 2 ) máme: P ({a X b}) = P ({a µ X µ b µ}) ({ a µ = P X µ b µ }). σ σ σ Jelikož Z = X µ má podle předchozí věty rozdělení N(0, 1), platí σ ({ a µ P ({a X b}) = P Z b µ }) ( ) ( ) b µ a µ = Φ Φ σ σ σ σ. Důsledky: distribuční funkce Φ standardního normálního rozdělení postačuje pro vyjádření distribuční funkce pro libovolné N(µ, σ 2 ); náhodnou veličinu X s rozdělením N(µ, σ 2 ) lze vyjádřit jako X = Z σ + µ. V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 30 / 57

31 Vyjádření hodnot distribuční a kvantilové funkce pro N(µ, σ 2 ) Zobecněním předchozího pozorování pro X s rozdělením N(µ, σ 2 ) dostáváme: ({ X µ F X (x) = P ({X x}) = P x µ }) ( ) x µ = Φ. σ σ σ Protože je kvantilová funkce F 1 X předchozího vztahu dostáváme: Φ 1 (p) = Φ 1( F X (F 1 X (p))) = Φ 1 (Φ Vyjádřením F 1 X (p) dostáváme: Interpretace: inverzní funkce k distribuční funkci F X, použitím ( F 1 X (p) µ σ F 1 X (p) = Φ 1 (p) σ + µ. )) = F 1 X (p) µ. σ 100p% percentil z N(µ, σ 2 ) = µ + (σ krát 100p% percentil z N(0, 1)). V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 31 / 57

32 Příklad (Pravděpodobnosti a hodnoty kvantilové funkce pro N(µ, σ 2 )) Problém: Mějme náhodnou veličinu X s rozdělením N(3, 16). Úkoly: Stanovte pravděpodobnost, že X nabude hodnoty z intervalu [4, 8]. Stanovte pravděpodobnost, že X nabude hodnoty větší než 10. Stanovte kvantil X s hladinou p = Řešení: ({ 4 3 P ({4 X 8}) = P 4 X }) = Φ(1.25) Φ(0.25) , ( ) 10 3 P ({X 10}) = 1 P ({X 10}) = 1 Φ = 1 Φ(1.75) F 1 X (0.98) = Φ 1 (0.98) V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 32 / 57

33 Empirické pravidlo pro normální rozdělení Empirické pravidlo (Přednáška 1) Uvažujme výběr x 1,..., x n s výběrovým průměrem x a výběrovou směrodatnou odchylkou s. Pokud má histogram tvar zvonu pak přibližně 68 % dat z výběru se nachází v intervalu (x s, x + s), přibližně 95 % dat z výběru se nachází v intervalu (x 2s, x + 2s), přibližně 99.7 % dat z výběru se nachází v intervalu (x 3s, x + 3s). Formálně: Pokud má X rozdělení N(µ, σ 2 ), pak ({ k σx P ({µ X k σ X X µ X + k σ X }) = P σ X X µ X σ X což se rovná Φ(k) Φ( k). Speciálně pro k = 1, 2, 3 dostáváme hodnoty pravděpodobností přibližně , , k σ }) X, σ X V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 33 / 57

34 Věta (Box-Mullerova transformace). Pokud jsou U 1 a U 2 dvě nezávislé náhodné veličiny s rozdělením U(0, 1), pak Z 1 = 2 ln U 1 cos(2π U 2 ), Z 2 = 2 ln U 1 sin(2π U 2 ), jsou nezávislé a jejich rozdělení je N(0, 1). Algoritmus (generování pseudonáhodných čísel z N(0, 1) (defun standard-normal-random () "Generate two independent standard normal random values." (let* ((u1 (random 1L0)) (u2 (random 1L0)) (z1 (* (sqrt (* -2 (log u1))) (cos (* 2 pi u2)))) (z2 (* (sqrt (* -2 (log u1))) (sin (* 2 pi u2))))) (values z1 z2))) V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 34 / 57

35 Rozdělení χ 2 Jedná se o speciální případ rozdělení Γ pro parametry θ = 2 a α = r, kde r je přirozené číslo. 2 Z hustoty rozdělení Γ odvodíme hustotu rozdělení χ 2 : Definice (Náhodná veličina s rozdělením χ 2 ) Spojitá náhodná veličina X s hustotou f X má rozdělení χ 2 (chi-kvadrát, angl.: chi-square distribution) s r stupni volnosti (angl.: degree of freedom) pokud r N a f X je ve tvaru f X (x) = Γ ( r 2 1 ) r 2 2 x r 2 1 e x 2 pokud x 0, a f X (x) = 0 jinak. Tento fakt značíme, že X má rozdělení χ 2 (r). V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 35 / 57

36 Vlastnosti rozdělení χ 2 (r) Vlastnosti χ 2 (r) se odvozují jako speciální případy vlastností rozdělení Γ. Zjednodušení tvaru distribuční funkce: Mějme náhodnou veličinu W s rozdělením χ 2 (r). Pokud je r (počet stupňů volnosti) sudé číslo, pak je α = r 2 přirozené číslo, to znamená, že F W přejde v distribuční funkce Erlangova rozdělení: F W (w) = 1 α 1 (λ w) k e λ w k=0 k! = 1 r 2 1 k=0 ( w 2 ) k e w 2 k!. Střední hodnota: Rozptyl: µ W = α θ = r 2 2 = r, σ 2 W = α θ 2 = r 2 4 = 2 r. V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 36 / 57

37 Příklad (Funkce hustoty rozdělení χ 2 s různými stupni volnosti) r = r = 3 r = 5 r = V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 37 / 57

38 Příklad (Exponenciální rozdělení jako speciální případ χ 2 ) Pokud má X exponenciální rozdělení se střední hodnotou 2, pak je f X ve tvaru f X (x) = 1 2 e x 2 = x e x 2 Γ ( 2 2 To znamená, že X má rozdělení χ 2 (2). 0.5 ) pokud x χ 2 (2) V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 38 / 57

39 Věta (O součtech nezávislých náhodných veličin s rozdělením χ 2 ) Mějme nezávislé náhodné veličiny X 1,..., X k, které mají rozdělení χ 2 (r 1 ),..., χ 2 (r k ). Pak Y = X X k má rozdělení χ 2 (r r k ). Důkaz. Tvrzení se prokazuje užitím faktu, že moment generátorová funkce jednoznačně určuje rozdělení. V případě X i s rozdělením χ 2 (r i ) je M Xi je tvaru M Xi (t) = (1 2t) r i 2 pro t < 0.5. Použitím věty o tvaru moment generujících funkcí lineárních kombinací nezávislých náhodných veličin a s využitím vlastností exponenciální funkce dostáváme M Y (t) = k i=1 M X i (t) = k i=1 (1 2t) r i 2 = (1 2t) ( r r k 2 ). Odtud ale ihned dostáváme, že M Y (t) = (1 2t) ( r r k 2 ) = (1 2t) ( r 1 + +r k 2 ) je moment generující funkce rozdělení χ 2 (r r k ). V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 39 / 57

40 Věta (O vztahu N(µ, σ 2 ) a χ 2 s jedním stupněm volnosti) Pokud má X rozdělení N(µ, σ 2 ), pak má V = (X µ)2 σ 2 rozdělení χ 2 (1). Důkaz (začátek). (X µ) Použitím předchozí věty máme, že Z = má rozdělení N(0, 1). σ Pro distribuční funkce F V náhodné veličiny V a každé v 0 platí: F V (v) = P ({V v}) = P ({Z 2 v}) = P ({ v Z v}) To znamená, že pro v 0 máme F V (v) = v v 1 2 π e z2 2 v 1 dz = 2 e z2 2 dz. 2 π 0 V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 40 / 57

41 Důkaz. Provedeme substituci z = y, to jest dostaneme F V (v) = v 0 1 e y 2 dy, pro y 0. 2 π y Z definice V je zřejmé, že F V (v) = 0 pro v < 0. To znamená, že funkci hustoty f V můžeme získat z F V jako důsledek základní věty integrálního počtu: 1 1 f V (v) = e v 2 = v e v 2, v > 0. 2 π v π 2 Nyní stačí ověřit, že Γ ( 1 2) = π. Jelikož je fv funkce hustoty, máme: 1 v e v 2 dv = 1. π 2 0 Substituce x = v 2 dává 1 = 1 x e x dx = 1 ( ) 1 Γ. To jest, π 0 π 2 Γ ( 1 2) = π, a tím pádem V má rozdělení χ 2 (1). V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 41 / 57

42 Příklad (Vztah χ 2 rozdělení a normálních rozdělení) N(1, 0.8) χ 2 (1) V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 42 / 57

43 Věta (O součtech čtverců nezávislých normálních veličin) Mějme nezávislé náhodné veličiny Z 1,..., Z n, které mají standardní normální rozdělení N(0, 1) a nezávislé náhodné veličiny X 1,..., X n, které mají normální rozdělení N(µ i, σ 2 i ) pro i = 1, 2,..., n. Pak 1 náhodná veličina V = Z Z 2 n má rozdělení χ 2 (n); 2 náhodná veličina W = n (X i µ i ) 2 i=1 σi 2 má rozdělení χ 2 (n). Důkaz. Tvrzení přímo plyne z předchozích vět: Z 2 má rozdělení χ 2 (1) pokud má Z rozdělení N(0, 1); součet n nezávislých veličin s rozdělením χ 2 (1) má rozdělení χ 2 (n); pokud má X rozdělení N(µ, σ 2 ), pak má (X µ)/σ 2 rozdělení N(0, 1). V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 43 / 57

44 Věta (O rozdělení lineárních kombinací nezávislých normálních veličin) Mějme nezávislé náhodné veličiny X 1,..., X n, které mají normální rozdělení N(µ i, σi 2 ) pro i = 1, 2,..., n. Pak pro každá reální čísla a 1,..., a n R platí, že lineární kombinace Y = n i=1 a i X i má normální rozdělení ( n N a i µ i, ) n i=1 i=1 a2 i σi 2. Důkaz. Užitím věty o moment generujících funkcích lineárních kombinací nezávislých náhodných veličin dostáváme M Y (t) = n i=1 M X i (a i t) = n i=1 exp( µ i a i t σ2 i a 2 i t 2), protože M Xi = exp ( µ i t σ2 i t 2). Potom tedy ( ( n M Y (t) = exp i=1 a iµ i ) t + 1 2( n i=1 a2 i σ 2 i ) t 2), což je moment generující funkce prokazovaného normálního rozdělení. V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 44 / 57

45 Důsledek: Rozdělení průměru náhodného výběru z N(µ, σ 2 ). Pokud je X 1,..., X n náhodný výběr z rozdělení N(µ, σ 2 ), pak průměr X náhodného výběru X 1,..., X n má rozdělení N(µ, σ 2 /n). Průměr X náhodného výběru X 1,..., X n z N(µ, σ 2 ) má normální rozdělení se stejnou střední hodnotu µ, ale menším rozptylem rozptylem σ 2 /n. Příklad (Rozdělení průměru náhodného výběru z N(µ, σ 2 )) Pro náhodný výběr X 1,..., X 64 z rozdělení N(50, 16) máme ({ P ({49 < X i < 51}) = P X 50 }) = ({ P ({49 < X < 51}) = P X 50 }) = V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 45 / 57

46 Příklad (Motivace pro centrální limitní větu) Pro libovolný n-prvkový náhodný výběr X 1,..., X n z rozdělení se střední hodnotou µ a rozptylem σ 2. Pro průměr X tohoto náhodného výběru můžeme zavést W : n X µ W = (X µ) = σ σ/ n. Pro každé n N máme z věty o lineárních kombinacích nezávislých veličin ( ) X µ µ W = E(W ) = E σ/ = E(X) µ n σ/ n = µ µ σ/ n = 0. S využitím předchozího faktu a σw 2 = E(W 2 ) µ 2 W dostáváme, že ( ) (X µ) 2 σw 2 = E(W 2 ) 0 = E = E( (X µ) 2) = σ2 /n σ 2 /n σ 2 /n σ 2 /n = 1. Otázka: Jak je W distribuované pro n? V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 46 / 57

47 Centrální limitní věta Věta (Centrální limitní věta, angl.: central limit theorem). Nechť X je průměr n-prvkového náhodného výběru z rozdělení se střední hodnotou µ a rozptylem σ 2 > 0. Pak W = X µ σ/ n má rozdělení N(0, 1) pro n. Aplikace: Pokud je n (velikost náhodného výběru) dost velké, pak: W = X µ σ/ n = 1 n n X i µ i=1 σ/ = n n n n X i n µ i=1 n σ/ = n má přibližně standardní normální rozdělení N(0, 1). n X i n µ i=1 n σ V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 47 / 57

48 Příklad (Použití centrální limitní věty) Problém: Uvažujme průměr X patnáctiprvkového náhodného výběru ze spojitého rozdělení, jehož hustota je f X (x) = 3 2 x2, pro 1 < x < 1, f X (x) = 0 ve všech ostatních případech. Úkol: Pomocí centrální limitní věty odhadněte P ({0.03 X 0.15}). Řešení: Střední hodnota a rozptyl X jsou µ X = 0 a σx 2 = 0.6. Náhodný výběr je patnáctiprvkový, to jest n = 15. Pomocí centrální limitní věty dostáváme: ({ P ({0.03 X 0.15}) = P X }) 0.6/ / / 15 P ({0.15 W 0.75}) Φ(0.75) Φ(0.15) = = V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 48 / 57

49 Aproximace binomického rozdělení normálním rozdělením Uvažujme diskrétní náhodnou veličinu X, která má rozdělení b(n, p). Pozorování: X je součtem n nezávislých veličin s Bernoulliho rozdělením, to jest: X = n i=1 X i, kde X 1,..., X n jsou nezávislé veličiny, které mají identické Bernoulliho rozdělení s parametrem p. To jest, µ Xi = p a σ 2 X i = p (1 p) pro každé i = 1,..., n. Aplikací centrální limitní věty dostáváme, že W = X n p n p (1 p) má rozdělení N(0, 1) pokud n. Odtud X = W n p (1 p) + n p. Pokud je n dost velké, pak má X přibližně rozdělení N ( n p, n p (1 p) ). V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 49 / 57

50 Příklady (Aproximace binomického rozdělení normálním rozdělením) Pokud je n velké, pak b(n, p) N ( n p, n p (1 p) ) b(10, 1 2 ) 0.25 b(18, 1 6 ) 0.20 N(5, 5 2 ) 0.20 N(3, 5 2 ) V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 50 / 57

51 Aproximace Poissonova rozdělení normálním rozdělením Uvažujme X, která má Poissonovo rozdělení s parametrem λ = n N. Pozorování: X je součtem n nezávislých Poissonových veličin s parametrem 1: X = n i=1 X i, kde X 1,..., X n jsou nezávislé veličiny, které mají identické Poissonovo rozdělení s parametrem 1. To jest, µ Xi = 1 a σ 2 X i = 1 pro každé i = 1,..., n. Aplikací centrální limitní věty dostáváme, že W = X n 1 n 1 má rozdělení N(0, 1) pokud n. Odtud X = W n + n = W λ + λ. Pokud je n dost velké, pak má X přibližně rozdělení N(λ, λ). V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 51 / 57

52 Příklad (Aproximace Poissonova rozdělení normálním rozdělením) Pokud je λ velké, pak Poissonovo rozdělení s parametrem λ N(λ, λ) V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 52 / 57

53 Čebyševova nerovnost Věta (Pafnuti Lьvoviq Qebyx v) Pokud má náhodná veličina X střední hodnotu µ X a rozptyl σx 2 přirozené číslo k 1, platí P ({k σ X X µ X }) 1 k. 2 > 0, pak pro každé Interpretace: Pravděpodobnost, že pozorovaná hodnota náhodné veličiny X se odchyluje od střední hodnoty veličiny aspoň o k-násobek směrodatné odchylky náhodné veličiny je menší nebo rovna 1 k 2. Poznámky: Výsledek nezávisí na tom, jaké má X rozdělení. (!!) Lze aplikovat pro odhady pravděpodobnosti bez znalosti rozdělení (pesimistické). V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 53 / 57

54 Důkaz. Uvažujme, že X je náhodná veličina v prostoru Ω, F, P. Pro dané k položme A = {k σ X X µ X } = {ω Ω k σ X X(ω) µ X }. Z linearity E můžeme psát σ 2 X = E ( (X µ X ) 2) = E ( 1 Ω (X µ X ) 2) = E ( 1 A (Ω A) (X µ X ) 2) = E ( 1 A (X µ X ) 2) + E ( 1 Ω A (X µ X ) 2). Zobrazení 1 Ω A (X µ X ) 2 nabývá pro všechny ω Ω nezáporných hodnot, to jest E ( 1 Ω A (X µ X ) 2) 0. Z předchozí rovnosti proto σ 2 X E( 1 A (X µ X ) 2). Pro každý ω A navíc máme k σ X X(ω) µ X, to znamená σ 2 X E ( 1 A (X µ X ) 2) E ( 1 A (k σ X ) 2) = k 2 σ 2 X E(1 A ) = k 2 σ 2 X P (A). Vyjádřením P (A) z předchozí nerovnosti a zkrácením nenulového σ 2 X dostáváme P ({k σ X X µ X }) = P (A) 1 k 2. V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 54 / 57

55 Příklad (Dolní odhad pravděpodobnosti bez znalosti rozdělení) Problém: Náhodná veličina X má rozdělení se střední hodnotou µ X = 25 a rozptylem σ 2 X = 16. Úkol: Bez znalosti P X stanovte dolní odhad P ({17 < X < 33}). Řešení: P ({17 < X < 33}) = P ({17 < X} {X < 33}) = P ({17 25 < X 25} {X 25 < 33 25}) = P ({ 8 < X 25} {X 25 < 8}) = P ({ X 25 < 8}) = P ({ X 25 < 2 σ X }). Použitím Čebyševovy nerovnosti máme P ({ X 25 2 σ X }) 1, to znamená 4 P ({ X 25 < 2 σ X }) = 1 P ({ X 25 2 σ X }) = Dohromady tedy dostáváme, že P ({17 < X < 33}) V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 55 / 57

56 Věta (Zákon velkých čísel) Pro posloupnost náhodných výběrů X 1,..., X n (kde n ) z rozdělení se střední hodnotou µ a rozptylem σ 2 a jejich průměry X platí: Důkaz. lim P ({ X µ < ε}) = 1. n Pro každé X platí, že µ X = µ a σ 2 = σ2. Použitím Čebyševovy nerovnosti pro X n σ ε = k σ X = k n dostáváme 0 P ({ε X µ }) 1 k = 1 2 Odtud ihned dostáváme ( ε n σ ) 2 = 1 ε 2 n = σ2 ε 2 n. σ 2 σ 2 lim P ({ε X µ }) lim n n ε 2 n = 0. Z vlastností komplementárních jevů potom lim n P ({ X µ < ε}) = 1. V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 56 / 57

57 Přednáška 9: Závěr Pojmy: náhodný výběr, statistika, výběrové rozdělení, lineární kombinace veličin (standardní) normální rozdělení, Box-Mullerova transformace, rozdělení χ 2 centrální limitní věta, aproximace diskrétních rozdělení (binomické, Poissonovo) Čebyševova nerovnost, zákon velkých čísel Použité zdroje: Billingsley, P.: Probability and Measure John Wiley & Sons; 3. vydání, ISBN Gentle J. E.: Random Number Generation and Monte Carlo Methods Springer 2004, ISBN Hogg R. V., Tanis E. A.: Probability and Statistical Inference Prentice Hall; 7. vydání 2005, ISBN V. Vychodil (KMI/PRAS, Přednáška 9) Normální rozdělení a centrální limitní věta Pravděpodobnost a statistika 57 / 57