MATEMATICKÁ STATISTIKA

Transkript

1 MATEMATICKÁ STATISTIKA 1. Úvod. Matematická statistika se zabývá vyšetřováním zákonitostí, které v sobě obsahují prvek náhody. Zpracováním hodnot, které jsou výstupem sledovaného procesu, se snažíme popsat zákonitosti skrytého náhodného procesu. K tomu používáme počtu pravděpodobnosti, který obsahuje algoritmy, pomocí nichž lze rozdělení pravděpodobnosti nalézt. Připomeňme si proto základní pojmy a skutečnosti, které budeme v dalším textu používat. Náhodná veličina je funkce, která přiřazuje náhodným jevům reálné (komplexní) hodnoty. Budeme ji označovat velkými písmeny, např. X, Y, U, Z, X i. Rozdělení pravděpodobnosti charakterizujeme pomocí reálné funkce reálné proměnné, kterou nazýváme distribuční funkcí. Je-li X náhodná veličina, pak její distribuční funkcí nazýváme funkci F : R R definovanou předpisem Typy rozdělení náhodné veličiny. F (x) = P (X x), x R. 1. Diskrétní rozdělení: Náhodná veličina má diskrétní rozdělení, jestliže nabývá pouze disktrétních hodnot. Těchto hodnot je buď konečný počet nebo nejvýše spočetně mnoho. Tvoří tedy posloupnost. Náhodná veličina je plně charakterizována pravděpodobnostmi výskytu těchto hodnot, které nazýváme pravděpodobnostní funkcí náhodné veličiny. Je-li X náhodná veličina, pak funkci p : R R definovanou předpisem p(x) = P (X = x), x R, nazýváme pravděpodobnostní funkcí náhodné veličiny X. Je pak p(x) = 1, p(x) 0 a F (x) = p(t), x R. Dále je x R t x P (X A) = p(x). x A. Spojité rozdělení: Náhodná veličina X má spojité rozdělení, jestliže je její distribuční funkce F spojitá a pro ní a její derivaci f platí, že F (x) = x f(t)dt, x R a F (x) = f(x) všude, kde derivace existuje. (Tzv. absolutní spojitost.) Funkce f(x) = F (x) se nazývá hustotou rozdělení pravděpodobnosti náhodné veličiny X. Je f(x) 0, x R a f(x)dx = 1. Dále je P (X A) = f(x)dx. A 3. Smíšené rozdělení: Náhodná veličina má smíšené rozdělení, jestliže je její distribuční funkce nespojitá a v intervalech spojitosti je primitivní funkcí své derivace. Připomeňme, že skoky odpovídají kladné pravděpodobnosti výskytu jednotlivých hodnot a že jich může být nejvýše spočetně mnoho. Je-li X náhodná veličina, která má smíšené rozdělení, pak pro její distribuční funkci F platí: F (x) = x [F (t) F (t )] + F (t)dt, x R. t x 3

2 Potom je P (X = x) = F (x) F (x ), x R a P (X A) = [F (x) F (x )] + A F (x)dx. x A Číselné charakteristiky a charakteristická funkce. Pro chování náhodné veličiny mají v řadě případů význam některé číselné charakteristiky, které často souvisí s hodnotami parametrů, které se v popisu hustoty či pravděpodobnostní funkce vyskytují. Uveďme základní z nich a současně připomeneme jejich názvy a značení. Je-li X náhodná veličina, která je popsána hustotou f, resp. pravděpodobnostní funkcí p, či obecně distribuční funkcí F, pak pro ni definujeme: Střední hodnotu E(X) = µ 1(X) = µ 1, předpisem E(X) = xf(x)dx, resp. E(X) = xp(x), x R obecně tedy E(X) = [F (x) F (x )] + xf (x)dx. x R Rozptyl D(X) = µ (X) = µ, předpisem D(X) = E[(X E(X)) ] = E(X ) [E(X)]. Směrodatnou odchylku (X) = = D(X). k tý obecný moment µ k(x) = µ k = E(X k ), k = 0, 1,.... k tý centrální moment µ k (X) = µ k = E[(X E(X)) k ], k = 0, 1,.... Je tedy µ 0 = µ 0 = 1, µ 1 = 0, µ 1 = E(X), µ = D(X) a k µ k = ( 1) i µ k i (µ 1) i. i=0 Koeficient šikmosti (X) = = µ 3(X) ((X)). 3 Koeficient špičatosti ε(x) = ε = µ 4(X) ((X)) 3. 4 Je-li X náhodná veličina, pak pro reálnou hodnotu proměnné t definujeme náhodnou veličinu e jtx předpisem: X = x e jtx = e jtx = cos tx + j sin tx, t R. Střední hodnota této náhodné veličiny je funkcí proměnné t R a nazýváme jí charakteristickou funkcí náhodné veličiny X. Označujeme ji symbolem ψ X (t) = E(e jtx ), t R. Pro charakteristickou funkci platí, že má tolik derivací v bodě t = 0, kolik má náhodná veličina momentů a ψ (k) X (0) = j k µ k(x) = j k E(X k ), k = 0, 1,.... 4

3 Jestliže má náhodná veličina X momenty do určitého řádu, pak můžeme napsat Taylorův polynom charakteristické funkce. Jestliže použijeme proměnné (jt) místo t dostaneme ψ X (t) =. n µ i 1 + i! (jt)i. Potom funkce φ X (t) = ln ψ X (t) má také derivace v bodě t = 0 a jestliže označíme její Taylorův rozvoj v bodě t = 0 φ X (t) =. n k i i! (jt)i, pak koeficienty k i nazýváme kumulanty a platí pro ně: k 1 = µ 1 = E(X). k = µ (µ 1) = µ = D(X). k 3 = µ 3 3µ 1µ + (µ 1) 3 = µ 3. k 4 = µ 4 3(µ ) 4µ 1µ 3 + 1(µ 1) µ 6(µ 1) 4 = µ 4 3µ. Dále je = k 3 k 3/, ε = k 4. k Kvantily jsou další z číselných charakteristik, které používáme k popisu rozdělení náhodné veličiny. Uveďme nejprve jeho definici v nejjednodušším případě, který se nám nejčastěji v aplikacích vyskytuje. Je-li X náhodná veličina, která má spojité rozdělení a nabývá hodnot z intervalu (a, b) taková, že je její distribuční funkce F rostoucí v intervalu (a, b), pak pro číslo 0 < p < 1 je její p kvantil, či 100p% kvantil x p definován vztahem P (X x p ) = p F (x p ) = p x p = F 1 (p). V obecném případě je kvantil definován vztahem F (x p +) = F (x p ) p, F (x p ) p. Poznamenejme, že pro diskrétní rozdělení a pro spojitá rozdělení, která nemají rostoucí distribuční funkci není kvantil určen jednoznačně. Obvykle v tomto případě uvažujeme jako jeho hodnotu největší z hodnot, které splňují požadovanou podmínku. Některé z kvantilů mají výsadní postavení. Mají zvláštní názvy a jejich hodnoty bývají pro řadu rozdělení tabelovány. Nazýváme: x = x 0,5 -kvantil jako medián; x 0,5 -kvantil jako dolní kvartil; x 0,75 -kvantil jako horní kvartil. Používáme ješte kvantily x 0,1 a x 0,9 při ořezávání souborů a kvantily x 0,95, x 0,975 a x 0,99 při testování hypotéz. Modus ˆx je další číselnou charakteristikou, pomocí níž popisujememchování náhodné veličiny. Je definován tak, že je to hodnota, pro kterou je hustota či pravděpodobnodtní funkce největší. Odpovídá tedy hodnotě, které nabývá náhodná veličina nejčastěji. 5

4 Některá důležitá rozdělení Diskrétní rozdělení 1. Alternativní rozdělení A(p) je diskrétní rozdělení, kdy náhodná veličina X nabývá pouze dvou hodnot 0 a 1 a pro její pravděpodobnostní funkci platí: p(0) = P (X = 0) = 1 p, p(1) = P (X = 1) = p, 0 < p < 1.. Binomické rozdělení Bi(n,p) je diskrétní rozdělení, kdy náhodná veličina X nabývá hodnot k = 0, 1,,..., n, s pravděpodobnostmi p(k) = P (X = k) = ( n k ) p k (1 p) n k, k = 0, 1,,..., n, 0 < p < 1. Je pak E(X) = np a D(X) = np(1 p). Pro n 30 a p 0, 1 je možné binomické rozdělení Bi(n, p) nahradit Poissonovým rozdělením s parametrem λ = np. Jestliže mají náhodné veličiny X i, 1 i n rozdělení A(p) a jsou nezávislé, má pak výběrový úhrn X = n binomické rozdělení Bi(n, p). X i 3. Poissonovo rozdělení Po(λ) je diskrétní rozdělení, kdy náhodná veličina X nabývá hodnot k = 0, 1,,... s pravděpodobnostmi p(k) = P (X = k) = λk k! e λ, k = 0, 1,,..., λ > 0. Jestliže mají náhodné veličiny X i, 1 i n Poissonovo rozdělení P o(λ) a jsou nezávislé, má pak výběrový úhrn X = n X i Poissonovo rozdělení P o(nλ). Pro tuto vlastnost se Poissonovo rozdělení vyskytuje v problémech z hromadné obsluhy, kde doby mezi příchody zákazníků mají Poissonovo rozdělení Spojitá rozdělení 4. Rovnoměrné rozdělení v intervalu (a, b) je rozdělení určené hustotou f s distribuční funkci F, kde f(x) = 1 b a, a < x < b, 0, jinde. F (x) = 0, x < a, x a b a, a x b, 1, x > b. Toto rozdělení má náhodná veličina X, která nabývá hodnot z intervalu (a, b) a všechny hodnoty mají stejnou pravděpodobnost výskytu. Bývá také charakterizováno svou střední hodnotou E(X) = µ = 1(a+b) a hodnotou h = 1 (b a). Je pak a = µ h, b = µ+h, h > 0. Rozptyl této náhodné veličiny je roven D(X) = 1 3 h. Pro kvantily x p tohoto rozdělení dostaneme F (x p ) = 1 h (x µ + h) = p x p = µ + (p 1)h. Je tedy x = x 0,5 = E(X) = µ a x 1 p + x p = µ. 6

5 Na obrázku Obr. 4a je znázorněn průběh distribuční funkce F spojitého rovnoměrného rozdělení v intervalu (0, 1) a na obrázku Obr. 4b je průběh hustoty f tohoto rozdělení. y 1 F (x) 0 1 x 0 1 x Obr. 4a Obr 4b 5. Normální (Gaussovo) rozdělení Definice: Normální (Gaussovo) rozdělení N(µ, ) s parametry µ a > 0 je rozdělení určené hustotou y 1 ( ) f(x) = 1 (x µ) π e, x (, ). Rozdělení N(0; 1) s parametry µ = 0 a = 1 se nazývá normované normální rozdělení. V dalším textu budeme náhodnou veličinu, která má rozdělení N(0; 1) obvykle označovat písmenem U. Její hustota je pak ( ) ϕ(x) = 1 π e x, x (, ). Distribuční funkci rozdělení N(0; 1), která je definovaná vztahem f(x) ( ) Φ(x) = 1 π x e t dt budeme vždy označovat symbolem Φ. Graf hustoty ϕ normovaného normálního rozdělení N(0; 1) znázorníme na obrázku Obr. 5.1 a graf distribuční funkce Φ je znázorněn na obrázku Obr π 1 ϕ(x) Φ(x) x x Obr Obr. 5.. Poznámka: Normované normální rozdělení N(0; 1) je symetrické, ϕ(x) = ϕ( x). Je tedy E(X) = 0 a dále je D(X) = 1. Odtud plyne, že pro distribuční funkci Φ platí: Φ(x) + Φ( x) = 1 Φ( x) = 1 Φ(x) a Φ(0) = 0, 5. Obecné normální rozdělení N(µ; ) je posunuté o hodnotu µ, je tedy symetrické vzhledem k této hodnotě. Je tedy E(X) = µ a dále je D(X) =. Směrodatná odchylka (X) =. 7

6 Rozdělení je koncentrováno ke střední hodnotě. I když nabývá náhodná veličina s tímto rozdělením teoreticky všech reálných hodnot je P ( X µ < 3) = 0, 999 a P ( X µ < 3, 5) = 0, Poznámka: Normální rozdělení si zachovává svůj charakter při lineární transformaci. Platí totiž následující tvrzení. 5.. Věta: Jestliže má náhodná veličina X rozdělení N(µ, ), má pak náhodná veličina Y = X + β rozdělení N(µ + β, ). Speciálně platí, že náhodná veličina U = X µ má normované normální rozdělení N(0, 1). Důkaz: Je-li X náhodná veličina, která má rozdělení N(µ, ) a je-li f její hustota a F je její distribuční funkce, pak pro hustotu g a distribuční funkci G náhodné veličiny Y platí: G(y) = P (Y y) = P (X + β y) = P (X y β) = P (X y β = ) = F ( y β ) > 0 P (X y β ) = 1 F ( y β ), < 0. Potom pro hustotu g rozdělení náhodné veličiny Y dostaneme: g(y) = G (y) = = d dy d dy 1 π e ( F ( y β )) = 1 ( f(y β 1 F ( y β ( y β µ) = ) )) = 1 f(y β ) 1 (y (µ+β)) π e (). To je ovšem hustota normálního rozdělení N(µ + β; () ). = 1 f(y β ) = Jestliže zvolíme = 1 a β = µ dostaneme µ + β = 0 a = 1. Náhodná veličina U má tudíž normované normální rozdělení N(0; 1). Poznámka: Transformace na normované rozdělení. Jestliže má náhodná veličina X normální rozdělení N(µ; ), pak má náhodná veličina U = X µ X = U + µ normované normální rozdělení N(0; 1). Pro její distribuční funkci F a hustotu f platí: ( ) x µ F (x) = Φ Je tedy F (u+µ) = Φ(u) a f(x) = 1 ( ) x µ ϕ f(u+µ) = ϕ(u). ( ) ( ) b µ a µ P (a < X < b) = F (b) F (a) = Φ Φ, 8

7 kde hodnoty funkce Φ odečteme z tabulek hodnot distribuční funkce Φ Kvantily normálního rozdělení. Pro kvantily u p normovaného normálního rozdělení N(0; 1) platí, že: Φ(u p ) = p, 0 < p < 1 u p = Φ 1 (p) a jejich hodnoty nalezneme v tabulkách kvantilů. Všimneme si, že platí: Pro kvantily x p Odtud plyne, že u 0,5 = 0 a u 1 p = u p. obecného normálního rozdělení N(µ; ) platí: ( ) xp µ F (x p ) = p Φ = p x p µ x = x 0,5 = ˆx = E(X) = µ. = u p x p = u p + µ. Význam kvantilů si znázorníme na obrázku hustoty ϕ a distribuční funkce Φ normovaného normálního rozdělení. Obsah obrazce vyznačeného šrafováním je roven p. 1 π 1 ϕ(x) p Φ(x) 0, u p 3 x u p 3 x Obr Obr Intervaly spolehlivosti. Ve statistice se setkáváme s úlohou, kdy potřebujeme k dané pravděpodobnosti určit interval, ve kterém se hodnota náhodné veličiny vyskytuje. Vyřešíme tuto úlohu pro normované normální rozdělení. Pro jiná rozdělení se princip řešení zachová, jenom hraniční hodnoty hledaného intervalu se určí z kvantilů odpovídajícího rozdělení Příklad: K danému číslu, 0 < < 1, určete interval tak, aby pro náhodnou veličinu U, která má normované normální rozdělení N(0; 1) platilo: a) ( ) P ( U < a) = 1 ; b) ( ) P (U < a) = 1 ; c) ( ) P (U > a) = 1. Řešení: a) Z podmínky vyplývá 1 = P ( a < U < a) = Φ(a) Φ( a) = Φ(a) (1 Φ(a)) = Φ(a) 1 Φ(a) = 1. Odtud plyne, že a = u 1 kvantil. Je tedy a < U < a u 1 < U < u 1. Viz obr b) Obdobně jako v a) dostaneme 1 = P (U < a) = Φ(a) a = u 1. Je tedy 9

8 U < a U < u 1. Viz obr c) Z podmínky pro interval plyne 1 = P (U > a) = 1 Φ(a) Φ(a) = a = u. Je tedy U > a U > u. Viz obr Poznámka: Číslo volíme malé, obvykle 0 < 0, 1 a číslo 1 se nazývá koeficient spolehlivosti (konfidenční koeficient). Získaný interval nazýváme 100(1 ) procentním intervalem spolehlivosti. Interval ( ) je oboustranný interval, intervaly ( ) a ( ) jsou jednostranné.první je pravostranný a druhý levostranný. Jsou to intervaly, ve kterých se hodnota náhodné veličiny bude vyskytovat s pravděpodobností (1 ), tedy ve 100(1 )% případech. 1 π ϕ(x) 1 π ϕ(x) x x u1 u1 u 1 1 π Obr Obr ϕ(x) 3 u x 1 Obr Sčítání náhodných veličin. Důležitou vlastnost má normální rozdělení při sčítaní náhodných veličin. Pro nezávislé náhodné veličiny platí, že i po sčítaní mají normální rozdělení. Tvrzení se odvodí pomocí charakteristické funkce. Uvedeme tuto vlastnost ve formě věty Věta: Jsou-li X, resp. Y nezávislé náhodné veličiny s normálními rozděleními N(µ 1, 1), resp. N(µ, ), pak má náhodná veličina X + Y normální rozdělení s parametry N(µ 1 + µ, 1 + ) Náhodný výběr. Ve statistice zpracováváme data, která jsou souborem výsledků náhodného pokusu. Jeho náhodnost se projeví v tom, že při jeho opakování se objeví různé výsledky. Je-li charakter náhody popsát tím, že výsledky náhodného pokusu odpovídají hodnotám náhodné veličiny s daným rozdělením, pak soubor dat je realizací uspořádané n tice náhodných veličin {X 1, X,..., X n }. Všechny náhodné veličiny mají shodné rozdělení a jsou na sobě nezávislé. Takovou uspořádanou n tici náhodných veličin nazýváme prostým náhodným výběrem z daného rozdělení. Z vět 8.6 a 8. vyplývá toto tvrzení. 10

9 5.9. Věta: Jestliže mají nezávislé náhodné veličiny X i, 1 i n normální rozdělení N(µ, ) (náhodný výběr z normálního rozdělení), má pak výběrový úhrn X = n X i normální rozdělení N(nµ, n ) a výběrový průměr X = 1 n n X i normální rozdělení N(µ, n ). Poznámka: O náhodné veličině, která je funkcí náhodného výběru mluvíme jako o statistice. Častou úlohou je nalezení vhodné statistiky, z jejíchž hodnot můžeme odvodit vlastnosti sledovaného rozdělení. Z vlastností normálního rozdělení vidíme, že statistika X, výběrový průměr je dobrým odhadem střední hodnoty µ, neboť při dostatečně rozsáhlém výběru, velké hodnotě n, se bude hodnota X jen velmi málo lišit od střední hodnoty µ. 6. Exponenciální rozdělení Ex(A, δ) je rozdělení náhodné veličiny s hustotou f a distribuční funkcí F, kde 0, x < A, f(x) = x A 1 e δ, x A; δ 0, x A, F (x) = 1 e x A δ, x A, kde A R a δ > 0. Je pak E(X) = A + δ a D(X) = δ. Pro kvantily dostaneme vyjádření x p = A δ ln (1 p). Je-li A = 0, pak rozdělení označujeme symbolem Ex(δ) a je to rozdělení, které se objevuje v úlohách kde sledujeme spolehlivost práce zařízení v čase. Je to tzv. rozdělení bez paměti. Je totiž P (X a + b X a) = P (X b), a, b > 0. Poznamenejme, že má-li náhodná veličina X exponenciální rozdělení Exp(A; δ), pak má náhodná veličina X A rozdělení Exp(0; δ) a náhodná veličina Y = X A má rozdělení δ Exp(0; 1), kterému se někdy říká normované exponenciální rozdělení. 7. Rozdělení chí kvadrát χ (n) o n stupních volnosti je rozdělení, které má náhodná veličina X = n Ui, kde U i, 1 i n jsou nezávislé náhodné veličiny s normovaným normálním rozdělením N(0, 1). Pro toto rozdělení je E(X) = n a D(X) = n. Hustota f tohoto rozdělení je dána předpisem 0, x 0, f(x) = 1 x n n Γ( n ) 1 e x, x > 0. Rozdělení je výrazně asymetrické, kvantily jsou kladné a jsou tabelovány. Až pro výrazně veliké hodnoty parametru n je možné toto rozdělení nahradit rozdělením normálním N(n, n). Pro velké hodnoty n má náhodná veličina U = X n n přibližně normované normální rozdělení N(0, 1). Pro kvantily pak platí přibližný vzorec x p. = n + up n. 11

10 Průběh hustoty rozdělení pravděpodobnosti je pro hodnoty parametru n = 3, 5 znázorněn na obrázku Obr n > 30 y n = 3 n < 5 n = x x Obr.8.1. Obr Studentovo rozdělení (t- rozdělení) t(n) o n stupních volnosti má náhodná veličina T = U n Z, kde náhodná veličina U má normované normální rozdělení N(0, 1) a náhodná veličina Z má rozdělení χ (n). Rozdělení je symetrické vzhledem k počátku, je E(T ) = 0, D(T ) = n, n > a pro hodnoty n > 30 jej nahrazujeme normovanýn normálním n rozdělením N(0, 1). Pro kvantily platí t p = t 1 p. Hustota f Studentova rozdělení je dána vzorcem f(x) = Γ( n+1 ) Γ( n ) πn ( 1 + x n ) n+1, x R. Průběh hustoty pro některé hodnoty stupňů volnosti je znázorněn na obrázku Fischerovo-Snedecorovo rozdělení (F rozdělení) F m,n o m a n stupních volnosti má náhodná veličina F = Xn Y m, kde náhodná veličina X má rozdělení χ (m) a náhodná veličina Y má rozdělení χ (n). Náhodná veličina F nabývá pouze kladných hodnot a je E(F ) = n n, n > a D(F ) = n (n + m ), n > 4. Hustota f náhodné veličiny F je dána vzorcem m(n ) (n 4) f(x) = ( ) m 1 m B( m, n) n ( x m m ) m+n n x, x > 0. Poznamenejme, že pokud má náhodná veličina F rozdělení F (m, n), pak má náhodná veličina 1 rozdělení F (n, m). Tato skutečnost plyne bezprostředně, z definice F rozdělení F a jejím důsledkem je následující vlastnost kvantilů: Pro kvantily F p (m, n) rozdělení F (m, n) platí, že F p (m, n) = 1 F 1 p (n, m), 0 < p < 1. 1

11 p kvantil F p náhodné veličiny s rozdělením F (m, n) je totiž určen podmínkou Odtud plyne, že P (F (m, n) F p ) = p P P P ( ) Xn Y m F p = p. ( 1 Y m ) ( Y m = 1 P F p Xn Xn 1 ) = p F p ( Y m Xn 1 ) ) = P (F (n, m) 1Fp = 1 p, F p což je podmínka pro 1 pkvantil náhodné veličiny s rozdělením F (n, m). Je tedy F 1 p (n, m) = 1. F p(m,n) Pro modus ˆx náhodné veličiny s rozdělením F (m, n) platí vyjádření n(m ) ˆx = m(n + ), m >. Poznámka. Funkce Γ a B jsou tzv. Eulerovy funkce a je: Γ(z) = Je dále Γ(n + 1) = n!. 0 x z 1 e x dx pro z > 0. a B(p, q) = Γ(p)Γ(q) Γ(p + q). B(p, q) = 1 0 x p 1 (1 x) q 1 dx, p > 0, q > 0 13