Pravděpodobnost a statistika

Transkript

1 Pravděpodobnost a statistika Axiomy teorie pravděpodobnosti V roce 933 zavedl Andrej N. Kolmogorov. Definice (Pravděpodobnostní prostor). Mějme neprázdnou množinu Ω a na ní σ-algebru F. Na F uvažujme pravděpodobnostní míru P. Potom (Ω, F, P ) se nazývá pravděpodobnostní prostor. Definice (σ-algebra). Buď Ω neprázdná množina. Systém F podmnožin Ω se nazývá σ-algebra, pokud. Ω F. A F Ω \ A F (uzavřenost na doplňku) 3. {A i } F F (uzavřenost na spočetném sjednocení) Příklad. Ukažme si různé příklady σ-algeber: triviální: {, Ω} největší: Ω B Ω : {, B, B c, Ω} A, B : {, A, B, A B, A B, A c, B c,...} Definice (Pravděpodobnostní míra). Funkce P : F [0, ], kde prvky F jsou podmnožiny Ω nazveme pravděpodobnostní míra, pokud splňuje následující podmínky:. P (Ω) =. {A i } F a A i A j = i j P ( A i) = A i (spočetná aditivita) Definice. ω Ω se nazývá elementární jev. A F se nazývá náhodný jev. Elementární jevy většinou nelze pozorovat přímo, je potřeba pozorovat náhodné jevy. Příklad. Mějme hod kostkou. Potom: Ω = {,, 3, 4, 5, } ω = 4 A = {, 4, } P každému náhodnému jevu A jen dá jeho pravděpodobnost.. Jestliže P (A) =, potom A je jev jistý.. Jestliže P (A) = 0, potom A je jev nemožný. Věta. Buď P pravděpodobnostní míra na F. Pak platí následující:. P (A c ) = P (A) A F. A, B F : A B, pak P (A) P (B) a P (B \ A) = P (B) P (A) Důkaz. Jednotlivé body:. P (A A c ) = P (A) + P (A c ). Jelikož A A c = Ω a podle vlastností pravděpodobnostní míry P (Ω) =, P (A) + P (A c ) =.. A B B = A (B A c ). To jsou dvě disjunktní množiny. Potom P (B) = P (A) + P (B \ A) P (A).

2 Vezměme si systém {A i } F. Budeme předpokládat A i A i+. Potom budeme myslet A i A, kde A = A i, tedy že systém konverguje k A. Analogicky systém, kde A i A i+ potom A i A, kde A = A i Věta (Spojitost pravděpodobnostní míry). Nechť máme {A i } F takovou, že A i. Pak lim P (A i) = 0. i Důkaz. Víme, že P ( A i) = P ( ) = 0. To je ekvivalentní s P (( A i) c ) = P ( Ac i ) =. Dále víme, že A i A i+ a díky tomu A c i Ac i+, tedy Ac i Ω. Nadefinujme si posloupnost B = A c, B i+ = A c i+ \ Ac i. Potom B i jsou disjunktní, B i = Ω a P ( B i) = P (ω) = a z toho P (B i) =. Ten si rozložíme na dva součty n P (B i) + i=n+ P (B i) 0 = pro n. Potom P ( n B i) = P ( n Ac i ) = P ( n A i). Z konvergence se toto rovná P (A n ). Víme, že tento výsledek konverguje k, tedy proto P (A n ) 0. Definice 3 (Klasický pravděpodobnostní prostor). Buď Ω neprázdná konečná množina, F = Ω. Definujeme P (A) = A Ω A Ω. Potom (Ω, F, P ) nazýváme klasický pravděpodobnostní prostor. Definice 4 (Diskrétní pravděpodobnostní prostor). Buď Ω neprázdná konečná nebo spočetná množina, F = Ω. Definujeme p : ω R taková, že p(ω) [0, ] ω Ω a ω Ω p(ω) =. Dále definujme P (a) = ω A p(ω). Potom (Ω, F, P ) nazýváme diskrétní pravděpodobnostní prostor. Jev A nastane s P (A) nebo nenastane s P (A c ), jev B nastal. Pomůže nám tato znalost zpřesnit znalost o jevu A? Jestliže B A, potom jev A nastane vždy. Jestliže B A =, jev A nenastane. Jinak se to může chovat všelijak: Definice 5 (Podmíněná pravděpodobnost). Mějme jevy A, B F, P (B) > 0. Definujeme podmíněnou pravděpodobnost jevu A při B jako P (A B) = P (A B) P (B). Podmíněná pravděpodobnost splňuje vlastnosti pravděpodobnosti míry. Pozor, P (A B C) P (A B) + P (A C)! Definice (Nezávislost). Jevy A, B F jsou nezávislé, pokud P (A B) = P (A) P (B). Když jevy A, B jsou nezávislé, potom P (A B) = platit pro tři jevy. P (A)P (B) P (B) = P (A). Tato vlastnost nezávislosti už nemusí Definice 7 (Vzájemná nezávislost). Buďte A i, i I náhodné jevy, I je libovolná indexová množina. A i jsou vzájemně nezávislé, pokud n N i,..., i n I platí n P ( A ij ) = j= n P (A ij ) Věta 3 (O postupném podmiňování). Mějme A,..., A n náhodné jevy (prvky F) takové, že P ( n A i) > 0. Potom n n n P ( A i ) = P (A A i ) P (A A i ) P (A n A n ) P (A n ). i= Důkaz. Matematickou indukcí. První krok pro n = : P (A A ) = P (A A ) P (A ). Nyní pro n n: P ( n A i) = P (( n A i) A n ) = P (A n n A i) P ( n A i). Věta 4 (Inkluze a exkluze). Mějme A,..., A n náhodné jevy. Pak n P ( A i ) = n P (A i ) i j n P (A i A j ) + j= i=3 i j k n n P (A i A j A k ) + ( ) n P ( A i )

3 Důkaz. Matematickou indukcí. První krok pro n = : A = (A \ B) (A B), B = (B \ A) (A B). Proto P (A B) = P (A) + P (B) P (A B). Nyní pro n n: P ( n A i) = P (( n A i) A n ) = P ( n A i) + P (A n ) P ( n (A i A n )) = = n P (A i) i j n P (A i A j ) ( ) n P ( n A i) + P (A n ) i j n P (A i A n ) ( ) n P ( n A i). Nyní dáme dohromady a dostaneme n P (A i) i j n P (A i A j ) ( ) n P ( n A i). Z vlastností množin víme, že ( n A i) C = n AC i a z toho P ( n A i) = P ( n AC i ). Definice 8 (Disjunktní rozklad). Spočetný systém náhodných jevů {B i } F nazveme disjunktním rozkladem Ω, pokud:. B i B j = i j. i B i = Ω (stačilo by P ( i B i) = ). 3. P (B i ) > 0 i Věta 5 (O úplné pravděpodobnosti). Mějme A náhodný jev a {B i } i disjunktní rozklad. Pak P (A) = i P (A B i ) P (B i ) Důkaz. Víme, že {A B i } jsou po dvou disjunktní množiny. Potom i A B i = A i B i = A Ω = A. Potom P (A) = P ( i A B i) = i P (A B i) = i P (A B i) P (B i ). Věta (Bayesova). Mějme A náhodný jev a {B i } i disjunktní rozklad Ω a P (A) > 0. Potom P (B i A) = P (A B i) P (B i ) j P (A B j) P (B j ). Důkaz. Víme, že P (B i A) = P (Bi A) P (A Bi) P (Bi) P (A) = j P (A Bj) P (Bj) využitím věty o úplné pravděpodobnosti. Názvosloví... P (B i ) je apriorní pravděpodobnost, P (B i A) je aposteriorní pravděpodobnost. Příklad. Máme tři zásuvky a mincí, ze kterých jsou 3 zlaté a 3 stříbrné. Do zásuvek náhodně vložíme dvojice ZS, ZZ a SS. Ze zásuvky náhodně vybereme minci náhodně a zjistíme, že je zlatá. Jaká je pravděpodobnost, že i druhá z mincí je zlatá? Označme si B i jako ZZ v zásuvce i. Toto je disjunktní rozklad. Jev A, náhodný výběr mince ze zásuvky, nastal. Potom P (A B ) = 4, P (A B ) =, P (A B 3 ) = 4. Spočítejme tedy P (B A) = P (A B) P (B) = 3 P (A Bi) P (Bi) = 3! Věta 7 (Bonferroniho nerovnost). Mějme A,..., A n náhodné jevy. Pak n P ( A i ) n ( P (A i )) Důkaz. P ( n A i) = P (( n A i) C ) = P ( n AC i ) n P (AC i ) = n ( P (A i)). Náhodné veličiny a jejich rozdělení Definice 9. Mějme (Ω, F, P ) pravděpodobnostní prostor. Zobrazení X : Ω R takové, že X (, a] = {ω, X(ω) a} F a R se nazývá Náhodná veličina. Dohoda o značení. [X A] se bude myslet jako {ω, X(ω) a}. Definice 0 (Rozdělení náhodné veličiny). Buď X : Ω R náhodná veličina. Pravděpodobnostní míra P X definovaná na R předpisem P X (, a] = P [X a] se nazývá rozdělení náhodné veličiny X. Definice. Označme B nejmenší σ-algebru na R obsahující všechny intervaly (, a]. Nazýváme ji Borelova (nebo borelovská). B obsahuje všechny otevřené i uzavřené množiny. U této množiny poté platí B B : X (B) F, P x (B) = P [X B]. 3

4 Náhodná veličina X nám tedy zobrazuje (Ω, F, P ) (R, B, P X ). Nabývá-li X jen spočetně mnoha hodnot (X(ω) S ω, S je spočetná podmnožina R), potom X splňuje podmínky z definice 9 a X nazveme diskrétní náhodnou veličinou a typicky lze volit S = N. Rozdělení diskrétní náhodné veličiny X je plné charakterizováno souborem čísel {p i }, p i 0, i p i = a P X (A) = i A p i. Příklad. Rozdělení diskrétní náhodné veličiny můžou být:. Alternativní (Bernoulliho). X nabývá {0, }, P [X = ] = P x ({}) = p (0, ) a P [X = 0] = p. Binomické. Rozdělení počtu úspěchů do n nezávislých pokusů. P [X = k] = ( ) n k p k ( p) n k 3. Geometrické. Počet neúspěchů před prvním úspěchem v nezávislých pokusech. P [X = k] = p( p) k Pro jaké množiny A R umíme najít P X?. (, a]. (a, b], a < b = (, b] \ (, a] 3. (a, b) = n= (a, b n ] 4. Všechny otevřené množiny 5. A B X F pro všechny A B, X je Borelovsky měřitelná Definice (Náhodné jevy generované X). Mějme X náhodnou veličinu, označme množinu F X takovou, že F X = {B : B = X (A) pro nějakou A B}. F x je také σ-algebra náhodných jevů generovaných v X. F X je σ-algebra a F X F. Potom P X (A) = P [X A] = P (X (A)) FX. Levá strana je míra na (R, B), pravá strana je míra na (Ω, F). Příklad. Mějme Ω = {,, 3, 4, 5, }. Dále F = Ω a P ({ω}) = 3. Nadefinujme si X : (ω, ω ) ω. Potom x {,, 3, 4, 5, }. Podívejme se na X () = {(, ), (, ),..., (, )}. Podobně X () = {(, ), (, ),..., (, )}. Z toho je vidět, že X jsou navzájem disjunktní. A proto F x F a P X () =. Nyní si nadefinujme Y : (ω, ω ) ω + ω. Potom Y () =, dále Y () = {(, )} a tak dále. Tyto náhodné veličiny jsou různé a F X F Y. Na jednom pravděpodobnostním prostoru tedy můžeme definovat více různých modelů. Definice (Distribuční funkce a hustota). Mějme náhodnou veličinu X a P X její rozdělení. Funkce F X : R (0, ) definovaná jako F X (x) = P X [, x] = P [X x] se nazývá distribuční funkce náhodné veličiny X a plně popisuje P X. V angličtině cummulative distribution function C.D.F. Je-li X diskrétní náhodná veličina (s hodnotami v N 0 ), potom funkci p X (k) takovou, že p X (k) = P [X = k] nazveme hustotou náhodné veličiny X vůči aritmetické míře. V angličtině probability density function P.D.F. Příklad. Mějme alternativní rozdělení. Potom P [X = ] = p = P [X = 0]. Potom hustota má tvar p X (0) = p, p X () = p. Distribuční funkce má tvar 0 x ( infty, 0) F X (x) = p x [0, ) x (, ) Obecně má F X (a) pro diskrétní náhodnou veličinu X tvar a k=0 p X(k) pro a 0, p x (k) je F x (k) F x (k ) pro k N 0. Věta 8 (Vlastnosti distribuční funkce). Mějme náhodnou veličinu X a její distribuční funkci F X. Pak. lim x F X (x) = 0. lim x F X (x) = 3. F X je neklesající a zprava spojitá 4

5 Důkaz. Nejprve ukážeme, že F X je neklesající. Z definice F X (x) = P [X x] P [X x] + P [x < X y]. Tyto dva jevy jsou disjunktní. Proto se předchozí výraz rovná P ([X x] [x < X y]) = P [X y] = F X (y). Podobně to platí pro F X (x) = P X (, x] P X (, x) + P X (x, y] = P X (, y) = F X (y). Nyní ukážeme. Z definice distribuční funkce lim x F X (x) = lim x P X (, x]. Z monotonie můžeme tento výraz přepsat jako lim n P X (, n] = lim n P [X n]; nazvěme [X n] = A n. Je vidět, že A n A n+. Podle věty dostaneme n= A n =. Platí tedy, že lim n P (A n ) = 0. Nyní. Podobně lim x + F X (x) = lim n F X (n) = lim n P X (, n) = lim n P [X n] = B n. Vidíme, že B n B n+ a n= B n = Ω. Podle věty se limita rovná. Nakonec ukážeme spojitost zprava. lim h 0 + F X (f + h) = lim n P x (, x] + P X (x, x + n ] = F X(x) + lim n P X (x, x + n ) = F X(x). Věta 9. Nechť F splňuje vlastnosti z věty 8. Pak existuje pravděpodobnostní prostor (Ω, F, P ) a náhodná veličina X takové, že F je distribuční funkcí na veličině X. Důkaz. Kanonickou konstrukcí. Volme Ω = R, F = B a P jako míru na B definovanou předpisem P (, x] = F (x). Nyní musíme umět zadefinovat P ( a, b) = F (b ) F (a). Tímto se dostaneme na míru na B. Spojitost P je důsledkem spojitosti zprava F. Nyní zvolíme X : Ω R takové, že x(ω) = ω. Potom F X (a) = P [X a] = P (, a] = F (a). Definice 3 (Nezávislost náhodných veličin). Mějme X, X,... náhodné veličiny definované na (Ω, F, P ). Nazveme je vzájemně nezávislými, pokud pro každou konečnou I N a každé {x i } i I platí P ( i I [X i x i ]) = i I P [X i x i ]. 3 Střední hodnota a další momenty Snahou je najít číselné charakteristiky, které vypovídají o chování náhodné veličiny, jelikož samotná náhodná míra nám moc neřekne. Definice 4 (Střední hodnota, obecná definice). Buď X náhodná veličina (definovaná na (Ω, F, P )). Hodnotu EX = X(ω) dp (ω), existuje-li výraz napravo, nazveme střední hodnotou X. Ω Definice. Buď S nejvýše spočetná množina taková, že P [X S] =. Pokud navíc p X (s) = P [x = s] > 0 s S, pak S nazveme nosičem P X. Věta 0 (Střední hodnota diskrétní náhodné veličiny). Buď X diskrétní náhodná veličina s hodnotami v S. Pak EX = sp [X = s] = sp X ({s}) = sp X (s) MLPSS s S s S s S Důkaz. Využijeme definici: EX = Ω X(ω) dp (ω). Množinu Ω si rozdělíme na s S {ω : X(ω) = s} = A s. Tyto množiny A s jsou navzájem disjunktní a je jich spočetně mnoho. As X(ω) dp (ω) = s S A s X(ω) dp (ω) = s S s A s dp (ω) = s S s Ω χ A s (ω) dp (ω) = s S sp (A s) = s S sp [X = s]. Příklad. Zkusme najít funkci p X (s), s Z takovou, že:. p X (s) 0. s Z p X(s) = 3. s>0 sp X(s) =, s<0 sp X(s) = Pro tuto funkci neexistuje střední hodnota, jelikož máme nedefinovanou sumu ( ). Pokud EX existuje a je konečná, pak mluvíme o náhodné veličině s konečnou střední hodnotou. Pokud P [X b] = pro b konečnou konstantu, pak EX existuje a je > b (analogicky pro P [X b]). Pokud a, b konečné a P [a X b] =, pak EX existuje konečná a a EX b. Můžeme definovat E X = Ω X(ω) dp (ω), která existuje vždy. Pokud E X <, pak X L a v tom případě existuje EX <. Střední hodnota charakterizuje polohu X (P X ). Mějme a, b reálné a transformaci X a + bx. Potom E(a + bx) = s (a + bs)p X(s). Pokud EX <, můžeme toto přepsat jako s ap X(s) + s bsp X(s) = a + bex. Dá se tedy říct, že v tomto případě se EX chová lineárně. 5

6 Definice 5 (Obecné momenty náhodné veličiny). Buď X : Ω R náhodná veličina a g : R R funkce taková, že g(x) je náhodná veličina. Pak Eg(x) = g(x(ω)) dp (ω) Ω MLPSS. Pro diskrétní náhodné veličiny potom Eg(x) = s S g(s)p [X = s] MLPSS. Definice. Buď X náhodná veličina. Pak. pro r N EX r je r-tý moment X.. E X r je r-tý absolutní moment X. Také pro E x r < máme X L r. 3. pro r N E(X EX) r je r-tý centrální moment X. 4. pro r = máme var x = E(X EX) rozptyl (variance) X. 5. µ 3 = E(X EX)3 (E(X EX) ) 3 je šikmost rozdělení, měří asymetrii.. Momentová vytvořující funkce Ψ X (t), t R je Ψ X (t) = Ee tx MLPSS. Vždy existuje minimálně Ψ X (0) =. Poznámky ohledně momentů:. Pokud r > t a E X r <, pak E X t <.. Jak spočítat rozptyl... var X = s S (s EX) P [X = s]. Nebo také var X = E(X X EX + (EX) ) = EX E(X EX) + E(EX) = EX (EX). Nebo také var X = E(X(X )) EX(EX ). 3. var X 0. Pokud var X = 0, potom s = EX, p X (EX) =, tedy P [X = EX] =. Věta (momenty a ψ X ). Buď X náhodná veličina a ψ X její momentová vytvořující funkce. Nechť δ > 0 takové, že ψ X (t) existuje konečná t < δ. Pak r N EX r = ψ (r) X (0). Důkaz. V knize Pravděpodobnost a matematická statistika (Dupáč, Hušková). Věta (M.v.f a charakterizace rozdělení). Nechť X a Y jsou náhodné veličiny. Nechť δ > 0 tak, že:. ψ X (t), ψ Y (t) existuje konečné t < δ. ψ X (t) = ψ Y (t) t < δ Pak P X = P Y Věta 3 (Jensenova nerovnost). Buď X náhodná veličina s konečnou střední hodnotou EX. Buď ϕ konvexní funkce. Pak Eϕ(x) ϕ(ex). Důkaz. Pro ϕ C. Potom můžeme použít Taylorův rozvoj. Tedy ϕ(x) = ϕ(ex) + ϕ (EX)(X EX) + ϕ (c) (X EX). Použijeme střední hodnotu. Dostáváme Eϕ(x) = ϕ(ex) + ϕ (EX) E(X EX) =0 + ϕ (c) var X ϕ(ex). Důkaz podle Matěje Konečného. Z definice konvexity máme ϕ(x) ϕ(ex) + ϕ (EX) (X EX), a protože očekávaná hodnota zachovává nerovnosti, tak použitím E na tuhle nerovnost dostaneme přesně to, co chceme. Věta 4. Nebyla přednesena.

7 4 Náhodné vektory a jejich rozdělení Definice 7 (Náhodný vektor). Zobrazení X : Ω R d, kde (Ω, F, P ) je pravděpodobnostní prostor, d N, d takové, že {ω : X(ω) a} F a R d nazveme náhodný vektor. Diskrétní náhodný vektor nabývá nejvýše spočetně mnoha hodnot. Neřekneme-li jinak, budou tyto hodnoty vždy podmnožinou N d 0. Definice 8. Buď X d-rozměrný náhodný vektor. Pravděpodobnostní míra P X definovaná na R d předpisem P X ( d (, a i]) = P [X a] a R d = P ( d [X i a i ]) nazveme rozdělení náhodného vektoru. Věta 5 (Rozdělení diskrétní náhodné veličiny). Buď X diskrétní náhodný vektor a P X jeho rozdělení. Pak existuje funkce p X : N d [0, ] jednoznačně daná taková, že d P X ( a i ]) = (, p X (z) z a Definice 9 (Distribuční funkce náhodného vektoru). Buď X náhodný vektor a P X jeho rozdělení. F X : R d [0, ] definovaná jako F X (a) = P [X a] se nazývá distribuční funkce náhodného vektoru X. Definice 0 (Marginální rozdělení). Buď X náhodný vektor a P X jeho rozdělení takové, že P Xi (, a] = lim aj,j i P X (Xj= d (, a j]) se nazývá marginální rozdělení X i a F Xi = lim aj,j i F X (a) se nazývá jeho marginální distribuční funkce X i. Vezměme si, X : Ω R d. Potom X = (X, X,..., X d ), kde Terminologie. P X, F X jsou sdružené rozdělení, distribuční funkce, zatímco P Xi, F Xi jsou marginální rozdělení. Nemáme však speciální termín pro P (X,X,X 8) subvektor. Věta (O Marginálním rozdělení). Máme-li náhodný vektor X a jeho rozdělení P X, pak marginální rozdělení složek X,..., X d jsou jednoznačně určeny P X. Naopak ne! Příklad. Hoďme dvěma kostkami. Jejich výsledky jsou A, B. Dále mějme C = A pro B sudé a C = A + pro B liché. Zapišme si je do tabulky: A\ B A\ C /3 /3 /3 /3 /3 /3 /3 /3 /3 /3 /3 /3 3 /3 /3 /3 /3 /3 /3 4 /3 /3 /3 /3 /3 /3 5 /3 /3 /3 /3 /3 /3 /3 /3 /3 /3 /3 /3 / / / / / / 0 / / / 0 / / 0 / / 0 / / 0 / / / 0 / / / / / / Vidíme, že pro náhodné vektory (A, B) a (A, C) jsou jejich marginální rozdělení stejná, ale uvnitř se chovají úplně jinak. Zaveďme si značení: a < b právě, když a i < b i i =,..., d. Dále nechť k (a, b) je množina těch c, pro které existuje právě k indexů i, i,..., i k takových, že c ij = a ij a pro zbytek indexů je c l = b l. Tedy například pro a = (a, a, a 3 ), b = (b, b, b 3 ) je (a, b) = {(a, b, b 3 ), (b, a, b 3 ), (b, b, a 3 )}. Věta 7 (Vlastnosti distribuční funkce). Buď F X sdružená distribuční funkce náhodného vektoru X. Pak: lim ai F X (a) = 0 pro libovolné i. lim ai F X (a) = pro každé i. V každé složce argumentu je F X zprava spojitá a neklesající a < b platí d k=0 ( )k c k(a,b) F X(c) 0 Podívejme se na čtvrtou podmínku pro a = (a, a ), b = (b, b ). Pak tato podmínka říká, že pro a < b platí, že (b, b ) ((a, b ) + (b, a )) + (a, a ) 0. Jedná se tedy o výřez na boxu (a, b ) (a, b ). Věta 8 (Charakterizace distribuční funkce). Nechť F : R d R splňuje vlastnosti z věty 7. Pak existují (Ω, F, P ) a X : Ω R d takové, že F je distribuční funkcí X. Důkaz. Stejně, jako u věty 9. 7

8 Náhodné veličiny X,..., X d jsou nezávislé, když A,..., A d B platí P ( d [X i A i ]) = d P [X i A i ]. Věta 9 (Charakterizace nezávislosti). Buď X = (X,..., X d ) náhodný vektor a F X jeho sdružená distribuční funkce. Pak X,..., X d jsou nezávislé náhodné veličiny, pokud a,..., a d R platí F X (a,..., a d ) = d F Xi (a i ). Pro diskrétní náhodný vektor je nezávislost X,..., X d ekvivalentní tomu, že p X (a,..., a d ) = d p X i (a i ). 5 Náhodné vektory a momenty Definice (Střední hodnota náhodného vektoru). Buď X náhodný vektor. Potom definujeme:. EX = (EX,..., EX d ). Nechť g : R d R (taková, že g(x) je náhodná veličina). Pak definujeme Eg(X) = g(x(ω)) dp (ω), Ω pokud všechny integrály existují. Je-li X diskrétní, pak Eg(X) = z N g(z)p [X = z], existuje-li řada napravo. d 0 Když si vezmeme funkci g i : R d R, která splňuje g i (X) = X i, potom Eg i (X) = EX i. Věta 0 (Linearita střední hodnoty). Buď X = (X,..., X d ) náhodný vektor a konstanty a R, b,..., b d R a E X i < i. Pak ( ) d d E a + b i X i = a + b i EX i. Důkaz. Jen pro diskrétní náhodný vektor, indukcí. Vezměme si (X, X ) a a, b, b. Potom E(a + b X + b X ) = z N (a + b d z + b z )P [X = z, X = z ] = 0 z N ap [X d = z, X = z ] + 0 z N b d z P [X = z, X = z ] + 0 z N b d z P [X = z, X = z ]. 0 Pro první sumu platí, že z N ap [X d = z, X = z ] = a. 0 Pro druhou sumu dostaneme z N b d z P [X = z, X = z ] = 0 z =0 z b =0 z P [X = z, X = z ] = z b =0 z P [X = z, X = z ]. Můžeme použít větu 5, kde z [X =0 = z ] = Ω. Nakonec se suma bude rovnat b z z =0 P [X = z ] = b EX. Analogicky pro třetí sumu. Celá suma se tedy nakonec rovná a + b EX + b EX. Takto můžeme indukcí projít všechny dimenze. Poznámka. Předpoklad X = (X,..., X d ) je náhodný vektor a zaručuje, že X,..., X d jsou definované na stejném pravděpodobnostním prostoru a mají sdružené rozdělení P X = P (X,...,X d ). Věta (Střední hodnota součinu). Buď X = (X,..., X d ) náhodný vektor, E X i < i. Jsou-li X,..., X d nezávislé, pak d d E X i = EX i. Důkaz. Jen pro diskrétní náhodný vektor, indukcí. Postup podobný, jako u předchozí věty. Máme (X, X ). Potom EX X = z N z d z P [X = z, X = z ] = 0 z N z d P [X = z, X = z ] 0 z P [X = z, X = z ]. Máme tedy součet z =0 z z =0 P [X = z, X = z ] z P [X = z, X = z ]. Díky nezávislosti se tato suma rovná z z =0 P [X = z, X = z ] z z =0 P [X = z, X = z ] = EX EX. Dříve jsme zjistili, že X, X jsou nezávislé právě, když F (X,X )(X,X ) = F X (X )F X (X ). Nyní díky větě víme, že X, X jsou nezávislé EX X = EX EX. Opačná implikace však obecně neplatí. Postačí si představit náhodné veličiny X = {, 0, }, Y = {, }, pro které platí: EX X = 0, EX = 0. Tedy EX X = EX EX. Samotné pravděpodobnosti ale jsou P [X = ] = 3, P [Y = ] = 3. Avšak P [X =, Y = ] = 0 9. Nejsou tedy nezávislé. Definice (Kovariance náhodných veličin). Buď (X, X ) náhodný vektor takový, že var X <, var X <. Definujeme kovarianci cov(x, X ) = E(X EX )(X EX ). 8

9 Co tato kovariance znamená? X EX, X EX je odchylka od střední hodnoty. (X EX )(X EX ) je kladné, když násobíme odchylky stejného znaménka, či záporné, když odchylky mají různé znaménko. Dále tento součin říká, jak jsou obě veličiny daleko. Co se stane, když si vezmeme E(X EX )(X EX )? Pokud je kladná, můžeme očekávat, že obě hodnoty budou růst. Například u vysokého člověka můžeme očekávat, že bude mít i vysokou hmotnost. Když je záporná, je tomu naopak. Jak se dá kovariance počítat? Můžeme využít přímou definici. Ta však není moc pohodlná. Podobně jako pro rozptyl můžeme tento vzoreček zjednodušit: E ( (X EX )(X EX ) ) = E(X X X EX X EX + EX EX ). Díky větě 0 můžeme tento výraz rozepsat jako EX X E(X EX ) E(X EX ) + E(EX EX ) = EX X EX EX. Důsledkem věty je, že nezávislé X, X mají nulovou kovarianci. Platí, že cov(x, X ) = var X a kovariance je symetrická. Věta (Rozptyl součtu náhodných veličin). Buď X = (X,..., X d ) náhodný vektor, var x i < i. Pak ( d ) var X i = d var X i + i j d cov(x i, X j ) = Speciálně, jsou-li X,..., X d nezávislé, pak ( d ) var X i = d var X i + d var X i. ( d Důkaz. Podle definice rozepíšeme a postupnou úpravou: var ) E ( d (X i EX i ) + i<j d (X i EX i )(X j EX j ) X i Příklad. Mějme X, X nezávislé, kde σ = var X = var X. Podle věty :. var(x + X ) = var X + var X = σ. var(x X ) = var X + var X = σ 3. var(x + X ) = var X + var X + cov(x, X ) = 4 var X = 4σ 4. var(x X ) = var X + var X cov(x, X ) = 0 ) i<j d cov(x i, X j ). ( d ( = E X d i E i)) X = = d var X i + i<j d cov(x i, X j ). Již umíme spočítat cov(x i, X j ). Představme si, že Z i = 000X i (kg g). Potom ale získáváme rovnost cov(z i, X j ) = 000 cov(x i, X j ), což je mnohem vyšší číslo. Chtěli bychom tedy, aby kovariance byla bezrozměrná, tedy chceme ϕ(x) : ϕ(ax) = a ϕ(x). Potom cov(ax,by ) ϕ(ax)ϕ(by ) = cov(x,y ) ϕ(x)ϕ(y ). Definice. Korelací nazveme corr(x, Y ) = cov(x,y ) var X var Y. Definice 3 (Varianční a korelační matice). Buď X = (X,..., X d ) náhodný vektor, var X i < i =,..., d. Potom varianční matice je Var X = {cov(x i, X j )} i,j a korelační matice je Corr X = {corr(x i, X j )} i,j. Varianční matice Var X má díky definici na diagonále právě var X i. Podobně korelační matice má na diagonále samé jedničky. Značení. corr(x, Y ) = ρ X,Y var X = σ X cov(x, Y ) = σ X σ y ρ X,Y EX = µ X 9

10 Věta 3 (Vlastnosti kovariance a korelace). Buďte X náhodný vektor s variační matici Var X (existuje, konečné prvky). Dále mějme X, Y náhodné veličiny s konečným rozptylem. Potom:. corr(x, Y ), corr(x, X) =. corr(x, Y ) = a 0, b R : X = ay + b 3. cov(ax + c, by + d) = ab cov(x, Y ) 4. corr(ax + c, by + d) = sgn(ab) corr(x, Y ) 5. jsou-li X, Y nezávislé, cov(x, Y ) = 0. Var X, Corr X jsou symetrické pozitivně semidefinitní 7. A R l d, B R l, X R d : Var(AX + B) = A(Var X)A T Důkaz. Jen některé body.. Máme vlevo E((X EX)(Y EY )), vpravo E(X EX) E(Y EY ). Pro diskrétní náhodné veličiny získáváme vlevo u v (u EX)(v EY )P [X = u, Y = v], vpravo ( u v (u EX) P [X = u, Y = v] u v (v EY ) P [X = u, Y = v] ). Nyní využijeme Cauchyho-Schwarzovy nerovnosti. Díky ní poté platí, že levá strana pravá strana. Pro integrály existuje zobecnění zvané Hölderova nerovnost z ní plyne platnost pro všechny náhodné veličiny X, Y s konečnými rozptyly.. Je-li X = ay +B, pod ze bodu 3 a 4 získáváme, že corr(x, Y ) = corr(ay +B, Y ) = sgn(a) corr(y, Y ) = ±. Naopak, je-li corr(x, Y ) =, pak C-S nerovnost vychází jako rovnost a to je možné jen, pokud X = ay + b. 3. Přímo z definice E((aX + c E(aX + c))(by + d E(bY + d))) = E((aX + c aex))(by + bey )) = ab E((X EX)(Y EY )) 4. Víme, že var(ax) = a var X a var(by ) = b var Y. Potom ab cov(x,y ) = cov(x,y ) a var Xb var Y var X var Y. a R d : a T Var Xa 0. Po rozepsání a T Var Xa = d d j= a ia j cov(x i, X j ) = d var(a ix i ) + i<j d cov(a ix i, a j X j ) = var(a T X) 0. Podobně Corr X = B Var XB T, kde B i,i = (var X i ). Potom a t Corr Xa = a T B var XB T a Máme AX. Víme var a t X = a T var Xa. Podobně, jako u předchozího bodu cov(a T X, b T Y ) = a T Var Xb. Korelace tedy měří míru linearity závislosti X a Y. Důsledkem sedmého bodu je, že cov( k X i, l j= Y j) = k l j= cov(x i, Y j ) a cov(x + Y, Z) = cov(x, Z) + cov(y, Z). Tedy kovariance je bilineární forma. Řekněme, že corr(x, y) =. Potom Corr(X, Y ) = ( ) ( var X, Var(X, Y ) = var X var Y ) var X var Y var Y Po vynásobení Var(X, Y ) vektorem ( Var Y, var X) dostaneme nulový vektor, tedy matice je singulární. Proto u, v 0 taková, že (u, v) T Var(X, Y )(u, v) = 0, tedy var(ux + vy ) = 0, neboli ux + vy je konstanta. Tím jsme jinak dokázali implikaci v bodu věty 3. Definice 4. Náhodné veličiny X, Y takové, že cov(x, Y ) = 0 nazveme nekorelované. Víme, že když jsou X, Y nezávislé, pak jsou X, Y nekorelované. Naopak to však obecně neplatí! Dobrým příkladem, proč to neplatí, jsou náhodné veličiny X, Y, kde Y = X. 0

11 Transformace Asi nejčastější transformace, kterou používáme, je X d X i. Transformace je tedy zobrazení ϕ : R d R l. My potřebujeme, aby ϕ(x) byl opět náhodný vektor, který splňuje definici 7. Mějme tedy vektor Y = ϕ(x). Jaké má tento vektor rozdělení? Věta 4. Buď X d-rozměrný náhodný vektor a ϕ : R d R l (slušně vychovaná) funkce. Potom Y = ϕ(x) s distribuční funkcí ( ( l )) F Y (u) = P X ϕ u i ]. (, Je-li X diskrétní náhodný vektor, pak Y je též diskrétní náhodný vektor a P [Y = u] = P [X = v] v:ϕ(v)=u Máme tedy dva náhodné vektory X : Ω R d a Y : Ω R l takové, že Y = ϕ(x). Nás zajímá F Y (u) = P ({ω : Y (ω) u}) = P ({ω : Y (ω) A}) = P ({ω : X(ω) ϕ (A)}) = P X ( ϕ (A) ), kde A = d (, u i]. Věta 5 (Rozdělení součtu a součinu diskrétního náhodného vektoru). Buďte X, Y diskrétní náhodné veličiny (na stejném (Ω, F, P )), pak:. Z = X + Y je také diskrétní náhodná veličina a platí P [Z = v] = u P [X = u, Y = v u].. Pokud jsou X, Y kladné (tedy P [X > 0] = P [Y > 0] = ), pak V = XY je také kladná diskrétní náhodná veličina a P [V = z] = u P [X = u, Y = z u ]. pro obecné d.n.v je třeba dát pozor na ab = (a)( b) a 0b = a0 = 0. Důkaz. Podle věty o úplné pravděpodobnosti P [Z = v] = u P [Z = v, X = u] = u P [X = u, X + Y = v] = u P [X = u, Y = v u]. Druhý bod analogicky. Pro více, než dvě veličiny můžeme postupovat indukcí. Věta (Momentová vytvořující funkce součtu). Buďte X,..., X n součet. Pak n ψ Y (t) = ψ Xi (t). nezávislé náhodné veličiny a Y jejich Důkaz. Z nezávislosti plyne, že ψ Y (t) = Ee ty = Ee t X i = E e txi. Z nezávislosti poté máme ψ Xi (t). Mějme náhodný vektor X a Y = ϕ(x). Chceme znát EY. Můžeme třeba určit rozdělení Y a pak počítat střední hodnotu podle definice. Toto však nemusí být jednoduché. Druhá možnost Eg(Y ) = Eg(ϕ(X)) = Eh(X). Poté není třeba určovat rozdělení, je však potřeba najít h. Příklad. Mějme Y = d X i. Najít rozdělení součtu může být těžké a lze v něm nadělat spoustu chyb. Avšak E d X i je vždy d EX i, a to díky linearitě střední hodnoty (věta 0). Absolutně spojité náhodné vektory Definice 7,TODO[8,9,0] zde stále platí. Definice 5 (Absolutně spojitý (AC) náhodný vektor). Náhodný vektor X = (X,..., X d ) je absolutně spojitý (nebo jeho rozdělení je absolutně spojité), existuje-li nezáporná funkce f : R d R taková, že F X = f(t,..., t d ) dt d... dt Funkce f se nazývá sdruženou hustotou rozdělení X.

12 Pro diskrétní náhodný vektor jsme hustotou označovali p X (u) = P [X = u]. Pro AC náhodný vektor však platí P [X = u] = 0 u R d. Pravděpodobnost P [a X b] = a n a b d a d f(t,..., t d ) dt d... dt. Zhruba řečeno f X (u) P [X U(u, δ)]/ U(u, δ), kde U(u, δ) je dostatečně malé okolí u. Jestliže máme f spojitou funkci, která se však nedá zapsat jako integrál, potom náhodné rozdělení definované touto funkcí je singulárně spojité. Takové rozdělení se však chová dost ošklivě. V reálném světě nebude platit, že všechny vektory jsou buďto celé diskrétní, nebo absolutně spojité. Můžou existovat vektory se složkami různých typů, například vektor (X, Y ), kde X je diskrétní veličina, zatímco Y je spojitá. Příklad. Představme si, že máme pozorování směru větru z meteorologie. Nejčastěji vítr fouká směrem na západ. Potom tento náhodný vektor není ani absolutně spojitý (nelze napsat četnost na kružnici jako integrál), ani diskrétní (plocha kružnice je nulová). Věta 7 (Marginální rozdělení AC náhodného vektoru). Buď X = (X,..., X d ) AC náhodný vektor se sdruženou hustotou f X. Pak marginální distribuční funkce F Xi je daná kde F Xi (t) = t }{{} i-tý t f(u,..., u d ) du d... du = f Xi (u) du f Xi (u i ) = f(u,..., u i, u i, u i+,..., u d ) du d... du i+ du i... du }{{} d integrálů je marginální hustota náhodné veličiny X i. Důkaz. Podle definice marginální funkce F Xi (t) = lim tj,j i F X (t,..., t d ). Podle definice AC vektoru je to t dále rovno lim tj,j i t i ti ti+ t d f X neklesající v t j omezena shora. Tedy lim F X (t) =. Potom t t f X = f X (u,..., u d ) du d... du i+ du i... du du i } {{ } 0 Věta 8 (Nezávislost AC). Buď X = (X,..., X d ) AC náhodný vektor se sdruženou hustotou f X. Pak náhodné veličiny X,..., X d jsou nezávislé právě tehdy, když f X (a) = d f Xi (a i ) a = (a,..., a d ) R d Důkaz této věty vychází ze vztahu hustoty a rozdělení. Náhodné rozdělení, distribuční funkci i hustotu umíme mezi sebou vyvodit. Také umíme vyvodit marginální distribuční funkci, naopak však ne. Věta 9 (Momenty AC náhodného vektoru). Buď X = (X,..., X d ) AC náhodný vektor se sdruženou hustotou f X a g : R d R. Pak Eg(X) = g(u,..., u d )f X (u,..., u d ) du d... du pokud tento integrál existuje. Speciálně pro g(x) = X je Eg(x) = u f X (u,..., u d ) du d... du = u f X (u ) du.

13 Transformace Věta 30 (Konvoluce). Buď (X, Y ) AC náhodný vektor s hustotou f (X,Y ). Pak Z = X + Y je AC náhodná veličina a platí f Z (t) = Tato věta je v podstatě spojitá verze diskrétního součtu. f (X,Y ) (x, t x) dx Důkaz. Chceme najít P [Z z] = P [X + Y z] = P [(X, Y ) H] kde H je polorovina rozdělená přímkou Z = X + Y. To se rovná H f (X,Y )(u, v) dvdu = z u f (X,Y )(u, v) dvdu = F z (z). Využijme vztahu distribuční funkce a hustoty: F Z (z) = z f(z)(t) dt. Využijme vztah f Z(z) = F Z (z), který ale ne nutně pro všechny z platí, jelikož F z nemusí být derivovatelná. Těchto problematických bodů však není mnoho a v nich můžeme f dodefinovat podle potřeby. Potřebujeme tedy najít z u z f (X,Y )(u, v) dvdu. Tato derivace se prvního integrálu nedotýká, dostáváme se tedy na ( ) z u z f (X,Y )(u, v) dv du. Vnitřek můžeme zderivovat, kde získáme f (X,Y ) (u, z u). Dostáváme tedy výraz ve větě. Věta 3 (Hustota podílu a součinu). Buď (X, Y ) AC náhodný vektor s hustotou f (X,Y ) a nechť P [Y > 0] =. Pak V = X Y je AC náhodná veličina s hustotou f V (v) = Dále W = XY je AC náhodná veličina s hustotou f W (w) = f (X,Y ) (vy, y) y dy. f (X,Y ) ( w y, y) y dy. Důkaz. Chceme najít P [V v] = P [ X Y v] = P [X vy ] = P [(X, Y ) H] kde H je polorovina rozdělená přímkou x = vy. Postupujme tedy podobně, jako u předchozího důkazu. Derivováním vnitřního integrálu tentokrát dostaneme F (X,Y ) (vy, y) y = (vy) y. Hustotu součinu dostaneme přímým dosazením obrácené hodnoty Y do podílu. Normální rozdělení (taky Gaussovo, či po Germánsku Gaußovo) Zapisuje se X N(0, ) (X má normální rozdělení s parametry 0 a ). f(x) = π e x. Dále vezměme si Y = µ + σx, potom f Y (y) = (y µ) e σ πσ. Dále EY = µ, var Y = σ. Pokud máme Z N(µ, σ ), potom normované či standardní rozdělení je Z µ σ N(0, ). Mnohorozměrné normální rozdělení. Mějme X, Y N(0, ), které jsou navzájem nezávislé. Potom f X,Y = π e x +y.. Mějme X N(ν, σ) a Y N(µ, σ), které jsou nezávislé. f X,Y = exp π σ σ ( ) σ Dále Var(X, Y ) = 0 = Σ. 0 σ Potom det Σ = σσ a Σ je nějaká kvadratická forma, tedy ( f X,Y (x, y) = π det Σ exp ) (x µ, y µ ) T Σ (x µ, y µ ). Tato hustota lze definovat pro libovolnou Σ = µ, EY = µ, var X = σ, var Y = σ, corr(x, Y ) = ρ. ( σ ρσ σ ρσ σ σ ( (x µ) σ ) (y µ). σ ) symetrickou pozitivně definitní. Potom EX = Tato definice lze zobecnit na d rozměrů. Mějme Σ d d symetrickou pozitivně definitní, µ R d. Potom f X (u) = (π) d exp{ det Σ (u µ)t Σ (u µ)}. V tomto náhodném vektoru je potom Var X = Σ, EX = µ. Každé marginální rozdělení bude také odpovídat normálnímu rozdělení. Normální rozdělení je jediné absolutně spojité rozdělení, kde platí, že když (X, Y ) N (... ) a cov(x, Y ) = 0, X, Y jsou nezávislé. 3

14 7 Podmíněné rozdělení a podmíněná střední hodnota Definice (Podmíněné rozdělení diskrétního náhodného vektoru). Buď X = (Y, Z) diskrétní náhodný vektor (s hodnotami v N 0). Pak pro každé n N 0 takové, že P [Z = n] > 0 definujeme podmíněné rozdělení Y za podmínky Z = n: P [Y = k, Z = n] P [Y = k Z = n] =. P [Z = n] Podmínku Z = n chápeme jako další informaci o chování náhodné veličiny Y, dává nám na něj přesnější pohled, platí-li podmínka. Příklad. Mějme mincí a jednu kostku. Hodíme kostkou a podle výsledku hodíme odpovídající počet mincí. Jaká je pravděpodobnost, že nepadne žádný líc? Jaké je rozdělení počtu líců? Víme, že počet líců je 0,...,. To však nedokážeme spočítat přímo, musíme vždy spočítat rozdělení za podmínky hození kostkou. Definice 7 (Podmíněná střední hodnota). Buď X = (Y, Z) diskrétní náhodný vektor takový, že. P [Z = n] > 0. Eg(Y, n) < pro zvolenou funkci g. Pak definujeme Eg(Y, Z Z = n) = k=0 g(k, n)p [Y = k Z = n]. Speciálně, pokud E Y <, potom E(Y Z = n) = k=0 kp [Y = k Z = n]. a zveme toto podmíněnou střední hodnotu g(y, Z) za podmínky Z = n. Věta 33 (O úplné střední hodnotě). Buď X = (Y, Z) diskrétní náhodný vektor a EY existuje konečná. Pak EY = n E[Y Z = n]p [Z = n] pro ta n, pro které P [Z = n] > 0. Důkaz. Začněme s pravou stranou. n E[Y Z = n]p [Z = n] = n k=0 kp [Y = k Z = n]p [Z = n] = n k=0 kp [Y = k, Z = n]. Jelikož počítáme s existující EY, můžeme dále pokračovat na k=0 k n P [Y = k, Z = n] = EY. Všimněme si, že podmíněná středí hodnota je konstanta závislá na n a při sečtení všech n dostaneme přímou střední hodnotu EY, která je již konstantní v daném rozdělení. Můžeme si také všimnout, že podmíněná pravděpodobnost nám faktoruje množinu Ω podle hodnoty z. Na této faktorové množině poté můžeme zavést novou náhodnou veličinu se zajímavými vlastnostmi. Definice 8 (Podmíněná střední hodnota jako náhodná veličina). Buď X = (Y, Z) diskrétní náhodný vektor, E Y <. Definujeme náhodnou veličinu E(Y Z) předpisem E(Y Z)(ω) = E(Y Z = n) ω {ω : Z(ω) = n}. Rozdělení této náhodné veličiny je zřejmě P [E(Y Z) = E(Y Z = n)] = P [Z = n]. EY má tuto vlastnost: E(Y EY ) = min a R E(Y a). Střední hodnota je tedy nejlepší konstanta, která reprezentuje nejmenší čtvercovou chybu. Na množině {ω : Z(ω) = n} platí E(Y E(Y Z = n)) = min b R E(Y b). Můžeme tedy najít ještě lepší konstantu, než EY, reprezentující tuto informaci. Věta 34. Buď X = (Y, Z) diskrétní náhodný vektor, E Y <. Pak E(E(Y Z)) = EY. Důkaz. Přímý důsledek věty 33. Poznámka (Podmíněný rozptyl). var(y Z = n) = E ((Y ) E(Y Z = n)) Z = n Definice 9 (Podmíněná hustota). Buď X = (Y, Z) absolutně spojitý náhodný vektor se sdruženou hustotou f Y,Z. Definujme f Y Z (v w) předpisem: f Y Z (v w) = { fy,z (v,w) f Z (w) f Z (w) > 0 0 jinak kterouž funkci nazveme hustotou podmíněného rozdělení Y za podmínky Z = w. 4

15 Nyní pojďme ověřit, že takto definovaná hustota je opravdu hustotou. Marginální hustota f Z = f Y,Z(v, w) dv. Pokud je rovna nule, potom f Y,Z (v, w) = 0. Nyní f Y Z(v w) dv = f Y,Z (v,w) f Z w = f Z(w) f Z (w), kdykoliv f Z(w) > 0. P [Y A, Z B] = A B f Y,Z(v, w) dwdv = A B f Y Z(v w)f Z (w) dwdv = ( B A f Y Z(v w) dv ) f Z (w) dw. Zde můžeme vidět náznaky věty o úplně pravděpodobnosti pro absolutně spojitý náhodný vektor. Definice 30 (Podmíněná střední hodnota). Buď X = (Y, Z) absolutně spojitý náhodný vektor, g : R R taková, že E G(Y, w) <. Pak definujeme E(g(Y, Z) Z = w) = g(v, w)f Y Z(v w) dv a E(Y Z = w) = vf Y Z(v w) dv. 8 Nerovnosti a meze Nerovnosti se hodí k odhadování určování pravděpodobností určitých jevů či veličin. Věta 35 (Markovova nerovnost). Buď X nezáporná náhodná veličina. Potom P [X ε] EX ε ε > 0 Důkaz. [X ε] = P {ω : X(ω) ε} = ω:x(ω) ε dp ω:x(ω) ε X(ω) ε Vždy kladné dp X(ω) Ω ε dp = EX ε. Věta 3 (Markovova nerovnost podruhé). Buď X nezáporná náhodná veličina. Potom Důkaz. Jediná změna oproti předchozímu: X(ω) ε P [X ε] E(Xk ) ε k ε > 0, k > 0 ( ) k X(ω) ε. Jinak stejně. Věta 37 (Čebyševova nerovnost). Buď X náhodná veličina a E X <. Pak Důkaz. Věta 3 použitá na X EX a k =. P [ X EX ε] var X ε Pojďme si na chvíli povídat o náhodných procházkách. Představme si, že jsme zrovna vyšli z hospůdky ve tři ráno a náhodně v ulicích jdeme na sever nebo na jih pár minut. Kam až se můžeme dostat? Za jak dlouho se vrátíme zpět k hospodě, abychom tam strávili čas tentokrát až do rána? Mějme X, X,... nezávislé, jejichž pravděpodobnosti jsou P [X i = ] = P [X i = ] =. Dále mějme S k = var Sn X i. Čebyševova nerovnost říká P [ S n ES n ε] ε. Spočtěme nyní ES k = EX i = 0 a var S k = var S i = var S i = k. Podle nerovnosti tedy dostáváme, že P [ S n ε] n ε. Dále P [ S n n] n 4n 4. Věta 38 (Kolmogorovova nerovnost). Buďte X, X,... nezávislé náhodné veličiny a E X i < i. Pak [ ] k n P max (X i EX i ) k n ε var X i Důkaz. Označme si S k = k (X i EX i ). Potom ES k = 0 a var S k = k var X k díky nezávislosti. Hledáme tedy pravděpodobnost P [max k n S k ε]. Zadefinujme si množinu A k = {ω : S j (ω) < ε, j < k, S k (ω) ε} a S 0 = 0. Můžeme si všimnout, že A k jsou po dvou disjunktní. Rozložili jsme pravděpodobnostní prostor podle prvního překročení ε. Potom P [max k n S k ε] = P [ n k= A k] = n k= A dp = n k k= A k dp n S k= A k (ω) k ε dp. Dále A k Sk (ω) dp = A k (S n S k + S k ) dp = A k (S n S k ) dp + A k (S n S k ) S k dp + A k (S k ) dp. Z toho se podívejme na A k (S n S k ) S k dp = Ω (S n S k )(S k χ Ak )dp = E ((S n S k ) S k χ Ak ). Využijme nezávislosti a toho, že S n S k = X k+ + X k+ + + X n a S k = X + X + + X k a X Ak závisí jen na (X,..., X k ). Tedy celý integrál se rovná E(S n S k )ES k χ Ak = 0. Tedy n k= A k S k (ω) ε dp S n (ω) A k ε ε dp, kde potom můžeme postupovat jako u předchozích nerovností. 5

16 Věta 39 (Chernoffovy meze). Buď X náhodná veličina. Označme ψ X (t) = Ee tx její momentovou vytvořující funkci. Pak ψ X (t) P [X a] min t>0 e ta, P [X A] min ψ X (t) t<0 e ta Důkaz. Pro první mez P [X a] = P [e tx Markovovu nerovnost, tedy P [e tx > e ta ] Eetx e ta Druhá mez analogicky. P [X a] = P [e tx e ta ] Eetx e ta pro t < 0. e ta ] pro t > 0. Dostali jsme nezápornou veličinu, využijeme t > 0. Z toho potom jen vybereme minimu. Definice 3 (Poissonovské pokusy). Buďte X, X,... nezávislé náhodné veličiny takové, že P [X i = ] = p i = P [X i = 0], p i (0, ). Takové pokusy se nazývají nezávislé poissonovské pokusy. Jestliže u poissonovských pokusů bude každé p i = p pro nějaké konstantní p, dostaneme bernoulliovské pokusy. Věta 40 (Horní Chernoffovy meze pro poissonovské pokusy). Buďte X, X,... nezávislé poissonovské pokusy s parametry p, p,.... Označme S n = n X i, µ S = n p i.. Pro δ > 0: ( e δ P [S n ( + δ)µ s ] ( + δ) (+δ) ) µs. Pro 0 < δ : 3. Pro δ > µ s : P [S n ( + δ)µ s ] e µsδ /3 P [S n > δ] δ ψ Sn (t) Důkaz. Jen první. P [S n ( + δ)µ s ] e. t(+δ)µs Z nezávislosti a věty dostáváme ψ sn = n ψ x i (t) a ψ xi (t) = Ee txi = p i e t + ( p i ) = + p i (e t ). Dále n ( + p i(e t )) = exp{ n log( + p i(e t ))} exp{(e t ) n p i} = exp{(e t )µ s }. Dosadíme do vzorce, dostáváme Nakonec P [S n ( + δ)µ s ] n (+pi(et )) exp{(et )µ s} e t(+δ)µs exp t(+δ)µ s n (+pi(et )) e t(+δ)µs 9 Náhodné výběry a limitní věty Na této přednášce jsem z nemoci chyběl, proto může pár věcí chybět. = exp µ s (e t t( + δ). = exp µ s [δ log( + δ) +δ ] = hledaný výraz. Definice 3 (Množinový lim sup a lim inf). Buď A n, n =,,... množiny (náhodné jevy). Definujme lim sup A n = n n= i=n A i lim inf n A n = n= i=n A i Jestliže a lim sup n A n, potom existuje nekonečně mnoho množin A i, kde a A i. Jestliže b lim sup n A n, potom existuje nejvýše konečně mnoho množin A i, kde b / A i. Věta 4 (Borel-Cantelliho 0- pravidlo).. Buď A n, n =,,... náhodné události. Pak ( ) P (A i ) < P lim sup A n = 0. n. Buď A n, n =,,... nezávislé náhodné události. Potom ( ) P (A i ) = P lim sup A n =. n Všimněme si, že lim inf A n = (lim sup A C n ) C. Z tohoto důvodu můžeme ve větě 4 používat jak lim sup, tak i lim inf. Definice 33 (Náhodný výběr). Posloupnost X, X,... náhodných veličin či vektorů takových, že jsou nezávislé, identicky rozložené, nazvěme náhodný výběr velikosti n náhodného rozložení P X.

17 Definice 34 (Výběrové momenty). Buď X,..., X n náhodný výběr. Potom. X n = n n X i se nazývá výběrový průměr.. S n = n n (X i X n ) se nazývá výběrový rozptyl. 3. Fn (x) = n n χ(x i x), kde χ je indikátorová funkce, se nazývá empirická distribuční funkce. Věta 43 ((Slabý) Zákon velkých čísel). Buď X, X,... nezávislé a identicky rozložené náhodné veličiny s konečným průměrem EX = µ a konečným rozptylem var X = σ. Potom [ ] n P X i µ n > ε 0 pro n. ε > 0 Důkaz. Vidíme, že střední hodnota z průměru EX n = E n Xi = n EXi = µ.. Využijme nyní Čebyšeovu var Xn ε. nerovnost, tedy P [ X n µ > ε] Podívejme se nyní na var X n = var n Xi = n var X i. Díky nezávislosti získáme n var X i = n var Xi + n i j cov(x i, X j ). Jelikož jsou každé X i nekorelované, druhá suma je nulová, zatímco ta první limitně konverguje k 0. Tato vlastnost se nazývá (slabá) konzistence výběrového průměru. Předpoklad σ < se zdá příliš silný. Dal by se oslabit, ale potom by byl důkaz mnohem složitější. Tuto vlastnost nadále budeme označovat jako X n µ P 0 nebo X n P µ. Příklad. Mějme alternativní rozdělení v n pokusech, každý pokus nastává s pravděpodobností p. Potom výběrový průměr je počet úspěchů v n pokusech a střední hodnota je p. Relativní počet úspěchů tedy díky zákonu velkých čísel konverguje k p. Věta 44 (Konzistence empirické distribuční funkce). Buď X, X,... nezávislé a identicky rozložené náhodné veličiny s distribuční funkcí F X. Pak pro každé x platí [ ] P Fn (x) F X (x) > ε 0 pro n. Příklad. Máme X s neznámým rozdělením. Chceme určit P [0 < X < ]. Potřebujeme náhodný výběr X, X,... s tímto neznámým náhodným rozdělením a víme, že F n () F X () a F n (0) F X (0). Tedy P [0 < x ] = F X () F X (0). Dále χ(x a) dává jedničku, pokud je x a, jinak nulu. Proto F n () F n (0) = n χ(0 < X ) p P [0 < X ]. Důkaz. Podívejme se na střední hodnotu a rozptyl odhadu F n (x). Tedy E F n (x) = E n χ(xi X) = n Eχ(Xi X) = Eχ(X X). Dále χ(x x) = 0 s pravděpodobností F (x) a s pravděpodobností F (x). Máme tedy Bernoulliho náhodný pokus se střední hodnotou F (x). Tedy Eχ(X x) = F (x) a var χ(x x) = F (x)( F (x)). Využijme nyní Čebyšeovu nerovnost. P [ F n (x) F (x) > ε] var F n(x) ε = nε F (x)( F (x)), což pro n konverguje k nule. [ ] Předchozí věta platí dokonce i rovnoměrně, tedy P sup x Fn (x) F X (x) > ε 0. Věta 45 (Centrální limitiní věta). Buď X, X,... nezávislé a identicky rozložené náhodné veličiny s konečným průměrem EX = µ a konečným kladným rozptylem var X = σ > 0. Pak [ ] n X n µ P x Φ(x) σ kde Φ je distribuční funkce standardního normálního rozdělení N(0, ). Stejně tak můžeme říct n X n µ σ d N(0, ) nebo n X i nµ nσ Příklad. Podívejme se na využití Centrální limitní věty. d N(0, ) nebo n ( X n µ ) d N(0, σ ). 7

18 . Chceme vědět, s jakou pravděpodobností bude počet úspěchů v Bernoulliovských pokusech vyšší, než a. Máme X,..., X n nezávislé stejnoměrně rozdělené s alternativním rozdělením parametru p. Kolik bude P [ X i > a]? Použijeme Centrální limitní větu a použijeme stejné úpravy na obě strany: [ ] Xi np P [ΣX i > a] = P > a np = P [ <... ] Φ np( p) np( p) ( ) a np np( p). Určení počtu pokusů. Chceme vědět, kolik pokusů máme udělat, aby se relativní počet úspěchů v Bernoulliovských pokusech (tedy podíl úspěchů k počtu pokusů) lišil od teoretické pravděpodobnosti nejvýše o ε s pravděpodobností nejvýše α. Tedy hledáme n tak, aby P [ X n p > ε] α. Znova využijeme CLV a upravujeme. Úpravou dostaneme [ ] n X n p P > a = P [ a] = (P [ a] P [ a]) = (Φ(a) Φ( a)). p( p) To znamená, že hledáme a = nε p( p) tak, aby (Φ(a) Φ( a)) α, tedy Φ(a) Φ( a) α. Víme, že Φ( a) = Φ(a), z toho dostáváme, že Φ(a) α, tedy a Φ ( α ). Z a potom získáme n. Věta 4 (Delta). Buď Y, Y,... posloupnost náhodných veličin takových, že n(y n µ) d N(0, σ ) a diferencovatelnou funkci g. Pak n (g(yn ) g(µ)) d N ( 0, (g (µ)) σ ) Delta věta se používá, když chceme asymptotickou normalitu nějaké diferencovatelné transformace normálního rozdělení. Příklad. Předpokládejme, že máme Poissonovo rozdělení s parametrem λ. Pak víme, že EX = var X = λ. Z CLV víme, že n((x n ) λ) d N(0, λ). Dále víme, že P [X = 0] = e λ = g(λ). Delta věta říká n(e Xn e λ ) d N(0, λ(g (λ)) ) = N(0, λe λ ). Věta 47 (Cramér Slutskij). Buď X n d N(µ, σ ), U n P a a Zn P s > 0. Pak Z n X n + U n d N(sµ + a, s σ ) Cramér Slutskij a Delta věty jsou základní nástroje pro asymptotické odhadovací techniky založené na CLV. Z věty C S vyplývá, že konvergence d je slabší, než konvergence. P Tato věta se nejčastěji používá, když neznáme rozptyl nebo je práce s rozptylem příliš obtížná. V tom případě d N(0, ), tedy jsme nahradili rozptyl jeho výběrovým odha- potom víme, že díky CLV n Xn µ σ Díky C S větě pak ( n X n µ)/σ S n/σ dem. d N(0, ) a také ze zákona velkých čísel Sn = n Xn µ s n 0 Bodové a intervalové odhady, hypotézy σ p pokud 0 < σ <. Jedním ze základních úkolů statistiky je udělat nějaký (dobrý) odhad. Představme si, že máme pokus, jehož výsledkem může být 0,..., n. Udělali jsme tedy n pokusů, zajímá nás P [X = k]. Jednou z možností je sestavit empirickou distribuční funkci, která bude po částech skoková. Tyto odhady nejsou ideální ani přesné, musíme odhadovat n + hodnot. Představme si ale, že předem víme, že x Bi(n, p). Již známe n, stačí nám odhadnout pouze jeden parametr p, potom náhodné rozdělení již známe. Definice 35 (Parametrické třídy). Parametrickou třídou nazveme P = {P θ : θ Θ}, kde Θ R d je prostor parametrů a P θ je rozdělení náhodné veličiny (vektoru) známé až na parametr θ. Příklad. Bi(n, p), rozdělení P [X = k] = ( n k) p k ( p) n k. Potom Θ = (0, ) a p je neznámá. N(µ, σ ) s hustotou πσ exp( (x µ) σ ), potom Θ = R (0, ) a parametry jsou (µ, σ ). Exponenciální rozdělení s hustotou f(x) = λe λ(x a), potom Θ = (0, ) R, parametry (λ, a). 8

19 Definice 3 (Bodový odhad). Buď X, X,..., X n náhodný výběr s rozdělením P θ z parametrické třídy P a s θ neznámý parametrem. Bodovým odhadem θ je funkce T : R n Θ, T (X,..., X n )..., její předpis nezávisí na parametru θ. Úkolem je najít T, které dobře aproximuje θ, dále:. Bodový odhad T nazveme nestranným, pokud θ Θ platí ET = θ je-li θ skutečnou hodnotou parametru.. Bodový odhad T je konzistentní, pokud θ Θ platí P [T θ] > ε 0 je-li θ skutečnou hodnotou parametru. (Tedy T P θ). Máme-li více konzistentních odhadů, chceme vybrat ten s nejmenším rozptylem. Není však zaručeno, aby existoval stejnoměrně nejlepší odhad. Čím máme větší náhodný výběr, tím je odhad T přesnější. To nám zaručuje právě konzistence T. Malá odbočka do angličtiny. Estimator znamená funkci T, zatímco Estimate je už konkrétní hodnota T (X,..., X n ). Jak získat bodový odhad? Existuje na to mnoho způsobů: Definice 37 (Metoda momentů). Buď P θ P a úlohu najít bodový odhad θ. Předpokládejme, že momenty EX j = h j (θ), j =,,... Potom řešení rovnic n nazveme odhad metodou momentů. n X j i }{{} Výběrový moment = h j (θ), j =,..., dim(θ) }{{} Skutečný moment Příklad. Mějme normální rozdělení. Potom EX = µ = h (µ, σ ) a EX = σ + µ = h (µ, σ ). Odhad je poté µ = X n a σ = n n X i (X i). Ze zákonu velkých čísel potom X n P µ, n n X i EX, tedy odhad σ var X. Bodový odhad jde však zlepšit odhadem intervalovým, který je ale složitější. Definice 38 (Intervalový odhad). Buď X,..., X n náhodný výběr z P θ, θ neznámý parametr a Θ R. Intervalovým odhadem nazveme dvojici funkcí L(X,..., X b ) R a U(X,..., X b ) R, jejichž předpis nezávisí na θ a které splňují P [L(X,..., X b ) θ U(X,..., X b )] α (Interval spolehlivosti s hladinou spolehlivosti α) pro každé θ, je-li θ skutečnou hodnotou parametru. Náhodné jsou L a U! Když provádíme náhodné experimenty, Počet intervalů (L, U) pokrývajících θ je v průměru 00( α)%. Naše snaha je získat UL co nejmenší. Jak najít L a U? Možné postupy:. Najdeme funkci H : (X,..., X n, θ), jejíž rozdělení nezávisí na θ. (nebo alespoň nezávisí asymptoticky). Obvykle pomůže Centrální limitní věta. Příkladem je X,..., X n s alternativním rozdělením závislém na p, odhadem může být xi np d N(0, ) np( p) nezávislé na p.. Najdeme kvantily l(α), u(α) rozdělení H takové, že P [l(α) H u(α)] α. Je-li (asymptotické) rozdělení H normální N(0, ), pak použijeme kvantily l(α) = q(α/) = Φ ( α ) a u(α) = q α/ = Φ ( α ). 3. Osvobození parametru různými algebraickými úpravami dojdeme k nerovnostem l(α) H u(α) právě, když L(X,..., X n, l, u) θ U(X,..., X n, l, u) je-li to možné. Avšak někdy ještě musíme zapojit Cramér Slutskij větu. Příklad. Mějme Alt(p), potom Xi np nx n( X n) Xi np np( p) (q α/, q α/ ) s pravděpodobností přibližně pa. Dále z kvantilů získáme q α/ np( p) Xi np q α/ np( p), máme kvadratickou nerovnost. P Nebo můžeme použit Cramér Slutskij větu a máme X n p Xn ( X n ) P p( p). Z toho dostáváme, d že N(0, ). Potom q α/ nx n ( X n ) p q α/ nx n ( X n ). Z toho již dostaneme L = X n + q α/ n nx n ( X n ) a U = X n + q α/ n nx n ( X n ), potom P [L p U] α. 9

20 Použití intervalového odhadu. Rozhodnutí o hypotéze: Mějme H 0 hypotézu, takovou, že H 0 : θ = θ 0. Dále mějme alternativu H : θ θ 0. Intervalový odhad pro neznáme θ se spolehlivostí α. Máme (L, U) takové, že P (L θ U) = α. Je naše θ 0 (L, U)? Pokud ano, H 0 nezamítneme na hladině statistické významnosti α. Pokud však ne, zamítneme ji. Všimněme si, že se zvyšujícím se n se interval (L, U) zmenšuje. Je potřeba také vážit faktický význam! 0