NMAI059 Pravděpodobnost a statistika

Transkript

1 NMAI059 Pravděpodobnost a statistika podle přednášky Daniela Hlubinky (hlubinka@karlin.mff.cuni.cz) zapsal Pavel Obdržálek (pobdr@matfyz.cz) 205/20 poslední změna: 4. prosince 205

2 . přednáška ) Co je to pravděpodobnost? Pravděpodobnost je něco mezi 0 a. 2) Pravděpodobnostní prostor Mějme d-stěnnou kostku, na které můžeme dostat výsledky,..., d, potom Ω je množina elementárních jevů neprázdná {, 2,..., d} a každý prvek teto množiny je elementárním jevem F je systém podmnožin Ω, ten splňuje:. Ω F (prvky F jsou podmnožinou Ω) 2. A F Ω\A F (s každým jevem je v F i doplňkový jev) 3. Pro libovolné A, A 2, F je A i F (spočetné či konečné) F nazveme σ-algebrou na Ω prvky F jsou náhodné jevy P množinová funkce na F se nazývá pravděpodobnost (pravděpodobnostní míra) pokud:. F F, 0 P (F ) (P vezme množinu F a přiřadí jí číslo mezi 0 a ) 2. Pro F, F 2,... po dvou disjunktní, platí P ( i= F i) = Σ i= P (F i) 3. P (Ω) = Definice. Trojice (Ω, F, P) se nazývá pravděpodobnostní prostor. 3) Vlastnosti a počítání pravděpodobnosti Z axiomu P plyne P (A) = P (A c ) (věta o doplňkové pravděpodobnosti). Věta 2. P (E E 2 ) = P (E ) + P (E 2 ) P (E E 2 ) Důkaz. Pro B A platí, že P (A\B) = P (A) P (B). E E 2 = E E 2 \E (disjunktní). P (E E 2 ) = P (E (E 2 \E )) = P (E )+P (E 2 \(E E 2 )) = P (E )+P (E 2 ) P (E E 2 ) Věta 3 (Princip inkluze a exkluze). Buďte E,..., E n náhodné jevy, pak pravděpodobnost sjednocení P ( n i= E i) = Σ n i= P (E i) ΣΣ i<j n P (E i E j ) + + ( ) n P ( n i= E i) Důkaz. Pomocí matematické indukce.

3 Definice 4 (Nezávislé jevy). Náhodné jevy E, E 2 jsou nezávislé, pokud P (E E 2 ) = P (E )P (E 2 ). Náhodné jevy E α, kde α A jsou navzájem nezávislé, pokud pro každou I A platí P ( i I E i ) = Σ i I P (E i ). Definice 5 (Podmíněná pravděpodobnost). Buďte E a F náhodné jevy, P (F ) > 0. Podmíněná pravděpodobnost jevu E za podmínky F je dána P (E F ) = P (E F ). P (F ) Poznámka. Platí, že P (F F ) =. Věta 7. Jsou-li E a F nezávislé jevy a P (F ) > 0, pak P (E F ) = P (E). Důkaz. P (E F ) = P (E F ) P (F ) = P (E)P (F ) P (F ) = P (E) Poznámka 8. Každý jev s pravděpodobností 0 nebo je nezávislý s libovolným jevem. 2. přednáška ) Věty užitečné pro výpočet pravděpodobnosti Věta 9 (O násobení pravděpodobností). Buďte E, E 2,..., E n náhodné jevy takové, že P (E E 2 E n ) > 0. Potom: P (E E 2 E n ) = P (E n E E 2 E n ) P (E n E E 2 E n 2 ) P (E 2 E ) P (E ) Důkaz. Z definice: P (E n (E E n )) = P (E n E E n P (E E n ) Věta 0 (O úplné pravděpodobnosti). Buďte E, E 2,..., E n náhodné jevy takové, že. E i E j 0 i j 2. P (E i ) > 0 i 3. n i= E i = Ω a B náhodný jev. Potom: P (B) = Σ n i= P (B E i) P (E i ) Důkaz. P (B) = P (B Ω) = P (B ( n i= E i)) = P ( n i= (B E i)) = Σ n i= P (B E i) = Σ n i= P (B E i) P (E i ) Poznámka. Věta platí i pro spočetný disjunktní rozklad. Věta 2 (Bayesova). Za podmínek. E i E j 0 i j 2. P (E i ) > 0 i 3. n i= E i = Ω 4. P (B) > 0 2

4 platí, P (E i B) = P (B E i) P (E i ) Σ n j= P (B E j) P (E j ), kde P (E i) je apriorní rozdělení, B je informace a P (E i B) je aposteriorní pravděpodobnost. Důkaz. P (E i B) = P (E i B), v čitateli P (E i B) = P (B E i ) P (E i ), ve jmenovateli věta o P (B) úplné pravděpodobnosti. Mějme 2 polynomy R(x) = (x a )(x a 2 ) (x a n ) a Q(x) = x n + (má celočíselné kořeny). Odhalit: Q R. Dosadíme-li číslo do R(x) Q(x), pak, jsou-li R a Q různá, jen s malou pravděpodobností dostaneme 0. R Q má nejvýše n různých kořenů. Vezměme 00n různých celých čísel a z nich náhodně vybereme. Pravděpodobnost toho, že vybrané číslo je kořenem R Q (jsou-li n R Q, je nejvýše 00n = 00. Vybereme-li náhodně opakovaně k čísel z oněch 00n čísel, pak jsou-li R Q, pak ( ) k P (R(x i )) = Q(x i ) i =... k 00 2) Náhodná veličina Hod dvěma kostkami: Ω = {, 2, 3, 4, 5, } 2 ω = (i, j), i {, 2, 3, 4, 5, }, j {, 2, 3, 4, 5, } součet hodů na kostkách: ω + ω 2 X : Ω R, zde X(ω) = ω + ω 2, kde X je náhodná veličina řešíme problém P (X = x) =? Definice 3 (Náhodná veličina a náhodný jev). Zobrazení X : Ω R takové, že a R platí, že X ( inf, a] = {ω; X/ω) a} F nazveme náhodná veličina (tj. {ω; X/ω) a} je náhodný jev). Poznámka 4. Pokud je diskrétní, bude nabývat nejvýše spočetně mnoho hodnot. Definice 5 (Rozdělení náhodné veličiny). Buď X : ω R náhodná veličina (Ω, F, P ) pravděpodobnostní prostor. Rozdělením náhodné veličiny X se rozumí pravděpodobnostní míra P X na R takovou, že P X ([a, b]) = P ({ω, V (u) (a, b] = P ({, X(ω) b}ω, (ω) b} P a < b Poznámka. Takto zavedená pravděpodobnost P X může být rozšířena na libovolnou σ algebru obsahující všechny otevřené podmnožiny R, speciálně všechny intervaly. Tvrzení 7. Pro diskrétní náhodnou veličinu X je rozdělení jednoznačně dáno hodnotami {p s ; s S}p s = P (x = s) = P ({ω : x/ω) = s}) P X ((a, b]) = Σ s S (a,b] p s splňuje všechny oblasti pravděpodobnosti. Hodnoty {p s, s S} jsou hodnotou rozdělení X vůči čítací míře na S. Musí platit p s = 0 s, Σ s S p s =. α(a) = A počet bodů A vhodný pro konečné či spočetné množiny. 3

5 3) Klasická pravděpodobnost P (A) = A, kde Ω <. Pro Ω = musí být Ω spočetná. Ω Definice 8 (Distribuční funkce). F : R [0, ] je definovaná jako F (x) = P (X x), což pro diskrétní náhodnou veličinu je F (x) = Σ s x p s. Jinými slovy F X (a) = P [X a] = P X (, a], F X : R [0, ] Jak distribuční funkce F, tak i hodnota {p s, s S} plně charakterizují rozdělení v X, tedy pravděpodobnost P X. P X je jednoznačně dána F. Poznámka 9. Různé náhodné veličiny mohou mít stejné rozdělení. 3. přednáška ) Míra Míra je množinová funkce, která vezme množinu a dá ji nějakou hodnotu. Míra je vždy nezáporná. 2) Příklady míry Definice 20 (Lebesgenova míra). λ na R, λ(a, b) = b a pro b > a, λ a, b = b a pro b a. Dává délku intervalu. Definice 2 (Čítací (aritmetická) míra). α(a) = A. Udává počet prvků, které jsou Tvrzení 22 (Vlastnosti distribuční funkce). Mějme (Ω, F, P) pravděpodobnostní prostor a náhodnou veličinu X a její distribuční funkci F X. Pak F X je neklesající a zprava spojitá lim a F X (a) = 0, lim a F X (a) = Věta 23. Buď F funkce, která splňuje všechny body předchozího tvrzení. Pak existuje (Ω, F, P) pravděpodobnostní prostor a náhodná veličina X tak, že F je distribuční funkce. Definice 24. Náhodné veličiny X a Y jsou nezávíslé, pokud n, k Z platí: P [X = n, Y = k] = P [X = n]p [Y = k]. Celočíselné náhodné veličiny X, X 2,..., X n jsou vzájemně nezávislé, pokud I {,..., N} a n i Z, i I platí P [ i I [X i = n i ]] = Π i I P [X i = n i ] 3) Charakteristiky náhodné veličiny Definice 25 (Střední hodnota CNV). CNV X má konečnou střední hodnotu EX, pokud Σ n Z n P [X = n] = Σ n Z n P n <. V tom případě EX = Σ n Z n P n Věta 2 (Aditivita střední hodnoty). Pro CNV X a Y s konečnou EX a EY platí, že E(X + Y ) = E(X) + E(Y ) Věta 27 (Násobení střední hodnoty konstantou). Buď X CNV a c R, EX <. Potom E(cX) = c EX. 4

6 4. přednáška ) Další charakteristiky náhodné veličiny Definice 28 (Moment náhodné veličiny). Momentem náhodné veličiny rozumíme hodnotu EX p = Σ i Z i p P [X = i] Definice 29 (Centrální moment náhodné veličiny). Centrálním momentem náhodné veličiny rozumíme hodnotu E(X EX) p = Σ i Z (i EX) p P [X = i] Definice 30 (Rozptyl náhodné veličiny). Pokud EX 2 <, pak var(x) = E(X EX) 2 nazveme rozptylem náhodné veličiny X. Rozptyl charakterizuje variabilitu náhodné veličiny okolo její střední hodnoty. Věta 3 (Jensenova nerovnost). Buď X náhodná veličina a f konvexní funkce takové, že E X < a E f(x) <. Pak Ef(X) f(ex). Důkaz. Důkaz pomocí Taylorova rozvoje f kolem EX. ). Základní vlastnosti rozptylu var(x + a) = E(X + a E(X + a)) 2 = E(X + a E(X + a)) 2 = E(X + a EX + a) 2 = E(X EX) 2 = var(x) var(c) = E(c Ec) 2 = 0 var(cx) = E(cX EcX) 2 = Ec 2 (X EX) 2 = c 2 var(x) var(x +Y ) = E(X +Y E(X +Y ) 2 = = var(x)+var(y )+2E(X EX)(Y EY ) Definice 32 (k-rozměrný náhodný vektor). Buď (Ω, F, P) pravděpodobnostní prostor, pak zobrazení X : Ω R k, kde k 2 splňující {ω : {ω : X i (ω) a; } i =... k} F (a,..., a k ) R k nazveme k-rozměrný náhodný vektor. Definice 33 (Soustředné rozdělení náhodného vektoru). Pravděpodobnost P X definovaná na R k [ předpisem P X X k i= (, a i ] ] = P [ k i= (X i a i ) ] = P { ω : k i= {ω : X i a i } } se nazývá soustředné rozdělení náhodného vektoru X. Definice 34 (Marginální rozdělení náhodného vektoru). Pro podvektor Y = (X i,..., X id, kde d < k náhodného vektoru X definujeme marginální rozdělení X jako P Y (Xj= d (, a i j ]) = { } P ω : k j= {ω : X i j a ij } = P { ω : k i= {ω : X } i a i }, kde a i = pro i i... i d 5. přednáška ) Náhodný vektor X = (X,..., X k ) : Ω R k P (X a,..., X k a k ) = P { k i= (X i(u) a)} P X (X k i= (, a i]) 5

7 2) Marginální rozdělení Marginální rozdělení je rozdělení podvektoru náhodného vektoru X, např. rozdělení (X,..., X k ) a to dostaneme z rozdělení X volbou a k =. Nejdůležitější jsou rozdělení jednotlivých složek X, X 2,..., X k. Příklad: (X,Y) házím dvěma kostkami, X je výsledek na první kostce, Y je součet na obou kostkách Definice 35 (Nezávislost celočíselných náhodných veličin). Celočíselné náhodné veličiny X a Y jsou nezávislé, pokud m, n Z platí P (X = m, Y = n) = P (X = m)p (Y = n). Toto lze zobecnit. Definice 3 (Podmíněné rozdělení). Buď (X,Y) CNV. Rozdělení P [X = k Y = l] = P [X = k, Y = l] ; P [Y = l] > 0, k Z P [Y = l] nazveme podmíněné rozdělení X za podmínky Y = l.. přednáška ) Kovariace a korelace Buď (X, Y ) náhpodný vektor takový, že má konečné druhé momenty složek (tj. EX 2 <, EY 2 < ) Definice 37 (Kovariace). cov(x, Y ) = E[(X EX)(Y EY )] = E(XY ) EX EY cov(x, Y ) Definice 38 (Korelace). ρ X,Y = var(x)var(y ) ). Základní vlastnosti kovariace a korelace Věta 39. Buď (X, Y ) náhodný vektor, pak:. Jsou-li X a Y nezávislé, pak cov(x, Y ) = 0 X a Y jsou nekorelované. Z toho ale neplyne nezávislost X a Y. 2. cov(ax + b, Y ) = a cov(x, Y ) 3. cov(x + Y, Z) = cov(x, Z) + cov(y, Z) Pozorování:

8 cov(x, X) = var(x) var(x + X) = var(x) + var(x) + 2cov(X, X) = 4var(X) je-li cov(x, Y ) 0, pak var(x + Y ) var(x) + var(y ) var(x Y ) = E(X Y E(X Y )) 2 = var(x) 2cov(X, Y ) + vary jsou-li X a Y nekorelované, pak var(x + Y ) = var(x) + var(y ) cov(x, Y ) = cov(y, X) 7. přednáška ) Podmíněná střední hodnota Střední hodnota EX = Σ k P [X = k] Podmíněná střední hodnota E[X Y = y] = Σ k P [X = k Y = y] Pokud jsou X a Y nezávislé, pak zřejmě E[X Y = y] = EX P [X = x Y = y] = P [X = x], x, y X a Y jsou nezávislé Vidíme, že E[X Y = y] = EX je funkcí y Definice 40. E[X Y ] je náhodná veličina, která na množině {ω : Y (ω) = y} nabývá hodnoty E[X Y = y] Tedy: E[X Y ] : Ω R náhodná veličina E[X Y ](ω) = E[X Y = y] pokud Y (ω) = y E[X Y ] = f(y ) pro nějakou f : R R Věta 4. Platí E[E[X Y ]] = EX mají-li obě strany smysl. Důkaz. E[E[X Y ]] = E(f(X)) = Σ k f(k)p [Y = k] = Σ k E[X Y = k]p [Y = k] = EX 2) Modely rozdělení diskrétních náhodných veličin Alternativní rozdělení (Bernoulliho pokus) (Alt(p)) Náhodná veličina X nabývá pouze dvou hodnot (x {0, }. Parametr p je potom definován jako p = P [x = ] = P [x = 0]. Odtud potom EX = p, EX 2 = p var x = p p 2 = p( p) Binomické rozdělení (Bi(n, p)) Začneme oponovat (nezávisle) bernoulliovské pokusy (se stejným p). Dostaneme posloupnost 0 a. Jaké rozdělení má počet úspěchů v n pokusech? Y = Σ n i= X i =počet úspěchů P [y = k] = ( ) n k p k ( p) n k EY = np, var Y = np( p) 7

9 Geometrické rozdělení (Geom(p)) zjišťuje délku čekání na úspěch. Y = min {i : X i = } P [y = k] = p( p) k EY = p p Negativní binomické rozdělení (N B(k, p)) nám přináší počet neúspěchů před prvním úspěchem Y = Σ k i= Y i, kde Y i jsou nezávislé náhodné vektory geometrického rozdělení P [Y = j] = ( ) j+k j ( p) j p k, kde j je počet neúspěchů a k počet úspěchů, tedy j + k je počet pokusů Poissonovo rozdělení (P o(λ)) P [X n = k] = ( ) n k p k n ( p n ) n k = e EY = λ vary = λ λ λk k!, tedy P [Y = k] = e λ λk k! Hypergeometrické rozdělení je v podstatě binomické s racionálním p P [X = k] = ( ) n k p k ( p) n k EX = n M N, kde N je počet všech jevů, M je počet příznivých a n je počet provedení Multinomické rozdělení je obecné rozdělení s více možnými výsledky, k je počet výsledků {a..., a k } P (X i = a j ) = p j, kde p j > 0 a zároveň Σ k j= p j = Zaveďme Z i = (Z i,..., Z ik ), kde Z ij = X i = a j, jinak Z ij = 0 Y = Σ n i= Z i n! P [Y = (n,... n k )] = n! n k! pn pn 2 2 pn k k pro (n,..., n k ) takové, že n > 0 a zároveň Σ k i= n i = n 8. přednáška přednáška přednáška přednáška přednáška přednáška