Pravděpodobnost a statistika

Transkript

1 Pravděpodobnost a statistika Náhodné vektory Vilém Vychodil KMI/PRAS, Přednáška 8 Vytvořeno v rámci projektu 2963/2011 FRVŠ V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 1 / 59

2 Přednáška 8: Přehled 1 Náhodné vektory: definice náhodného vektoru, vícerozměrná Borelovská jevová pole, rozdělení pravděpodobnosti, borelovské funkce, marginální a sdružená rozdělení pravděpodobnosti, distribuční funkce, diskrétní a spojitá sdružená rozdělení, střední hodnoty a variance. 2 Nezávislost náhodných veličin: definice nezávislosti náhodných veličin, ekvivalentní vyjádření, nezávislost a sdružené pravděpodobností funkce a funkce hustoty, kovariance, korelační koeficient, lineární regrese, podmíněná rozdělení, distribuční funkce, očekávané hodnoty. 3 Generování pseudonáhodných čísel: ruletová metoda, metoda inversní transformace, techniky založené na simulaci, využití funkce hustoty. V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 2 / 59

3 Příklad (Motivace pro náhodné vektory) Mějme pravděpodobnostní prostor Ω, F, P, dvě náhodné veličiny Y : Ω R a Z : Ω R a Borelovské množiny A, B B. Zajímáme se o pravděpodobnost, že Y nabude hodnoty z množiny A a současně Z nabude hodnoty z množiny B: P ({Y A} {Z B}) = P ({ω Ω Y (ω) A} {ω Ω Z(ω) B}) = P ({ω Ω Y (ω) A a Z(ω) B}) = P ({ω Ω Y (ω), Z(ω) A B}) = P ({ω Ω X(ω) A B}), kde X : Ω R 2 je zobrazení definované X(ω) = Y (ω), Z(ω). Použitím standardní notace pro vyjádření inverzních obrazů můžeme psát {X A B} = {ω Ω X(ω) A B}, P ({Y A} {Z B}) = P ({X A B}). To jest: X lze chápat jako dvourozměrnou náhodnou veličinu (náhodný vektor). V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 3 / 59

4 Náhodný vektor Zobecnění pojmu náhodná veličina: Definice (Náhodný vektor / vícerozměrná náhodná veličina) Mějme pravděpodobnostní prostor Ω, F, P. Zobrazení X : Ω R n nazýváme (n-rozměrný) náhodný vektor v Ω, F, P (angl.: random vector) pokud platí pro každé a 1,..., a n R. {ω Ω X(ω) (, a 1 ] (, a n ]} F. Poznámky: náhodná veličina = jednorozměrný náhodný vektor, i-tou složku X(ω) označujeme X(ω)(i), podmínku z definice lze psát {ω Ω X(ω)(i) a i pro každé i = 1,..., n} F nebo {X (, a 1 ] (, a n ]} F pomocí inverzních obrazů. V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 4 / 59

5 Vícerozměrné Borelovské jevové pole Úzce související pojem: Definice (Vícerozměrné Borelovské jevové pole) Mějme Ω = R n a nechť A n = {(, a 1 ] (, a n ] a 1,..., a n R}. Pak σ-algebru B n = F A n nazveme n-rozměrné Borelovské (jevové) pole a každou A B n nazveme (n-rozměrná) Borelovská množina. Poznámky: B 1 je klasické Borelovské jevové pole (Přednáška 3), motivace pro zavedení: {X B} F pro rozumné podmnožiny B R n B n má několik ekvivalentních vyjádření,... V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 5 / 59

6 Věta (Ekvivalentní zavedení B n ) B n je σ-algebra generovaná A n = {(a 1, b 1 ] (a n, b n ] a 1 b 1,..., a n b n }. Důkaz. Nejprve prokážeme, že každá (, a 1 ] (, a n ] náleží to F A n. To plyne z toho, že F A n je uzavřená na sjednocení spočetně mnoha množin: (, a 1 ] (, a n ] = i=1( (a1 i, a 1 ] (a n i, a n ] ) F A n. Tím jsme prokázali B n F A n. Abychom dokázali opačnou inkluzi, stačí ověřit, že každá (a 1, b 1 ] (a n, b n ] náleží to B n. To prokážeme s využitím faktu, že B n je uzavřená na množinový rozdíl. Například pro n = 2 platí, že (a, b] (c, d] je rovno ((, b) (, d)) ((, b) (, c)) ((, a) (, d)). Obecně lze (a 1, b 1 ] (a n, b n ] vyjádřit rozdílem n + 1 množin ve tvaru (, c 1 ] (, c n ], to jest (a 1, b 1 ] (a n, b n ] B n. Tím jsme prokázali, že F A n B n. Dohromady dostáváme B n = F A n. V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 6 / 59

7 Věta (Generování B n pomocí jednorozměrných Borelovských množin) B n je σ-algebra generovaná A n = {A 1 A n A 1,..., A n B}. Důkaz. Zřejmě platí, že každá (, a 1 ] (, a n ] náleží do F A n, protože každá (, a i ] je Borelovská množina, tedy (, a i ] B. Odtud máme B n F A n. Vezměme libovolné A 1,..., A n B. Nejprve nahlédněme, že R } {{ R } (a, b] R } {{ R } B n i 1 n i pro každé i = 1,..., n a a, b R. To plyne z předchozího tvrzení a užitím uzavřenosti B n na sjednocení spočetně mnoha množin. Jelikož A i B a B je generovaná otevřenými intervaly, ihned dostáváme, že R } {{ R } A i } R {{ R } B n. i 1 n i Fakt A 1 A n B n tedy plyne z uzavřenosti B n na průniky n množin. V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 7 / 59

8 Věta (Ekvivalentní zavedení náhodného vektoru) Mějme pravděpodobnostní prostor Ω, F, P. Zobrazení X : Ω R n je náhodný vektor v Ω, F, P právě tehdy, když {X B} F platí pro každé B B n. Důkaz. Pokud {X B} F platí pro každé B B n, pak je X zřejmě náhodný vektor, protože (, a 1 ] (, a n ] B n. Opačnou implikaci prokážeme následovně: Pro A n = {B R n {X B} F} platí, že A n je σ-algebra (jde o obraz σ-algebry F, Přednáška 5). Dále platí, že A n zřejmě obsahuje všechny množiny tvaru (, a 1 ] (, a n ], protože X je náhodný vektor. Tím pádem B n A n, protože B n je generovaná právě množinami v předchozím tvaru. Odtud dostáváme {X B} F pro každou B B n. Poznámka: Zobecnění věty o ekvivalentním zavedení náhodné veličiny (Přednáška 5). V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 8 / 59

9 Rozdělení pravděpodobnosti náhodného vektoru Definice (Rozdělení pravděpodobnosti náhodného vektoru) Mějme pravděpodobnostní prostor Ω, F, P a náhodný vektor X : Ω R n v Ω, F, P. Pak se pravděpodobnostní míra P X : B n R na σ-algebře n-rozměrných Borelovských množin B n definovaná P X (B) = P ( {X B} ), pro každou B B n nazývá rozdělení pravděpodobnosti náhodného vektoru X. Poznámky: pro n = 1 je P X rozdělení pravděpodobnosti náhodné veličiny (Přednáška 5), pro X : Ω R n někdy píšeme P X (B 1,..., B n ) místo P X (B 1 B n ), místo Ω, F, P a X : Ω R n se (obvykle) vedou úvahy jen v R n, B n, P X. V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 9 / 59

10 Borelovské funkce Definice (Borelovská funkce) Funkce f : R n R se nazývá Borelovská funkce (angl.: Borel function), pokud pro každé a R platí, že { x 1,..., x n R n f(x 1,..., x n ) a} B n. Poznámka: Pro f : A B a g : B C uvažujeme složenou funkci g(f): A C (někdy značíme f g) takovou, že (g(f))(x) = g(f(x)) pro každé x A. Speciálně pro f : Ω R n a g : R n R máme g(f): Ω R. Věta Mějme pravděpodobnostní prostor R, B, P. Pak platí: 1 X je náhodná veličina v R n, B n, P právě tehdy, když je X Borelovská funkce. 2 Je-li X : Ω R n náhodný vektor v Ω, F, P a g : R n R je Borelovská funkce, pak g(x) je (jednorozměrná) náhodná veličina v Ω, F, P. V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 10 / 59

11 Důkaz. První tvrzení plyne přímo z definice náhodného vektoru. Druhé tvrzení prokážeme takto: Vezměme libovolné a R. Platí, že {g(x) a} = {ω Ω g(x(ω)) a} = {ω Ω X(ω) {x R n g(x) a}} = {ω Ω X(ω) {g a}} = {X {g a}}. Jelikož g je Borelovská funkce, pak {g a} B n. Odtud ihned dostáváme, že {X {g a}} F, z čehož plyne, že g(x) je náhodná veličina. Důsledek: Pro Borelovskou funkci g platí {g B} B n pro každou B B. Příklad (Projekce jsou Borelovské funkce) Každá i-tá projekce π i, to jest zobrazení π i : R n R, kde π i (x 1,..., x n ) = x i pro všechna x 1,..., x n R, je Borelovská funkce, protože: {π i a} = R } {{ R } (, a] R } {{ R } B n. i 1 n i V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 11 / 59

12 Marginální náhodné veličiny a rozdělení pravděpodobnosti S využitím projekcí můžeme zavést: Definice (Marginální náhodná veličina a rozdělení pravděpodobnosti) Mějme náhodný vektor X : Ω R n s rozdělením P X, pak každá π i (X): Ω R se nazývá marginální náhodná veličina (angl.: marginal random variable) a P πi (X) se nazývá marginální rozdělení pravděpodobnosti (angl.: marginal distribution). Poznámka: Podle definice lze každé rozdělení P πi (X) : B R vyjádřit P πi (X)(B) = P ({π i (X) B}) = P ({X {π i B}}) = P X ({π i B}) = P X (R } {{ R } B } R {{ R } ), i 1 n i pro každou Borelovskou množinu B B pouze na základě znalosti P X. (!!) V praxi obvykle známe R n, B n, P X, kdežto Ω, F, P a X : Ω R n jsou neznámé. V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 12 / 59

13 Sdružené rozdělení pravděpodobnosti Definice (Sdružené rozdělení pravděpodobnosti) Mějme náhodné veličiny X 1,..., X n v pravděpodobnostním prostoru Ω, F, P. Pak se zobrazení P X1,...,X n : B n R, pro které platí P X1,...,X n (A 1,..., A n ) = P ({X 1 A 1 } {X n A n }) pro každé A 1,..., A n B, nazývá sdružené rozdělení pravděpodobnosti náhodných veličin X 1,..., X n (angl.: joint probability distribution). Poznámky: {X 1 A 1,..., X n A n } je zkrácená notace pro {X 1 A 1 } {X n A n }. Pokud známe Ω, F, P a X i : Ω R (pro každé i = 1,..., n), pak P X1,...,X n (A 1,..., A n ) = P X (A 1,..., A n ) = P ({X A 1 A n }), kde X(ω)(i) = X i (ω) pro každé i = 1,..., n a ω Ω. V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 13 / 59

14 Distribuční funkce Definice (Distribuční funkce náhodného vektoru) Mějme n-rozměrný náhodný vektor X s rozdělením P X. Potom zobrazení F X : R n R, definované předpisem F X (x 1,..., x n ) = P X ( (, x1 ],..., (, x n ] ) pro každé x 1,..., x n R, se nazývá distribuční funkce náhodného vektoru X. Poznámky: Pro n = 1 přechází v distribuční funkci F X náhodné veličiny; distribuční funkce náhodných vektorů mají analogické vlastnosti jako distribuční funkce náhodných veličin (Přednáška 5); pro dvourozměrný náhodný vektor X s rozdělením P X máme ( ) ( lim x F X (x, y) = lim x P X (, x], (, y] = PX x=1 (, x] (, y]) ( ) ) = P X R (, y] = Pπ2 (X)( (, y] = Fπ2 (X)(y). V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 14 / 59

15 Marginální a sdružené distribuční funkce Analogicky jako pro rozdělení zavádíme marginální a sdružené distribuční funkce: Definice (Marginální distribuční funkce) Mějme náhodný vektor X : Ω R n s distribuční funkcí F X, pak se každá F πi (X) nazývá marginální distribuční funkce (angl.: marginal distribution function). Definice (Sdružená distribuční funkce) Mějme náhodné veličiny X 1,..., X n v pravděpodobnostním prostoru Ω, F, P. Pak se zobrazení F X1,...,X n : R n R, pro které platí F X1,...,X n (x 1,..., x n ) = P ({X 1 x 1 } {X n x n }), pro každé x 1,..., x n R, nazývá sdružená distribuční funkce náhodných veličin X 1,..., X n (angl.: joint distribution function). V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 15 / 59

16 Diskrétní náhodné vektory Definice (Diskrétní náhodný vektor) Náhodný vektor X : Ω R n s rozdělením P X se nazývá diskrétní pokud existuje spočetná množina C R n taková, že P X (C) = 1. Připomeňme (Přednáška 3), že pravděpodobnostní míra P X : B n R se nazývá diskrétní pokud existuje spočetně mnoho x i R n a koeficientů a i [0, 1] (pro každé i = 1, 2,... ) tak, že i=1 a i = 1 a P X lze psát P X (A) = i=1 a i δ xi (A), pro každou A B n, kde δ xi : B n R je Diracova míra koncentrovaná v x i. Lze prokázat: Věta (Charakterizace diskrétních náhodných vektorů) Náhodný vektor X s rozdělením P X je diskrétní právě tehdy, když P X je diskrétní pravděpodobnostní míra. V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 16 / 59

17 Důkaz (veden podobně u náhodných veličin, Přednáška 5). Tvrzení je ve tvaru ekvivalence, prokazujeme proto obě implikace. : Předpokládejme, že X je diskrétní náhodný vektor a označme C spočetnou podmnožinu R n pro niž P X (C) = 1. Lze psát C = {x 1, x 2,... }, kde x i x j pro i j. Z faktu P X (C) = 1 dostáváme pro každou B B n : P X (B) = P X (B C) = P X ( k=1 (B {x k}) ) = k=1 P X(B {x k }) = k=1 P X({x k }) δ xk (B). Užitím σ-aditivity, 1 = P X (C) = P X ( k=1 {x k} ) = k=1 P X({x k }), takže za hledané koeficienty a i lze vzít hodnoty P X ({x i }) a P X je tím pádem diskrétní pravděpodobnostní míra. : Nechť P X je diskrétní míra ve tvaru P X (A) = i=1 a i δ xi (A). Pak lze za hledanou C R n vzít spočetnou C = {x 1, x 2,... }. Zbývá ověřit P X (C) = 1: P X (C) = i=1 a i δ xi (C) = i=1 a i = 1. V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 17 / 59

18 Pravděpodobnostní funkce U diskrétních náhodných vektorů uvažujeme pravděpodobnostní funkce: Definice (Pravděpodobnostní funkce) Mějme diskrétní náhodný vektor X : Ω R n s rozdělením P X. Zobrazení f X : R n [0, 1], kde f X (x 1,..., x n ) = P X ({ x 1,..., x n }) pro každé x 1,..., x n R, se nazývá pravděpodobnostní funkce náhodného vektoru X. Zjednodušení: P X (A) pro diskrétní náhodný vektor X lze vyjádřit Distribuční funkce F X má tvar P X (A) = x 1,...,x n A f X(x 1,..., x n ). F X (a 1,..., a n ) = x 1 a 1 x n a n f X (x 1,..., x n ) = {f X (x 1,..., x n ) x 1 a 1,..., x n a n }. V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 18 / 59

19 Marginální a sdružené pravděpodobnostní funkce Definice (Marginální a sdružené pravděpodobnostní funkce) Mějme náhodný vektor X : Ω R n s pravděpodobnostní funkcí f X, pak se každá f πi (X) nazývá marginální pravděpodobnostní funkce. Mějme náhodné veličiny X 1,..., X n v pravděpodobnostním prostoru Ω, F, P. Pak se zobrazení f X1,...,X n : R n R, pro které platí f X1,...,X n (x 1,..., x n ) = P ({X 1 = x 1 } {X n = x n }), pro každé x 1,..., x n R, nazývá sdružená pravděpodobnostní funkce náhodných veličin X 1,..., X n. Poznámka: Marginální pravděpodobnostní funkce lze dle definice psát ve tvaru f πi (X)(x) = x 1,...,x n 1 R f X(x 1,..., x i 1, x, x i,..., x n 1 ). V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 19 / 59

20 Příklad (Výsledek házení dvěma kostkami) Problém: Jsou vrženy dvě nefalšované šestistěnné kostky. Předpokládejme, že X označuje menší z výsledných hodnot a Y označuje větší z obou výsledných hodnot. Úkol: Určete, jak vypadají sdružené a marginální pravděpodobnostní a distribuční funkce veličin X a Y V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 20 / 59

21 Příklad (Vyjádření marginálních pravděpodobnostních funkcí) Problém: Mějme náhodné veličiny X a Y, které mají sdruženou pravděpodobnostní funkci f X,Y danou předpisem f X,Y (x, y) = 1 2 x+1 pokud x y a x, y N, a f X,Y (x, y) = 0 ve všech ostatních případech. Úkol: Najděte marginální pravděpodobnostní funkce f X a f Y. Řešení: Pomocí součtu prvků geometrické řady dostáváme: f X (x) = f Y (y) = = 1 2 y+1 y=1 f X,Y (x, y) = x y=1 x=1 f X,Y (x, y) = x=y = 1 2 y+1 2 = 1 2 y. 1 2 = x x+1 2, x x+1 = x=0 1 2 = 1 x+y+1 2 y+1 x=0 1 2 x V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 21 / 59

22 Věta (O sdruženém rozdělení diskrétních náhodných veličin) Pokud jsou X 1,..., X n diskrétní veličiny, pak je jejich sdružené rozdělení pravděpodobnosti P X1,...,X n diskrétní. Důkaz. Pokud jsou všechny X 1,..., X n diskrétní náhodné veličiny, pak existují spočetné množiny C 1,..., C n R tak, že P X1 (C 1 ) = = P Xn (C n ) = 1. Tedy i jejich kartézský součin C 1 C n je spočetná množina. Stačí ukázat, že hledaná spočetná podmnožina R n je právě C 1 C n. Pro každou C i položme D i = } R {{ R } C i R } {{ R }. i 1 n i Jelikož P X1,...,X n (D i ) = P Xi (C i ) = 1 pro každé i = 1,..., n, dostáváme: P X1,...,X n (C 1 C n ) = P X1,...,X n (D 1 D n ) = 1. V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 22 / 59

23 Věta (O marginálních rozděleních diskrétního sdruženého rozdělení) Pokud je sdružené rozdělení pravděpodobnosti P X1,...,X n náhodných veličin X 1,..., X n diskrétní, pak jsou všechny X 1,..., X n diskrétní veličiny. Důkaz. Nechť je sdružené rozdělení P X1,...,X n diskrétní. To jest, existuje spočetná C R n tak, že P X1,...,X n (C) = 1. Pro libovolné i = 1,..., n položme C i = {x i x 1,..., x n C}. Označme D i = } R {{ R } C i R } {{ R }. i 1 n i Zřejmě C D i. Z monotonie 1 = P X1,...,X n (C) P X1,...,X n (D i ) = P Xi (C i ), náhodná veličina X i je tedy diskrétní, protože C i je spočetná. Poznámky: Opačná implikace jako u předchozího tvrzení; dohromady dostáváme: P X1,...,X n je diskrétní právě tehdy, když jsou všechny X 1,..., X n diskrétní. V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 23 / 59

24 Absolutně spojité sdružené rozdělení Definice (Spojitě sdružené náhodné věličiny, angl.: jointy continuous) Náhodné veličiny X 1,..., X n jsou (absolutně) spojitě sdružené pokud existuje funkce f X1,...,X n : R n [0, ) tak, že P X1,...,X n ( (, a1 ] (, a n ] ) = an a1 f X1,...,X n (x 1,..., x n ) dx 1 dx n. Funkce f X1,...,X n se nazývá sdružená hustota (angl.: joint density). Rozdělení pravděpodobnosti P X1,...,X n se nazývá (absolutně) spojité sdružené rozdělení (angl.: jointly continuous probability distribution). Marginální hustoty: pro marginální veličinu X i zavádíme: f Xi (x i ) = f X1,...,X n (x 1,..., x n ) dx 1 dx i 1 dx i+1 dx n. }{{} n 1 V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 24 / 59

25 Příklad (Sdružené abolutně spojité náhodné veličiny) Mějme náhodné veličiny X a Y se sdruženou funkcí hustoty f X,Y (x, y) = 3 2 x2 (1 y ), pokud 1 < x < 1 a 1 < y < 1, a f X,Y (x, y) = 0 jinak. Pro A = { x, y 0 < x < 1 a 0 < y < x} dostáváme P X,Y (A) = To jest, = 1 x f X,Y (x, y) dy dx = 3 2 x2 [y y2 2 ] x 0 dx = x2 3 2 x 0 (x 3 x4 1 y dy dx 2 ) dx = 3 2 [ x 4 4 x5 10 P X,Y (A) = P ({ω Ω 0 < X(ω) < 1 a 0 < Y (ω) < X(ω)}) = 9 40 = ] 1 0 = V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 25 / 59

26 Věta (O absolutně spojitých marginálních veličinách) Mějme náhodné veličiny X a Y s absolutně spojitým sdruženým rozdělením daným sdruženou funkcí hustoty f X,Y. Potom X a Y jsou absolutně spojité náhodné veličiny s marginálními hustotami f X a f Y. Důkaz. Pokud je sdružené rozdělení X a Y absolutně spojité, potom máme ( ) ( ) b ( ) P X (a, b] = PX,Y (a, b] R = f X,Y (x, y) dy dx = a ( ) ( ) b ( ) P Y (a, b] = PX,Y R (a, b] = f X,Y (x, y) dx dy = To znamená, že f X a f Y jsou funkce hustoty rozdělení veličin X a Y. a b a b Poznámka: Na rozdíl od diskrétních veličin, opačné tvrzení neplatí. (!!) a f X (x) dx, f Y (y) dy. V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 26 / 59

27 Příklad (Sdružené rozdělení, které není absolutně spojité) Uvažujme absolutně spojitou náhodnou veličinu X jejíž funkce hustoty je f X = 1 [0,1]. To jest, f X (x) = 1 pro x [0, 1] a f X (x) = 0 ve všech ostatních případech. Položme Y = X. Obě X a Y jsou absolutně spojité náhodné veličiny. Uvažujme nyní B = { x, x x R}. Platí P ( { X, Y B} ) = P ( {ω Ω X(ω) Y (ω)} ) = P ({X Y }) = 0. Kdyby X a Y měly sdruženou funkci hustoty f X,Y, pak by platilo P ( { X, Y B} ) = P ({X < Y }) + P ({X > Y }) = = y f X,Y (x, y) dx dy + f X,Y (x, y) dx dy = P X,Y (R 2 ) = 1, což by byl spor s faktem, že P ({X Y }) = 0; P X,Y y f X,Y (x, y) dx dy proto není absolutně spojité. V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 27 / 59

28 Očekávané hodnoty Očekávané hodnoty marginálních veličin: uvažujeme náhodný vektor X : Ω R n s rozdělením P X ; marginální veličiny π i (X): Ω R pro i = 1,..., n; lze uvažovat očekávané hodnoty E ( π i (X) ), E ( g(π i (X)) ),... (Přednáška 7) Střední hodnoty marginálních veličin: E ( π i (X) ) je střední hodnota i-té marginální veličiny; pokud se marginální veličina označuje X, pak označujeme E(X) = µ X. Rozptyl marginálních veličin: E (( π i (X) E(π i (X)) ) 2) je rozptyl i-té marginální veličiny; pokud je marginální veličina X, píšeme E ( (X µ X ) 2) = σx 2 = Var(X). V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 28 / 59

29 Příklad (Motivace pro nezávislost náhodných veličin) Uvažujme dvě náhodné veličiny X a Y v pravděpodobnostním prostoru Ω, F, P. Pro libovolné A, B B platí, že {X A} F a {Y B} F. Podle definice nezávislosti náhodných jevů (Přednáška 4) platí, že {X A} a {Y B} pokud P ({X A} {Y B}) = P ({X A}) P ({Y B}). Pomocí sdružených a marginálních rozdělení lze předchozí vyjádřit jako P X,Y (A, B) = P X (A) P Y (B). Pokud P Y (B) > 0, lze v důsledku nezávislosti {X A} a {Y B} psát P ({X A} {Y B}) = P ({X A} {Y B}) P ({Y B}) = P X,Y (A, B) P Y (B) = P X (A). Rozšíření úvahy: Místo nezávislosti náhodných jevů {X A} a {Y B} daných dvěma konkrétními Borelovskými množinami A, B B můžeme uvažovat nezávislosti jevů pro libovolné A, B,... V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 29 / 59

30 Nezávislost náhodných veličin Definice (Nezávislost náhodných veličin) Mějme náhodné veličiny X 1,..., X n v pravděpodobnostním prostoru Ω, F, P. Pak X 1,..., X n se nazývají nezávislé (angl.: independent) náhodné veličiny pokud {X 1 a 1 },..., {X n a n } jsou vzájemně nezávislé náhodné jevy pro každé a 1,..., a n R. V opačném případě se X 1,..., X n nazývají závislé (angl.: dependent). Důsledky nezávislosti: Mějme nezávislé náhodné veličiny X 1,..., X n. Pak pro sdruženou pravděpodobnostní míru P X1,...,X n platí P X1,...,X n ( (, a1 ] (, a n ] ) = P ({X 1 a 1 } {X n a n }) = n i=1 P ({X i a i }) = n i=1 P X i ( (, ai ] ). V případě nezávislých veličin lze vyjádřit P X1,...,X n z marginálních pravděpodobností. V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 30 / 59

31 Věta (Ekvivalentní zavedení nezávislosti náhodných veličin) Náhodné veličiny X 1,..., X n v pravděpodobnostním prostoru Ω, F, P jsou nezávislé právě tehdy, když {X 1 A 1 },..., {X n A n } jsou vzájemně nezávislé náhodné jevy pro všechny Borelovské množiny A 1,..., A n B. Důkaz. Prokážeme pouze netriviální implikaci pro náhodné veličiny X a Y (tvrzení pro X 1,..., X n lze získat přímočarým zobecněním). Předpokládejme, že X a Y jsou nezávislé veličiny. Položme X = { A B {X A} a {Y b} jsou nezávislé pro každé b R }. Dle předpokladu, (, a] X pro každé a R. Navíc platí, že X je uzavřená na komplement, sjednocení spočetně mnoha prvků z X a R X (Přednáška 4). Odtud ihned dostáváme, že X je σ-algebra a je totožná s B. Analogicky: Y = { B B {X A} a {Y B} jsou nezávislé pro každé A X }. Opět máme Y = B. Pro A, B B tedy tvrzení platí, protože A X, B Y. V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 31 / 59

32 Věta (Nezávislost odvozených náhodných veličin) Mějme náhodné veličiny X 1,..., X n v pravděpodobnostním prostoru Ω, F, P a Borelovské funkce g 1,..., g n. Pokud jsou X 1,..., X n nezávislé, pak jsou náhodné veličiny g 1 (X 1 ),..., g n (X n ) rovněž nezávislé. Důkaz. Vezměme a 1,..., a n R. Stačí ukázat, že {g 1 (X 1 ) a 1 },..., {g n (X n ) a n } jsou vzájemně nezávislé. Pro každé i = 1,..., n platí, že {g i (X i ) a i } = {X i {g i a i }}. Dále platí, že {g i a i } B pro každé i = 1,..., n. Aplikací předchozí věty tedy ihned dostáváme, že {X 1 {g 1 a 1 }},..., {X n {g n a n }} jsou vzájemně nezávislé náhodné jevy. Tvrzení je tedy důsledkem předchozích dvou pozorování a toho, že a 1,..., a n R byly voleny libovolně. V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 32 / 59

33 Sdružená pravděpodobnostní funkce a nezávislost Věta (Nezávislost diskrétních náhodných veličin) Diskrétní náhodné veličiny X, Y s pravděpodobnostními funkcemi f X a f Y jsou nezávislé právě tehdy, když f X,Y (a, b) = f X (a) f Y (b), pro libovolné a, b R. Důkaz. Nechť X a Y jsou nezávislé veličiny, pak pro libovolné a, b R platí: f X,Y (a, b) = P ({X = a} {Y = b}) = P ({X = a}) P ({Y = b}) = f X (a) f Y (b). Obráceně, nechť platí f X,Y (a, b) = f X (a) f Y (b) pro všechna a, b R. Platí: P ({X a}) P ({Y b}) = x a f X(x) y b f X(y) = ( x a y b f X(y) f X (x) ) = ( x a y b fx (y) f X (x) ) = x a y b f X,Y (x, y) = P ({X a} {Y b}). V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 33 / 59

34 Příklad (Nezávislé diskrétní náhodné veličiny) Mějme diskrétní náhodné veličiny X a Y se sdruženou pravděpodobnostní funkcí f X,Y (x, y) = x y2 pokud x {1, 2, 3} a y {1, 2}, 30 a f X,Y (x, y) = 0 ve všech ostatních případech. Úkol: Vyšetřete, jestli jsou X a Y nezávislé. Řešení: Marginální rozdělení pravděpodobnosti veličin X a Y jsou f X (x) = 2 f Y (y) = 3 y=1 x=1 x y 2 30 = x x 30 = x 6 x y 2 30 = y y y2 30 = y2 5 pro x {1, 2, 3}, pro y {1, 2}. Zřejmě f X,Y (x, y) = f X (x) f Y (y) pro každé x, y R, to jest X a Y jsou nezávislé. V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 34 / 59

35 Příklad (Nezávislé diskrétní náhodné veličiny) Mějme diskrétní náhodné veličiny X a Y se sdruženou pravděpodobnostní funkcí f X,Y (x, y) = x + y, pokud x {1, 2, 3} a y {1, 2}, 21 a f X,Y (x, y) = 0 ve všech ostatních případech. Úkol: Vyšetřete, jestli jsou X a Y nezávislé. Řešení: Marginální rozdělení pravděpodobnosti veličin X a Y jsou f X (x) = 2 f Y (y) = 3 y=1 x=1 x + y 21 = x x = 2x x + y 21 = 6 + 3y 21 pro y {1, 2}. pro x {1, 2, 3}, To jest například f X,Y (1, 1) = = = f X(1) f Y (1), což znamená že náhodné veličiny X a Y jsou závislé. V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 35 / 59

36 Příklad (Rychlé vyšetření nezávislosti diskrétních náhodných veličin) Mějme diskrétní náhodné veličiny X a Y se sdruženou pravděpodobnostní funkcí f X,Y (x, y) = x y2 pro x, y { 1, 1, 1, 2, 2, 2 }. 13 a f X,Y (x, y) = 0 ve všech ostatních případech. Úkol: Vyšetřete, jestli jsou X a Y nezávislé. Řešení: Marginální rozdělení pravděpodobnosti veličin X a Y jsou { 5 { pro x = 1, 1 pro y = 1, f X (x) = 8 pro x = 2, 13 f Y (y) = 12 pro y = Odtud f X,Y (2, 1) = = = f X(2) f Y (1), veličiny jsou závislé. Obecná (kratší) úvaha: S = { x, y f X,Y (x, y) > 0} není ve tvaru kartézského součinu dvou podmnožin R. V tom případě zřejmě musí existovat x, y R tak, že f X,Y (x, y) = 0 a f X (x) > 0 a f Y (y) > 0, což znamená, že X a Y jsou závislé. V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika / 59

37 Sdružená funkce hustoty a nezávislost Věta (Nezávislost absolutně spojitých náhodných veličin) Absolutně spojité náhodné veličiny X, Y se sdruženou funkcí hustoty f X,Y jsou nezávislé právě tehdy, když f X,Y (a, b) = f X (a) f Y (b), pro libovolné a, b R. Důkaz. Prokazuje se užitím Fubiniho věty a faktů P ({X a}) P ({Y b}) = = P ({X a}) P ({Y b}) = a b a b a f X (x) dx b f Y (y) dy f X (x) f Y (y) dx dy, f X,Y (x, y) dx dy. V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 37 / 59

38 Příklad (Nezávislé absolutně spojité náhodné veličiny) Problém: Mějme absolutně spojité náhodné veličiny se sdruženou hustotou f X,Y (x, y) = c e x+y, pokud x, y 0, a f X,Y (x, y) = 0 ve všech ostatních případech. Úkol: Stanovte hodnotu c R a určete, jestli jsou X a Y nezávislé. Řešení: Nejprve z vlastností funkce hustoty stanovíme konstantu c R. ( 2 1 = P X,Y (R 2 ) = c e x+y dy dx = c e dx) x+y = c. Marginální funkce hustoty f X a f Y f X (x) = mají potom tvar: e x+y dy = e x, f Y (y) = e x+y dx = e y. X a Y jsou nezávislé, protože f X,Y (x, y) = f X (x) f Y (y) pro každé x, y R. V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 38 / 59

39 Kovariance a korelační koeficient Definice (Kovariance a korelační koeficient náhodných veličin) Mějme náhodné veličiny X a Y. Potom 1 Pokud jsou µ X a µ Y střední hodnoty veličin X a Y, pak Cov(X, Y ) = σ X,Y = E((X µ X ) (Y µ Y )) nazýváme kovariance náhodných veličin X a Y (angl.: covariance); 2 Pokud σ 2 X > 0 a σ2 Y > 0, pak Cor(X, Y ) = ρ X,Y = Cov(X, Y ) σ X σ Y se nazývá korelační koeficient veličin X a Y (angl.: correlation coefficient). Poznámka: Pro X(ω) = X(ω), Y (ω) a g(x, y) = (x µ X ) (y µ Y ) máme Cov(X, Y ) = E(g(X)). V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 39 / 59

40 Věta (Střední hodnota součinu náhodných veličin) E(XY ) = µ X µ Y + ρ X,Y σ X σ Y = µ X µ Y + Cov(X, Y ). Důkaz. Užitím faktu, že E je lineární operátor dostáváme: E ( (X µ X )(Y µ Y ) ) = E(XY µ X Y µ Y X + µ X µ Y ) = Jelikož ρ X,Y = Cov(X, Y ) σ X σ Y = E(XY ) µ X E(Y ) µ Y E(X) + µ X µ Y = = E(XY ) µ X µ Y µ Y µ X + µ X µ Y = E(XY ) µ X µ Y. = E(XY ) µ Xµ Y, vyjádřením E(XY ) dostáváme: σ X σ Y E(XY ) = µ X µ Y + ρ X,Y σ X σ Y. Důsledek: Střední hodnota součinu XY je rovna součinu středních hodnot X a Y zvětšenému o kovarianci Cov(X, Y ) = ρ X,Y σ X σ Y. V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 40 / 59

41 Příklad (Výpočet korelačního koeficientu dvou náhodných veličin) Mějme diskrétní náhodné veličiny se sdruženou pravděpodobnostní funkcí f X,Y (x, y) = x + 2y, pro x {1, 2} a y {1, 2}, 18 f X,Y (x, y) = 0 v ostatních případech. Střední hodnota a rozptyl marginálních náhodných veličin jsou následující: µ X = 14 9, σ2 X = 20 81, µ Y = 29 18, σ2 Y = Kovarianci veličin X a Y stanovíme pomocí vztahu z předchozího tvrzení Cov(X, Y ) = 2 x=1 Potom má korelační koeficient ρ X,Y ρ X,Y = 2 x + 2y xy y=1 18 hodnotu = /162 (20/81) (77/324) V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 41 / 59

42 Příklad (Kovariance nezávislých diskrétních veličin) Problém: Mějme nezávislé diskrétní náhodné veličiny X a Y. Úkol: Stanovte kovarianci X a Y. Řešení: S využitím faktu f X,Y (x, y) = f X (x) f Y (y) máme: E ( u(x) v(y ) ) = x R y R u(x) v(y) f X,Y (x, y) = = x R y R u(x) v(y) f X(x) f Y (y) = = x R u(x) f X(x) y R v(y) f Y (y) = To jest, ve speciálním případě: = E ( u(x) ) E ( v(y ) ). Cov(X, Y ) = E ( (X µ X )(Y µ Y ) ) = E(X µ X ) E(Y µ Y ) = 0 0 = 0. Důsledek: Pokud jsou X a Y nezávislé, jejich kovariance je nulová. Pozor: Opačné tvrzení neplatí: existují závislé veličiny s nulovou kovariancí. (!!) V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 42 / 59

43 Lineární regresní funkce Vyšetřování (lineární) závislosti jedné náhodné veličiny na druhé; jako v případě výběrů (Přednáška 2), ale pracujeme s náhodnými veličinami. Nalezení regresní přímky ve smyslu metody nejmenších čtverců Předpokládejme, že máme náhodné veličiny X a Y. 1 Uvažujeme body x, y v prostoru (s jejich pravděpodobnostmi); 2 speciálně lze uvažovat bod µ X, µ Y daný středními hodnotami X a Y ; 3 přímky procházející bodem µ X, µ Y splňují y µ Y = b (x µ X ); 4 uvažujme bod x 0, y 0, čtverec jeho vzdálenosti od přímky y = b (x µ X ) + µ Y je (y 0 µ Y b (x 0 µ X )) 2. 5 Očekávaná střední vzdálenost bodů od přímky je tedy E ( (Y µ Y b (X µ X )) 2). 6 Hledáme proto b R, které minimalizuje K(b) = E ( (Y µ Y b (X µ X )) 2). V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 43 / 59

44 Vyjádření lineární regresní funkce Zjednodušením tvaru funkce K a vyjádřením pomocí korelačního koeficientu: K(b) = E ( (Y µ Y b (X µ X )) 2) = = E ( (Y µ Y ) 2 2b(X µ X )(Y µ Y ) + b 2 (X µ X ) 2) = = σ 2 Y 2bσ X,Y + b 2 σ 2 X = σ 2 Y 2bρ X,Y σ X σ Y + b 2 σ 2 X. První derivace funkce K je následující: K (b) = 2ρ X,Y σ X σ Y + 2bσ 2 X To znamená, že hledané minimum je b = ρ X,Y σ Y σ X (platí K (b) = 2σ 2 X > 0). Věta (Tvar regresní přímky ve smyslu metody nejmenších čtverců) y = µ Y + ρ X,Y σy σ X (x µ X ). V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 44 / 59

45 Příklad (Lineární regresní funkce) Mějme diskrétní náhodné veličiny se sdruženou pravděpodobnostní funkcí f X,Y (x, y) = x + 2y, pro x {1, 2} a y {1, 2}, 18 f X,Y (x, y) = 0 v ostatních případech. Z předchozího příkladu víme, že µ X = 14 9, σ2 X = 20 81, µ Y = 29 18, σ2 Y = Dále máme stanovenu hodnotu korelačního koeficientu: ρ X,Y = Cov(X, Y ) (20/81) (77/324) Lineární regresní funkce je proto ve tvaru: y = µ Y + ρ X,Y σy (x µ X ) = 14 σ X /324 20/81 ( x 14 ). 9 V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 45 / 59

46 Podmíněná rozdělení S využitím podmíněné pravděpodobnosti (Přednáška 4) lze psát P ({X A} {Y B}) = P ({X A} {Y B}) P ({Y B}) To nás motivuje k zavedení následujícího pojmu: Definice (Podmíněné rozdělení náhodné veličiny) = P X,Y (A, B). P Y (B) Mějme náhodné veličiny X a Y se sdruženým rozdělením pravděpodobnosti P X,Y. Pak pravděpodobnostní míra P X {Y B} daná pro každou A B předpisem P X {Y B} (A) = P X,Y (A, B) P Y (B) pokud P Y (B) > 0, je podmíněné rozdělení pravděpodobnosti náhodné veličiny X za předpokladu, že náhodná veličina Y nabude hodnoty z B B, angl.: conditional distribution. V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 46 / 59

47 Pojmy související s podmíněným rozdělením Pro P X {Y B} je F X {Y B} podmíněná distribuční funkce ve tvaru ( ) F X {Y B} (a) = P X {Y B} (, a] = P ({X a} {Y B}). Pokud je X diskrétní, pak podmíněná pravděpodobnostní funkce je ve tvaru f X {Y B} (x) = P X {Y B} ({x}) = P ({X = x} {Y B}). Pokud je P X {Y B} absolutně spojitá pravděpodobnostní míra s hustotu f, pak se f označuje f X {Y B} a nazývá se podmíněná funkce hustoty. V důsledku: P X {Y B} (A) = f X {Y B} dm. Pokud je P Y (B) > 0, podmíněná střední hodnota X za předpokladu {Y B} je A E(X {Y B}) = E(X 1 {Y B}) P Y (B), kde 1 {Y B} je indikátorová funkce. V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 47 / 59

48 Příklad (Podmíněné rozdělení pravděpodobnosti) Mějme diskrétní náhodné veličiny X a Y se sdruženou pravděpodobnostní funkcí f X,Y (x, y) = x + y pro x {1, 2, 3} a y {1, 2}, 21 f X,Y (x, y) = 0 ve všech ostatních případech. Marginální pravděpodobnostní funkce f X a f Y jsou následující: f X (x) = 2x + 3 pro x {1, 2, 3}; f Y (y) = 6 + 3y pro y {1, 2} Podmíněnou pravděpodobnostní funkci f X {Y =y} lze vyjádřit f X {Y =y} (x) = P ({X = x} {Y = y}) = f X,Y (x, y) f Y (y) Například tedy máme = (x + y)/21 (6 + 3y)/21 = x + y 6 + 3y. P ({X 2} {Y = 2}) = f X {Y =2} (2) + f X {Y =2} (3) = = 3 4. V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 48 / 59

49 Příklad (Podmíněné střední hodnoty) Problém: Uvažujme náhodné veličiny X a Y z předchozího příkladu. Úkol: Stanovte podmíněnou střední hodnotu X za předpokladu, že {Y = 2}. Řešení: Jelikož je X diskrétní, existuje spočetná C R tak, že E(X {Y B}) = E(X 1 {Y B}) P Y (B) = x C Speciálně pro B = {y} dostáváme: = 1 P Y (B) x P ({X 1 {Y B} = x}) x C x P ({X = x} {Y B}) P Y (B) = x C x f X {Y B}(x). E(X {Y = y}) = x f X {Y =y}(x) = x fx,y (x, y). x C x C f Y (y) Případě předchozího příkladu pro y = 2 dostáváme: E(X {Y = 2}) = 1 f X {Y =2} (1) + 2 f X {Y =2} (2) + 3 f X {Y =2} (3) = V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 49 / 59

50 Příklad (Jeden politicky nekorektní příklad) Problém: Malý podnik zaměstnává 100 mužů a 100 žen a výplaty všech zaměstnanců jsou buď Kč nebo Kč nebo Kč. Muži zaměstnaní v podniku mají následující výplaty: 20 z nich má Kč, 20 z nich má Kč a zbývajících 60 má Kč. Průměrný plat muže v podniku je tedy: = Kč. Ženy zaměstnané v podniku vydělávají následovně: 60 vydělává , 20 vydělává a zbývajících 20 vydělává , což dává průměrnou hodnotu Otázka: Jak máme tento výsledek interpretovat? = Kč. Odpověď statistika: Nijak. (Alespoň ne bez dodatečné informace.) V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 50 / 59

51 Příklad (Simpsonův paradox) Pokud budeme uvažovat dodatečnou dimenzi dat (počet let v zaměstnání), situace z předchozího příkladu může vypadat následovně: výplata 1 rok 5 let celkem muži průměr ženy průměr Ačkoliv mají muži vyšší celkovou průměrnou mzdu než ženy, v rámci obou skupin se stejnou dobou praxe mají ženy vyšší průměrnou mzdu než muži. V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 51 / 59

52 Příklad (Generování pseudonáhodných čísel ruletovovou metodou) Problém: Máme diskrétní náhodnou veličinu X takovou, že P X (C) = 1 pro konečnou množinu C R. Úkolem je generovat (na počítači) pseudonáhodná čísla, která mají stejné rozdělení, jako veličina X (simulace náhodné veličiny X). Většina programovacích jazyků disponuje pouze funkcí pro generování pseudonáhodných čísel odpovídající (diskrétnímu) uniformnímu rozdělení. Pokud pro konečnou C R platí P X (C) = 1, lze použít následující princip ruletového výběru: 1 Označme C = {x 1,..., x k } tak, že f X (x i ) > 0 a x 1 < x 2 < < x k ; 2 vygenerujeme uniformní pseudonáhodné číslo p [0, 1]; 3 najdeme nejmenší index i = 1,..., k splňující podmínku p i n=1 f X(x n ); 4 vrátíme hodnotu x i jako výsledek. Otázka: Jak postupovat pro obecná X? V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 52 / 59

53 Věta (O inverzní transformaci) Mějme náhodnou veličinu X s rozdělením U(0, 1). Pak pro libovolnou distribuční funkci F platí, že náhodná veličina F (X) má distribuční funkci F. Důkaz. Distribuční funkce náhodné veličiny F (X) je ve tvaru F F (X)(a) = P F (X)( (, a] ) = P ({F (X) a}) = P ({X {F a}}). Pokud si nyní uvědomíme, že {F a} = {x R F (x) a} a využijeme faktu, že x F (a) platí právě tehdy, když F (x) a (Přednáška 7), pak {F a} = {x R F (x) a} = {x R x F (a)} = (, F (a)]. Dosazením do předchozí rovnosti a využitím faktu, že X má uniformní rozdělení U(0, 1), dostáváme: F F (X)(a) = P ({X {F a}}) = P ({X (, F (a)]}) = P ({0 X F (a)}) = F (a). V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 53 / 59

54 Příklad (Použití inverzní transformace) Předchozí věta dává následující postup generování pseudonáhodných čísel: 1 vygenerujeme uniformní pseudonáhodné číslo x [0, 1]; 2 vypočítej výslednou hodnotu F (x). Použitelné v případech, kdy F má jednoduché explicitní vyjádření. Poznámka: Nutné mít kvalitní generátor uniformních (pseudo)náhodných čísel. Implementace ve standardních knihovnách C99 (ISO/IEC 9899) #include <stdlib.h> double random_u01 (void) { /* 0x7FFFFFFF = */ return random () / ((double) 0x7FFFFFFF); } V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 54 / 59

55 Příklad (Pseudonáhodná čísla z exponenciálního rozdělení) Mějme náhodnou veličinu X, která má exponenciální rozdělení s parametrem µ = θ. Pak kvantilová funkce F X náhodné veličiny X je ve tvaru: F X (p) = θ ln(1 p), pro p [0, 1). Příklad: Pro X s parametrem θ = 5 a odpovídající F X použijeme předchozí postup: 0.20 n = n = n = V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 55 / 59

56 Věta (Základní věta simulace náhodných veličin) Mějme absolutně spojitou náhodnou veličinu X s hustotou f X a uvažujme dvourozměrný absolutně spojitý náhodný vektor X jehož hustota f X je { 1 pokud 0 < y < fx (x), f X (x, y) = 0 jinak. Pak f X = f π1 (X), to jest f X je marginální hustota X. Pokud je navíc f X shora omezená hodnotou nějakého m R a f X nabývá nenulových hodnot pouze na intervalu (a, b), pak platí, že P ({X x}) = P ({U x} {V f X (U)}), kde U má rozdělení U(a, b) a V má rozdělení U(0, m). Důkaz (začátek). První část tvrzení je triviální, protože: f π1 (X)(x) = f X (x, y) dy = fx (x) 0 1 dy = f X (x). V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 56 / 59

57 Důkaz (dokončení). Rozepsáním podmíněné pravděpodobnosti z druhé části tvrzení dostáváme P ({U x} {V f X (U)}) = P ({U x} {V f X(U)}). P ({V f X (U)}) Jelikož f U,V (u, v) má na (a, b) (0, m) konstantní nenulovou hodnotu: P ({U x} {V f X (U)}) P ({V f X (U)}) x fx (u) a b fx (u) a 1 dv du 0 1 dv du = 0 = x fx (u) a b fx (u) a f 0 U,V (u, v) dv du f 0 U,V (u, v) dv du = Užitím pozorování z první části tvrzení dostáváme: x f x a X(u) du b f a X(u) du = f a X(u) du = 1 x a x fx (u) a b fx (u) a 1 dv du 0 1 dv du. 0 f X (u) du = P ({X x}). Aplikace věty: Lze generovat pseudonáhodná čísla pouze pomocí funkce hustoty f X a generátoru uniformních pseudonáhodných čísel. (!!) V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 57 / 59

58 Implementace Algoritmus (generování pseudonáhodných čísel pomocí funkce hustoty) (defun density-random (f a b m) "Generate random number from interval (A,B) according to distribution with density F bounded by [0,M]." (loop for u := (+ a (random (float (- b a) 1L0))) for v := (random (float m 1L0)) when (<= v (funcall f u)) do (return u))) Poznámka: používá se v případech, kdy F X nelze jednoduše vyjádřit; metoda inverzní funkce se naopak používá, pokud lze F X jednoduše počítat. V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 58 / 59

59 Přednáška 8: Závěr Pojmy: náhodný vektor, vícerozměrné Borelovské jevové pole, sdružené rozdělení pravděpodobnosti, marginální rozdělení pravděpodobnosti nezávislost náhodných veličin, kovariance, korelační koeficient podmíněná rozdělení, inverzní transformace, pseudonáhodná čísla Použité zdroje: Capinski M., Zastawniak T. J.: Probability Through Problems Springer 2001, ISBN Gentle J. E.: Random Number Generation and Monte Carlo Methods Springer 2004, ISBN Hogg R. V., Tanis E. A.: Probability and Statistical Inference Prentice Hall; 7. vydání 2005, ISBN V. Vychodil (KMI/PRAS, Přednáška 8) Náhodné vektory Pravděpodobnost a statistika 59 / 59