ZÁklady teorie pravděpodobnosti

Transkript

1 ZÁklady teorie pravděpodobnosti Pro předmět MatematickÁ statistika 1 Michal Kulich Katedra pravděpodobnosti a matematické statistiky Matematicko-fysikální fakulta University Karlovy

2 Tyto poznámky poskytují souhrn základních poznatků z teorie pravděpodobnosti, jež jsou potřebné pro výuku předmětu Matematická statistika 1 v rámci bakalářského studia oboru Obecná matematika na MFF UK. Některé z nich se probírají v předmětech Pravděpodobnost a matematická statistika a Teorie pravděpodobnosti 1, některé budou probrány na cvičení k předmětu Matematická statistika 1. Tento učební text představuje drobnou modifikaci učebního textu, který připravil doc. Michal Kulich, Ph.D.. Autor bude povděčen za upozornění na případné překlepy a nejasnosti, které laskavý čtenář nalezne kdekoli v tomto dokumentu.

3 Obsah ZnaČenÍ 6 1 Úvod Pravděpodobnost Náhodná veličina Rozdělení náhodné veličiny, hustota ReÁlnÁ náhodná veličina a její rozdělení Charakterizace rozdělení reálné náhodné veličiny Momenty reálné náhodné veličiny NÁhodnÝ vektor a mnohorozměrné rozdělení Rozdělení náhodného vektoru Momenty Nezávislost Korelace PodmÍnĚnÉ rozdělení Podmíněná hustota Podmíněná střední hodnota Podmíněný rozptyl Transformace náhodných veličin a vektorů Transformace náhodných veličin Transformace náhodných vektorů NormÁlnÍ rozdělení Mnohorozměrné normální rozdělení Rozdělení χ 2, t a F LimitnÍ věty Konvergence náhodných veličin a vektorů Zákony velkých čísel Centrální limitní věta PŘehled pravděpodobnostních rozdělení Diskrétní rozdělení Alternativní rozdělení Binomické rozdělení Geometrické rozdělení

4 8.1.4 Poissonovo rozdělení Negativně binomické rozdělení Spojitá rozdělení Rovnoměrné rozdělení Normální rozdělení Normované normální rozdělení Cauchyovo rozdělení Exponenciální rozdělení Gama rozdělení Beta rozdělení χ 2 rozdělení Studentovo t-rozdělení (Fisherovo) F-rozdělení Mnohorozměrná diskrétní rozdělení Multinomické rozdělení Mnohorozměrná spojitá rozdělení Mnohorozměrné normální rozdělení

5 5

6 ZnaČenÍ a T a 2 a P sj d X L X as. L transpozice vektoru a aa T eukleidovská norma vektoru a konvergence v pravděpodobnosti konvergence skoro jistě konvergence v distribuci X má přesné rozdělení L X má přibližně (asymptoticky) rozdělení L γ 3 γ 4 λ šikmost náhodné veličiny špičatost náhodné veličiny Lebesgueova míra na R µ S čítací míra na nejvýše spočetné množině S µ k k-tý centrální moment náhodné veličiny µ k k-tý moment náhodné veličiny ϱ(x,y ) korelační koeficient náhodných veličin X a Y σ X σ 2 X ϕ Φ Ω směrodatná odchylka náhodné veličiny X rozptyl náhodné veličiny X hustota normovaného normálního rozdělení distribuční funkce normovaného normálního rozdělení prostor elementárních jevů 1 B indikátor množiny B A B 0 B0 n cor (X,Y ) cor (X, Y ) σ-algebra náhodných jevů na Ω borelovská σ-algebra na R borelovská σ-algebra na R n korelační koeficient náhodných veličin X a Y korelační matice náhodných vektorů X a Y cov (X 1, X 2 ) kovariance náhodných veličin X 1 a X 2 cov (X 1, X 2 ) kovarianční matice náhodných vektorů X 1 a X 2 E X střední hodnota náhodné veličiny (vektoru) X E ( U Z = z ) podmíněná střední hodnota náhodného vektoru U, je-li dáno Z = z E ( U Z ) podmíněná střední hodnota náhodného vektoru U, je-li dáno Z 6

7 f X f (y z) F X F 1 X L p L(X ) m X P P X R S X u X (α) var X var X var ( U Z = z ) var ( U Z ) X hustota náhodné veličiny (vektoru) X podmíněná hustota náhodného vektoru Y, je-li dáno Z = z distribuční funkce náhodné veličiny (vektoru) X kvantilová funkce náhodné veličiny X množina náhodných veličin na (Ω, A, P) s konečným p-tým absolutním momentem rozdělení náhodné veličiny (vektoru) X medián náhodné veličiny X pravděpodobnost rozdělení náhodné veličiny X, její indukovaná míra na výběrovém prostoru množina reálných čísel nosič rozdělení náhodné veličiny X α-kvantil náhodné veličiny X rozptyl náhodné veličiny X rozptylová matice náhodného vektoru X podmíněný rozptyl náhodného vektoru U, je-li dáno Z = z podmíněný rozptyl náhodného vektoru U, je-li dáno Z výběrový prostor 7

8 1 Úvod 1.1 PravdĚpodobnost Nechť je dána libovolná množina Ω. Definice 1.1 Systém A podmnožin množiny Ω nazveme σ-algebrou pokud platí (i) A; (ii) A A A c A; (iii) A 1, A 2, A 3,... A i=1 A i A. Definice 1.2 (Kolmogorovova definice pravděpodobnosti) Nechť Ω je nějaká množina a A σ-algebra jejích podmnožin. Funkci P : A 0, 1 nazveme pravděpodobností, právě když splňuje následující podmínky: (a) P(A) 0, P(Ω) = 1; (b) A 1, A 2, A 3,... A a A i A j = i j P( i=1 A i ) = i=1 P(A i ). [Dupač & Hušková 1999, Df. 1.1] Definice 1.3 Množinu Ω nazýváme prostor elementárních jevů, její prvky ω Ω nazýváme elementární jevy. Prvky σ-algebry A nazýváme měřitelné množiny nebo také náhodné jevy. Trojici (Ω, A, P) nazýváme pravděpodobnostní prostor. Definice 1.4 (Podmíněná pravděpodobnost) Mějme náhodné jevy A, B, nechť P(B) > 0. Podmíněná pravděpodobnost jevu A za podmínky, že nastal jev B je dána vztahem P ( A B ) = P(A B). P(B) [Dupač & Hušková 1999, Df. 1.2] Tvrzení 1.1 Pro libovolných n + 1 jevů A 1,..., A n+1 takových, že P(A 1 A n ) > 0 platí [Dupač & Hušková 1999, V. 1.2] P(A 1 A n+1 ) = P(A 1 ) P ( A 1 A 0 ) P ( A n+1 A 1 A n ). Tvrzení 1.2 Nechť B 1, B 2,... je posloupnost vzájemně neslučitelných jevů takových, že P(B i ) > 0 i a i P(B i ) = 1. Pak pro libolný náhodný jev A platí P(A) = P ( A B i ) P(B i ). i=1 [Dupač & Hušková 1999, V. 1.3] 8

9 1 Úvod Definice 1.5 (Nezávislost náhodných jevů) Náhodné jevy A 1,..., A n nazveme (vzájemně) nezávislé právě když platí P(A 1 A n ) = P(A 1 ) P(A n ). Náhodné jevy A 1, A 2,... nazveme nezávislé právě když platí [Dupač & Hušková 1999, Df. 1.3 a 1.4] k > 1 n 1,..., n k N A n1,..., A nk jsou nezávislé. Tvrzení 1.3 Nechť A 1,..., A n jsou nezávislé jevy. Pak platí (i) A 1 (,..., A n 1, An c jsou nezávislé jevy. (ii) P A 1 ) A j A j+1 A n = P(A1 A j ). [Dupač & Hušková 1999, V. 1.5 a 1.6] 1.2 NÁhodnÁ veličina Nechť je dán pravděpodobnostní prostor (Ω, A, P). Definice 1.6 Měřitelné zobrazení X : (Ω, A) (X, B), kde X je nějaká množina a B nějaká σ-algebra na X, nazveme náhodnou veličinou. Množinu X nazýváme výběrový prostor. Poznámka. Nechť jsou dány σ-algebry A na množině Ω a B na množině X. Zobrazení X : Ω X je měřitelné vzhledem k σ-algebrám A a B, právě když B B platí {ω Ω : X (ω) B} A (tj. vzory měřitelných množin jsou měřitelné). Poznámka. Zvolíme-li X = R a za B vezmeme borelovské množiny na R, dostaneme reálnou náhodnou veličinu (většinou zvanou pouze náhodná veličina ). Zvolíme-li X = R k a za B vezmeme borelovské množiny na R k, dostaneme náhodný vektor. Jiné volby X pak vygenerují náhodnou posloupnost či náhodný proces. 1.3 RozdĚlenÍ náhodné veličiny, hustota Definice 1.7 Rozdělením náhodné veličiny X : (Ω, A) (X, B) rozumíme indukovanou pravděpodobnostní míru P X na (X, B) definovanou vztahem P X (B) df = P({ω Ω : X (ω) B}), B B. Pravděpodobnost P X (B) značíme také P [X B]. [Dupač & Hušková 1999, pozn. na str. 20] Poznámka. Pravděpodobnostní prostor (Ω, A, P) se pro danou náhodnou veličinu X transformuje na pravděpodobnostní prostor (X, B, P X ). Tvrzení 1.4 (Věta o přenosu integrace) Nechť h jest měřitelná funkce z (X, B) do (R, B 0 ). Pak platí h(x (ω)) dp(ω) = h(x) dp X (x). Ω X [Anděl 2002, V. 1.1] 9

10 1 Úvod Poznámka. Míra µ na (X, B) je σ-konečná, právě když existují množiny B 1, B 2, B 3,... B takové, že µ(b i ) < a i=1 B i = X. Míra P X je absolutně spojitá vzhledem k míře µ na (X, B) právě když B B µ(b) = 0 P X (B) = 0. Tvrzení 1.5 (Radon-Nikodymova věta) Nechť X : (Ω, A) (X, B) je náhodná veličina, nechť µ je σ-konečná míra na X a nechť P X je absolutně spojitá vzhledem k µ. Pak existuje reálná měřitelná nezáporná funkce f X (x) taková, že pro každou měřitelnou funkci h : (X, B) (R, B 0 ) platí h(x) dp X (x) = h(x)f X (x) dµ(x). X X Funkce f X (x) je určena jednoznačně µ-skoro všude. Definice 1.8 Funkce f X z předchozí věty se nazývá hustotou náhodné veličiny X vzhledem k míře µ. Definice 1.9 Nechť B B. Funkci nazýváme indikátor množiny B. 1 B (x) = 1 pokud x B, 0 jinak Poznámka. Zvolme nějaké B B a dosaďme za funkci h indikátor množiny B. Pak máme z věty o přenosu integrace 1 B (X (ω)) dp(ω) = 1 dp X (x) = P [X B] a z Radon-Nikodymovy věty P [X B] = 1 B (x) dp X (x) = Ω X X B 1 B (x)f X (x) dµ(x) = Hustota tedy jednoznačně určuje rozdělení náhodné veličiny X. B f X (x) dµ(x). 10

11 2 ReÁlnÁ náhodná veličina a její rozdělení Nechť je dán pravděpodobnostní prostor (Ω, A, P). V této kapitole se zabýváme reálnými náhodnými veličinami, tj. X : (Ω, A) (R, B 0 ). 2.1 Charakterizace rozdělení reálné náhodné veličiny Uveďme si několik způsobů, jak specifikovat rozdělení reálné náhodné veličiny. Výčet nebude úplný, existují i jiné způsoby (charakteristická funkce). Hustota Zvolme σ-konečnou míru µ na R tak, aby P X byla absolutně spojitá vzhledem k µ. Podle tvrzení 1.5 a poznámky pod definicí 1.8 existuje nezáporná měřitelná f X : R R (jednoznačně určená skoro všude) taková, že P [X B] = B f X (x) dµ(x) B B 0. Vezmeme-li B = R, máme f X (x) dµ(x) = 1. Příklad. P X absolutně spojitá vzhledem k Lebesgueově míře λ: X je spojitá náhodná veličina [náhodná veličina se spojitým rozdělením] P X absolutně spojitá vzhledem k čítací míře µ S (S nejvýše spočetná množina v R): X je diskrétní náhodná veličina [náhodná veličina s diskrétním rozdělením] P X absolutně spojitá vzhledem k λ + µ {0} : náhodná veličina s diskrétní i spojitou složkou DistribuČnÍ funkce Definice 2.1 Funkci F X : R R definovanou vztahem F X (x) = P [X x] nazýváme distribuční funkcí náhodné veličiny X. [Dupač & Hušková 1999, Df. 2.4] Poznámka. Distribuční funkce F X jednoznačně charakterizuje rozdělení X. (Jedním směrem zřejmé, druhým směrem plyne z toho, že množiny (, x generují borelovskou σ-algebru B 0 ). Poznámka. U spojité náhodné veličiny máme F X (x) = x f X (t ) dt, z čehož plyne f X (x) = df X (x)/dx skoro všude. U diskrétní náhodné veličiny s hodnotami v S máme F X (x) = t S, t x P [X = t ], z čehož plyne P [X = x] = F X (x). 11

12 2 Reálná náhodná veličina a její rozdělení Tvrzení 2.1 (Vlastnosti distribuční funkce) (i) F X je neklesající, zprava spojitá (ii) lim x F X (x) = 0, lim x F X (x) = 1 (iii) Pro libovolnou měřitelnou h : R R platí h(x)f X (x) dµ(x) = h(x) df X (x) [Dupač & Hušková 1999, V. 2.2] Poznámka. h(x) df X (x) je Lebesgueův-Stieltjesův integrál. Tvrzení 1.4, 1.5 a 2.1 dohromady dávají h(x (ω)) dp(ω) = h(x) dp X (x) = h(x)f X (x) dµ(x) = h(x) df X (x). Ω KvantilovÁ funkce Definice 2.2 Nechť F X je distribuční funkce reálné náhodné veličiny X. Funkce F 1 X (u) = inf{x : F X (x) u}, u (0, 1) se nazývá kvantilová funkce náhodné veličiny X. Poznámka. Kvantilová funkce je neklesající a zleva spojitá. Z kvantilové funkce lze jednoznačně určit funkci distribuční. Je-li F X rostoucí a spojitá, pak F 1 X je inversní funkcí k F X. Definice 2.3 Nechť α (0, 1). α-kvantil u X (α) rozdělení F X je kterékoli reálné číslo splňující lim h 0 F X (u X (α) h) α a F X (u X (α)) α. Poznámka. Definicí kvantilu je více, tato jej neurčuje vždy jednoznačně. F 1 X (α) je vždy jeden z α-kvantilů. Definice kvantil se zove medián náhodné veličiny X ; budeme jej značit m X a 0.75-kvantily se zovou kvartily náhodné veličiny X 2.2 Momenty reálné náhodné veličiny Definice 2.5 Střední hodnotou E X (reálné) náhodné veličiny X rozumíme reálné číslo E X dané výrazem E X df = X (ω) dp(ω), Ω pokud integrál na pravé straně existuje. Poznámka. Tuto definici lze snadno použít i v obecnějších výběrových prostorech. 12

13 2 Reálná náhodná veličina a její rozdělení Poznámka. Nechť h je reálná měřitelná funkce. Poznámka pod tvrzením 2.1 říká, že E h(x ) = h(x) dp X (x) = h(x)f X (x) dµ(x) = h(x) df X (x) Integrál uprostřed umíme v principu počítat pro µ Lebesgueovu nebo čítací míru. Integrál vpravo je Lebesgueův-Stieltjesův integrál. Výhodou tohoto zápisu je, že nemusíme specifikovat míru µ. Značení. Značkou L p budeme značit množinu všech reálných náhodných veličin na (Ω, A, P) takových, že E X p <. Tvrzení 2.2 (Vlastnosti střední hodnoty) Nechť X,Y L 1. Pak platí (i) E (a + bx ) = a + be X a, b R (ii) E (X + Y ) = E X + EY (iii) P [X Y ] = 1 E X EY (iv) Jestliže µ R x R f X (µ x) = f X (µ + x) pak E X = µ Věta 2.3 Nechť X L 1 je spojitá, má distribuční funkci F X a platí X 0 s.j. Pak E X = [1 F X (x)] dx. 0 [Anděl 2002, V. 1.2] Definice 2.6 µ df = E X k se nazývá k-tý moment náhodné veličiny X (typicky je k přirozené, ale k nemusí to tak nutně být) df µ k = E (X E X ) k se nazývá k-tý centrální moment náhodné veličiny X E X k se nazývá k-tý absolutní moment náhodné veličiny X Definice 2.7 Rozptyl var X náhodné veličiny X je její druhý centrální moment, tj. var X = E (X E X ) 2. Rozptyl se může také značit σ 2 X nebo σ2. Směrodatná odchylka σ X náhodné veličiny X je odmocnina z jejího rozptylu, σ X = var X. df Šikmost γ 3 náhodné veličiny X je definována jako γ 3 = µ 3 /σ 3. df Špičatost γ 4 náhodné veličiny X je definována jako γ 4 = µ 4 /σ 4. Tvrzení 2.4 (Vlastnosti rozptylu) Nechť X je náhodná veličina taková, že var X platí (i) var X 0; navíc var X = 0 c R : P [X = c] = 1 (ii) var X = E X 2 (E X ) 2 (iii) var (a + bx ) = b 2 var X pro a, b R <. Pak Věta 2.5 (Jensenova nerovnost) Nechť X je náhodná veličina s hodnotami v intervalu I R (může být nekonečný), tj. P [ X I ] = 1. Nechť g je [neostře] konvexní funkce na I taková, že existuje E g (X ). Pak E g (X ) g (E X ) a rovnost nastává právě když g (x) = a + bx nebo X je konstanta skoro jistě. 13

14 2 Reálná náhodná veličina a její rozdělení Důsledky. 1. E X 2 (E X ) E log X log E X pro X L 1 takovou, že P [X > 0] = Nechť p > q > 0. Pak ( E X p) 1/p ( E X q ) 1/q. 4. Nechť p > q > 0 a E X p <. Pak E X q <. Věta 2.6 (Markovova nerovnost) Nechť X L r, kde r > 0. Pak pro libovolné ε > 0 [Dupač & Hušková 1999, V. 2.10(ii)] P [ X ε ] E X r ε r. Důsledek (Čebyševova nerovnost). Pro X L 2 a pro libovolné ε > 0 platí P [ X E X ε ] var X ε 2. Důsledek. Pro X L 2 s rozptylem var X = σ 2 platí (například) P [ X E X 3σ ]

15 3 NÁhodnÝ vektor a mnohorozměrné rozdělení Nechť je dán pravděpodobnostní prostor (Ω, A, P). V této kapitole se zabýváme náhodnými vektory, tj. X : (Ω, A) (R n, B n 0 ). 3.1 RozdĚlenÍ náhodného vektoru Poznámka. Náhodný vektor je (do sloupce) uspořádaná n-tice náhodných veličin, tj. X(ω) = (X 1 (ω),..., X n (ω)) T. Definice 3.1 B n 0 je borelovská σ-algebra v Rn definovaná jako B n 0 = σ{(a 1, b 1 ) (a 2, b 2 ) (a n, b n ); a 1 < b 1, a 2 < b 2,..., a n < b n R} Poznámka. Míru na (R n, B0 n ) stačí definovat na některém generátoru borelovské σ-algebry, např. na otevřených nebo uzavřených n-rozměrných kvádrech. Hustota náhodného vektoru Poznámka. Podle Radon-Nikodymovy věty (Tvrzení 1.5) platí: Jestliže P X je absolutně spojitá vzhledem k σ-konečné míře µ na (R n, B0 n), tj. µ(b) = 0 P [ X B ] = 0 pro B B0 n, pak existuje jednoznačně (až na množiny s nulovou mírou µ) daná nezáporná měřitelná funkce f X (x) : R n R, zvaná hustota náhodného vektoru X taková, že h(x(ω)) dp(ω) = h(x) dp X (x) = h(x)f X (x) dµ(x) Ω R n R n pro každou měřitelnou funkci h : R n R. Značení. V dalším výkladu používáme v argumentech funkcí definovaných na R n záměnně značení x a (x 1,..., x n ). Poznámka. Jestliže je rozdělení X absolutně spojité vzhledem k Lebesgueově míře λ n na R n, pak rozdělení náhodného vektoru X nazýváme spojité a P [ X B ] počítáme jako 1 B (x)f X (x) dx 1 dx 2... dx n. 15

16 3 Náhodný vektor a mnohorozměrné rozdělení Nechť je rozdělení X absolutně spojité vzhledem k čítací míře µ S na R n, kde S je nejvýše spočetná množina bodů v R n tvaru S 1 S 2 S n a S k = {t k,1, t k,2,...}. Pak rozdělení náhodného vektoru X nazýváme diskrétní a P [ X B ] počítáme jako 1 B (t 1,i1, t 2,i2,..., t n,in ) P [ X = (t 1,i1, t 2,i2,..., t n,in ) ]. i 1 =1 i 2 =1 i n =1 Jestliže náhodný vektor obsahuje diskrétní i spojité složky, pak jeho rozdělení není ani diskrétní, ani spojité. Přesto pro něj máme použitelnou hustotu, s jejíž pomocí můžeme vyjádřit P [ X B ] Jestliže všechny složky náhodného vektoru jsou spojité, neznamená to nutně, že vektor jako celek má spojité rozdělení. Příklad: rozdělení na jednotkové kružnici v R 2. DistribuČnÍ funkce náhodného vektoru Definice 3.2 Funkci F X (x) = P [X 1 x 1,..., X n x n ] nazýváme distribuční funkcí náhodného vektoru. [Dupač & Hušková 1999, Df. 3.1] Tvrzení 3.1 Jestliže je rozdělení X absolutně spojité vzhledem k Lebesgueově míře λ n, pak a naopak, F X (x) = [Dupač & Hušková 1999, Df. 3.3] x1 xn f X (x) = n F X (x 1,..., x n ) x 1 x n f X (x 1,..., x n ) dx 1... dx n skoro všude. Poznámka. 1. Distribuční funkce jednoznačně určuje rozdělení náhodného vektoru X. 2. Kvůli jednoduššímu značení budeme psát h(x) df X (x) df = h(x)f X (x) dµ(x). R n R n SdruŽenÉ a marginální rozdělení Definice 3.3 Rozdělení celého náhodného vektoru X = (X 1,..., X n ) T se říká sdružené rozdělení. Jeho distribuční funkce a hustota se nazývají sdružená distribuční funkce a sdružená hustota. Rozdělením jednotlivých náhodných veličin X 1,..., X n se říká marginální rozdělení. Jejich distribuční funkce a hustoty se nazývají marginální distribuční funkce a marginální hustoty. 16

17 3 Náhodný vektor a mnohorozměrné rozdělení Tvrzení 3.2 Ze sdruženého rozdělení X lze jednoznačně určit marginální rozdělení X 1,..., X n. Platí F Xi (u) = lim F X (x 1,..., x i 1, u, x i+1,..., x n ) x 1,...,x i 1,x i+1,...,x n a pro spojitý náhodný vektor navíc f Xi (u) = 3.2 Momenty StŘednÍ hodnota f X (x 1,..., x i 1, u, x i+1,..., x n ) dx 1... dx i 1 dx i+1... dx n. (3.1) Poznámka. Podle definice 2.5 a poznámek na str. 15 a 16 máme pro libovolnou měřitelnou funkci h : R n R E h(x) = h(x(ω)) dp(ω) = h(x)f X (x) dµ(x) = h(x) df X (x). Ω R n R n Definice 3.4 Pro měřitelnou g : R n R m definujeme E g (X) = (E g 1 (X),..., E g m (X)) T. Poznámka. Střední hodnota náhodného vektoru je tedy vektorem středních hodnot jejích složek. Střední hodnota matice náhodných veličin je maticí středních hodnot jednotlivých prvků. Rozptyl V této části nechť X i L 2, i = 1,..., n. Značení. Nechť a je sloupcový vektor v R n. Pak definujeme a 2 df = aa T (matice součinů prvků a i a a j ). Definice 3.5 (a) Matice var X df = E (X E X) 2 = E (X E X)(X E X) T se nazývá rozptylová (varianční) matice náhodného vektoru X. [Dupač & Hušková 1999, Df. 3.5] (b) (i, j )-tý prvek matice var X jest E (X i E X i )(X j E X j ) a nazývá se kovariance náhodných veličin X i a X j. [Dupač & Hušková 1999, Df. 3.4] 17

18 3 Náhodný vektor a mnohorozměrné rozdělení (c) Rozdělíme-li X na X = ( X 1 X 2 ), pak matice cov (X 1, X 2 ) df = E (X 1 E X 1 )(X 2 E X 2 ) T se nazývá kovarianční matice vektorů X 1 a X 2. Tvrzení 3.3 (i) i-tý diagonální prvek matice var X je var X i. (ii) var X je positivně semidefinitní matice [značíme var X 0], tj. c R n c T (var X)c 0. (iii) Je-li var X singulární, pak existuje lineární kombinace složek X, jež je skoro jistě rovna konstantě. (iv) var X = E X 2 (E X) 2, cov (X 1, X 2 ) = E X 1 X T 2 E X 1 E X T 2. (v) cov (X 1, X 2 ) = cov (X 2, X 1 ) T, cov (X, X) = var X. (vi) Pro vektory a, c a matice B, D vhodných dimenzí platí Speciálně: var (a + BX) = B (var X)B T. cov (a + BX 1, c + DX 2 ) = B cov (X 1, X 2 )D T. Důsledek. Dosadíme-li v části (vi) předchozího tvrzení X 1 = X 2 = (X 1,..., X n ) T, a = c = 0 a B = D = (1,..., 1), dostaneme vztah pro rozptyl součtu n náhodných veličin: var n X i = i=1 n n i 1 var X i + 2 cov (X i, X j ) (3.2) i=1 i=2 j=1 Tvrzení 3.4 Nechť X a Y jsou náhodné vektory v R n, jejichž složky mají konečné druhé momenty. Pak platí var (X + Y ) = var X + cov (X, Y ) + cov (X, Y ) T + var Y 3.3 NezÁvislost Definice 3.6 [Dupač & Hušková 1999, Df. 3.6 a V. 3.6] Náhodné veličiny X 1,..., X n nazveme (vzájemně) nezávislé právě když pro každý bod x = (x 1,..., x n ) R n platí F X (x) = F X1 (x 1 ) F Xn (x n ). Náhodné veličiny X 1, X 2,... nazveme (vzájemně) nezávislé právě když k > 1 n 1,..., n k N X n1,..., X nk jsou nezávislé. Náhodné vektory X 1 s n 1 složkami a X 2 s n 2 složkami nazveme nezávislé právě když pro každý bod x = (x 1,..., x n ) R n platí F X (x) = F X1 (x 1 ) F X2 (x 2 ), kde n = n 1 + n 2, X = (X T 1, X T 2 )T a x = (x T 1, xt 2 )T. 18

19 3 Náhodný vektor a mnohorozměrné rozdělení Poznámka. Pro nezávislé náhodné veličiny platí, že vezmeme-li libovolné borelovské množiny B 1,..., B n B 0, pak P [ X B 1 B n ] = P [X1 B 1 ] P [X n B n ], neboli náhodné jevy [X i B i ] jsou vzájemně nezávislé [Dupač & Hušková 1999, V. 3.8]. Dále máme např. P [ X 1 B 1 X 2 B 2,..., X n B n ] = P [X1 B 1 ]. Pro nezávislé náhodné vektory platí, že vezmeme-li libovolné borelovské množiny B 1 B n 1 0 a B 2 B n 2 0, pak P [ X B 1 B 2 ] = P [ X1 B 1 ] P [ X2 B 2 ], neboli náhodné jevy [X i B i ] jsou nezávislé. Tvrzení 3.5 Nechť náhodná veličina X i má hustotu f Xi vzhledem k σ-konečné míře µ i, i = 1,..., n. Pak jsou náhodné veličiny X 1,..., X n vzájemně nezávislé právě když vektor X = (X 1,..., X n ) T má hustotu f X vzhledem k součinové míře µ = µ 1 µ n a platí f X (x 1,..., x n ) = n f Xi (x i ). i=1 [Dupač & Hušková 1999, V. 3.9] Tvrzení 3.6 Nechť X 1 a X 2 jsou nezávislé náhodné vektory a g 1 : R n 1 R q a g 2 : R n 2 R s jsou libovolné měřitelné funkce. Pak g 1 (X 1 ) a g 2 (X 2 ) jsou nezávislé náhodné vektory. Tvrzení 3.7 Nechť X 1,..., X n jsou nezávislé. (i) Jsou-li X i L 1, pak E (X 1 X n ) = E X 1 E X n. (ii) Jsou-li X i L 2, pak cov (X i, X j ) = 0 i j. (iii) Jsou-li X i L 2 a σ 2 i = var X i, pak var X = diag (σ1 2,..., σ2 n). [Dupač & Hušková 1999, V. 3.17, 3.18, 3.19(4)] Poznámka. Z vlastností (i) (iii) předchozího tvrzení neplyne bez dalších podmínek nezávislost. 3.4 Korelace Definice 3.7 Nechť X, Y jsou náhodné veličiny s kladnými a konečnými rozptyly. Korelační koeficient veličin X a Y se značí ϱ(x, Y ) nebo cor (X, Y ) a je definován vztahem ϱ(x,y ) = cov (X,Y ) var X vary. [Dupač & Hušková 1999, Df. 3.5] Tvrzení 3.8 (Cauchyova-Schwartzova nerovnost) Nechť X,Y L 2. Pak (E XY ) 2 E X 2 EY 2 a rovnost platí, právě když X = by s.j. pro nějaké b 0. 19

20 3 Náhodný vektor a mnohorozměrné rozdělení Důsledek. Pro jakékoli veličiny X,Y L 2 máme cov (X,Y ) var X vary a tudíž, pokud mají nenulový rozptyl, také ϱ(x, Y ) 1. Tvrzení 3.9 (Vlastnosti korelačního koeficientu) Nechť X,Y L 2, var X > 0, vary > 0. (i) ϱ(x,y ) = ϱ(y, X ); (ii) 1 ϱ(x,y ) 1, ϱ(x,y ) = 1 právě když X = a + by s.j., kde b > 0; ϱ(x,y ) = 1 právě když X = a + by s.j., kde b < 0; (iii) ϱ(a + bx, c + dy ) = sgn (bd)ϱ(x,y ). Poznámka. Je-li ϱ(x,y ) = 0 (nebo cov (X,Y ) = 0), náhodným veličinám X,Y se říká nekorelované veličiny. Nezávislé veličiny jsou i nekorelované, opak nutně neplatí. Korelační koeficient měří sílu lineárního vztahu mezi X a Y. Definice 3.8 Nechť X = (X 1,..., X n ) T a Y = (Y 1,..., Y m ) T jsou dva náhodné vektory se složkami, jež mají konečné a kladné rozptyly. Korelační maticí cor (X, Y ) vektorů X a Y rozumíme matici typu n m se složkami ϱ(x i, Y j ) na místě (i, j ). Poznámka. Korelační matice cor (X, X) má tvar 1 ϱ ϱ 1n cor (X, X) = ϱ ϱ 2n , ϱ 1n ϱ 2n... 1 kde ϱ jk = ϱ(x i, X j ). Je-li V = var X, σ i = var X i a D = diag (σ 1,..., σ n ), pak máme cor (X, X) = D 1 VD 1. 20

21 4 PodmÍnĚnÉ rozdělení Nechť je dán pravděpodobnostní prostor (Ω, A, P). V této kapitole uvažujeme náhodné veličiny a náhodné vektory definované na tomto prostoru. 4.1 PodmÍnĚnÁ hustota Uvažujme náhodný vektor X = (X 1,..., X n ) T, který je rozdělen na dva podvektory Y = (X 1,..., X r ) T a Z = (X r +1,..., X n ) T, 1 r < n. Chceme zkoumat rozdělení náhodného vektoru Y v situaci, kdy víme, že náhodný vektor Z nabyl konkrétní hodnoty z R n r. Definice 4.1 Nechť náhodný vektor Y má hustotu f Y (y) vzhledem k σ-konečné míře µ 1 na (R r, B0 r ). Nechť náhodný vektor Z má hustotu f Z (z) vzhledem k σ-konečné míře µ 2 na (R n r, B0 n r ). Nechť náhodný vektor X = (Y Ț Z T ) T má hustotu f X (y, z) vzhledem k součinové míře µ = µ 1 µ 2 na (R n, B0 n). Podmíněnou hustotou náhodného vektoru Y, je-li dáno Z = z nazveme libovolnou nezápornou měřitelnou funkci f (y z), která pro všechna B B0 r a C Bn r 0 splňuje rovnost P [ Y B, Z C ] [ ] = f (y z) dµ 1 (y) f Z (z) dµ 2 (z). (4.1) [Anděl 2002, Df. 3.18] C B Poznámka. Podmíněná hustota za daných předpokladů existuje a je jednoznačně určena µ 1 -skoro všude. Předpoklad existence hustoty f X vzhledem k součinové míře µ = µ 1 µ 2 je závažný (někdy neplatí) a nutný (jinak nelze podmíněnou hustotu rovností (4.1) definovat). Poznámka (Výpočet podmíněné hustoty). Levá strana rovnosti (4.1) je vlastně f X (y, z) dµ(y, z). Pravá strana dává B C B C Rovnost pro každé B a C nastane právě když f (y z)f Z (z) dµ(y, z). f X (y, z) = f (y z)f Z (z) µ-skoro všude. Podmíněnou hustotu tudíž můžeme počítat vztahem pro z taková, že f Z (z) 0. f (y z) = f X (y, z) f Z (z) 21

22 4 Podmíněné rozdělení Věta 4.1 (Bayesova) Platí-li podmínky definice 4.1, pak podmíněná hustota p(z y) náhodného vektoru Z, je-li dáno Y = y je rovna p(z y) = [Anděl 2002, V. 3.21] f (y z)f Z (z) pokud jmenovatel není roven 0, f (y z)f Z (z) dµ 2 (z) R n r 0 jinak. 4.2 PodmÍnĚnÁ střední hodnota Stále se zabýváme náhodným vektorem X = (X 1,..., X n ) T rozděleným na dva podvektory Y = (X 1,..., X r ) T a Z = (X r +1,..., X n ) T, 1 r < n. Máme tedy X = (Y T, Z T ) T. Definice 4.2 Nechť h(y, z) je měřitelná funkce R n R m. Označme U = h(x) = h(y, Z). 1. Podmíněná střední hodnota E ( U Z = z ) náhodného vektoru U h(y, Z), je-li dáno Z = z je definována výrazem E ( U Z = z ) = h(y, z)f (y z) dµ 1 (y) R r (pokud existuje). 2. Označme φ(z) = E ( U Z = z ) (je to nějaká měřitelná funkce z R n r do R m ). Náhodný vektor φ(z) značíme E ( U Z ) a nazýváme jej podmíněnou střední hodnotou náhodného vektoru U = h(y, Z) při daném (leč neurčeném) Z. Poznámka. Jak je řečeno výše, podmíněná střední hodnota E ( Z = z ) je funkce argumentu z zobrazující z R n r do R m. Pro pevné z je to konstanta (v R m ). Podmíněná střední hodnota E ( Z ) je náhodný vektor o m složkách; jeho realizovaná hodnota závisí na realizované hodnotě náhodného vektoru Z. Nyní přibereme do úvahy ještě další měřitelné funkce h 1, h 2 : R n R m a ψ : R n r R. Označme U 1 = h 1 (Y, Z) a U 2 = h 2 (Y, Z). Nechť všechny složky U, U 1 a U 2 mají konečné první momenty. Věta 4.2 (Vlastnosti podmíněné střední hodnoty) (i) E ( a Z ) = a pro jakékoli a R m. (ii) E [ E ( U Z ) ] = E U. (iii) E ( a 1 U 1 + a 2 U 2 Z ) = a 1 E ( U 1 Z ) + a 2 E ( U 2 Z ) pro jakékoli a 1, a 2 R. (iv) E ( ψ(z)u Z ) = ψ(z)e ( U Z ) [Anděl 2002, V ] 22

23 4 Podmíněné rozdělení Věta 4.3 Nechť všechny složky U = h(y, Z) mají konečný rozptyl a nechť τ je jakákoli měřitelná funkce z R n r do R m taková, že všechny složky τ(z) mají konečný rozptyl. Pak platí var [U τ(z)] var [U E ( U Z )]. [Anděl 2002, V. 3.27] Poznámka. Pracujeme-li s rozptylovými maticemi (m > 1), rozumíme výše uvedené nerovnosti tak, že rozdíl levé a pravé strany je positivně semidefinitní matice. Poznámka. Věta 4.3 říká, že chceme-li aproximovat náhodný vektor U pomocí funkce náhodného vektoru Z, poskytuje podmíněná střední hodnota E ( U Z ) nejlepší aproximaci (co do rozptylu) mezi všemi možnými funkcemi Z. Podmíněná střední hodnota se dá (obrazně leč poněkud nepřesně) vysvětlit tímto způsobem: Podmíněná střední hodnota odstraňuje z U náhodnost související s náhodným vektorem Y, ale ponechává náhodnost způsobenou náhodným vektorem Z. Poznámka. V teorii pravděpodobnosti se zavádí obecná abstraktní definice podmíněné střední hodnoty, která nespoléhá na existenci podmíněné hustoty. O podmíněné střední hodnotě pak lze mluvit i tam, kde neexistuje podmíněná hustota. Například E (Z Z ) nelze podle definice 4.1 a 4.2 spočítat. 4.3 PodmÍnĚnÝ rozptyl Nechť E U T U <, čili všech m složek náhodného vektoru U h(y, Z) má konečné rozptyly. Definice 4.3 Podmíněný rozptyl var ( U Z ) náhodného vektoru U, je-li dáno Z, jest definován výrazem ( [ ] var ( U Z ) = E U E ( U Z ) 2 Z ). Poznámka. Podmíněný rozptyl z definice 4.3 je náhodná matice (náhodná veličina, pokud m = 1). Podobně lze definovat podmíněný rozptyl var ( U Z = z ) pro konkrétní realizovanou hodnotu z vektoru Z. Věta 4.4 (Rozklad nepodmíněného rozptylu) [Anděl 2002, V. 3.26] var U = E var ( U Z ) + var E ( U Z ). 23

24 5 Transformace náhodných veličin a vektorů Na pravděpodobnostním prostoru (Ω, A, P) uvažujme náhodný vektor X = (X 1,..., X n ) T, jehož rozdělení známe, a měřitelnou funkci g : R n R n. Naším cílem je zjistit rozdělení náhodného vektoru Y = g (X). Definice 5.1 (Nosič rozdělení) Nechť X je (obecná) náhodná veličina, která nabývá hodnot z výběrového prostoru X. Nechť rozdělení X je absolutně spojité vzhledem k nějaké σ- konečné míře µ. Množinu S X X nazveme nosičem rozdělení náhodné veličiny X právě když platí: 1. P [X S X ] = 1; 2. A S X : µ(s X \ A) > 0 P [X A] < Transformace náhodných veličin Nejprve uvažujme případ X = R, tj. transformujeme reálnou náhodnou veličinu. Tvrzení 5.1 (Věta o monotonní transformaci) Nechť X má distribuční funkci F X a nosič S X. Nechť funkce g zobrazuje S X na S 0 R. Označme Y = g (X ). (i) Je-li g ryze rostoucí, pak distribuční funkce náhodné veličiny Y je F Y (y ) = F X (g 1 (y )) pro y S 0. (ii) Je-li g ryze klesající, pak distribuční funkce náhodné veličinyy je F Y (y ) = 1 F X (g 1 (y ) ) pro y S 0. Značení. Je-li g reálná funkce s limitami zleva ve všech bodech, pak výraz g (x ) značí zleva spojitou verzi funkce g, tj. g (x ) df = lim g (x h). h 0 Důsledky. 1. Nechť X je spojitá reálná veličina s hustotou f X (x) a nechť g je ryze monotonní a diferencovatelná skoro všude. Hustota náhodné veličiny Y = g (X ) je pak rovna f Y (y ) = f X (g 1 (y )) dg 1 (y ) dy pro y g (S X ); 0 pro y g (S X ). 2. Nechť X je diskrétní reálná veličina s rozdělením P [X = x] = q x, x S X. Pak P [ Y = y ] = q g 1 (y ), y g (S X ). 24

25 5 Transformace náhodných veličin a vektorů Nyní prozkoumáme nemonotonní transformace. Budeme předpokládat, že existují intervaly G k R, k = 1, 2,..., takové, že k=1 G k S X, G i G j = pro i j, a g je ostře monotonní na každém G k. Značení. Označme K + množinu všech indexů k takových, že g roste na G k a K množinu všech indexů k takových, že g klesá na G k. Označme g k funkci g restriktovanou na G k, třeba g k (x) = g (x)1 Gk (x). Pak existuje g 1 k (y ) pro y g k (G k ). Označme X k = X 1 Gk (X ), Y k = g k (X k ). Máme X = k=1 X k a Y = k=1 Y k. Tvrzení 5.2 Za daných předpokladů platí [ F Y (y ) = X k g 1 k (y ), X ] G k + k K + P k K P [ X k g 1 k (y ), X G k ]. Tvrzení 5.3 Nechť má navíc X hustotu vzhledem k Lebesgueově míře a nechť je každá g k diferencovatelná (skoro všude) v G k. Pak Y má hustotu f Y (y ) = k=1 f X (g 1 k (y )) dg 1 k (y ) 1 gk (G dy k )(y ). Poznámka. Chceme-li pouze spočítat střední hodnotu EY E g (X ), je obvykle snazší použít přímý vzorec E g (X ) = g (x)f X (x) dµ(x) než počítat nejprve hustotu Y a pak integrovat E g (X ) = y f Y (y ) dµ(y ). 5.2 Transformace náhodných vektorů Uvažujme náhodný vektor X = (X 1,..., X n ) T s nosičem rozdělení S X R n a spojitým rozdělením (má hustotu vzhledem k Lebesgueově míře). Nechť je dána transformace g : R n R n, vlastně vektor n funkcí g 1,..., g n, každá z nichž zobrazuje R n do R. Zajímá nás rozdělení náhodného vektoru Y = g (X). Budeme předpokládat, že transformace g je diferencovatelná skoro všude v S X, tj. existuje matice g (x) x g 1 (x) g 1 (x) x n = x g n (x) x 1... g n (x) x n Determinant této matice (jakobián transformace g ) budeme značit det g (x) x. Tvrzení 5.4 Nechť X má hustotu f X (x) vzhledem k Lebesgueově míře. Nechť g je prosté g (x) zobrazení a det x 0 pro skoro všechna x S X. Pak Y = g (X) má hustotu f Y (y) = f X (g 1 (y)) det g 1 (y) y 1 g (S X )(y) vzhledem k Lebesgueově míře. 25

26 5 Transformace náhodných veličin a vektorů Poznámka. Platí a g 1 (y) y = ( g (x) x x=g 1 (y) ) 1 det g 1 (y) y = det g (x) x 1 x=g 1 (y). Tvrzení 5.5 Nechť X má hustotu f X (x) vzhledem k Lebesgueově míře. Nechť existují množiny G k R n, k = 1, 2,..., takové, že k=1 G k S X, G i G j = pro i j, g k (x) df = g (x)1 Gk (x) je prostá na každém G k, a det g k (x) 0 pro skoro všechna x G k. Pak x Y = g (X) má hustotu f Y (y) = vzhledem k Lebesgueově míře. k=1 f X (g 1 k (y)) det g 1 k y (y) 1 gk (G k )(y) Poznámka. Nechť X = (X 1,,..., X n ) T je náhodný vektor a t nějaká hladká měřitelná funkce R n R. Jaké je rozdělení náhodné veličiny T = t (X)? Zvolme vhodně transformaci g : R n R n tak, aby g 1 (x) = t (x). Platí-li předpoklady tvrzení 5.5, můžeme podle něj spočítat sdruženou hustotu náhodného vektoru Y = g (X). Marginální hustotu náhodné veličiny T Y 1 zjistíme vyintegrováním ostatních složek podle (3.1). Věta 5.6 (o konvoluci) Nechť X a Y jsou nezávislé náhodné veličiny, nechť X má hustotu f X vzhledem k míře µ 1 a Y má hustotu f Y vzhledem k míře µ 2. Pak Z = X + Y má distribuční funkci F Z (z) = f Y (y )F X (z y ) dµ 2 (y ) = Jsou-li X a Y spojité, pak Z má hustotu f Z (z) = f Y (y )f X (z y ) dy = f X (x)f Y (z x) dµ 1 (x). f X (x)f Y (z x) dx vzhledem k Lebesgueově míře. Jsou-li X a Y diskrétní, pak P [Z = z] = P [ Y = y ] P [ X = z y ] = P [X = x] P [Y = z x]. y S Y x S X [Dupač & Hušková 1999, V a 3.14] Tvrzení 5.7 Nechť X a Y jsou nezávislé náhodné veličiny, nechť X má hustotu f X vzhledem k míře µ 1 a Y má hustotu f Y vzhledem k míře µ 2. Pak Z = X /Y má distribuční funkci 0 F Z (z) = f Y (y )F X (zy ) dµ 2 (y ) + f Y (y )[1 F X (zy )] dµ 2 (y ). 0 26

27 5 Transformace náhodných veličin a vektorů Jsou-li X a Y spojité, pak Z má hustotu f Z (z) = [Dupač & Hušková 1999, V. 3.15(2)] y f Y (y )f X (zy ) dy. 27

28 6 NormÁlnÍ rozdělení Poznámka (Normální rozdělení). Náhodná veličina Z s hustotou ϕ(z) = 1 2π e z 2 /2 má normované normální rozdělení; značíme Z N(0, 1). Její distribuční funkci značíme Φ(z) df = z ϕ(t ) dt. Jestliže Z N(0, 1) a X = σz + µ, kde σ > 0 a µ R, pak X má normální rozdělení s parametry µ a σ 2, značíme X N(µ, σ 2 ). Její hustota je f X (x) = 1 σ ϕ( x µ ) 1 = e (x µ)2 2σ σ 2. 2πσ Její distribuční funkce je F X (x) = Φ ( x µ ) σ. Jestliže X N(µ, σ 2 ) pak E X = µ, var X = σ 2, γ 3 = 0, γ 4 = MnohorozmĚrnÉ normální rozdělení Definice 6.1 Nechť Z = (Z 1,..., Z r ) T, kde Z i N(0, 1) jsou nezávislé. Nechť A n r je matice a µ R n je pevný vektor. Náhodný vektor X definovaný jako X = AZ + µ pak má n- rozměrné normální rozdělení s parametry µ a Σ df = AA T. Značíme X N n (µ, Σ). Poznámka. E X = µ, var X = Σ. X má n-rozměrné normální rozdělení pro libovolné c R n platí c T X N(, ). Libovolná symetrická positivně semidefinitní matice Σ se dá napsat jako AA T pro nějaké A n r, r n. Platí: r < n právě když Σ je singulární. Pokud B je typu k n, potom BX N k ( Bµ, BΣB T ). Věta 6.1 Nechť X N n (µ, Σ) a Σ je regulární. Pak existuje hustota X vzhledem k Lebesgueově míře na R n a její tvar je f X (x) = pro x R n. [Anděl 2002, V. 4.10] 1 (2π) n/2 det Σ e 1 2 (x µ)t Σ 1 (x µ) Poznámka. Je-li Σ singulární, pak hustota X vzhledem k Lebesgueově míře na R n neexistuje, neboť nosič rozdělení X je množina míry 0. 28

29 6 Normální rozdělení Příklad (Dvourozměrné normální rozdělení). Nechť n = 2, Σ je regulární, σ 1 = var X 1, σ 2 = var X 2 a ϱ = cor (X 1, X 2 ). Hustotu náhodného vektoru X = (X 1, X 2 ) T pak lze vyjádřit ve tvaru f (x 1, x 2 ) = 1 2πσ 1 σ 2 1 ϱ 2 e 1 2(1 ϱ 2 ) [ (x 1 µ 1 )2 σ 2 1 ] 2ϱ (x 1 µ 1 )(x 2 µ 2 ) σ 1 σ + (x 2 µ 2 )2 2 σ 2 2. Věta 6.2 (Vlastnosti mnohorozměrného normálního rozdělení) Nechť X N n (µ, Σ), kde X = (X1 T, X 2 T)T, µ = (µ T 1, µt 2 )T, Σ = ( Σ 11 Σ 12 ) Σ 21 Σ 22 a dimenze jednotlivých složek jsou k 1 pro X 1 a µ 1 a k k pro Σ 11. Pak platí: (i) X 1 N k (µ 1, Σ 11 ). (ii) Jestliže Σ 12 = 0, pak X 1 a X 2 jsou nezávislé. (iii) Je-li Σ 22 regulární, pak podmíněné rozdělení X 1, je-li dáno X 2 = x 2, je k-rozměrné normální se střední hodnotou µ 1.2 = µ 1 + Σ 12 Σ 1 22 (x 2 µ 2 ) a rozptylem Σ 11.2 = Σ 11 Σ 12 Σ 1 22 Σ 21. [Anděl 2002, V. 4.5, 4.11, 4.12] Poznámka. Z předchozí věty plyne: Mají-li X 1 a X 2 sdružené normální rozdělení, pak mají marginální normální rozdělení. Mají-li X 1 a X 2 sdružené normální rozdělení a jsou-li nekorelované, pak jsou nezávislé. Poznámka. Mají-li X 1 a X 2 marginální normální rozdělení, pak X = (X 1, X 2 ) T nemusí mít sdružené normální rozdělení (najděte si protipříklad). 6.2 RozdĚlenÍ χ 2, t a F Poznámka. Náhodná veličina X má χ 2 rozdělení o r stupních volnosti, značíme X χ 2 r, právě když její hustota vzhledem k Lebesgueově míře je f X (x) = 1 2 r /2 Γ ( r ) x r /2 1 e x/2 1 (0, ) (x). 2 Rozdělení χ 2 r je speciální případ gama rozdělení: Γ( 1 2, r 2 ). Věta 6.3 (o χ 2 -rozdělení) (i) Nechť X 1,..., X n jsou nezávislé náhodné veličiny s rozdělením N(0, 1). Pak platí Y = n i=1 X 2 i χn. 2 [Dupač & Hušková 1999, V. 3.16(ii)] (ii) Nechť X N n (µ, Σ), kde Σ je regulární. Pak Y = (X µ) T Σ 1 (X µ) χ 2 n. 29

30 6 Normální rozdělení (iii) Nechť X N n (0, Σ) a nechť A je taková matice typu n n, že AΣ je nenulová a idempotentní. Pak Y = X T AX χ 2 tr AΣ. [Anděl 2002, V a 4.16] Poznámka (něco o maticích). Čtvercovou matici D nazveme idempotentní právě když DD = D. tr D značí stopu matice D, tj. součet jejích diagonálních prvků. Je-li matice D idempotentní, pak tr D = r (D) (hodnost je rovna stopě). Věta 6.4 (o t -rozdělení) Nechť X N(0, 1) a Z χ 2 k T df = X Z/k má rozdělení s hustotou f T,k (t ) = Γ( k+1 ) ( 2 Γ ( k ) 1 + t 2 2 πk k jsou nezávislé. Pak náhodná veličina ) k+1 2 vzhledem k Lebesgueově míře. Rozdělení náhodné veličiny T se nazývá [Studentovo] t rozdělení s k stupni volnosti, značíme T t k. [Dupač & Hušková 1999, V. 3.16(iii)] Poznámka (Vlastnosti t rozdělení). Hustota t rozdělení je symetrická kolem 0. Pro k = 1 jest f T,1 hustotou Cauchyova rozdělení C(0, 1). Rozdělení t 1 nemá střední hodnotu. Obecně má T konečné momenty do řádu k 1, ET = 0 pro k > 1, vart = k k 2 pro k > 2. Pro velké k se hustota t rozdělení blíží hustotě normovaného normálního rozdělení: lim k f T,k (t ) ϕ(t ) = 0 pro každé t R. Tudíž α-kvantil rozdělení t k konverguje k α-kvantilu rozdělení N(0, 1) pro k. Věta 6.5 (o F -rozdělení) Nechť X χ 2 m a Y χ 2 n jsou nezávislé. Pak náhodná veličina má hustotu f F ;m,n (z) = Γ( m+n 2 Γ ( m 2 ) ) Γ ( n 2 Z = X /m Y/n ) ( m n ) m 2 z m 2 1 ( 1 + m n z ) m+n 2 1 (0, ) (z) vzhledem k Lebesgueově míře. Rozdělení náhodné veličiny Z se nazývá [Fisherovo-Snedecorovo] F rozdělení s m a n stupni volnosti. [Dupač & Hušková 1999, V. 3.16(iv)] 30

31 7 LimitnÍ věty Na pravděpodobnostním prostoru (Ω, A, P) máme danou posloupnost náhodných vektorů X 1, X 2, X 3,..., kde X i : (Ω, A) (R k, B k 0 ) a X i = (X i1,..., X ik ) T. 7.1 Konvergence náhodných veličin a vektorů Definice 7.1 (konvergence v pravděpodobnosti) Říkáme, že posloupnost náhodných vektorů {X n } n=1 konverguje v pravděpodobnosti k náhodnému vektoru X pro n právě když ε > 0 : lim P [ X n X > ε ] = 0. n Konvergenci v pravděpodobnosti značíme X n P X. Poznámka. a značí eukleidovskou normu vektoru a, tj. a = a T a. Definice 7.2 (konvergence skoro jistě) Říkáme, že posloupnost náhodných vektorů {X n } n=1 konverguje skoro jistě k náhodnému vektoru X pro n právě když Konvergenci skoro jistě značíme X n P( lim n X n X = 0) = 1. sj X. Definice 7.3 (konvergence v distribuci) Říkáme, že posloupnost {X n } n=1 konverguje v distribuci k náhodnému vektoru X pro n právě když lim n F X n (x) = F X (x) v každém bodě x, v němž je F X (x) spojitá. Konvergenci v distribuci značíme X n nebo F Xn F X nebo L(X n ) L(X). d X Poznámka. Symbolem L(X n ) se rozumí rozdělení náhodného vektoru X n (z angl. Law). Výraz L(X n ) L(X) čteme rozdělení X n konverguje k rozdělení X. Můžeme také as. říkat, že X n má asymptotické (limitní) rozdělení F X a psát X n L(X). Tvrzení 7.1 (i) X n (ii) X n sj X X n P X X n P X d X 31

32 7 Limitní věty Poznámka. Opačné implikace neplatí. Nicméně pokud náhodné vektory konvergují v distribuci ke konstantě, tj. X n d c, pak platí X n Tvrzení 7.2 (vlastnosti konvergence v distribuci) (i) (Cramér-Woldova věta) X n P c. d X c R k : c T X n d c T X. (ii) (Helly-Brayova věta) X n funkci g : R R. d X E g (X n ) E g (X ) pro každou spojitou omezenou Tvrzení 7.3 (Věta o spojité transformaci) Nechť X, X 1, X 2,... jsou náhodné vektory a funkce g : R k R m je spojitá na množině S X. (i) X n (ii) X n (iii) X n Tvrzení 7.4 P P X g (X n ) g (X). sj sj X g (X n ) g (X). d d X g (X n ) g (X). (i) Nechť pro posloupnost {X n } n=1 platí X nj X = (X 1,..., X k ) T. (ii) Nechť pro posloupnost {X n } n=1 platí X nj X = (X 1,..., X k ) T. Poznámka. Pro konvergenci v distribuci tato vlastnost neplatí. P X j pro n a j = 1,..., k. Pak X n sj X j pro n a j = 1,..., k. Pak X n P sj Tvrzení 7.5 Nechť X 1, X 2,... je posloupnost náhodných veličin takových, že E X n var X n 0. Pak X n P µ. µ a Tvrzení 7.6 (Cramérova-Sluckého věta) Nechť X n X, A n B n jsou náhodné veličiny a a, b jsou konstanty. Pak platí A n X n + B n d d ax + b. P a a B n P b, kde X n, X, A n, Poznámka. Cramérově-Sluckého větě se často říká Sluckého věta. Tato věta platí i pro vek- d P P tory, tj. pokud X n X, A n A a B n b, kde X n a X jsou k-rozměrné náhodné vektory, A n je náhodná matice o dimenzích m k, A je matice konstant o dimenzích m k, B n jsou m-rozměrné náhodné vektory a b je m-rozměrný vektor konstant, pak A n X n + B n d AX + b. Tvrzení 7.7 Nechť a n (X n µ) X, kde a n P a n a µ je vektor konstant. Pak X n µ. d > 0 je posloupnost reálných čísel splňující 32

33 7 Limitní věty 7.2 ZÁkony velkých ČÍsel Uvažujme náhodnou posloupnost {X n } n=1. Označme X n vektorů). df = 1 n n i=1 X i (průměr z prvních n Věta 7.8 (Čebyševův slabý zákon velkých čísel) Nechť X 1, X 2,... je posloupnost nezávislých náhodných veličin se střední hodnotou E X i = µ a rozptylem var X i C pro nějaké C R. Pak platí X n P µ. Tvrzení 7.9 (Chinčinův slabý zákon velkých čísel) Nechť X 1, X 2,... je posloupnost nezávislých stejně rozdělených náhodných veličin s konečnou střední hodnotou E X i = µ. Pak platí X n P µ. Tvrzení 7.10 (Kolmogorovovův silný zákon velkých čísel) Nechť X 1, X 2,... je posloupnost nezávislých stejně rozdělených náhodných veličin s konečnou střední hodnotou E X i = µ. Pak platí X n sj µ. Poznámka. Zákony velkých čísel platí i pro náhodné vektory, pokud všechny jejich složky splňují stanovené předpoklady (viz tvrzení 7.4). Čebyševův slabý zákon velkých čísel nevyžaduje, aby byly všechny veličiny stejně rozdělené, ale vyžaduje, aby měly omezený (tj. nutně konečný) rozptyl. Chinčinův slabý zákon velkých čísel a Kolmogorovovův silný zákon velkých čísel vyžadují, aby byly všechny veličiny stejně rozdělené, ale nevyžadují, aby měly konečný rozptyl. Zákony velkých čísel lze zobecnit i na závislé veličiny, pokud nejsou závislé příliš. Např. u Čebyševova zákona velkých čísel stačí nahradit nezávislost podmínkou 1 n 2 n i=1 j=1 n cov (X i, X j ) 0. Příklady. 1. Jestliže X i C(0, 1), pak X n C(0, 1) pro libovolné n. Průměr nekonverguje ke konstantě. 2. Empirická četnost vs. pravděpodobnost jevu. 33

34 7 Limitní věty 7.3 CentrÁlnÍ limitní věta Uvažujme posloupnost nezávislých stejně rozdělených k-rozměrných náhodných vektorů {X n } n=1. Tvrzení 7.11 (centrální limitní věta pro nezávislé stejně rozdělené náhodné vektory) Nechť {X n } n=1 jsou nezávislé a stejně rozdělené náhodné vektory se střední hodnotou µ E X i a konečnou rozptylovou maticí Σ var X i. Pak platí 1 n n (X i µ) = n ( X n µ ) d N k (0, Σ). i=1 Poznámka. Neformální zápis tvrzení centrální limitní věty: X n as. N k (µ, n 1 Σ). Příklady. 1. Aproximace binomického rozdělení normálním 2. Aproximace χ 2 rozdělení normálním Věta 7.12 ( -metoda) Nechť {T n } n=1 splňuje n ( Tn µ ) d ( ) N k 0, Σ pro nějaký vektor konstant µ R k a matici Σ. Nechť g : R k R p je funkce, která je spojitě diferencovatelná v nějakém okolí bodu µ. Označme D(x) =. Pak platí n ( g (Tn ) g (µ) ) g (x) x d N p ( 0, D(µ)ΣD(µ) T ). Příklad. Asymptotické rozdělení log X n. 34

35 8 PŘehled pravděpodobnostních rozdělení 8.1 DiskrÉtnÍ rozdělení AlternativnÍ rozdělení Též se nazývá Bernoulliovo nebo nula-jedničkové rozdělení. Zna ení: X Alt(p) Parametry: p (0, 1) Nosi : X {0, 1} Hustota: P [ X = j ] = p j (1 p) 1 j, j {0, 1} St ední hodnota: E X = p Rozptyl: var X = p(1 p) Poznámky: Rozdělení indikátoru náhodného jevu, úspěch vs. neúspěch BinomickÉ rozdělení Zna ení: X Bi(n, p) Parametry: p (0, 1), n N Nosi : X {0, 1,..., n} Hustota: P [ X = j ] ( ) n = p j (1 p) n j, j {0, 1,..., n} j St ední hodnota: E X = np Rozptyl: var X = np(1 p) Poznámky: Rozdělení součtu nezávislých alternativních veličin (počtu úspěchů mezi n pokusy). Přesněji, jsou-li X i Alt(p) nezávislé, i = 1,..., n, pak n i=1 X i Bi(n, p). Bi(1, p) jest Alt(p). Jestliže n a np n λ <, pak rozdělení Bi(n, p n ) konverguje k Po(λ). 35

36 8 Přehled pravděpodobnostních rozdělení GeometrickÉ rozdělení Zna ení: X Geo(p) Parametry: p (0, 1) Nosi : X {0, 1, 2,...} Hustota: P [ X = j ] = p(1 p) j, j = 0, 1, 2,... St ední hodnota: Rozptyl: Poznámky: E X = 1 p p var X = 1 p p Poissonovo rozdělení Počet neúspěchů před prvním úspěchem v posloupnosti nezávislých pokusů. Zna ení: X Po(λ) Parametry: λ > 0 Nosi : X {0, 1, 2,...} Hustota: St ední hodnota: Rozptyl: Poznámky: P [ X = j ] = λj j! e λ, j = 0, 1, 2,... E X = λ var X = λ Rozdělení počtu úspěchů při velkém počtu nezávislých experimetů s malou pravděpodobností úspěchu [n, np n λ < Bi(n, p n ) konverguje k Po(λ)] NegativnĚ binomické rozdělení Zna ení: X NB(n, p) Parametry: p (0, 1), n N Nosi : X {0, 1, 2,...} Hustota: P [ X = j ] ( ) n + j 1 = p n (1 p) j, j = 0, 1, 2,... n 1 St ední hodnota: Rozptyl: Poznámky: E X = n 1 p p var X = n 1 p p 2 Rozdělení počtu neúspěchů předcházejících n-tému úspěchu v posloupnosti nezávislých pokusů. NB(1, p) jest Geo(p). 36

37 8 Přehled pravděpodobnostních rozdělení 8.2 SpojitÁ rozdělení RovnomĚrnÉ rozdělení Zna ení: X R(a, b) Parametry: a, b R, a < b Nosi : X (a, b) Hustota: f (x) = 1 b a 1 (a,b)(x), x R 0 x < a, x Distribu ní funkce: F (x) = a a < x < b, b a 1 x > b St ední hodnota: E X = a + b 2 Rozptyl: (b a)2 var X = 12 Poznámky: Rozdělení s konstantní hustotou NormÁlnÍ rozdělení Zna ení: X N(µ, σ 2 ) Parametry: µ R, σ 2 > 0 Nosi : X R Hustota: f (x) = Distribu ní funkce: St ední hodnota: E X = µ 1 2πσ e (x µ)2 /(2σ 2), x R ( x µ F (x) = Φ σ Rozptyl: var X = σ 2 ), kde Φ(x) = 1 2π x e u2 /2 du Vy²²í momenty: µ k = 0 k liché {(k 1)(k 3) 3 1}σ k k sudé Špičatost: γ 4 = NormovanÉ normální rozdělení Distribu ní funkce: Φ(x) = 1 2π x e u2 /2 du Vlastnosti: Φ( x) = 1 Φ(x) 37

38 8 Přehled pravděpodobnostních rozdělení Hodnoty: Kvantily: x Φ(x) α Φ 1 (α) Cauchyovo rozdělení Zna ení: X C(a, b) Parametry: a R, b > 0 Nosi : X R Hustota: f (x) = 1 bπ Distribu ní funkce: St ední hodnota: Rozptyl: Poznámky: [ 1 + ( x a ) 2 ] 1 F (x) = π arctg x a b E X neexistuje var X neexistuje ExponenciÁlnÍ rozdělení b Hustota je symetrická kolem a, momenty neexistují, E X = +. Zna ení: Parametry: λ > 0 X Exp(λ) Nosi : X (0, ) Hustota: f (x) = λe λx 1 (0, ) (x) Distribu ní funkce: F (x) = 0 x < 0 1 e λx x > 0 St ední hodnota: E X = 1 λ Rozptyl: var X = 1 λ Gama rozdělení Zna ení: X Γ(a, p) Parametry: a > 0, p > 0 Nosi : X (0, ) 38

39 8 Přehled pravděpodobnostních rozdělení Hustota: f (x) = a p Γ(p) x p 1 e ax 1 (0, ) (x), x R St ední hodnota: E X = p a Rozptyl: var X = p a 2 Poznámky: Γ(a, 1) jest Exp(a) Γ(a, k ), k N, jest součtem k nezávislých veličin s rozdělením Exp(a); ( toto rozdělení se též nazývá Erlangovo. 1 Γ 2, r ) jest χ 2 r -rozdělení Beta rozdělení Zna ení: X B(α, β) Parametry: α, β > 0 Nosi : X (0, 1) Hustota: 1 f (x) = B (α, β) x α 1 (1 x) β 1 1 (0,1) (x) St ední hodnota: E X = Rozptyl: var X = α α + β α β (α + β) 2 (α + β + 1) Poznámky: B(1, 1) jest R(0, 1) χ 2 rozdělení Zna ení: Parametry: X χ 2 r r N, stupně volnosti Nosi : X (0, ) Hustota: 1 f (x) = 2 r /2 Γ(r /2) x (r 2)/2 e x/2 1 (0, ) (x) St ední hodnota: Rozptyl: E X = r var X = 2r Poznámky: Speciální případ Γ-rozdělení s parametry 1 2, r 2. Rozdělení součtu kvadrátů r nezávislých normovaných normálních veličin. 39

40 8 Přehled pravděpodobnostních rozdělení Kvantily: α r Studentovo t-rozdělení Zna ení: Parametry: X t k k N, počet stupňů volnosti Nosi : X R Hustota: f (x) = Γ ( ) k+1 ( 2 Γ ( ) 1 + x 2 k 2 k π k ) (k+1)/2 St ední hodnota: E X = 0 pro k 2, neexistuje pro k = 1. Rozptyl: var X = k pro k 3, var X = pro k = 1, 2. k 2 Poznámky: t 1 jest C(0, 1) Jsou-li X N(0, 1) a Z χ 2 X nezávislé, pak k Z/k t k (Fisherovo) F-rozdĚlenÍ Zna ení: Parametry: X F m,n m, n N, stupně volnosti Nosi : X (0, ) Hustota: 1 ( m f (x) = ( B m 2, ) n n 2 ) m/2 x m/2 1 ( 1 + m n x ) (m+n)/2 1(0, ) (x) 40