n-rozměrné normální rozdělení pravděpodobnosti

Transkript

1 -rozměré ormálí rozděleí pravděpodobosti. Ortogoálí a pozitivě defiití symetrické matice. Reálá čtvercová matice =Ha i j L řádu se azývá ortogoálí, je-li regulárí a iverzí matice - je rova traspoovaé matici T. Jiými slovy, matice je ortogoálí, právě když pro každé dva idexy i j z možiy 8,,, < k= =, a ik k= =, a ik a jk =, a ki a kj =. a ki k= Protože čtvercová matice a matice k í traspoovaá - mají stejý determiat, determiat ortogoálí matice je rove, a protože H L H L T = T T, souči ortogoálích matic je opět ortogoálí matice. Reálá symetrická matice =Ha i j L řádu se azývá pozitivě defiití, jestliže jí určeá kvadratická forma QHxL je pozitivě defiití, tj. platí-li implikace k= H,, L x = Hx,, x L QHxL = i,j= a ij x i x j >. Ukazuje se, že matice je pozitivě defiití, právě když ji lze vyjádřit ve tvaru = T, kde je ortogoálí matice a je diagoálí matice s kladými diagoálími prvky. Odtud okamžitě plye, že determiat pozitivě defiití matice je kladý a že matice iverzí k pozitivě defiití matici je též pozitivě defiití.. Defiice -rozměrého ormálího rozděleí pravděpodobosti. Řekeme, že áhodý vektor =HX,, X L má -rozměré ormálí rozděleí pravděpodobosti NHm, SL, kde m =Hm,, m L œ a S =Hs i j L je positivě defiití symetrická matice řádu, má-li hustotu pravděpodobosti fh L = fhx,, x L = kde Q je kvadratická forma určeá iverzí maticí S -. ê è!!!!!!!!!!!!!!!!! H πl dethσl QH µln, 3. Věta. Náhodý vektor =HX,, X L má -rozměré ormálí rozděleí pravděpodobosti NHm, SL, právě když existují ezávislé ormálě rozděleé áhodé veličiy Y,, Y s ulovou středí hodotou a ortogoálí matice tak, že platí () T = HX,, X L T = HY, Y,, Y L T + µ T, Σ = T, () kde D je diagoálí matice, jejímiž diagoálími prvky jsou rozptyly áhodých veliči Y,, Y. Důkaz. Nechť l je -rozměrá Lebesgueova míra a. I. Předpokládejme ejprve, že má -rozměré ormálí rozděleí pravděpodobosti s hustotou (). Zapišme matici S ve tvaru S = D T, kde je ortogoálí matice a D je diagoálí matice, jejímiž diagoálími prvky jsou druhé mociy kladých čísel d,, d, a defiujme áhodý vektor =HY,, Y L rovicí (). Protože determiat ortogoálí matice je rove a tedy pro libovolou borelovskou možiu B v platí ê è!!!!!!!!!!!!!!!!! H πl dethσl dethσl = deth L = δ δ δ, P@ BD = P@H µl BD = P@ B T + µd = B T +µ Substituce QH µln λh L = À µ = ê è!!!!!!!!!!!!!!!!! H πl deth L QH LN λh L = B T À =

2 -Dimesioal Normal Distributio.b, 4//6 ê è!!!!!!!!!!!!!!!!! H πl deth L T T N λh L = ƒ B T ê è!!!!!!!!!!!!!!!!! H πl deth L B expj T N λh L = Substituce = T ƒ = H πl ê δ δ δ B expj J y δ + + y δ NN λh L. Speciálě tedy P@Y y,, Y y D = δ è!!!!!!!!!! π y t δ t δ è!!!!!!!!!! π y t δ t, odkud ihed plye, že áhodé veličiy Y,, Y jsou ezávislé a ormálě rozděleé s ulovou středí hodotou a rozptyly d,, d. II. Předpokládejme yí obráceě, že platí (), kde je ortogoálí matice a Y,, Y jsou ezávislé ormálě rozděleé áhodé veličiy s ulovou středí hodotou a směrodatými odchylkami d,, d, takže áhodý vektor =HY,, Y L má hustotu pravděpodobosti ghyl = ghy,, y L = H πl ê δ δ δ J y δ + + y δ NN. Ozačíme-li D diagoálí matici s diagoálími prvky d,, d a položíme-li S = D T, pak pro libovolou borelovskou možiu v platí P@ BD = P@ + µ BD = P@ HB µl T D = H πl ê δ δ δ J y δ HB µl T ê è!!!!!!!!!!!!!!!!! H πl dethσl ê è!!!!!!!!!!!!!!!!! H πl deth L expj HB µl T ê è!!!!!!!!!!!!!!!!! H πl dethσl B µ expj HB µl T + + y δ NN λh L = T N λh L = Σ T T N λh L = ƒ Substituce QH LN λh L = À = µ Substituce = T ƒ = À = ê è!!!!!!!!!!!!!!!!! H πl dethσl B QH µln λh L, kde Q je kvadratická forma určeá maticí S -. To však dokazuje, že áhodý vektor má -rozměré ormálí rozděleí pravděpodobosti NHm, SL. 4. Věta. Má-li áhodý vektor hustotu pravděpodobosti (), potom m = EH L a S=covH L, tj. pro všecha i, j œ8,,, <. Důkaz. Plye sado z věty 3 a vlastostí středí hodoty. µ i = EHX i L, σ ij = covhx i, X j L 5.Věta (o sigulárím rozkladu). Pro každou matici typu H, pl, kde p, existují matice,, s ásledujícími vlastostmi:

3 -Dimesioal Normal Distributio.b, 4//6 3 HaL Matice, jsou ortogoálí řádu resp. p. HbL Matice je typu H, pl a kde s s s p. HcL =. is O y T s =, ª ª ª ª j z k s p Důkaz viz apř. Roger A. Hor, Charles R. Johso: Matrix aalysis, Cambridge Uiversity Press, 986, ebo ruský překlad z r Věta. Nechť x œ p, =HX,, X L je -rozměrý áhodý vektor a je matice typu H, pl. Jestliže má - rozměré ormálí rozděleí NHm, SL, kde S je pozitivě defiití symetrická matice, a matice má hodost p, potom p-rozměrý áhodý vektor =x + má p-rozměré ormálí rozděleí NHx +m, T S L. Důkaz. Nechť l je Lebesgueova míra jak a tak a p. Náhodý vektor má rozděleí NHm, SL, právě když -m má rozděleí NH, SL, a má rozděleí NHx +m, T S L, právě když -x-m =H -ml má rozděleí NH, T S L. V důkazu proto můžeme bez újmy a obecosti předpokládat m =, x =. Naším úkolem je pak dokázat: Má-li áhodý vektor hustotu pravděpodobosti ϕh L = potom áhodý vektor = má hustotu pravděpodobosti tj. ψh L = pro každou borelovskou možiu B Õ p. ê è!!!!!!!!!!!!!!!!! H πl dethσl Σ T N,, H πl pê è!!!!!!!!!!!!!!!!!!!!!!!!!!! deth T Σ L H T Σ L T N, p, I. Nechť p =. Matice je v tomto případě regulárí a proto P@ BD = ψh L λh L B P@ BD = P@ B D = ϕh L λh L HL =»deth L» B ϕh L λh L = B»detH L» ê è!!!!!!!!!!!!!!!!! H πl dethσl B H πl ê è!!!!!!!!!!!!!!!!!!!!!!!!!!! deth T Σ L B Σ T T N λh L HL = H T Σ L N T λh L = ψh L λh L, B kde rovost () je důsledkem substituce = - a substitučí věty pro vícerozměré itegrály a () je důsledkem dobře zámých idetit Σ H L T = H T Σ L, è!!!!!!!!!!!!!!!!!!!!!!!!!!! deth T Σ L = è!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! deth T L dethσl deth L =»deth L» è!!!!!!!!!!!!!!!!! dethσl. II. Nechť p < a T =H, L, kde p je jedotková matice řádu p a je ulová matice vhodého typu. Idukcí podle řád-kového idexu se sado dokáže existece matice typu H - p, pl, pro kterou platí implikace = J p N Σ T = J Σ p N, p Σ p

4 4 -Dimesioal Normal Distributio.b, 4//6 kde, jak je sado vidět, matice S p, S -p jsou positivě defiití. Položíme-li = -T, dostaeme postupě P@ BD = P@ B p HL D = ϕh L λh L = B p ê è!!!!!!!!!!!!!!!!! H πl dethσl ê è!!!!!!!!!!!!!!!!! H πl dethσl H πl pê H πl H plê i è!!!!!!!!!!!!!!!!!!! dethσ p L è!!!!!!!!!!!!!!!!!!!!!!! dethσ p L j kb expj B p B p expj pê H πl è!!!!!!!!!!!!!!!!!!! dethσ p L B ϕh T L λh L = B p T T N λh L = H Σ T L T N λh L = y i Σ p T N λh L z j expj k p expj Σ p T N λh L HL Σ p y T N λh L z = kde () a () jsou po řadě důsledky substitučí resp. Fubiiovy věty. Zbývá ukázat, že S p = T S. To je však sadé, eboť podle defiice matice a tedy = J p N, p Σ = J p N J Σ p N i j p T y z = i j Σ p p Σ p k p k Σ p T Σ = H p L i j Σ p k Σ p Σ p T y Σ p T z, + Σ p Σ p T y Σ p T z J p + Σ p N = Σ p. III. Nechť p < a = je sigulárí rozklad matice z věty 5. Podle části I důkazu má áhodý vektor - rozměré ormálí rozděleí NH, T S L. Položíme-li T =H, L, kde je čtvercová matice řádu p, potom - =H p, L, a proto áhodý vektor - má podle části II důkazu p-rozměré ormálí rozděleí NI,H L T T Σ H LM = NI,H L T Σ H LM. Koečě matice řádu p je regulárí, a proto áhodý vektor =H - L má podle části I důkazu p- roz- měré ormálí rozděleí NI, H L T H L T Σ H L H LM = NI,H L T Σ H LM = N H, T Σ L. Tím je věta plě dokázáa. 7. Důsledek. Má-li -rozměrý áhodý vektor =HX,, X L -rozměré ormálí rozděleí NHm, SL, kde m =Hm,, m L a S =Hs i j L, potom X i ~ NHm i, s ii L pro každé i =,,. 8. Dvourozměré ormálí rozděleí. Podívejme se yí blíže a dvourozměré ormálí rozděleí NH, SL áhodého vektoru =HX, X L, kde Σ = J α β β γ N, Σ = takže formule () pro hustotu pravděpodobosti má tvar fhx, x L = α γ β J γ β β α N, π è!!!!!!!!!!!!!!!!! α γ β expj Hα γ β L Hγ x β x x + α x LN.

5 -Dimesioal Normal Distributio.b, 4//6 5 Protože matice S je pozitivě defiití, všecha čísla a, g, a g - b jsou kladá.vytkeme-li v každém součtu a pravé straě souči a g ebo è!!!!!!!! a g, dostaeme vyjádřeí fhx, x L = π è!!!!!!! α γ "################ β α γ exp i j k H α β γ L J x α β x x α γ + x γ Ny z. Podle věty 4 však platí a = s, g = s a b = s = covhx, X L = r s s, kde s, s jsou směrodaté odchylky áhodých veliči X, X a r je jejich koeficiet korelace. Použijeme-li tyto vztahy, dostaeme akoec toto vyjádřeí hustoty pravděpodobosti dvourozměrého ormálího rozděleí NH, SL: fhx, x L = π σ σ è!!!!!!!!!!!!! ρ expj H ρ L J x σ ρ x x + x σ σ σ NN. (3) 9. Graf hustoty pravděpodobosti dvourozměrého ormálího rozděleí. I. Nezávislé áhodé veličiy : s = ; s = ; r = y x.5 5 II. Kladě korelovaé áhodé veličiy : s = ; s = ; r = y x.5 5 III. Záporě korelovaé áhodé veličiy : s = ; s = ; r = -.5.

6 6 -Dimesioal Normal Distributio.b, 4//6-4 - y x.5 5. Vrstevice hustoty pravděpodobosti dvourozměrého ormálího rozděleí. Předpokládejme, že hustota pravděpodobosti dvourozměrého ormálího rozděleí je dáa formulí (3). Maximálí možá hodota této hustoty je zřejmě rova převráceé hodotě součiu p s s è!!!!!!!!!!!!!! - r. c-vrstevice, tj. rovié křivky defiovaé implicitě rovicí fhx, x L = c pro každé c > splňující podmíku c p s s è!!!!!!!!!!!!!! - r <, jsou zřejmě elipsy se středem v počátku. Abychom ašli jejich parametrický popis, položme x = σ r cos HϕL, x = σ r si HϕL, (4) kde r >, a dosaďme za x a x do rovice fhx, x L = c. Po zřejmých úpravách dostaeme rovici z íž vypočteme r H ρ sih ϕll = Hρ L l I c π σ σ è!!!!!!!!!!!!! ρ M, Hρ r = $%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% L ρ sih ϕl l I c π σ σ è!!!!!!!!!!!!! ρ M. (5) Dosadíme-li za r do (4) podle (5), dostaeme hledaé parametrické vyjádřeí c-vrstevice: x = σ coshϕl $%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% Hρ L ρ sih ϕl li c π σ σ è!!!!!!!!!!!!! ρ M, x = σ sihϕl $%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% Hρ L ρ sih ϕl li c π σ σ è!!!!!!!!!!!!! ρ M, ϕ π. Neí těžké vypočítat, že vrcholy těchto elips, tj. jejich body s miimálí ebo maximálí vzdáleostí od počátku odpovídají v případě r hodotám j < j < j 3 < j 4 z itervalu H, pl, kde i σ ϕ = arctg σ + "#################################################### 4 ρ σ σ +H σ + σ L y j» ρ» σ z, k i σ ϕ = arctg σ "#################################################### 4 ρ σ σ +H σ + σ L y j» ρ» σ z + π, k ϕ 3 = ϕ + π, ϕ 4 = ϕ + π. Přímka procházející počátkem a bodem Hx, x L má směrici x = σ x σ tghϕl.

7 -Dimesioal Normal Distributio.b, 4//6 7 Osy elipsy fhx, x L = c procházející jejími vrcholy mají tedy směrice σ tghϕ σ L = σ σ + "#################################################### 4 ρ σ σ +H σ + σ L,» ρ» σ σ σ tghϕ σ L = σ σ "#################################################### 4 ρ σ σ +H σ + σ L.» ρ» σ σ Položíme-li c = I4 π σ σ è!!!!!!!!!!!!! ρ M, pak pro s = s =, r klesající po.5 od.9 do -.9 dostaeme vrstevice a pro s =, s = a r klesající po dvou desetiách od.9 do -.9 dostaeme vrstevice

8 8 -Dimesioal Normal Distributio.b, 4//6. Příklad. Vypočteme pravděpodobost L D, kde =HX, X L je áhodý vektor s shustotou pravdě podobosti fh L = π è!!!!!!!!!!!!!!!!! dethσl exp J QH LN, QH L = Σ T. Existuje ortogoálí matice a diagoálí matice s diagoálími prvky d >, d > tak, že S = T. Podle defiice hustoty pravděpodobosti a substitučí věty proto platí P@QH L D = π è!!!!!!!!!!!!!!!!! dethσl π è!!!!!!!!!!!!!!!!! dethσl π è!!!!!!!!!!!!!!!!! dethσl d y +d y è!!!! QH L T expj Σ T N λh L =» = T» = expj T N λh L = J y d + y d NN λh L = À y = d r coshϕl y = d r sihϕl À = π è!!!! π r r N r ϕ = r expj r N r = B r NF è!!!! =. Pozámka. Pro áhodý vektor =HX,..., X L s -rozměrým ormálím rozděleím pravděpodobosti NHm, SL a QH L = S - T lze s pomocí zobecěých sférických souřadic stejým postupem dokázat kde x = ρ cos ϕ si ϕ si ϕ 3 si ϕ 4... si ϕ x = ρ si ϕ si ϕ si ϕ 3 si ϕ 4... si ϕ x 3 = ρ cos ϕ si ϕ 3 si ϕ 4... si ϕ x 4 = ρ cos ϕ 3 si ϕ 4... si ϕ, x = ρ cos ϕ si ϕ x = ρ cos ϕ P@QH L D = $%%%%%% π è!!!! ExpA t. < ρ, < ϕ < π, < ϕ,..., ϕ < π E t, =, P@QH L D = IGammaA E GammaA, Gamma@ EM D H L! è!!! π, >, ê GammaA E GammaA, E = t ê t t, GammaA E = Hm L!, = m +, GammaA è!!! H m 3L!! E = π m, = m.