Náhodné vektory a matice

Transkript

1 Náhodné vektory a matice Jiří Militký Katedra textilních materiálů Technická Universita Liberec, Červeně označené slide jsou jen pro doplnění informací a nezkouší se.

2 Symbolika A B Jev jistý S (nastane vždy) P(S) = 1 Jev nemožný (nenastane nikdy ) P( ) = 0 Doplňkový jev k jevu A (označení D) je D= S - A a tedy P(D) = 1 - P(A) Sjednocení jevů A a B (nastane A nebo B nebo oba současně) C = A B. To znamená, že C je jev, kdy nastane alespoň jeden zjevů A, B. Průnik jevů A a B (nastanou oba jevy současně) C = A B. To znamená, že C je jev, kdy nastanou právě oba jevy. Neslučitelné (vzájemně se vylučující resp. disjunktní ) jevy A a B (nemohou nastat současně) A B = Elementární jev ei.(.nelze ho vyjádřit sjednocením jiných jevů - není dále dělitelný). 0 P(e i ) 1

3 Pravidla I A B Pravděpodobnost sjednocení dvou jevů A a B je obecně P(A B) = P(A) + P(B) - P(A B) Vylučující se jevy A B = je P(A B) = P(A) + P(B) Pravidlo sčítání pravděpodobností :Pravděpodobnost, že nastane alespoň jeden z neslučitelných jevů A i je rovna součtu pravděpodobností P(A i ). Podmíněná pravděpodobnost je pravděpodobnost P(A/B), že nastane jev A za podmínky, že nastal jev B P(A/B) = P(A B) / P(B) Pravděpodobnost P(A B) současného výskytu A a B P(A B) = P(A/B). P(B) = P(B/A). P(A),

4 Pravidla II Pro spojité náhodné veličiny platí analogické vztahy pro hustoty pravděpodobnosti. Tedy pro nezávislé veličiny f(x,y) = f(x)f(y), f(x y) = f(x), f(y x) = f(y) Nezávislé jevy A a B ( výskyt A není ovlivněn výskytem B) tedy P(A/B) = P(A) a pak P(A B) = P(A) P(B) Pravidlo násobení pravděpodobností: pravděpodobnost současného výskytu nezávislých jevů. A i je rovna součinu pravděpodobností P(A i ) Pravděpodobnost výskytu jevu A, pokud nastal jev B se označuje jako podmíněná pravděpodobnost P(A/B) a (pro P(B)>0): P( A B) = P( A B) Bayesův vztah P( B) P(B/A) = P(A/B) P(B) / P(A) P(B) apriorní informace, P(B/A) aposteriorní informace, P(A/B) informace z dat

5 Náhodný vektor Vícerozměrná náhodná veličina ξ je určena svou sdruženou distribuční funkcí F(x). Pravděpodobnost, že všechny složky ξi vektoru ξ budou menší než složky x i zadaného (nenáhodného) vektoru x F(x) = P( ξ x ξ x... ξ x ) 1 1 m m je logický součin (současná platnost uvedených podmínek). Sdružená distribuční funkce F(x) je neklesající funkcí svých argumentů, je nezáporná a maximálně rovna jedné. Marginální (okrajová) distribuční funkce F(x i ) složky ξ i je zvláštním případem simultánní distribuční funkce F(x), u které jsou všechny ostatní složky náhodného vektoru na horní mezi svého definičního intervalu; obyčejně ξ j = pro j i.

6 Podmíněná distribuční funkce Podmíněná distribuční funkce F(x/x i ), vyjadřuje pravděpodobnost, že všechny složky vektoru ξ kromě i- té budou menší než odpovídající složka vektoru x. Pro složku ξi platí, že je přibližně konstantní, tj. leží v nekonečně malém intervalu x i ξ i dx i + x i. F( x / x ) = P( ξ x... x ξ ( x + d x... ξ x ) i 1 1 i i i i m m Nezávislé složky vektoru ξ, podmíněné distribuční funkce nezávisí na podmínce. m F(x) = F( xi) Derivace distribučních funkcí jsou hustoty pravděpodobnosti f(x i ), f(x), resp. f(x/x i ) i = 1

7 Normální rozdělení y Standard Gaussian density Pro spojitou náhodnou veličinu x, - < x <. Unimodální a symetrické. μ = střední hodnota σ = směrodatná odchylka Hustota pravděpodobnosti f(x) = F(t) 1 πσ t e ( μ ) - x- Distribuční funkce = f (x)dx s x

8 Vícerozměrné normální rozdělení I Zobecnění na p rozměrů: 1 f( x) = exp - x-μ Σ x - μ / p 1 ( π) det( Σ) kde - x i, i = 1,,p. ( ( ) T -1 ( ) ) Čtverec zobecněné vzdálenosti mezi x a μ Označení N p (μ, Σ) σ 11 =σ 1 μ μ σ11 σ1 σ 1 1p μ σ1 σ σp =, Σ = μp σp1 σp σpp

9 Vícerozměrné normální rozdělení II Sdružená hustota pravděpodobnosti vícerozměrného normálního rozdělení 1 π) ) μ) C μ -p/ -1/ T -1 f(x) = ( (det C exp - (x - (x - ) det(c) označuje determinant matice C a x T označuje transponovaný vektor x. Parametry tohoto rozdělení jsou vektor stěedních hodnot μ a kovarianční matice C s prvky C ij = cov(ξ i, ξ j ) Koznačení vícerozměrného normálního rozdělení se používá symbol N(μ, C). Pokud vektor x pochází z rozdělení N(μ, C), platí, že veličina T -1 Q(x) = (x - μ (x - μ) ) C má χ rozdělení s m stupni volnosti

10 D normální rozdělení -1 1 Inverze kovarianční matice: Σ = σ σ -σ Kovariance: σ 1 = ρ1 σ11 σ σ σ - σ = σ σ 1-ρ 11 1 Determinant: ( ) σ -σ -σ σ T 1 σ -ρ1 σ11 σ x-μ = x1-μ 1 x-μ ( σσ ) x-μ 11 1-ρ 1 -ρ1 σ11 σ σ11-1 ( x μ) Σ ( x μ) ( ) ( ) ( )( ) σ x-μ +σ x-μ -ρ σ σ x-μ x-μ = σσ 1-ρ ( ) x-μ 1 1 x- μ x-μ 1 1 x-μ = + -ρ 1 1-ρ 1 σ 11 σ σ 11 σ

11 PDF pro D normální rozdělení 1 f( x)= exp - x-μ Σ x- μ / ( π) det ( Σ) 1 ( ) ( ) ( ) π σ11σ 1-ρ 1-ρ1 1 ( T ( ) ( ) ) x-μ 1 1 x-μ x-μ 1 1 x-μ exp + -ρ1 σ 11 σ σ 11 σ =

12 Graf pdf D normálního rozdělení f(x 1, X ) Linie úrovní X X 1 Všechny body stejné hustoty pravděpodobnosti se označují jako linie úrovní T -1 ( ) ( ) x μ Σ x μ = c

13 μ μ = μ linie konstantního c Linie úrovní 1 X f(x 1, X ) Koncentrické elipsoidy se středem μ a osami ±c λ e i ±c λ e i f(x 1, X ) ±c λ e 1 1 T ( x-μ) Σ -1 ( x-μ ) χ ( α) ( resp. χ ) p p,α X 1 T -1 ( ) ( ) ( ) Pr x μ Σ x μ χ α p = 1 - α

14 Speciální případ Pro stejné rozptyly (σ 11 = σ ): det Σ- λe =0 resp. ( ) σ11-λ σ 0=det 1 ( ) σ1 σ = σ -λ -σ 11-λ ( ) ( ) = λ-σ -σ λ-σ +σ takže λ =σ +σ, λ =σ -σ

15 Speciální struktury Nekorelovanost Sféricita N(μ,Σ=σ E) Σ = σ 0 0 σ Σ 1 0 = 0 1 Σ 4 0 = 0 1 Σ 1 = 1

16 Vlastní vektory ~ Σ e matice Σ i = λ e resp. i i σ11 σ1 e1 e =λ 1 σ 1 1 σ11 e e nebo σ e+σ e = σ +σ e ( ) ( ) σ e+σ e = σ +σ e což znamená λ 1=σ 11+ σ 1 a 1= 1 1 a λ =σ 11- σ 1 podobně platí,že = -1 e e

17 Kladná kovariance linie T ( ) -1 ( ) c= x μ Σ x μ f(x 1, x ) X f(x 1, X ) - pro kladnou kovarianci σ 1, leží vlastní vektor na přímce pootočené o 45 0, která prochází středem μ: c σ -σ 11 1 X 1 c σ 11 + σ1

18 linie T ( μ) -1 ( μ) c= x Σ x Záporná kovariance X f(x 1, X ) - pro zápornou kovarianci σ 1, leží druhý vlastní vektor v prvém úhlu k přímce pootočené o 45 0, která prochází středem μ: c σ11-σ 1 f(x 1, X ) X 1 c σ 11+σ 1

19 1 f( x)= exp x μ Σ x μ 1 Σ ( π ) X 1 ax nekorelované ( ( ) T -1 ( )/) 1 1 x-μ 1 1 x-μ x-μ 1 1 x-μ = exp ( ) ( ) + -ρ ( ) 1 π σσ 11 1-ρ 1-ρ1 σ 1 11 σ σ11 σ 1 1 x-μ 1 1 x-μ = exp + ( π ) σσ 11 σ11 σ f(x 1 ) 1 ( ( ) ) / ( ( ) / ) 1 = exp x1 μ1 σ 11 exp x μ σ πσ 11 πσ (r 1 = 0) f(x )

20 Vlastnosti vícerozměrného normálního rozdělení I Pro libovolný náhodný vektor x s normálním rozdělením platí, že pdf 1 f( x) = exp - x-μ Σ x - μ / p 1 Σ ( π) ( ( ) T -1 ( ) ) má maximum v místě μ1 μ μ = μp Medián, modus a střední hodnota jsou totožné ~

21 Hustota pravděpodobnosti 1 f( x) = exp x μ Σ x μ p 1 Σ ( ~ π) ( ( ) T ( )/) -1 Je symetrická se středem v μ Lineární kombinace složek vektoru X má normální rozdělení Všechny podmnožiny složek X mají (vícerozměrné) normální rozdělení Nulová kovariance znamená, že odpovídající složky vektoru X jsou nezávislé. Podmíněné rozdělení složek X je (vícerozměrné) normální

22 Vlastnosti vícerozměrného normálního rozdělení II Pokud X ~ N p (μ, Σ), pak všechny lineární kombinace T p = a ix i~n p T, T i=1 a X ( a μ a Σ a ) Pokud X ~N p (μ,σ), pak libovolná q lineární kombinace p a1ixi i=1 p a X AX= ~N q, p aqixi i=1 ( Aμ A ΣA) T i i T T i=1 Pokud d je vhodný vektor konstant, pak X + d ~N p (μ + d, Σ)

23 Vlastnosti vícerozměrného normálního rozdělení III ( px1) Pokud X ~ N p (μ, Σ), jsou všechny podmnožiny X normálně rozděleny X μ 1 1 ( qx1) ( qx1) ( qxq) ( qx( p-q) ) X=, μ =, Σ = ( ) ( ) px1 pxp X μ Σ1 Σ ( ( p-q ) x1 ) ( ( p-q ) x1 ) ( ( p-q ) xq ) (( p-q ) x( p-q )) Pak X 1 ~ N q (μ 1, Σ 11 ) a X ~ N p-q (μ, Σ ) Σ Σ 11 1

24 Vlastnosti vícerozměrného normálního rozdělení V Společná kovarianční matice Nechť X j ~ N p (μ j, Σ), j = 1,,n jsou vzájemně nezávislé. Pak n n n v 1 = cjxj~n p cjμ j, cj Σ ~ j=1 j=1 j=1 n n n ~N v = b~ jxj p bjμ j, bj Σ j=1 j=1 j=1 mají sdružené normální rozdělení s kovariační maticí ~ ~ n ( T c ) j Σ bc Σ n bc Σ bj Σ j=1 j=1 ( T ) V 1 and V jsou nezávislé, pokud b T c = 0!

25 Souhrn Mezi důležité vlastnosti vícerozměrného normálního rozdělení patří: a) odpovídající marginální i podmíněná rozdělení jsou také normální, b) jsou-li všechny složky vektoru ξ vzájemně nekorelované (tj. všechny párové korelační koeficienty jsou nulové), znamená to, že složky ξj, j = 1,..., m, jsou nezávislé, c) pokud má vektor ξ vícerozměrné normální rozdělení, mají libovolné lineární kombinace jeho složek ξ j také normální rozdělení. Z uvedeného plyne, že předpoklad normality usnadňuje analýzu aumožňuje poměrně jednoduché zpracování úloh souvisejících s náhodným vektorem ξ.

26 Zatím m vše v!!!