Radka Picková Transformace náhodných veličin

Univerzita Karlova v Praze Matematicko-fyzikální fakulta BAKALÁŘSKÁ PRÁCE Radka Picková Transformace náhodných veličin Katedra pravděpodobnosti a matematické statistiky Vedoucí bakalářské práce: Mgr Zdeněk Hlávka, PhD Studijní program: Matematika 6

Poděkování: Děkuji Mgr Hlávkovi, Ph D za jeho rady a cenné připomínky k obsahu práce Své rodině a přátelům děkuji za podporu Prohlašuji, že jsem svou bakalářskou práci napsala samostatně a výhradně s použitím citovaných pramenů Souhlasím se zapůjčováním práce a jejím zveřejňováním V Praze dne května 6 Radka Picková

Obsah Úvod 5 Motivace 5 Postup řešení 6 Normálně rozdělené náhodné veličiny a vektory 8 Transformace náhodných veličin a vektorů 8 Příklady 9 Asymptoticky normální rozdělení 7 Definice a značení 7 Funkce asymptoticky normálních veličin a vektorů 8 Porovnání Jednorozměrný případ Dvourozměrný případ 5 Třírozměrný případ 8 5 Závěr A Další grafy A Jednorozměrný a dvourozměrný případ Literatura

Název práce: Transformace náhodných veličin Autor: Radka Picková Katedra: Katedra pravděpodobnosti a matematické statistiky Vedoucí bakalářské práce: Mgr Zdeněk Hlávka, PhD e-mail vedoucího: hlavka@karlinmffcunicz Abstrakt: V předložené práci studujeme transformace náhodných veličin a vektorů Věty, které budeme potřebovat k výpočtům, uvedeme pouze bez důkazů, nebot je lze nalézt v dostupné literatuře Zaměříme se především na aplikaci těchto vět Předvedeme použití na konkrétní transformaci obecně p-rozměrného náhodného vektoru X = (X,, X p ) T, p N, p Danou transformaci nejprve aplikujeme na náhodné veličiny a vektory, které mají normální rozdělení Poté zavedeme pojem asymptoticky normální rozdělení a stejnou transformaci použijeme na náhodné veličiny a vektory, které jsou asymptoticky normální Na závěr výsledky porovnáme Klíčová slova: transformace, náhodné veličiny, náhodné vektory, normální rozdělení, asymptotická normalita Title: Transformations of random variables Author: Radka Picková Department: Department of Probability and Mathematical Statistics Supervisor: Mgr Zdeněk Hlávka, PhD Supervisor s e-mail address: hlavka@karlinmffcunicz Abstract: In the presented work, we study transformations of random variables and vectors The theorems needed for calculations are stated without proofs because these can be easily found in accessible literature This work aims primarily on the application of these theorems in practice Their use is shown on a transformation of p-dimensional random vectors X = (X,, X p ) T, p N, p First, this transformation is applied to normally distributed random variables and vectors Next, we introduce the definition of asymptotic normality and the same transformation is used on asymptotically normal random variables and vectors In the conclusion, we compare the results Keywords: transformation, random variables, random vectors, normal distribution, asymptotic normality

Kapitola Úvod V následujícím textu se budeme zabývat transformacemi náhodných veličin a vektorů Použití si předvedeme na konkrétním příkladě, a to na transformaci obecně p-rozměrného náhodného vektoru X = (X,, X p ) T, p N, p, která je zadána následovně: exp(x ) Motivace t : X X X p X p p i= exp(x i) exp(x ) p i= exp(x i) exp(x p ) p i= exp(x i) exp(x p ) () Proč jsme zvolili právě tuto transformaci? V matematické statistice se často setkáváme s úlohou určit odhady parametrů Představme si, že odhadujeme třírozměrný vektor parametrů (β, β, β ) T v lineárním modelu: β Z = A β + ε, β kde Z = (Z,, Z n ) T, matice A n je známá matice experimentu a ε je n-rozměrný vektor chyb, přičemž víme, že β, β, β > a β + β < Můžeme psát β = β = exp(θ ) exp(θ ) + exp(θ ) + exp(θ ), exp(θ ) exp(θ ) + exp(θ ) + exp(θ ), β = exp(θ ), 5

kde θ, θ a θ jsou nové neznámé parametry Označme jejich odhady spočítané metodou maximální věrohodnosti na základě n pozorování ˆθ n, ˆθ n a ˆθ n Jsou-li splněny podmínky regularity, je posloupnost náhodných vektorů (ˆθ n, ˆθ n, ˆθ n ) T asymptoticky normální, tj (ˆθ n, ˆθ n, ˆθ n ) T je AN ( (θ, θ, θ ) T, ) n Σ, kde Σ je pozitivně definitní matice a n je počet pozorování Numerické řešení metodou maximální věrohodnosti vede nejen k odhadům ˆθ n, ˆθ n, ˆθ n, ale také k odhadu ˆΣ n matice Σ, viz Serfling [], str 8 V dané úloze je β normovací konstantou a její hodnota není předmětem našeho zájmu Nás zajímají především hodnoty parametrů β a β Analogicky postupujeme i v obecném případě, kdy můžeme mít zadánu úlohu určit odhady p parametrů β,, β p, p N, p, splňujících podmínky: β,, β p > a β + + β p < Pak můžeme psát β = exp(θ ) exp(θ ) + + exp(θ p ) + exp(θ p ), () exp(θ p ) β p = exp(θ ) + + exp(θ p ) + exp(θ p ), β p = exp(θ p ), kde θ,, θ p jsou nové neznámé parametry Označme jejich odhady spočítané metodou maximální věrohodnosti na základě n pozorování ˆθ n,, ˆθ np Jsou-li splněny podmínky regularity, je posloupnost náhodných vektorů (ˆθ n,, ˆθ np ) T asymptoticky normální, tj (ˆθ n,, ˆθ np ) T je AN ( (θ,, θ p ) T, ) n Σ, () kde Σ je pozitivně definitní matice a n je počet pozorování Numerické řešení metodou maximální věrohodnosti vede nejen k odhadům ˆθ n,, ˆθ np, ale také k odhadu ˆΣ n matice Σ, viz Serfling [], str 8 Transformaci () jsme zvolili proto, že nás zajímá, co lze říci o parametrech β,, β p, pokud máme nějaké informace o parametrech θ,, θ p (např máme odhady parametrů θ,, θ p ) a víme, že platí () Postup řešení Ve druhé kapitole se budeme zabývat transformací normálně rozděleného náhodného vektoru Budeme tedy předpokládat, že máme náhodný vektor X = (X,, X p ) T N p (µ, V ), 6

a zjistíme, jaké rozdělení má náhodný vektor Y = (Y,, Y p ) T, jestliže Y = exp(x ) p i= exp(x i),, Y p = exp(x p ) p i= exp(x i), Y p = exp(x p ) Ve třetí kapitole nejprve zavedeme pojem asymptoticky normální rozdělení Poté budeme předpokládat, že posloupnost náhodných vektorů X n = (X n,, X np ) T je AN(µ, n Σ), a zjistíme, jaké asymptotické rozdělení má posloupnost náhodných vektorů Y n = (Y n,, Y np ) T, jestliže pro všechna n N platí Y n = exp(x n ) p i= exp(x ni),, Y n(p ) = exp(x n(p )) p i= exp(x ni), Y np = exp(x np ) Ve čtvrté kapitole porovnáme výsledky z předchozích dvou kapitol (konkrétně v jednorozměrném, dvourozměrném a třírozměrném případě) V páté kapitole vše stručně shrneme 7

Kapitola Normálně rozdělené náhodné veličiny a vektory V této kapitole transformaci () aplikujeme na náhodné veličiny a vektory, které mají normální rozdělení Nejprve uvedeme znění vět, které v příkladech až 7 využijeme k vypočítání hustot transformovaných náhodných veličin a vektorů Důkazy uvádět nebudeme, nebot je lze nalézt v dostupné literatuře Transformace náhodných veličin a vektorů Věta (Transformace náhodných veličin) Necht náhodná veličina X má spojitou distribuční funkci F Necht F (x) = f(x) existuje všude až nanejvýš s výjimkou konečně mnoha bodů Budiž t ryze monotónní funkce, která má všude nenulovou derivaci Položme Y = t(x) Označme τ inverzní funkci k t Pak náhodná veličina Y má hustotu g(y) = f[τ(y)] τ (y) () Důkaz Viz Anděl [], věta 5 na str 8 Než uvedeme větu o transformaci náhodného vektoru, připomeneme některé základní pojmy Mějme funkce f,, f r proměnných x,, x r Pak Jacobiovým determinantem čili jakobiánem těchto funkcí se nazývá determinant D f (x) = D(f f f,, f r ) D(x,, x r ) = x x r f r f x r Zobrazení f množiny A do množiny B nazýváme prostým, platí-li implikace x r [x A, x A, x x ] [f(x ) f(x )] Budiž dáno zobrazení f z R r do R r Je-li y = f(x), kde y = (y,, y r ) T a x = (x,, x r ) T, položme y i = f i (x,, x r ), i =,, r Říkáme, že zobrazení f je regulární v množině M R r, jestliže platí: Množina M je otevřená 8

Funkce f,, f r mají parciální derivace prvního řádu spojité v M Pro každé x M platí D f (x) Nyní uvedeme větu o transformaci náhodných vektorů Věta (Transformace náhodných vektorů) Necht náhodný vektor X = (X,, X n ) T má hustotu p vzhledem k Lebesqueově míře v R n Necht t je zobrazení z R n do R n, které je regulární a prosté na takové otevřené množině G, pro niž platí p(x)dx = Označme τ inverzní zobrazení G k t : G t(g) Pak náhodný vektor Y = t(x) má hustotu vzhledem k Lebesqueově míře a tato hustota je rovna q(y) = Důkaz Viz Anděl [], věta 7 na str 9 { p[τ (y)] Dτ (y) pro y t(g), pro y / t(g) () Příklady Příklad Mějme náhodnou veličinu X N(µ, σ ), σ >, pak hustota X je f(x) = } (x µ) exp { pro x R () πσ σ Necht náhodná veličina Y = t(x) = exp(x), kde funkce t(z) = exp(z) je ryze monotónní funkce, která má všude nenulovou derivaci Můžeme tudíž použít větu o transformaci náhodných veličin Inverzní funkcí k t je funkce τ(y) = log y pro y (, ) Zřejmě τ (y) = pro y y (, ) Dosazením do () dostaneme hustotu náhodné veličiny Y } (log y µ) g(y) = exp { pro y (, ) () πσy σ 6 5 x 5 y Obrázek : Vlevo graf funkce f(x), vpravo graf funkce g(y) pro µ = a σ = 9

Vidíme, že Y má logaritmicko-normální rozdělení s parametry a =, b = σ a m = µ, viz Anděl [], str 7 Na obrázku jsou znázorněny hustoty f a g pro konkrétně zvolené hodnoty parametrů µ a σ Příklad Mějme dvourozměrný náhodný vektor( X = (X, X ) T ) N (µ, V ), σ kde µ = (µ, µ ) T je vektor středních hodnot, V = ρσ σ ρσ σ σ je pozitivně definitní varianční matice, σ >, σ je rozptyl náhodné veličiny X, σ >, σ je rozptyl náhodné veličiny X a ρ (, ) je korelační koeficient veličin X a X Pak hustota náhodného vektoru X je f(x, x ) = πσ σ ρ { [ (x µ ) exp ( ρ ) σ ρ (x µ )(x µ ) + (x ]} µ ) σ σ σ pro (x, x ) T R Uvažujme transformaci t : X X e X e X +e X e X Zobrazení t je regulární a prosté na R Označme pak lze snadno vyjádřit y = e x e x + e x a y = e x, kde y (, ) a y (, ) x = log y y y a x = log y, Označíme-li τ inverzní zobrazení k t, pak y log y y y τ : y log y pro y (, ) a y (, ) Můžeme tedy použít větu o transformaci náhodného vektoru, přičemž y D τ (y, y ) = ( y ) y = y y ( y ) y

Dosazením do () získáme hustotu g(y, y ) transformovaného náhodného vektoru Y = (Y, Y ) T = t(x, X ) : { [ g(y, y ) = πσ σ ρ y y ( y ) exp (log y y y µ ) ( ρ ) σ ρ (log y y ]} y µ )(log y µ ) + (log y µ ) (5) σ σ σ pro y (, ) a y (, ), jinak g(y, y ) = Příklad 5 Mějme třírozměrný náhodný vektor X = (X, X, X ) T takový, že X N (µ, V ), kde µ je vektor středních hodnot náhodného vektoru X a V je pozitivně definitní varianční matice náhodného vektoru X Pak hustota náhodného vektoru X má tvar { f(x) = (π) / det V exp } (x µ)t V (x µ) pro x R Uvažujme transformaci t : X X X Zobrazení t je regulární a prosté na R Označme y = pak lze vyjádřit x = log e x e x + e x + e x, y = e X e X +e X +e X e X e X +e X +e X e X e x e x + e x + e x a y = e x, y y y y, x = log a x = log y, y y y y kde y (, ), y (, ), (y + y ) (, ) a y (, ) Označíme-li τ inverzní zobrazení k t, potom y log τ : y log y y y y y y y y y log y pro y (, ), y (, ), (y + y ) (, ) a y (, )

Použijeme větu o transformaci náhodného vektoru, přičemž y y ( y y ) y y y y D τ (y, y, y ) = y y y ( y y ) y = ( y )( y ) y y y y y ( y y ) = y y y ( y y ) Dosazením do () získáme hustotu g(y, y, y ) transformovaného náhodného vektoru Y = (Y, Y, Y ) T = t(x, X, X ) Nejprve pro y = (y, y, y ) T označme a = τ (y) µ = ( log y y y y µ, log y ) T y y µ, log y µ, y y pak g(y, y, y ) = { (π) / det V y y y ( y y ) exp } at V a (6) pro y (, ), y (, ), (y + y ) (, ) a y (, ), jinak g(y, y, y ) = Příklad 6 Mějme čtyřrozměrný náhodný vektor X = (X, X, X, X ) T takový, že X N (µ, V ), kde µ je vektor středních hodnot náhodného vektoru X a V je pozitivně definitní varianční matice náhodného vektoru X Pak hustota náhodného vektoru X má tvar f(x) = Uvažujme transformaci (π) det V exp t : X X X X { (x µ)t V (x µ) Zobrazení t je regulární a prosté na R Označme y = y = e X e X +e X +e X +e X e X e X +e X +e X +e X e X e X +e X +e X +e X e X } pro x R e x e x e x + e x + e x + e x, y = e x + e x + e x + e x, e x e x + e x + e x + e x, y = e x

Postup vyjádření x, x, x, x tentokrát ukážeme podrobněji Hned vidíme, že x = log y Dále chceme vyjádřit x, x, x z rovnic: e x ( y ) = y (e x + e x + y ), (7) e x ( y ) = y e x + y (e x + y ), (8) e x ( y ) = y e x + y (e x + y ) (9) Rovnice (8) a (9) vynásobíme ( y ) a poté z rovnice (7) dosadíme za e x ( y ) : e x ( y )( y ) = y y (e x + e x + y ) + y ( y )(e x + y ), e x ( y )( y ) = y y (e x + e x + y ) + y ( y )(e x + y ) Dalšími úpravami dostaneme: e x ( y y ) = y y + e x y, () e x ( y y ) = y y + e x y () Rovnici () vynásobíme ( y y ), poté z rovnice () dosadíme za e x ( y y ) a vyjádříme x : e x ( y y )( y y ) = y y ( y y ) + y (y y + e x y ), e [ x (y ) + y (y ) + y (y ) ] = y y ( y ), e x = y y, y y y x = log y y y y y Obdobným způsobem získáme x a x Celkem dostáváme: y y y y x = log, x = log, y y y y y y y y x = log, x = log y, y y y kde y (, ), y (, ), y (, ), (y + y + y ) (, ) a y (, ) Označíme-li τ inverzní zobrazení k t, potom τ : y y y log log log y y y y y y y y y y y y y y y y log y pro y (, ), y (, ), y (, ), (y + y + y ) (, ) a y (, )

Použijeme větu o transformaci náhodného vektoru, přičemž y y y ( y y y ) y y y y y y y y y y y y y ( y y y ) y y y y D τ (y, y, y, y ) = y y y y y y y y y ( y y y ) y = ( y y )( y y )( y y ) + y y y y y y y ( y y y ) y y ( y y ) y y ( y y ) y y ( y y ) y y y y ( y y y ) ( y y y ) = y y y y ( y y y ) = y y y y ( y y y ) Dosazením do () získáme hustotu g(y, y, y, y ) transformovaného náhodného vektoru Y = (Y, Y, Y, Y ) T = t(x, X, X, X ) Nejprve pro y = (y, y, y, y ) T označme y log y y y y µ y log y y y y µ a = τ (y) µ =, y log y y y y µ pak g(y, y, y, y ) = log y µ { (π) det V y y y y ( y y y ) exp } at V a pro y (, ), y (, ), y (, ), (y + y + y ) (, ) a y (, ), jinak g(y, y, y, y ) = Příklad 7 Obecný případ p-rozměrného náhodného vektoru Nyní již dokážeme odvodit, jak bude vypadat obecná transformace pro p-rozměrný náhodný vektor Necht p N, p a necht X = (X,, X p ) T N p (µ, V ), kde µ je vektor středních hodnot náhodného vektoru X a V je pozitivně definitní varianční matice náhodného vektoru X Pak hustota náhodného vektoru X má tvar { f(x) = (π) p/ det V exp } (x µ)t V (x µ) pro x R p () y

Naším úkolem je spočítat transformaci t : X X X p X p exp(x ) p i= exp(x i) exp(x ) p i= exp(x i) exp(x p ) p i= exp(x i) exp(x p ) Zobrazení t je regulární a prosté na R p Označme τ inverzní zobrazení k t Pak analogicky jako v příkladech, 5 a 6 dostaneme τ : y y y p y p log log log y y p p i= y i y y p p i= y i y p y p p log y p i= y i pro y (, ),, y p (, ), p i= y i (, ) a y p (, ) Dále analogicky jako v příkladech, 5 a 6 získáme jakobián D τ = ( p j= y j ) ( ) p j= y j Podle věty o transformaci náhodného vektoru získáme dosazením do () hustotu g(y) transformovaného náhodného vektoru Y = (Y,, Y p ) T = t(x) Nejprve pro y = (y,, y p ) T označme log log a = τ (y) µ = log 5 y y p p µ i= y i y y p p µ i= y i y p y p p i= y i log y p µ p, µ p

pak g(y) = (π) p/ det V ( p j= y j { ) ( ) exp } p j= y at V a j () pro y (, ),, y p (, ), p i= y i (, ) a y p (, ), jinak g(y,, y p ) = 6

Kapitola Asymptoticky normální rozdělení V této kapitole zvolenou transformaci () aplikujeme na náhodné veličiny a vektory, které jsou asymptoticky normální Nejprve však zavedeme pojem asymptoticky normální rozdělení Poté uvedeme znění vět, které v příkladech, 7 a 8 využijeme k vypočítání funkcí asymptoticky normálních veličin a vektorů Ani tentokrát důkazy vět uvádět nebudeme, nebot je lze nalézt v dostupné literatuře Definice a značení Definice Necht {X n }, n N je posloupnost náhodných veličin, {µ n } a {σ n } jsou posloupnosti konstant Říkáme, že posloupnost náhodných veličin {X n} je asymptoticky normální se střední hodnotou µ n a rozptylem σ n, pokud σ n > pro všechna dostatečně velká n a platí X n µ n σ n d N(, ), tj posloupnost náhodných veličin X n µ n σ n konverguje v distribuci k N(, ) Budeme používat značení X n je AN ( µ n, σn) Definice Necht {X n }, n N je posloupnost k-rozměrných náhodných vektorů, µ n je posloupnost vektorů a Σ n je posloupnost matic Říkáme, že posloupnost náhodných vektorů {X n } je asymptoticky normální s vektorem středních hodnot µ n a varianční maticí Σ n, pokud Σ n má nenulové diagonální prvky pro všechna dostatečně velká n a pro každý vektor λ = (λ,, λ k ) T takový, že λ T Σ n λ > pro všechna dostatečně velká n, platí, že posloupnost náhodných veličin λ T X n je AN ( λ T µ n, λ T Σ n λ ) Budeme používat značení X n je AN (µ n, Σ n ) 7

Funkce asymptoticky normálních veličin a vektorů Věta Předpokládejme, že posloupnost náhodných veličin X n je AN ( µ, σ n) se σn Necht g je reálná funkce diferencovatelná v bodě x = µ a platí g (µ) Pak posloupnost náhodných veličin g(x n ) je AN ( g(µ), [g (µ)] σ n) () Důkaz Viz Serfling [], str 8 Příklad Necht posloupnost náhodných veličin X n je AN (µ, σ n) se σ n Reálná funkce g(x) = e x je diferencovatelná pro všechna x R a platí g (x) = e x Zřejmě g (µ) = e µ pro libovolné µ R Z věty po dosazení do () dostáváme, že posloupnost náhodných veličin Y n = e X n je AN ( e µ, e µ σ n) () Věta 5 Předpokládejme, že posloupnost náhodných vektorů X n = (X n,, X nk ) T je AN ( µ, b nσ ) s varianční maticí Σ a b n pro n Necht g(x) = (g (x),, g m (x)) T, x = (x,, x k ) T, je zobrazení z R k do R m, kde každá složka g i (x) je reálná funkce k proměnných a má nenulový (totální) diferenciál g i (µ; t), t = (t,, t k ) T v bodě x = µ Položme [ ] g i D = x j Pak posloupnost náhodných vektorů x=µ m k g(x n ) je AN ( g(µ), b ndσd T ) () Důkaz Viz Serfling [], str Poznámka 6 Při výpočtech použijeme tvrzení z diferenciálního počtu funkcí více proměnných, které je uvedeno a dokázáno například v knize Zajíček [], věta na str 6 Je-li f funkce n proměnných, a R n a všechny parciální derivace f x,, f x n jsou spojité v bodě a, pak f má v bodě a totální diferenciál Příklad 7 Necht pro posloupnost náhodných vektorů X n = (X n, X n ) T platí, že X n je AN ( µ, n Σ), kde µ = (µ, µ ) T R a matice Σ je pozitivně definitní 8

Uvažujme zobrazení g(x, x ) = e x e x +e x e x Označme x = (x, x ) T R Pak pro pro g (x) = e x e x + e x je g (x) = e x g x (x) = je e x e x (e x + e x ) a g x (x) = a g (x) = ex e x x (e x + e x ), g x (x) = e x Funkce g a g mají spojité obě parciální derivace v R, tudíž podle poznámky 6 mají obě funkce totální diferenciály v R Je vidět, že totální diferenciál funkce g i totální diferenciál funkce g je nenulový pro všechna x R, tedy i v bodě x = µ pro libovolný vektor středních hodnot µ Matice D má tvar D = e µ e µ (e µ +e µ ) eµ e µ (e µ +e µ ) e µ () Z věty 5 po dosazení do () dostáváme, že posloupnost náhodných vektorů ( ( e µ ) ) T g(x n ) je AN e µ + e µ, e µ, n DΣDT (5) Příklad 8 Obecný případ Necht p N, p a necht posloupnost náhodných vektorů X n = (X n,, X np ) T je AN (µ, n ) Σ, kde µ = (µ,, µ p ) T R p a matice Σ je pozitivně definitní Uvažujme následující zobrazení g(x,, x p ) = Pro x = (x,, x p ) T R p označme g i (x) = e x p k= ex k e x p p k= ex k e x p e x i p, pro i =,, p a g p (x) = e x p k= ex k 9

Pak pro všechna i =,, p platí: g p i (x) = exi k= ex k e x i e x i x i ( p k= ex k ) = exi p k=,k i ex k ( p k= ex k ), g i (x) = exi e xj x j ( p pro j =,, p, j i, k= ex k ) g p x i (x) = a g p x p (x) = e xp Pro všechna i =,, p mají funkce g i spojité všechny parciální derivace v R p, tudíž podle poznámky 6 mají totální diferenciál v R p, který je zřejmě nenulový v každém bodě x R p, tedy i v bodě x = µ pro libovolný vektor středních hodnot µ Matice D má následující tvar D = e µ p k= eµ k ( eµe µ p k= eµ k ) ( p p eµ k=,k eµ k k= eµ k ) ( p eµ e µ ( p eµ e µ p ( µp eµe p k= eµ k ) ( p k= eµ k ) k= eµ k ) k= eµ k ) µp eµe ( µp eµe p k= eµ k ) ( p k= eµ k ) µp eµe ( µp eµe p k= eµ k ) ( p k= eµ k ) e µ p p k=,k p eµ k ( p eµp e µp k= eµ k ) ( p k= eµ k ) e µ p Z věty 5 po dosazení do () dostáváme, že posloupnost náhodných vektorů ( ( e µ ) ) e g(x n ) je AN µ p T p,, k= eµ k p, e µ p, k= eµ k n DΣDT (6)

Kapitola Porovnání Vrat me se nyní k tomu, co bylo zmíněno v první kapitole Představme si, že máme odhadnout p-rozměrný parametr β = (β,, β p ) T, p N, p, přitom víme, že platí (), tj β = β p = exp(θ ) exp(θ ) + + exp(θ p ) + exp(θ p ), exp(θ p ) exp(θ ) + + exp(θ p ) + exp(θ p ), β p = exp(θ p ), kde θ = (θ,, θ p ) T je také neznámý parametr Máme spočítaný maximálně věrohodný odhad ˆθ n = (ˆθ n,, ˆθ np ) T parametru θ V první kapitole jsme uvedli, že platí (), tj posloupnost vektorů ( ) ˆθ n je AN θ, n Σ, () kde Σ je pozitivně definitní matice a n je počet pozorování Numerické řešení metodou maximální věrohodnosti vede nejen k odhadu ˆθ n, ale i k odhadu ˆΣ n (tj k odhadu matice Σ) Pokud předpokládáme, že ˆΣ n P Σ, () tj posloupnost ˆΣ n konverguje v pravděpodobnosti k Σ, a že pro velká n je matice ˆΣ n pozitivně definitní, potom platí (viz Serfling [], tvrzení (ii) na str ) ˆΣ / n Pokud () vynásobíme konstantní maticí Σ / dostaneme P Σ / () ˆΣ / n Σ / P I, () kde I je jednotková matice Lze ukázat, že () je ekvivalentní s tím, že n (ˆθn θ) d N(, Σ),

kde je nulový vektor, neboli () je ekvivalentní s tím, že n Σ / d (ˆθ n θ) N(, I) (5) Celkem ze vzorců () a (5) dostáváme n ˆΣ / n (ˆθ n θ) = / n ˆΣ n Σ / Σ / (ˆθ n θ) Tudíž ( ˆθ n je AN θ, d N(, I) ) n ˆΣ n, (6) tzn pokud pro odhad ˆΣ n matice Σ platí (), tak můžeme matici Σ ve () nahradit tímto odhadem ˆΣ n Označíme V n = n ˆΣ n Zajímá nás, jak můžeme odhadnout parametr β Označme u parametrickou funkci u(θ,, θ p ) = e θ p k= eθ k e θ p p k= eθ k Potom podle Zehnaovy věty, která je uvedena v knize Anděl [], věta 787 na str 8, je ˆβ n = u(ˆθ n ) maximálně věrohodný odhad parametrické funkce u(θ) Zajímá nás, co můžeme říci o rozdělení ˆβ n K tomuto problému budeme přistupovat dvěma způsoby Vyjdeme ze (6) Víme tedy, že ˆθ n je AN (θ, V n ) Řekněme, že máme pevně zvolený dostatečně velký počet pozorování n, a pro toto pevně zvolené n označme V = V n Zjistíme, co by se stalo, když by ˆθ n N p (θ, V ) pro pevné n, tzn místo asymptotické normality bychom měli náhodný vektor s normálním rozdělením (s hustotou (), kde vektoru středních hodnot µ odpovídá vektor θ) Můžeme využít teorii a příklady z druhé kapitoly Stejným postupem jako v příkladu 7 (transformace t je totiž shodná s parametrickou funkcí u) získáme dosazením do () hustotu u(ˆθ n ) Potom by ˆβ n mělo mít přibližně stejnou hustotu jako u(ˆθ n ) Ve druhé metodě vyjdeme z toho, že ˆθ n je AN ( θ, n Σ), a využijeme teorii a příklady ze třetí kapitoly Postupem uvedeným v příkladu 8 (kde vektoru µ odpovídá vektor θ a zobrazení g je shodné s parametrickou funkcí u) dostaneme (6), tj že ˆβ n je AN ( u(θ), n DΣDT ), kde matice D je v příkladu 8 podrobněji rozepsána Obdobně jako jsme odvodili (6) dostáváme z platnosti vzorce () a definice asymptotické normality, že ˆβ n je AN ( u(θ), DV n D T ) Pak pro pevně zvolené dostatečně velké n (stejné jako v první metodě) by hustota ˆβ n měla být přibližně rovna hustotě N p ( u(θ), DV D T ) Tyto dva přístupy a jejich výsledky porovnáme, konkrétně v jednorozměrném, dvourozměrném a třírozměrném případě e θp

Jednorozměrný případ Necht posloupnost náhodných veličin X n je AN (µ, σ n), kde σ n = n s a s > je konstanta Zajímá nás, co můžeme říci o rozdělení posloupnosti náhodných veličin Y n = e X n Pro dostatečně velké pevně zvolené n označme σ = σ n První metodou, kdy pro naše pevně zvolené n předpokládáme, že X n N (µ, σ ), dostaneme s použitím příkladu hustotu g, viz (): } (log y µ) g(y) = exp { pro y (, ) πσy σ Ve druhé metodě využijeme výsledek () z příkladu Označme h hustotu normálního rozdělení N(e µ, e µ σ ), tedy { h(y) = πeµ σ exp (y } eµ ) pro y R e µ σ Na obrázcích jsou grafy funkcí g a h pro konkrétně zvolené hodnoty µ a σ Pro úplnost uvádíme také graf funkce f z příkladu, viz (): f(x) = } (x µ) exp { pro x R πσ σ Hlavní rozdíl mezi funkcemi g a h je v tom, že zatímco funkce g je nenulová pouze pro kladné hodnoty y, funkce h nabývá nenulových hodnot i pro záporná y, viz obrázek Vzhledem k tomu, že σ n, můžeme volbou většího n dosáhnout toho, že rozptyl klesá Na obrázcích a je vidět, že pokud se rozptyl zmenší, zmenší se také rozdíl mezi funkcemi g a h V dodatku jsou další grafy pro ještě menší rozptyl 6 5 5 y 5 y Obrázek : Vlevo graf funkce g(y), vpravo graf funkce h(y) pro µ = a σ =

6 g(y) 5 h(y) x 5 y Obrázek : Vlevo graf funkce f(x), vpravo grafy funkcí g(y) a h(y) pro µ = a σ = 8 8 6 6 y y Obrázek : Vlevo graf funkce g(y), vpravo graf funkce h(y) pro µ = a σ =,5 8 8 g(y) 6 6 h(y) x y Obrázek : Vlevo graf funkce f(x), vpravo grafy funkcí g(y) a h(y) pro µ = a σ =,5

Dvourozměrný případ Necht posloupnost náhodných vektorů X n = (X n, X n ) T je AN ( µ, Σ), kde n µ = (µ, µ ) T je nějaký vektor středních hodnot a Σ je pozitivně definitní varianční matice Zajímá nás, co můžeme říci o rozdělení posloupnosti náhodných vektorů (Y n, Y n ) T, jestliže pro všechna n N platí: Y n = exp(x n ) exp(x n ) + exp(x n ), Y n = exp(x n ) (7) V první metodě se podíváme na to, jak by to vypadalo, kdybychom místo posloupnosti asymptoticky normálních vektorů měli náhodný vektor, který má přesně normální rozdělení ( Zvolíme ) tedy pevně dostatečně velké n, označíme X = X n, σ V = Σ = ρσ σ n ρσ σ σ, kde σ >, σ > a ρ (, ), a předpokládáme, že X = (X, X ) T N (µ, V ) V příkladu jsme vypočítali hustotu (5) transformovaného náhodného vektoru: { g(y, y ) = πσ σ ρ y y ( y ) exp ( ρ ) ρ (log y y y µ )(log y µ ) σ σ + (log y µ ) σ pro y (, ) a y (, ), jinak g(y, y ) = [ (log y y y µ ) Ve druhé metodě vyjdeme z toho, že X n je AN ( µ, Σ) a platí (7) Postupujeme jako v příkladu 7 a dostaneme (5), tedy n ( ( e (Y n, Y n ) T µ ) ) T je AN e µ + e µ, e µ, n DΣDT, (8) kde matice D je uvedena v () Pokud nyní zvolíme pevně ( dostatečně velké ) n σ (stejné jako v první metodě) a pokud označíme Σ = V = ρσ σ n ρσ σ σ, pak e µ e µ (σ W = DV D T (e µ +e µ ) + σ e ρσ σ ) µ e µ (ρσ (e µ +e µ ) σ σ) = e µ e µ (ρσ (e µ +e µ ) σ σ) σe µ Označme h(y, y ) hustotu normálního rozdělení ( ( e µ ) ) T N e µ + e µ, e µ, W ]} σ 5

5 5 5 y 5 5 8 6 y 5 5 5 6 8 Obrázek 5: Graf funkce g(y, y ) pro µ = µ =, σ = σ = a ρ = 6 5 y 5 5 y 5 6 8 Obrázek 6: Graf funkce h(y, y ) pro µ = µ =, σ = σ = a ρ = 5 5 5 y 5 5 8 6 y 5 5 5 6 8 Obrázek 7: Vlevo graf rozdílu funkcí g(y, y ) h(y, y ), vpravo grafy funkcí g(y, y ) a h(y, y ) pro µ = µ =, σ = σ = a ρ = 6

5 5 5 5 y 5 8 6 y 5 5 5 5 5 6 7 8 9 Obrázek 8: Graf funkce g(y, y ) pro µ = µ =, σ = σ =,5 a ρ = 5 5 5 y 8 6 y 5 5 6 8 Obrázek 9: Graf funkce h(y, y ) pro µ = µ =, σ = σ =,5 a ρ = 8 6 6 5 y 5 5 8 6 y 5 5 5 5 6 7 8 9 Obrázek : Vlevo graf rozdílu funkcí g(y, y ) h(y, y ), vpravo grafy funkcí g(y, y ) a h(y, y ) pro µ = µ =, σ = σ =,5 a ρ = 7

Pro naše pevně zvolené n celkem dostáváme, že hustota (Y n, Y n ) T by podle první metody měla přibližně být rovna hustotě g(y, y ) a podle druhé metody by měla přibližně být rovna hustotě h(y, y ) Na obrázcích 5 a 6 jsou grafy funkcí g(y, y ) a h(y, y ) pro µ = µ =, σ = σ = a ρ = Na obrázku 7 je jejich porovnání Zatímco funkce g(y, y ) je nenulová pouze pro y (, ) a y (, ), funkce g(y, y ) je nenulová pro všechna (y, y ) T R Poměrně velký rozdíl je i ve tvaru funkcí a poloze jejich maxima Stejně jako v jednorozměrném případě nás zajímá, jak se grafy obou funkcí změní, když zmenšíme rozptyly σ a σ Na obrázcích 8 a 9 jsou grafy funkcí g(y, y ) a h(y, y ) pro µ = µ =, σ = σ =,5 a ρ = Na obrázku je jejich porovnání Vidíme, že rozdíly mezi funkcemi g(y, y ) a h(y, y ) (jak ve tvaru funkcí, tak i v poloze maxima) se zmenšily V dodatku jsou další grafy nejen pro menší rozptyly, ale také pro ρ =,8 a ρ =,8 Třírozměrný případ Nyní graficky porovnáme výsledky obou metod pro třírozměrný případ, zaměříme se však pouze na první dvě složky, aby bylo možné zobrazit grafy Necht posloupnost náhodných vektorů X n = (X n, X n, X n ) T je AN ( µ, n Σ), kde µ = (µ, µ, µ ) T je nějaký vektor středních hodnot a Σ je pozitivně definitní varianční matice Zajímá nás, co můžeme říci o rozdělení posloupnosti náhodných vektorů (Y n, Y n ) T, jestliže pro všechna n N platí: Y n = Y n = exp(x n ) exp(x n ) + exp(x n ) + exp(x n ), exp(x n ) exp(x n ) + exp(x n ) + exp(x n ) (9) V první metodě se podíváme na to, jak by to vypadalo, kdybychom místo posloupnosti asymptoticky normálních vektorů měli náhodný vektor, který má přesně normální rozdělení Zvolíme tedy pevně dostatečně velké n, označíme V = n Σ, X = X n a předpokládáme, že X = (X, X, X ) T N (µ, V ) V příkladu 5 jsme vypočítali hustotu (6) transformovaného třírozměrného náhodného vektoru 8

Y = (Y, Y, Y ) T, pro který platí Y = exp(x ) exp(x ) + exp(x ) + exp(x ), Y = exp(x ) exp(x ) + exp(x ) + exp(x ), () Y = exp(x ) Pro jednoduchost zvolíme nyní následující hodnoty parametrů,5 µ = (,, ) T a V =,5,5 Dosazením do (6) dostáváme hustotu náhodného vektoru Y pro tuto volbu parametrů: g(y, y, y ) = π / y y y ( y y ) { ( ) ( ) } y y y y exp log log (log y ) y y y y pro y (, ), y (, ), (y + y ) (, ) a y (, ), jinak g(y, y, y ) = Podle věty o marginální hustotě, viz Anděl [] věta na str 5, pro marginální hustotu g m vektoru (Y, Y ) T platí g m (y, y ) = g(y, y, y ) dy R Vypočtením tohoto integrálu dostaneme hustotu náhodného vektoru (Y, Y ) T g m (y, y ) = πy y ( y y ) exp { log y ( log y y y ) ( log y log y y y y ) } y y y pro y (, ), y (, ) a (y + y ) (, ), jinak g m (y, y ) = První metodou jsme tedy zjistili, že pro naše pevně zvolené n by hustota náhodného vektoru (Y n, Y n ) T měla být přibližně rovna hustotě g m (y, y ) Graf funkce g m (y, y ) je na obrázku Podívejme se nyní na druhou metodu, která využívá teorii třetí kapitoly Chceme zjistit rozdělení posloupnosti vektorů (Y n, Y n ) T, pro něž platí (9) Definujme funkci g(x, x, x ) = 9 e x e x +e x +e x e x e x +e x +e x,,

pak (Y n, Y n ) T = g(x n ) = g(x n, X n, X n ) Z věty 5 dostaneme, že (Y n, Y n ) T je AN (g(µ), n ) DΣD, kde matice D má následující tvar D = e µ (e µ +e µ ) (e µ +e µ +e µ ) e µ e µ (e µ +e µ +e µ ) e µ e µ (e µ +e µ +e µ ) e µ e µ (e µ +e µ +e µ ) e µ (e µ +e µ ) (e µ +e µ +e µ ) e µ e µ (e µ +e µ +e µ ) Pokud zvolíme µ = (,, ) T a pro pevně zvolené dostatečně velké n (stejné jako v první metodě) je,5 n Σ = V =,5,,5 pak g(µ) = ( ) /, D = / 9 ( ) Označme h m (y, y ) hustotu normálního rozdělení (( ) / N, ( )) / 5 a n DΣD = 5 ( ) Druhou metodou jsme tedy zjistili, že pro naše pevné n by hustota (Y n, Y n ) T měla přibližně být rovna hustotě h m (y, y ), jejíž graf je na obrázku Srovnání grafů funkcí g m (y, y ) a h m (y, y ) je na obrázku Také tentokrát se funkce liší především v tom, že funkce g m (y, y ) je nenulová jen pro y (, ), y (, ) a (y + y ) (, ), zatímco funkce h m (y, y ) je nenulová pro všechna (y, y ) T R

5 y 6 8 8 6 y 6 8 6 8 Obrázek : Graf funkce g m (y, y ) 5 y 6 8 8 6 y 6 8 6 8 Obrázek : Graf funkce h m (y, y ) 5 5 5 y 6 8 8 6 y 6 8 6 8 Obrázek : Vlevo graf rozdílu funkcí g m (y, y ) h m (y, y ), vpravo grafy funkcí g m (y, y ) a h m (y, y )

Kapitola 5 Závěr Poznamenejme několik slov k porovnání složitosti výpočtů v obou metodách (při odvozování obecného vzorce pro p-rozměrný vektor) V první metodě využíváme teorii uvedenou ve druhé kapitole Než jsme byli schopni odvodit hustotu transformovaného p-rozměrného vektoru v příkladu 7, museli jsme nejprve vypočítat několik příkladů pro konkrétní volbu p Pokud by transformace byla složitější, mohlo by být problematické vypočítat inverzní zobrazení a jakobián (nebo ověřit předpoklad regularity) Ve druhé metodě využíváme teorii uvedenou ve třetí kapitole V příkladu 8 jsme vypočetli transformované asymptoticky normální rozdělení poměrně snadno, ale pro obecné p jsme neprovedli maticové násobení ve (6) Pokud bychom totiž pro obecné p a pro obecnou matici Σ chtěli rozepsat výsledek maticového násobení DΣD T, bylo by to nepřehledné Na závěr shrneme získané výsledky Ve čtvrté kapitole jsme metody porovnávali na základě grafů hustot, které aproximují hledané rozdělení Ve všech třech případech (jednorozměrném, dvourozměrném i třírozměrném) jsme získali podobné výsledky Hlavní rozdíl mezi porovnávanými hustotami byl tento: zatímco pomocí první metody dostaneme hustotu, která je nenulová na přesně vymezené oblasti, pomocí druhé metody dostaneme hustotu, která je nenulová v celém R p Důležité je, že s rostoucím n (tzn s klesajícími rozptyly) se k sobě obě aproximace přibližují Grafické porovnání hustot je sice názorné, ale není přesné Přesnější porovnání by mohlo být založeno na použití statistik

Dodatek A Další grafy A Jednorozměrný a dvourozměrný případ g(y) h(y) y 6 7 8 9 y Obrázek A: Vlevo graf funkce f(x), vpravo grafy funkcí g(y) a h(y) pro µ = a σ =, 6 8 6 8 y y Obrázek A: Vlevo graf funkce g(y), vpravo graf funkce h(y) pro µ = a σ =,

8 6 5 y 5 8 6 y 6 8 6 5 6 7 Obrázek A: Graf funkce g(y, y ) pro µ = µ =, σ = σ =,5 a ρ = 8 6 5 y 5 8 6 y 6 8 6 5 6 7 Obrázek A: Graf funkce h(y, y ) pro µ = µ =, σ = σ =,5 a ρ = 5 5 5 5 y 5 8 6 y 6 8 6 5 6 7 Obrázek A5: Vlevo graf rozdílu funkcí g(y, y ) h(y, y ), vpravo grafy funkcí g(y, y ) a h(y, y ) pro µ = µ =, σ = σ =,5 a ρ =

6 8 6 5 y 5 8 6 y 6 8 5 5 5 55 6 65 Obrázek A6: Graf funkce g(y, y ) pro µ = µ =, σ = σ =, a ρ = 8 6 5 y 5 8 6 y 6 8 5 5 5 55 6 65 Obrázek A7: Graf funkce h(y, y ) pro µ = µ =, σ = σ =, a ρ = 5 5 5 5 y 5 8 6 y 6 8 5 5 5 55 6 65 Obrázek A8: Vlevo graf rozdílu funkcí g(y, y ) h(y, y ), vpravo grafy funkcí g(y, y ) a h(y, y ) pro µ = µ =, σ = σ =, a ρ = 5

8 6 5 y 5 5 8 6 y 5 6 7 75 8 85 9 95 Obrázek A9: Graf funkce g(y, y ) pro µ = µ =, σ = σ = a ρ =,8 8 6 y 5 5 y 5 5 5 5 Obrázek A: Graf funkce h(y, y ) pro µ = µ =, σ = σ = a ρ =,8 8 6 5 y 5 5 8 6 y 5 5 6 8 Obrázek A: Vlevo graf rozdílu funkcí g(y, y ) h(y, y ), vpravo grafy funkcí g(y, y ) a h(y, y ) pro µ = µ =, σ = σ = a ρ =,8 6

8 6 8 6 5 y 5 5 8 6 y 5 5 5 5 6 7 8 9 Obrázek A: Graf funkce g(y, y ) pro µ = µ =, σ = σ = a ρ =,8 8 6 y 8 6 y 5 6 7 8 Obrázek A: Graf funkce h(y, y ) pro µ = µ =, σ = σ = a ρ =,8 8 6 5 y 5 5 8 6 y 5 5 5 5 6 7 8 9 Obrázek A: Vlevo graf rozdílu funkcí g(y, y ) h(y, y ), vpravo grafy funkcí g(y, y ) a h(y, y ) pro µ = µ =, σ = σ = a ρ =,8 7

5 5 y 5 5 8 6 y 5 5 5 6 8 Obrázek A5: Graf funkce g(y, y ) pro µ = µ =, σ = σ =,5 a ρ =,8 y 5 y 5 5 5 5 6 8 Obrázek A6: Graf funkce h(y, y ) pro µ = µ =, σ = σ =,5 a ρ =,8 5 y 5 5 8 6 y 5 5 6 8 Obrázek A7: Vlevo graf rozdílu funkcí g(y, y ) h(y, y ), vpravo grafy funkcí g(y, y ) a h(y, y ) pro µ = µ =, σ = σ =,5 a ρ =,8 8

5 5 5 y 5 6 y 8 5 5 6 7 Obrázek A8: Graf funkce g(y, y ) pro µ = µ =, σ = σ =,5 a ρ =,8 5 5 y 5 5 8 6 y 5 5 5 6 7 Obrázek A9: Graf funkce h(y, y ) pro µ = µ =, σ = σ =,5 a ρ =,8 5 5 5 5 5 y 5 6 y 8 5 5 6 7 Obrázek A: Vlevo graf rozdílu funkcí g(y, y ) h(y, y ), vpravo grafy funkcí g(y, y ) a h(y, y ) pro µ = µ =, σ = σ =,5 a ρ =,8 9

6 8 6 6 8 y 6 8 8 6 y 6 8 6 5 6 7 8 Obrázek A: Graf funkce g(y, y ) pro µ = µ =, σ = σ =,5 a ρ =,8 6 8 6 5 y 5 8 6 y 6 8 5 6 7 8 Obrázek A: Graf funkce h(y, y ) pro µ = µ =, σ = σ =,5 a ρ =,8 5 y 5 8 6 y 6 8 5 6 7 8 Obrázek A: Vlevo graf rozdílu funkcí g(y, y ) h(y, y ), vpravo grafy funkcí g(y, y ) a h(y, y ) pro µ = µ =, σ = σ =,5 a ρ =,8

6 8 6 6 8 y 6 8 7 6 5 y 6 8 6 5 5 55 6 Obrázek A: Graf funkce g(y, y ) pro µ = µ =, σ = σ =,5 a ρ =,8 6 8 6 5 y 5 6 5 y 6 8 6 7 5 5 55 6 Obrázek A5: Graf funkce h(y, y ) pro µ = µ =, σ = σ =,5 a ρ =,8 5 5 5 5 5 y 5 6 5 y 6 8 6 7 5 5 55 6 Obrázek A6: Vlevo graf rozdílu funkcí g(y, y ) h(y, y ), vpravo grafy funkcí g(y, y ) a h(y, y ) pro µ = µ =, σ = σ =,5 a ρ =,8

Literatura [] Anděl J (5): Základy matematické statistiky Matfyzpress, Praha [] Serfling Robert J (): Approximation Theorems of Mathematical Statistics Wiley-Interscience, New York [] Zajíček L (): Vybrané partie z matematické analýzy pro a ročník Matfyzpress, Praha