5. B o d o v é o d h a d y p a r a m e t r ů

Transkript

1 5. B o d o v é o d h a d y p a r a m e t r ů Na základě hodnot náhodného výběru z rozdělení určitého typu odhadujeme parametry tohoto rozdělení, tak aby co nejlépe odpovídaly hodnotám výběru. Formulujme tudíž úlohu, ve které hledáme odhady neznámých parametrů rozdělení. 5.. Formulace úlohy. Předpokládáme, že je dán náhodný výběr X, X 2,..., X n z rozdělení s hustotou f(x, θ, θ 2,..., θ m ), či pravděpodobnostní funkcí p(x, θ, θ 2,..., θ m ), kde θ = (θ, θ 2,..., θ m ) jsou parametry rozdělení. Na základě hodnot náhodného výběru odhadujeme parametry rozdělení tak, aby co nejlépe odpovídaly hodnotám náhodného výběru. Odhad provádíme pomocí vhodně zvolené funkce náhodného výběru, statistiky τ, která je odhadem parametrů θ či jejich funkce γ(θ). O takové úloze mluvíme jako o bodovém odhadu (point estimate) parametrů. Příklad: V případě normálního rozdělení, kdy X i N(µ; σ 2 ), je θ = µ a θ 2 = σ 2. Pro exponenciální rozdělení, kde X i Exp(A; δ), je třeba θ = A + δ a θ 2 = δ, neboť je střední hodnota rovna A + δ a rozptyl je δ Testování vhodnosti a kvality odhadů.. Nestranost odhadů. Statistika τ je nestranným odhadem (unbised estimator) funkce parametrů γ(θ), jestliže je E(τ) = γ(θ). Příklad: Je-li X, X 2,..., X n náhodný výběr z rozdělení, pro které je E(X i ) = µ, pak je statistika výběrový průměr τ = X = n nestranným odhadem střední hodnoty µ. Je-li rozptyl D(X i ) = σ 2, pak je statistika výběrový rozptyl τ = S 2 = n nestranným odhadem rozptylu σ X i (X i X) 2

2 Poznámka: Pro střední hodnotu statistiky τ je někdy splněna slabší podmínka E(τ) = γ(θ). lim n Takový odhad nazýváme asymptoticky nestranný. Příklad: Statistika τ = s 2 = n (X i X) 2 je asymptoticky nestranným odhadem rozptylu σ 2, neboť je E(s 2 ) = n n σ2. 2. Konzistentnost odhadu (consistency.) Statistika τ je konzistentním odhadem (consistent estimator) funkce parametrů γ(θ), jestliže platí lim P ( τ γ(θ) < ε) = n pro každé ε > 0. Poznámka: Z Čebyševovy nerovnosti vyplývá, že nestranné odhady s konečným rozptylem jsou konzistentní. Je totiž E(τ) = γ(θ) a P ( τ γ(θ) < ε) D(τ) ε 2. Příklad: Je-li náhodný výběr výběrem z normálního rozdělení N(µ; σ 2 ), pak pro výběrový průměr platí: E(τ) = E(X) = µ a D(τ) = D(X) = σ2 n. Je tedy výběrový průměr X nestranným a konzistentním odhadem střední hodnoty µ. Pro výběrový rozptyl S 2 je E(S 2 ) = σ 2 a D(S 2 ) = n µ 4 (n 3)σ4, n je tedy statistika S 2 nestranným a konzistentním odhadem rozptylu σ Vydatnost odhadu (efficiency.) Vydatnost odhadu popisujeme rozptylem D(τ) = E(τ E(τ)) 2 57

3 Nestranný odhad τ funkce parametrů γ(θ), pro který je rozptyl D(τ) = E[(τ γ(θ)) 2 ] minimální, se nazývá nejlepší nestranný (best unbiased estimate) odhad. Metody hledání bodových odhadů Metoda maximální věrohodnosti (maximum likelihood method) je založena na vlastnostech sdružené hustoty či pravděpodobnostní funkce. Je-li X, X 2,..., X n náhodný výběr z rozdělení s hustotou, či pravděpodobnostní funkcí f(x, θ, θ 2,..., θ m ), pak má náhodný vektor (X, X 2,..., X n ) sdruženou hustotu, či pravděpodobnostní funkci f(x, θ, θ 2,..., θ m ).f(x 2, θ, θ 2,..., θ m )... f(x n, θ, θ 2,..., θ m ). Tuto funkci označujeme ( ) L(x, x 2,..., x n ; θ) a nazýváme ji věrohodnostní funkcí (likelihood function.) Hodnotu ˆθ, pro kterou je věrohodnostní funkce maximální, nazýváme maximálně věrohodným (maximum likelihood estimator) odhadem parametrů θ. Protože má v řadě případů hustota exponenciální průběh používáme místo věrohodnostní funkce L(x, θ) její logaritmus (log-likelihood function). Maximálně věrohodný odhad ˆθ je řešením soustavy věrohodnostích rovnic L(x, x 2,..., x n ; θ) θ k = 0 (x, x 2,..., x n ; θ) θ k = 0, k m. Odhadujeme-li funkci γ(θ), pak je jejím maximálně věrohodným odhadem funkce γ(ˆθ) Příklad: Normální rozdělení. Hustota normálního rozdělení N(µ; σ 2 ) je f(x) = σ (x µ) 2 2π e 2σ 2 58

4 a tedy věrohodnostní funkce je rovna L(x, x 2,..., x n ; µ, σ 2 ) = (σ 2π) ne Pro logaritmus věrohodnostní funkce ln L tedy platí: (x i µ) 2 2σ 2 ln L(x, x 2,..., x n ; µ, σ 2 ) = n 2 ln (σ2 ) n ln ( 2π) 2σ 2 Potom je soustava věrohodnostních rovnic rovna: µ = 2σ σ 2 Z první rovnice dostaneme 22 = n 2σ 2 + 2σ 4 (x i µ)( ) = 0, (x i µ) = 0 ˆµ = n Po dosazení do druhé rovnice dostaneme (x i µ) 2 = 0. σ 2 = i µ) n (X 2 ˆσ 2 = n X i = X. (X i X) 2. (x i µ) 2 Všimneme si, že odhad střední hodnoty µ je nestranný a konzistentní odhad a odhad rozptylu σ 2 je asymptoticky nestranný Příklad: Poissonovo rozdělení P o(λ) má pravděpodobnostní funkci p(k) = λk k! e λ, k = 0,, 2,... a E(X i ) = D(X i ) = λ. Je tedy věrohodnostní funkce rovna a její logaritmus je roven L(k, k 2,..., k n ; λ) = λk +k k n k!k 2!... k n! e nλ ln L(k, k 2,..., k n ; λ) = nλ + (k + k k n ) ln λ ln (k!k 2!... k n!). 59

5 Odtud dostaneme věrohodnostní rovnici λ = n + λ (k + k k n ) = 0 λ = n (k + k k n ). Maximálně věrohodný odhad parametru λ je roven ˆλ = n X i = X. Protože je E(X) = λ a D(X) = λ n je získaný odhad nestranný a konzistentní Příklad: Exponenciální rozdělení Exp(0; δ) má hustotu f(x) = δ e x δ, x > 0, pro které je E(X i ) = δ. Věrohodnostní funkce je rovna a její logaritmus je roven L(x, x 2,..., x n ; δ) = δ ne δ x i ln L(x, x 2,..., x n ; δ) = n ln δ δ Odtud dostaneme věrohodnostní rovnici = n δ δ + n x δ 2 i = 0. Maximálně věrohodný odhad parametru δ je ˆδ = n X i = X. Tento odhad je nestranný a konzistentní Příklad: Exponenciální rozdělení Exp(A; δ) má hustotu f(x) = x A e δ, x > A, δ pro které je E(X i ) = A + δ a D(X i ) = δ. Věrohodnostní funkce je rovna L(x, x 2,..., x n ; A, δ) = δ ne δ (x i A) x i. 60

6 a její logaritmus je roven ln L(x, x 2,..., x n ; A, δ) = n ln δ δ (x i A). Musí být X i A, i n a tudíž funkce ln L má maximální hodnotu pro  = min{x, X 2,..., X n }. Věrohodnostní rovnice pro parametr δ je δ = n δ + δ 2 n (x i A) = 0. Maximálně věrohodný odhad parametru δ je ˆδ = n (X i Â) = X Â. Protože je E(Â) = A + δ n není tento odhad nestranný, je vychýlený, asymptoticky nestranný, ale je konzistentní. Dále je E(ˆδ) = δ n n, tudíž je tento odhad rovněž asymptoticky nestranný Příklad: Rovnoměrné rozdělení v intervalu (µ h, µ+h) má hustotu f(x) = 2h, µ h < x < µ + h, kde E(X i ) = µ a D(X i ) = h2 3. Věrohodnostní funkce je L(x, x 2,..., x n ; µ, h) = (2h) n, a její logaritmus je roven µ h < x i < µ + h ln L(x, x 2,..., x n ; µ, h) = n ln (2h) Tato funkce má maximální hodnotu pro minimální volbu parametru h. Je tedy maximálně věrohodný odhad parametru h roven ĥ = 2 (max{x i; i n} min{x i ; i n}). Pro maximálně věrohodný odhad střední hodnoty dostaneme ˆµ = 2 (max{x i; i n} + min{x i ; i n}). 6

7 Z rozdělení uspořádaného výběru dostaneme, že E(ĥ) = hn n + a E(ˆµ) = µ. Odhad ˆµ je nestranný, odhad ĥ je asymptoticky nestranný a oba jsou konzistentní Metoda momentů je založena na rovnosti výběrových momentů a momentů rozdělení. Nelze jednoznačně rozhodnout, která z metod dává lepší výsledky. Rozhodování provádíme podle konkrétní situace, nejčastěji rozhoduje jednoduchost získaných vzorců. Metoda momentů zohledňuje všechna data z výběru a volíme ji v případech, kdy je soustava věrohodnostních rovnic obtížně řešitelná. Pro základní rozdělení dávají obě metody shodné výsledky a v případě složitějších rozdělení můžeme jako další kritérium uvažovat, které vzorce jsou méně citlivé na zavlečené chyby do hodnot výběru. Definice: Je-li X, X 2,..., X n náhodný výběr, pak definujeme k-tý výběrový moment jako M k = n i X k i, a k-tý centrální výběrový moment jako M k = n k (X i X) k, k. Pokud má rozdělení, ze kterého provádíme náhodný výběr, parametry θ, θ 2,..., θ m, pak jejich odhad θ, θ 2,..., θ m určíme z rovnic M k = µ k, resp. M k = µ k, k m, kde µ k jsou obecné momenty rozdělení. Poznámka: Nejčastěji používáme první dva momenty: M = X i = X a M 2 = n n 5.0. Příklad: Binomické rozdělení Bi(n, p) má střední hodnotu E(X i ) = np a rozptyl D(X i ) = np( p). Odhad parametru p určíme 62 X 2 i.

8 z rovnice Protože je np = M = X i p = X n n 2 i = n X. E(p ) = n 2n.np = p a p( p) D(p ) = n 2 je odhad p nestranný a konzistentní. Pro soubor dat z binomického rozdělení Bi(30, 6 ), které dostaneme jako počet hodů s předepsanou hodnotou bodů v serii 30 hodů. Pro odhad parametru p = 6 = 0, 666 získáme odhady: n = 30 0,57 0,77 0,7 0,33 0,203 0,6 n = 60 0,7 0,78 0,5 0,4 0,87 0,75 n = 90 0,73 0,8 0,47 0,47 0,8 0,7 5.. Příklad: Normální rozdělení N(µ; σ 2 ). Pro normální rozdělení je E(X i ) = µ, D(X i ) = σ 2 a E(X 2 i ) = σ 2 + µ 2. Odhady parametrů µ a σ 2 dostaneme z rovnic tedy µ = M = X, σ 2 + µ 2 = M 2 = n X 2 i, µ = X a (σ ) 2 = Xi 2 (X) 2. n Odhady jsou shodné s maximálně věrohodnými odhady z odstavce Příklad: Exponenciální rozdělení Exp(0, δ) má střední hodnotu E(X i ) = δ a tudíž odhad parametru δ získáme z rovnice M = µ n X i = X = δ, tedy odhadem parametru δ je hodnota δ = X. I tento odhad je shodný s maximálně věrohodným odhadem ˆδ z odstavce 5.5. Pro soubor 40 dat z exponenciálního rozdělení Exp(0; δ) dostaneme odhad parametru δ : δ,5 2 0,5 2,5 ˆδ = δ,09,5 2,2 0,54 2,45 63

9 5.3. Příklad: Exponenciální rozdělení Exp(A, δ) Má střední hodnotu E(X i ) = A + δ a rozptyl D(X i ) = δ 2. Odhady parametrů rozdělení získáme z rovnic tedy X = A + δ, jejichž řešením dostaneme δ = n M = µ a M 2 = µ 2, n X 2 i = δ 2 + (A + δ) 2, Xi 2 (X) 2 a A = X n X 2 i (X) 2. Všimneme si, že jsme získali jiné odhady než jsou maximálně věrohodné odhady z odstavce 5.5. Pro soubor 30 dat z exponenciálního rozdělení Exp(A; δ) dostaneme odhad parametrů A a δ : A 2-3,5 δ 0, Â,07 2,07-0,89 3,0,56 ˆδ 0,8 0,5,8 4,75 2,65 A,6 2,07-0,64 3,74,65 δ 0,7 0,52,54 4,02 2, Příklad: Rovnoměrné rozdělení v intervalu (µ h, µ+h) má střední hodnotu E(X i ) = µ a roztyl D(X i ) = h2 3. Pro odhady parametrů µ a h dostaneme rovnice M = µ a M 2 = µ 2 + h2 3. Jejich řešením dostaneme pro odhady vyjádření µ = X a h = 3 n Xi 2 (X) 2, což jsou hodnoty odlišné od maximálně věrohodných odhadů z odstavce

10 Pro soubor n dat z rovnoměrného rozdělení v intervalu (0, ) dostaneme z uvedených vzorců odhady parametrů µ = 0, 5 a h = 0, 5 ve tvaru n ˆµ 0,496 0,483 0,50 0,5 0,5 0,50 ĥ 0,464 0,477 0,49 0,485 0,497 0,499 µ 0,53 0,486 0,484 0,509 0,484 0,507 h 0,48 0,486 0,534 0,506 0,502 0, Příklad: Binomické (alternativní) rozdělení Bi(m; p) má pravděpodobnostní funkci p(k) = m p k ( p) m k, k k = 0,, 2,..., m a E(X i ) = mp, D(X i ) = mp( p). Alternativní rozdělení dostaneme pro m =. Je tedy věrohodnostní funkce rovna = L(k, k 2,..., k n ; p) = Π n Π n Pro její logaritmus dostaneme ln L(k, k,..., k n ; p) = ln Protože je m p k i ( p) m k i = k i m p k++k k n ( p) nm (k +k k n ) k i Π n m k i + (k + k k n ) ln p+ +(nm k k... k n ) ln ( p) lim p 0+ ln L = lim p ln L = má věrohodnostní funkce maximum ve stacionárním bodě. Pro něj dostaneme rovnici L (k; p) = k + k k n p nm k k... k n p = 0 65

11 Odtud dostaneme maximálně věrohodný odhad parametru p ve tvaru p = m k + k k n n Protože je E(p ) = p a D(p ) = p( p) nm = X m. je odhad nestranný a konzistentní. Metodou momentů dostaneme pro odhad parametru p rovnici a odtud dostaneme odhad M = E(X i ) X = mp ˆp = p = X m = nm Pro alternativní rozdělení A(p) = Bi( ; p) máme tudíž odhady ˆp = p = X = n V tabulce jsou hodnoty, které odpovídají výběru z alternativního rozdělení pro p =. 6 = 0, 667. Jsou to počty, kolikrát při n hodech hrací kostkou padnou čísla, 2,...,6. Podmínka pro aproximaci pomocí normálního rozdělení je np( p) > 9, tedy n > 65. X i X i n X X X X X X n V další tabulce jsou uvedeny výběrové průměry X, tedy odhady parametru p =. 6 = 0, 667. n X X X X X X 90 0, 0,556 0,667 0,444 0,2444 0, ,6 0,466 0,667 0,467 0,867 0, ,567 0,767 0,7 0,33 0,2033 0,6 5.6 Příklad: Poissonovo rozdělení P o(λ) má střední hodnotu E(X) = λ a tedy pro parametr λ dostaneme rovnici M = µ n 66 X i = X = λ.

12 Je tedy odhad získaný metodou momentů λ = ˆλ = X shodný s maximálně věrohodným odhadem. Jedná se tudíž o nestranný a konzistentní odhad. Pro soubor 40 dat s rozdělení P o(λ) dostaneme odhad: λ , 5 λ = ˆλ, 875 2, 8 3, 9 0, 675 Některá další rozdělení 5.7. Příklad: Rayleighovo rozdělení má náhodná veličina Z = X2 + Y 2, kde náhodné veličiny X a Y jsou nezávislé a mají normální rozdělení N(0; σ 2 ). Náhodný vektor (X, Y ) má rozdělení pravděpodobnosti určené sdruženou hustotou f(x, y) = buční funkci G náhodné veličiny Z je pro z 0: 2πσ 2 e x 2 +y 2 2σ 2. Potom pro distri- G(z) = P (Z z) = P ( X 2 + Y 2 z) = P (X 2 + Y 2 z 2 ) = = x 2 +y 2 x 2 +y 2 z 2 2πσ 2e 2σ 2 dxdy = 2πσ 2 = [ e ρ2 2σ 2 ] z 0 ( 2π z 0 = e z2 2σ 2. Pro hustotu g náhodné veličiny Z dostaneme: 0 ρe ρ g(z) = G (z) = z z2 e 2σ σ2 2, z > σ 2 dρ ) dϕ = Pro střední hodnotu a rozptyl náhodné veličiny, která má Rayleighovo rozdělení dostaneme: z 2 E(Z) = z 2 0 σ 2 e 2σ 2 dz = ( z). ( z ) z2 e 2σ 0 σ2 2 dz = ( ) ] = ( z) e z2 2σ 2 dz == [ z e z2 2σ 2 + e z2 π 2σ 2 dz = σ ; = E(Z 2 ) = 0 ( z2 ) 0 z 3 z σ 2 e 2 2σ 2 dz = (e z2 2σ 2 ) dz == 0 ( z 2 ). ( z ) z2 e 2σ σ2 2 [ z 2 e z2 2σ 2 ] dz = 2ze z2 2σ 2 dz =

13 ] = [ 2σ 2 e z2 2σ 2 0 = 2σ 2. Je tedy D(Z) = E(Z 2 ) (E(Z)) 2 = 2σ 2 σ 2π 2 = σ24 π 2 Pro kvantily z p Rayleighova rozdělení dostaneme podmínku:. = σ 2 0, G(z p ) = p e z 2 p 2σ 2 = p e z 2 p 2σ 2 = p z p = σ 2 ln ( p). Pro medián z 0,5 dostaneme po dosazení p = 0, 5 hodnotu z 0,5 = σ 2 ln 2. = σ, 774. Pro modus ẑ dostaneme z derivace hustoty rovnici g (z) = e z2 2σ 2 σ z2 2 = 0 z 2 = σ 2 ẑ = σ. σ 4 Maximálně věrohodný odhad parametru σ dostaneme z věrohodnostní rovnice. Pro věrohodnostní funkci dostaneme vyjádření L(x, x 2,..., x n ; σ 2 ) = x x 2... x n e 2σ 2 σ 2n Odtud dostaneme, že x 2 i, x i > 0, i n. ln L(x, x 2,..., x n ; σ 2 ) = ln (x x 2... x n ) n ln σ 2 2σ 2 Odtud dostaneme derivováním rovnici pro maximálně věrohodný odhad d dσ 2L(x, x 2,..., x n ; σ 2 ) = n σ 2 + 2σ 4 Je tedy ˆσ 2 = 2n x 2 i = 0 σ 2 = 2n maximálně věrohodným odhadem parametru σ 2 v Rayleighově rozdělení. Pro střední hodnotu odhadu dostaneme: E( ˆσ 2 ) = E( 2n 68 X 2 i X 2 i ) = σ 2, x 2 i. x 2 i.

14 je tedy odhad nestranný. Obdobně jako při výpočtu rozptylu dostaneme, že D(Z 2 ) = 4σ 4. Pro rozptyl odhadu dostaneme, že D( ˆσ 2 ) = 4n2D( X 2 i ) = σ4 n. Protože je σ4 n 0 pro n je tento odhad konzistentní. Metodou momentů dostaneme poněkud odlišný odhad než je maximálně věrohodný odhad ˆσ. Z rovnice µ = M σ π 2 = X dostaneme odhad parametru σ ve tvaru σ = 2 π X, který je odlišný od odhadu ˆσ. Protože je E(σ ) = 2 π E(X) = 2 π π 2 σ = σ, je získaný odhad nestranným odhadem parametru σ. Dále je D(σ ) = 2 π n D(X i) = 2 4 π π 2n σ 0 pro n, je tedy získaný odhad konzistentní. Jestliže použijeme rovnosti momentů druhého řádu, dostaneme pro odhad parametru σ rovnici M 2 = µ 2 Xi 2 = 2σ 2 σ 2 = Xi 2. n 2n To je ovšem hodnota, která je shodná s maximálně věrohodným odhadem. Pro soubor 30 hodnot generovaných pomocí kvantilů Rayleighova rozdělení dostaneme odhady parmetru σ : σ σ ˆσ 2 ˆσ,007,38,067,2,208,639,28 2 2,8 4,297 2,07 2,,9 4,083 2,07 3 2,85 9,07 3,00 5 5,42 26,6 5,6 5,2 4,98 24,72 4,97 8 7,46 309,7 7,6 69

15 5.8. Příklad: Geometrické rozdělení má náhodná veličina X, která je dána jako počet pokusů, které musíme provést, aby nastal náhodný jev A, kde P (A) = p, 0 < p <. Náhodná veličina X má diskrétní rozdělení a její pravděpodobnostní funkce p je dána vztahem p(k) = p( p) k, k N. Pro základní číselné charakteristiky je E(X) = p, D(X) = p ( p ), 0 < p <. Je-li (X, X 2,..., X n ) náhodný výběr z geometrického rozdělení, pak pro výběrový úhrn X a výběrový průměr X platí: E( X) = n p, E(X) = p, D( X) = n ( ) p p, D(X) = ( ) np p. Maximálně věrohodný odhad určíme z věrohodnostní funkce L(x, x 2,..., x n ; p) = p n ( p) x +x x n n, x i N, i n. Odtud dostaneme, že ln L(x, x 2,..., x n ; p) = n ln p + (x + x x n n) ln ( p) a tudíž d dp ln L(x, x 2,..., x n ; p) = n p (x + x x n n) p = 0 Je tedy hodnota n X p = n p p = ñ X = X. ˆp = X maximálně věrohodným odhadem parametru p z geometrického rozdělení. Metodou momentů dostaneme z rovnice odhad parametru p ve tvaru µ = M p = X p = X, 70

16 který je shodný s maximálně věrohodným odhadem ˆp. Pro soubory dat, které dostaneme jako počet hodů hrací kostkou dokud nepadne šestka, kde p = 6 = 0, 6666 dostaneme tyto odhady: n = 0 X 6 4,5 4,9 6,9 7,4 4,8 ˆp = p 0,67 0,222 0,204 0,45 0,35 0,208 n = 20 X 5,5 5,65 5,2 5,65 7,95 6,5 ˆp = p 0,94 0,77 0,92 0,77 0,26 0,54 n = 30 X 5,3 6,7 5,5 5,07 5,4 6,07 ˆp = p 0,95 0,62 0,82 0,97 0,85 0, Příklad: Rozdělení Γ je rozdělení, které je zobecněním exponenciálního rozdělení. Má dva parametry m > 0 a δ > 0, které označujeme symbolem Γ(m, δ) a má hustotu f(x) = xm δ m Γ(m) e x δ, x > 0. Pro m = je rozdělení Γ(, δ) exponenciální rozdělení Exp(0; δ). Jsouli náhodné veličiny X i, i m nezávislé a mají-li exponenciální rozdělení Exp(0; δ), pak má výběrový úhrn X = m X i rozdělení Γ(m; δ). Pro číselné charakteristiky takového rozdělení dostaneme: E(X) = 0 = δ Γ(m) 0 E(X 2 ) = 0 x m δ m Γ(m) e x δ dx = t m e t dt = = δ2 Γ(m) 0 x = tδ 0 0 dx = δdt δ δmγ(m) Γ(m + ) = Γ(m) Γ(m) x m+ δ m Γ(m) e x δ dx = t m+ e t dt = = δ2 m(m + )Γ(m) Γ(m) x = tδ 0 0 dx = δdt δ2 Γ(m + 2) = Γ(m) = m(m + )δ 2 ; = = mδ; = D(X) = E(X 2 ) (E(X)) 2 = m(m + )δ 2 m 2 δ 2 = mδ 2. 7

17 Maximálně věrohodné odhady parametrů m a δ dostaneme pomocí věrohodnostní funkce L(x, x 2,..., x n ; m, δ) = (x x 2... x n ) m e δ δ nm (Γ(m)) n Pro její logaritmus dostaneme vyjádření ln L(x, x 2,..., x n ; m, δ) = x i, x i > 0, i n. = (m ) ln (x x 2... x n ) nm ln δ n ln Γ(m) δ Pro hodnoty maximálně věrohodných odhadů dostaneme soustavu rovnic = nm δ δ + n x δ 2 i = 0 m = Z první rovnice dostaneme vztah d ln Γ(m) ln x i n ln δ n dm = 0. x i. ( ) δ = nm x i = X m a druhou rovnici upravíme pomocí vztahu ln δ = ln X ln m a dostaneme rovnici ( ) d ln Γ(m) dm ln m = n ln x i ln X. Tuto rovnici musíme řešit numericky a hodnoty levé strany rovnice jsou pro některé celočíselné hodnoty parametru m tabelovány. Tyto hodnoty můžeme použít jako výchozí iteraci pro řešení rovnice ( ). Jestliže označíme ˆm maximálně věrohodný odhad parametru m, který je řešením rovnice ( ), pak z rovnice ( ) dostaneme maximálně věrohodný odhad parametru δ ve tvaru ˆδ = Xˆm. Metodou momentů dostaneme pro odhady parametrů m a δ rovnice µ = M a µ 2 = M 2, 72

18 tedy vztahy Odtud plyne, že m 2 δ 2 dostaneme vztah ( ) mδ = X a m(m + )δ 2 = n X 2 i. = (X) 2 a po dosazení do druhé z rovnic ( ) mδ 2 = n X 2 i (X) 2. Jestliže tuto rovnici vydělíme první rovnicí z ( ), pak dostaneme pro odhad parametru δ vzorec δ = n X2 i (X) 2 Dosazením do první z rovnic ( ) dostaneme odhad parametru m ve tvaru m = X δ = (X) 2 n X X2 i (X) 2. Řešením uvedených rovnic pro odhady parametrů jsme pro soubory o n prvcích získali odhady, které jsou uvedeny v tabulce n m δ ˆm ˆδ m δ 20,52 0,44,42 0, ,94,2 0,76,48 00,06 0,88,3 0,73 200,02 0,86 5,07 0,8. n m δ ˆm ˆδ m δ 20 2,52 0,44,42 0, ,94,2 0,76, ,06 0,88,3 0, ,02 0,86 5,07 0,8 73

19 n m δ ˆm ˆδ m δ 20 2,52 0,44,42 0, ,94,2 0,76, ,06 0,88,3 0, ,02 0,86 5,07 0, Příklad: Weibullovo rozdělení má náhodná veličina X, která má hustotu rozdělení pravděpodobnosti dánu vztahem f(x) = cxc e ( x δ) c, x > 0, δ c kde c > 0 a δ > 0. Pro c = je rozdělení exponenciálním rozdělením Exp(0; δ). Toto rozdělení dostaneme z exponenciálního rozdělení transformací x ( ) x c δ. Jedná se o tzv. Boxovu-Coxovu transformaci, která pro vhodné hodnoty parametrů c a δ převadí rozdělení na rozdělení, které má přibližně normální rozdělení. Pro číselné charakteristiky tohoto rozdělení dostaneme: E(X) = E(X 2 ) = 0 cx c δ c e ( x δ) c dx = = δ cx c+ 0 0 ( x δ ( t c e t dt = δγ δ c e ( x δ) c dx = = δ 2 0 D(X) = δ 2 [Γ ) c = t, dx == δ c t c dt x = δt c ( x δ ) ; + c ) c = t, dx = δ c t c dt x = δt c ( ) ; t 2 c e t dt = δ 2 Γ + 2 c ( + 2 ) ( Γ 2 + )]. c c = = Maximálně věrohodné odhady parametrů c a δ dostaneme pomocí věrohodnostní funkce L(x, x 2,..., x n ; c, δ) = cn δ nc(x x 2... x n ) c e δ c Z jejího logaritmu x c i, x i > 0, i n. ln L(x, x 2,..., x n ; c, δ) = n ln c nc ln δ + (c ) n ln x i n x c δ c i 74

20 dostaneme derivováním soustavu věrohodnostních rovnic ve tvaru ( ) δ = nc δ + c δ c+ x c i = 0, ( ) = n c c n ln δ + n ln x i + ln δ x c δ c i x c δ c i ln x i = 0. Z rovnice ( ) dostaneme pro hodnotu δ vztah ( ) δ c = n x c i δ = n x c i c. Z rovnice ( ) dostaneme vztah c = n ln x i + ln δ nδ c x c i + nδ c x c i ln x i. Po dosazení ze vztahu ( ) dostaneme pro parametr c rovnici ( ) c = xc i ln x i xc i n ln x i. Tuto rovnici řešíme numericky a získáme maximálně věrohodný odhad ĉ. Dosazením do rovnice ( ) dostaneme maximálně věrohodný odhad ˆδ parametru δ. Metodou momemtů dostaneme pro odhady parametrů c a δ z rovnic vztahy ( ) µ = M a µ 2 = M 2 ( δγ + ) ( = X a δ 2 Γ + 2 ) = c c n X 2 i. Jestliže vydělíme druhou z rovnic ( ) umocněnou první rovnicí ( ) dostaneme pro odhad parametru c rovnici Γ ( + 2 c ) Γ 2 ( + c ) = n X2 i (X) 2, 75

21 kterou musíme řešit numericky. Z jejího řešení c určíme hodnotu odhadu parametru δ třeba z první rovnice ( ) ve tvaru δ = X Γ ( + c ). Řešením uvedených rovnic pro odhady parametrů c a δ jsme pro soubory o n prvcích získali odhady, které jsou uvedeny v tabulce n c δ ĉ ˆδ c δ 20,57,62,4,6 40,4 0,97,5 0, ,92 0,96 0,9 0,96 n c δ ĉ ˆδ c δ ,05,,6, ,3,2,72,2 00 2,9,04,5,02 n c δ ĉ ˆδ c δ ,7 0,98 2,54, ,25,04 2,28, ,9 0,99 2,23,0 5.2 Příklad: Laplaceovo rozdělení má náhodná veličina X, která má hustotu rovnu f(x) = x b 2a e a, x R, a > 0, b R. Rozdělení je souměrné podle hodnoty b a je E(X) = b = x 0,5 = ˆx. Pro rozdělení je dále D(X) = 2a 2. Odhadujeme parametry a a b. Maximálně věrohodné odhady získáme pomocí věrohodnostní funkce L(x, x 2,..., x n ; a, b) = a (2a) ne x i b. 76

22 Použijeme opět logaritmu této funkce a dostaneme ln L(x, x 2,..., x n ; a, b) = n ln (2a) a x i b. Pro odhad parametru b dostaneme podmínku, aby byla hodnota funkce d(b) = n x i b minimální. Tato funkce nabývá svého minima pro ( ) ˆb = x0,5, kde x 0,5 je výběrový medián, který je definován vztahem: x 0,5 = x (m), pro n = 2m +, 2 (x m + x m+ ), pro n = 2m. Jestliže zderivujeme věrohodnostní funkci dostaneme rovnici a = n a + a 2 x i b = 0. Odtud dostaneme pro odhad parametru a vzorec ( ) â = n x i ˆb. Pomocí momentů získáme poněkud odlišné odhady. Z rovnice získáme ihned odhad µ = M b = X ( ) b = X. Z rovnosti druhých momentů dostaneme µ 2 = M 2 2a 2 + b 2 = n Odtud plyne pro odhad parametru a vzorec ( ) a = 2 n X 2 i. Xi 2 ( X ) 2. Řešením uvedených rovnic pro odhady parametrů a a b jsme pro soubory o n prvcích získali odhady, které jsou uvedeny v tabulce 77

23 n a b â ˆb a b ,0,0-0,05 0, ,0 0,72 0,0 0, ,06,04 0,2,02 n a b â ˆb a b , 2,73-0,05 2, ,4 3,5 0,06 3, ,0 3,35 0,9 3, Příklad: Logaritmicko-normální rozdělení se dvěma parametry je rozdělení Ln(µ; σ 2 ), které má náhodná veličina X jejíž transformace ln X má normální rozdělení N(µ; σ 2 ). Pro její hustotu dostaneme vyjádření ve tvaru Dostaneme, že f(x) = σ (ln x µ) 2 2πx e 2σ 2, x > 0. E(X) = e µ+σ2 /2, D(X) = e 2µ+σ2 ( e σ2 Maximálně věrohodné odhady dostaneme z věrohodnostní funkce L(x, x 2,..., x n ; µ, σ 2 ) = σ n ( e 2σ 2 2π) n x... x n ). (ln x i µ) 2. K určení maximální hodnoty použijeme logaritmu věrohodnostní funkce, který má tvar ln L(x, x 2,..., x n ; µ, σ 2 ) = = n 2 ln (2π) n 2 ln σ2 n ln x i (ln x 2σ 2 i µ) 2. Derivováním podle parametrů µ a σ 2 dostaneme soustavu věrohodnostních rovnic µ = 2(ln x 2σ 2 i µ)( ) = 0, σ 2 = n 2σ 2 + 2σ 4 78 (ln x i µ) 2.

24 Z první rovnice dostaneme odhad a z druhé pak odhad ( ) ˆµ = n ln X i ( ) ˆσ2 = n (ln X i ˆµ) 2. Odhad ˆµ je nestranným odhadem parametru µ a druhý z odhadu je vychýleným odhadem. Oba jsou konzistentní. Logaritmicko normální rozdělení je příkladem, kdy nelze použít k výpočtu parametrů momentovou metodu. Momenty tohoto rozdělení nejsou omezené a tedy nemáme zaručen jednoznačně vzájemný vztah mezi hustotou rozdělení a posloupností momentů. Existuje dokonce celá jednoparametrická množina hustot, která má úplně jiný charakter a má shodné momenty s logaritmicko-normálnímrozdělením. Formálním výpočtem rovnic pro teoretické a výběrové momenty dostaneme vzorce pro parametry. Jejich řešení ale nemusí odpovídat skutečnosti. Momentovou metodou dostaneme porovnáním rovnice E(X) = e µ+σ2 /2 = M ( ) = X, D(X) = e 2µ+σ2 e σ2 = M 2 Po umocnění první rovnice vydělením dostaneme M 2 (X) = (σ ) 2 = ln + M 2 2 eσ2 (X) 2 Po dosazení odhadu do první rovnice dostaneme µ + σ 2 /2 = ln (X) µ = ln (X) 2 ln + M 2 (X) 2 Podle vzorů pro odhady parametrů rozdělení dostaneme pro náhodné výběry rozsahu n uvedené odhady parametrů µ a σ 2. Výpočet je proveden pro dvě dvojice parametrů, µ = 0, σ 2 = a µ = 0, σ 2 = 4. 79

25 n µ σ 2 ˆµ ˆσ 2 µ (σ ) ,35,06-0,6 0, ,27,56 0,58, ,4 0,87 0,46 0, ,5 0,8-0,4 0, ,05,0 0,4 0, ,09 0, 0, ,6, 0,2, ,4 0,95-0,04 0,7 n µ σ 2 ˆµ ˆσ 2 µ (σ ) ,55 2,5,7, ,52,94-0,8 0, ,25 3,06 0,44, ,5 2,94 0,52, ,37 4,94 0,58 2, ,22,3 2, ,8 4,5 0,76 2, ,23 3,5 0,43 2, Příklad: Logaritmicko-normální rozdělení se třemi parametry µ, σ 2 a θ je rozdělení Ln(µ, σ 2, θ), které má náhodná veličina X pro níž má náhodná veličina ln (X θ) normální rozdělení N(µ; σ 2 ). Používá se v případě, kdy nemůžeme při transformaci původní veličiny zaručit, že nabývá kladných hodnot. Proto musíme z hodnot datového souboru stanovit odhad parametru θ, pro který musí být θ < X () = min{x i ; i n}. Hustota tohoto rozdělení má vyjádření f(x) = σ (ln (x θ) µ) 2 2π(x θ) e 2σ 2, x > θ. Maximálně věrohodné odhady dostaneme z věrohodnostní funkce = L(x, x 2,..., x n ; µ, σ 2 ) = σ n ( 2π) n (x θ)... (x n θ) e 2σ 2 80 (ln (x i θ) µ) 2.

26 K určení maximální hodnoty použijeme logaritmu věrohodnostní funkce, který má tvar ln L(x, x 2,..., x n ; µ, σ 2 ) = = n 2 ln (2π) n 2 ln σ2 n ln (x i θ) (ln (x 2σ 2 i θ) µ) 2. Derivováním podle parametrů µ a σ 2 dostaneme soustavu věrohodnostních rovnic µ = 2σ 2 σ 2 = n 2σ 2 + 2σ 4 Z první rovnice dostaneme odhad 2(ln (x i θ) µ)( ) = 0, (ln (x i θ) µ) 2. a z druhé pak odhad ( ) ˆµ = n ln (X i ˆθ) ( ) ˆσ2 = n (ln (X i ˆθ) ˆµ) 2. Přihledání maxima vzhledem k proměnné θ dostaneme, že v bodě ˆθ = X () je limita funkce ln L rovna. To ale není možné, a proto musíme najít odhad parametru θ jinak. Odhad parametru θ určíme jako lokální maximum modifikované věrohodnostní funkce, kterou dostaneme dosazením odhadů ˆµ a ˆσ 2 za parametry µ a σ 2. Hledáme tedy hodnotu ˆθ ve kterém je lokální maximum funkce ln L (x, x 2,..., x n ; θ) = ln L(x, x 2,..., x n ; ˆµ, ˆσ 2 ) = = n 2 ln (2π) n 2 ln ( ˆσ 2 ) n = n [ 2 ln ˆσ 2 + ˆµ ln (x i θ) 2σ 2 ] n 2 ln (2π) n 2. (ln (x i θ) ˆµ) 2 = Konstantu můžeme vynechat a budeme hledat lokální extrém funkce ( ) L 2 (θ) = n 2 ln (ˆσ2 ) + ˆµ 8

27 Hledáme tu hodnotu pro kterou je ˆθ < X (), a která je bodu X () nejblíže. V literatuře je ukázáno, že takový bod existuje. Typický průběh modifikované věrohodnostní funkce L 2 (θ) je znázorněn na obrázku. Za maximálně věrohodný odhad parametru θ uvažujeme hodnotu ˆθ, ve které je nejbližší lokální maximum funkce L 2 (θ) a pro kterou je ˆθ < X (). Maximálně věrohodné odhady ˆµ a ˆσ 2 parametrů µ a σ 2 získáme ze vzorců a, do kterých dosadíme odhad ˆθ. L 2 (θ) ˆθ X () θ 82